This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
perlapi: Clarify entry for utf8n_to_uvchr()
[perl5.git] / sv.c
1 /*    sv.c
2  *
3  *    Copyright (C) 1991, 1992, 1993, 1994, 1995, 1996, 1997, 1998, 1999, 2000,
4  *    2001, 2002, 2003, 2004, 2005, 2006, 2007, 2008, 2009 by Larry Wall
5  *    and others
6  *
7  *    You may distribute under the terms of either the GNU General Public
8  *    License or the Artistic License, as specified in the README file.
9  *
10  */
11
12 /*
13  * 'I wonder what the Entish is for "yes" and "no",' he thought.
14  *                                                      --Pippin
15  *
16  *     [p.480 of _The Lord of the Rings_, III/iv: "Treebeard"]
17  */
18
19 /*
20  *
21  *
22  * This file contains the code that creates, manipulates and destroys
23  * scalar values (SVs). The other types (AV, HV, GV, etc.) reuse the
24  * structure of an SV, so their creation and destruction is handled
25  * here; higher-level functions are in av.c, hv.c, and so on. Opcode
26  * level functions (eg. substr, split, join) for each of the types are
27  * in the pp*.c files.
28  */
29
30 #include "EXTERN.h"
31 #define PERL_IN_SV_C
32 #include "perl.h"
33 #include "regcomp.h"
34 #ifdef __VMS
35 # include <rms.h>
36 #endif
37
38 #ifdef __Lynx__
39 /* Missing proto on LynxOS */
40   char *gconvert(double, int, int,  char *);
41 #endif
42
43 #ifdef USE_QUADMATH
44 #  define SNPRINTF_G(nv, buffer, size, ndig) \
45     quadmath_snprintf(buffer, size, "%.*Qg", (int)ndig, (NV)(nv))
46 #else
47 #  define SNPRINTF_G(nv, buffer, size, ndig) \
48     PERL_UNUSED_RESULT(Gconvert((NV)(nv), (int)ndig, 0, buffer))
49 #endif
50
51 #ifndef SV_COW_THRESHOLD
52 #    define SV_COW_THRESHOLD                    0   /* COW iff len > K */
53 #endif
54 #ifndef SV_COWBUF_THRESHOLD
55 #    define SV_COWBUF_THRESHOLD                 1250 /* COW iff len > K */
56 #endif
57 #ifndef SV_COW_MAX_WASTE_THRESHOLD
58 #    define SV_COW_MAX_WASTE_THRESHOLD          80   /* COW iff (len - cur) < K */
59 #endif
60 #ifndef SV_COWBUF_WASTE_THRESHOLD
61 #    define SV_COWBUF_WASTE_THRESHOLD           80   /* COW iff (len - cur) < K */
62 #endif
63 #ifndef SV_COW_MAX_WASTE_FACTOR_THRESHOLD
64 #    define SV_COW_MAX_WASTE_FACTOR_THRESHOLD   2    /* COW iff len < (cur * K) */
65 #endif
66 #ifndef SV_COWBUF_WASTE_FACTOR_THRESHOLD
67 #    define SV_COWBUF_WASTE_FACTOR_THRESHOLD    2    /* COW iff len < (cur * K) */
68 #endif
69 /* Work around compiler warnings about unsigned >= THRESHOLD when thres-
70    hold is 0. */
71 #if SV_COW_THRESHOLD
72 # define GE_COW_THRESHOLD(cur) ((cur) >= SV_COW_THRESHOLD)
73 #else
74 # define GE_COW_THRESHOLD(cur) 1
75 #endif
76 #if SV_COWBUF_THRESHOLD
77 # define GE_COWBUF_THRESHOLD(cur) ((cur) >= SV_COWBUF_THRESHOLD)
78 #else
79 # define GE_COWBUF_THRESHOLD(cur) 1
80 #endif
81 #if SV_COW_MAX_WASTE_THRESHOLD
82 # define GE_COW_MAX_WASTE_THRESHOLD(cur,len) (((len)-(cur)) < SV_COW_MAX_WASTE_THRESHOLD)
83 #else
84 # define GE_COW_MAX_WASTE_THRESHOLD(cur,len) 1
85 #endif
86 #if SV_COWBUF_WASTE_THRESHOLD
87 # define GE_COWBUF_WASTE_THRESHOLD(cur,len) (((len)-(cur)) < SV_COWBUF_WASTE_THRESHOLD)
88 #else
89 # define GE_COWBUF_WASTE_THRESHOLD(cur,len) 1
90 #endif
91 #if SV_COW_MAX_WASTE_FACTOR_THRESHOLD
92 # define GE_COW_MAX_WASTE_FACTOR_THRESHOLD(cur,len) ((len) < SV_COW_MAX_WASTE_FACTOR_THRESHOLD * (cur))
93 #else
94 # define GE_COW_MAX_WASTE_FACTOR_THRESHOLD(cur,len) 1
95 #endif
96 #if SV_COWBUF_WASTE_FACTOR_THRESHOLD
97 # define GE_COWBUF_WASTE_FACTOR_THRESHOLD(cur,len) ((len) < SV_COWBUF_WASTE_FACTOR_THRESHOLD * (cur))
98 #else
99 # define GE_COWBUF_WASTE_FACTOR_THRESHOLD(cur,len) 1
100 #endif
101
102 #define CHECK_COW_THRESHOLD(cur,len) (\
103     GE_COW_THRESHOLD((cur)) && \
104     GE_COW_MAX_WASTE_THRESHOLD((cur),(len)) && \
105     GE_COW_MAX_WASTE_FACTOR_THRESHOLD((cur),(len)) \
106 )
107 #define CHECK_COWBUF_THRESHOLD(cur,len) (\
108     GE_COWBUF_THRESHOLD((cur)) && \
109     GE_COWBUF_WASTE_THRESHOLD((cur),(len)) && \
110     GE_COWBUF_WASTE_FACTOR_THRESHOLD((cur),(len)) \
111 )
112
113 #ifdef PERL_UTF8_CACHE_ASSERT
114 /* if adding more checks watch out for the following tests:
115  *   t/op/index.t t/op/length.t t/op/pat.t t/op/substr.t
116  *   lib/utf8.t lib/Unicode/Collate/t/index.t
117  * --jhi
118  */
119 #   define ASSERT_UTF8_CACHE(cache) \
120     STMT_START { if (cache) { assert((cache)[0] <= (cache)[1]); \
121                               assert((cache)[2] <= (cache)[3]); \
122                               assert((cache)[3] <= (cache)[1]);} \
123                               } STMT_END
124 #else
125 #   define ASSERT_UTF8_CACHE(cache) NOOP
126 #endif
127
128 static const char S_destroy[] = "DESTROY";
129 #define S_destroy_len (sizeof(S_destroy)-1)
130
131 /* ============================================================================
132
133 =head1 Allocation and deallocation of SVs.
134 An SV (or AV, HV, etc.) is allocated in two parts: the head (struct
135 sv, av, hv...) contains type and reference count information, and for
136 many types, a pointer to the body (struct xrv, xpv, xpviv...), which
137 contains fields specific to each type.  Some types store all they need
138 in the head, so don't have a body.
139
140 In all but the most memory-paranoid configurations (ex: PURIFY), heads
141 and bodies are allocated out of arenas, which by default are
142 approximately 4K chunks of memory parcelled up into N heads or bodies.
143 Sv-bodies are allocated by their sv-type, guaranteeing size
144 consistency needed to allocate safely from arrays.
145
146 For SV-heads, the first slot in each arena is reserved, and holds a
147 link to the next arena, some flags, and a note of the number of slots.
148 Snaked through each arena chain is a linked list of free items; when
149 this becomes empty, an extra arena is allocated and divided up into N
150 items which are threaded into the free list.
151
152 SV-bodies are similar, but they use arena-sets by default, which
153 separate the link and info from the arena itself, and reclaim the 1st
154 slot in the arena.  SV-bodies are further described later.
155
156 The following global variables are associated with arenas:
157
158  PL_sv_arenaroot     pointer to list of SV arenas
159  PL_sv_root          pointer to list of free SV structures
160
161  PL_body_arenas      head of linked-list of body arenas
162  PL_body_roots[]     array of pointers to list of free bodies of svtype
163                      arrays are indexed by the svtype needed
164
165 A few special SV heads are not allocated from an arena, but are
166 instead directly created in the interpreter structure, eg PL_sv_undef.
167 The size of arenas can be changed from the default by setting
168 PERL_ARENA_SIZE appropriately at compile time.
169
170 The SV arena serves the secondary purpose of allowing still-live SVs
171 to be located and destroyed during final cleanup.
172
173 At the lowest level, the macros new_SV() and del_SV() grab and free
174 an SV head.  (If debugging with -DD, del_SV() calls the function S_del_sv()
175 to return the SV to the free list with error checking.) new_SV() calls
176 more_sv() / sv_add_arena() to add an extra arena if the free list is empty.
177 SVs in the free list have their SvTYPE field set to all ones.
178
179 At the time of very final cleanup, sv_free_arenas() is called from
180 perl_destruct() to physically free all the arenas allocated since the
181 start of the interpreter.
182
183 The function visit() scans the SV arenas list, and calls a specified
184 function for each SV it finds which is still live - ie which has an SvTYPE
185 other than all 1's, and a non-zero SvREFCNT. visit() is used by the
186 following functions (specified as [function that calls visit()] / [function
187 called by visit() for each SV]):
188
189     sv_report_used() / do_report_used()
190                         dump all remaining SVs (debugging aid)
191
192     sv_clean_objs() / do_clean_objs(),do_clean_named_objs(),
193                       do_clean_named_io_objs(),do_curse()
194                         Attempt to free all objects pointed to by RVs,
195                         try to do the same for all objects indir-
196                         ectly referenced by typeglobs too, and
197                         then do a final sweep, cursing any
198                         objects that remain.  Called once from
199                         perl_destruct(), prior to calling sv_clean_all()
200                         below.
201
202     sv_clean_all() / do_clean_all()
203                         SvREFCNT_dec(sv) each remaining SV, possibly
204                         triggering an sv_free(). It also sets the
205                         SVf_BREAK flag on the SV to indicate that the
206                         refcnt has been artificially lowered, and thus
207                         stopping sv_free() from giving spurious warnings
208                         about SVs which unexpectedly have a refcnt
209                         of zero.  called repeatedly from perl_destruct()
210                         until there are no SVs left.
211
212 =head2 Arena allocator API Summary
213
214 Private API to rest of sv.c
215
216     new_SV(),  del_SV(),
217
218     new_XPVNV(), del_XPVGV(),
219     etc
220
221 Public API:
222
223     sv_report_used(), sv_clean_objs(), sv_clean_all(), sv_free_arenas()
224
225 =cut
226
227  * ========================================================================= */
228
229 /*
230  * "A time to plant, and a time to uproot what was planted..."
231  */
232
233 #ifdef PERL_MEM_LOG
234 #  define MEM_LOG_NEW_SV(sv, file, line, func)  \
235             Perl_mem_log_new_sv(sv, file, line, func)
236 #  define MEM_LOG_DEL_SV(sv, file, line, func)  \
237             Perl_mem_log_del_sv(sv, file, line, func)
238 #else
239 #  define MEM_LOG_NEW_SV(sv, file, line, func)  NOOP
240 #  define MEM_LOG_DEL_SV(sv, file, line, func)  NOOP
241 #endif
242
243 #ifdef DEBUG_LEAKING_SCALARS
244 #  define FREE_SV_DEBUG_FILE(sv) STMT_START { \
245         if ((sv)->sv_debug_file) PerlMemShared_free((sv)->sv_debug_file); \
246     } STMT_END
247 #  define DEBUG_SV_SERIAL(sv)                                               \
248     DEBUG_m(PerlIO_printf(Perl_debug_log, "0x%" UVxf ": (%05ld) del_SV\n",    \
249             PTR2UV(sv), (long)(sv)->sv_debug_serial))
250 #else
251 #  define FREE_SV_DEBUG_FILE(sv)
252 #  define DEBUG_SV_SERIAL(sv)   NOOP
253 #endif
254
255 #ifdef PERL_POISON
256 #  define SvARENA_CHAIN(sv)     ((sv)->sv_u.svu_rv)
257 #  define SvARENA_CHAIN_SET(sv,val)     (sv)->sv_u.svu_rv = MUTABLE_SV((val))
258 /* Whilst I'd love to do this, it seems that things like to check on
259    unreferenced scalars
260 #  define POISON_SV_HEAD(sv)    PoisonNew(sv, 1, struct STRUCT_SV)
261 */
262 #  define POISON_SV_HEAD(sv)    PoisonNew(&SvANY(sv), 1, void *), \
263                                 PoisonNew(&SvREFCNT(sv), 1, U32)
264 #else
265 #  define SvARENA_CHAIN(sv)     SvANY(sv)
266 #  define SvARENA_CHAIN_SET(sv,val)     SvANY(sv) = (void *)(val)
267 #  define POISON_SV_HEAD(sv)
268 #endif
269
270 /* Mark an SV head as unused, and add to free list.
271  *
272  * If SVf_BREAK is set, skip adding it to the free list, as this SV had
273  * its refcount artificially decremented during global destruction, so
274  * there may be dangling pointers to it. The last thing we want in that
275  * case is for it to be reused. */
276
277 #define plant_SV(p) \
278     STMT_START {                                        \
279         const U32 old_flags = SvFLAGS(p);                       \
280         MEM_LOG_DEL_SV(p, __FILE__, __LINE__, FUNCTION__);  \
281         DEBUG_SV_SERIAL(p);                             \
282         FREE_SV_DEBUG_FILE(p);                          \
283         POISON_SV_HEAD(p);                              \
284         SvFLAGS(p) = SVTYPEMASK;                        \
285         if (!(old_flags & SVf_BREAK)) {         \
286             SvARENA_CHAIN_SET(p, PL_sv_root);   \
287             PL_sv_root = (p);                           \
288         }                                               \
289         --PL_sv_count;                                  \
290     } STMT_END
291
292 #define uproot_SV(p) \
293     STMT_START {                                        \
294         (p) = PL_sv_root;                               \
295         PL_sv_root = MUTABLE_SV(SvARENA_CHAIN(p));              \
296         ++PL_sv_count;                                  \
297     } STMT_END
298
299
300 /* make some more SVs by adding another arena */
301
302 STATIC SV*
303 S_more_sv(pTHX)
304 {
305     SV* sv;
306     char *chunk;                /* must use New here to match call to */
307     Newx(chunk,PERL_ARENA_SIZE,char);  /* Safefree() in sv_free_arenas() */
308     sv_add_arena(chunk, PERL_ARENA_SIZE, 0);
309     uproot_SV(sv);
310     return sv;
311 }
312
313 /* new_SV(): return a new, empty SV head */
314
315 #ifdef DEBUG_LEAKING_SCALARS
316 /* provide a real function for a debugger to play with */
317 STATIC SV*
318 S_new_SV(pTHX_ const char *file, int line, const char *func)
319 {
320     SV* sv;
321
322     if (PL_sv_root)
323         uproot_SV(sv);
324     else
325         sv = S_more_sv(aTHX);
326     SvANY(sv) = 0;
327     SvREFCNT(sv) = 1;
328     SvFLAGS(sv) = 0;
329     sv->sv_debug_optype = PL_op ? PL_op->op_type : 0;
330     sv->sv_debug_line = (U16) (PL_parser && PL_parser->copline != NOLINE
331                 ? PL_parser->copline
332                 :  PL_curcop
333                     ? CopLINE(PL_curcop)
334                     : 0
335             );
336     sv->sv_debug_inpad = 0;
337     sv->sv_debug_parent = NULL;
338     sv->sv_debug_file = PL_curcop ? savesharedpv(CopFILE(PL_curcop)): NULL;
339
340     sv->sv_debug_serial = PL_sv_serial++;
341
342     MEM_LOG_NEW_SV(sv, file, line, func);
343     DEBUG_m(PerlIO_printf(Perl_debug_log, "0x%" UVxf ": (%05ld) new_SV (from %s:%d [%s])\n",
344             PTR2UV(sv), (long)sv->sv_debug_serial, file, line, func));
345
346     return sv;
347 }
348 #  define new_SV(p) (p)=S_new_SV(aTHX_ __FILE__, __LINE__, FUNCTION__)
349
350 #else
351 #  define new_SV(p) \
352     STMT_START {                                        \
353         if (PL_sv_root)                                 \
354             uproot_SV(p);                               \
355         else                                            \
356             (p) = S_more_sv(aTHX);                      \
357         SvANY(p) = 0;                                   \
358         SvREFCNT(p) = 1;                                \
359         SvFLAGS(p) = 0;                                 \
360         MEM_LOG_NEW_SV(p, __FILE__, __LINE__, FUNCTION__);  \
361     } STMT_END
362 #endif
363
364
365 /* del_SV(): return an empty SV head to the free list */
366
367 #ifdef DEBUGGING
368
369 #define del_SV(p) \
370     STMT_START {                                        \
371         if (DEBUG_D_TEST)                               \
372             del_sv(p);                                  \
373         else                                            \
374             plant_SV(p);                                \
375     } STMT_END
376
377 STATIC void
378 S_del_sv(pTHX_ SV *p)
379 {
380     PERL_ARGS_ASSERT_DEL_SV;
381
382     if (DEBUG_D_TEST) {
383         SV* sva;
384         bool ok = 0;
385         for (sva = PL_sv_arenaroot; sva; sva = MUTABLE_SV(SvANY(sva))) {
386             const SV * const sv = sva + 1;
387             const SV * const svend = &sva[SvREFCNT(sva)];
388             if (p >= sv && p < svend) {
389                 ok = 1;
390                 break;
391             }
392         }
393         if (!ok) {
394             Perl_ck_warner_d(aTHX_ packWARN(WARN_INTERNAL),
395                              "Attempt to free non-arena SV: 0x%" UVxf
396                              pTHX__FORMAT, PTR2UV(p) pTHX__VALUE);
397             return;
398         }
399     }
400     plant_SV(p);
401 }
402
403 #else /* ! DEBUGGING */
404
405 #define del_SV(p)   plant_SV(p)
406
407 #endif /* DEBUGGING */
408
409
410 /*
411 =head1 SV Manipulation Functions
412
413 =for apidoc sv_add_arena
414
415 Given a chunk of memory, link it to the head of the list of arenas,
416 and split it into a list of free SVs.
417
418 =cut
419 */
420
421 static void
422 S_sv_add_arena(pTHX_ char *const ptr, const U32 size, const U32 flags)
423 {
424     SV *const sva = MUTABLE_SV(ptr);
425     SV* sv;
426     SV* svend;
427
428     PERL_ARGS_ASSERT_SV_ADD_ARENA;
429
430     /* The first SV in an arena isn't an SV. */
431     SvANY(sva) = (void *) PL_sv_arenaroot;              /* ptr to next arena */
432     SvREFCNT(sva) = size / sizeof(SV);          /* number of SV slots */
433     SvFLAGS(sva) = flags;                       /* FAKE if not to be freed */
434
435     PL_sv_arenaroot = sva;
436     PL_sv_root = sva + 1;
437
438     svend = &sva[SvREFCNT(sva) - 1];
439     sv = sva + 1;
440     while (sv < svend) {
441         SvARENA_CHAIN_SET(sv, (sv + 1));
442 #ifdef DEBUGGING
443         SvREFCNT(sv) = 0;
444 #endif
445         /* Must always set typemask because it's always checked in on cleanup
446            when the arenas are walked looking for objects.  */
447         SvFLAGS(sv) = SVTYPEMASK;
448         sv++;
449     }
450     SvARENA_CHAIN_SET(sv, 0);
451 #ifdef DEBUGGING
452     SvREFCNT(sv) = 0;
453 #endif
454     SvFLAGS(sv) = SVTYPEMASK;
455 }
456
457 /* visit(): call the named function for each non-free SV in the arenas
458  * whose flags field matches the flags/mask args. */
459
460 STATIC I32
461 S_visit(pTHX_ SVFUNC_t f, const U32 flags, const U32 mask)
462 {
463     SV* sva;
464     I32 visited = 0;
465
466     PERL_ARGS_ASSERT_VISIT;
467
468     for (sva = PL_sv_arenaroot; sva; sva = MUTABLE_SV(SvANY(sva))) {
469         const SV * const svend = &sva[SvREFCNT(sva)];
470         SV* sv;
471         for (sv = sva + 1; sv < svend; ++sv) {
472             if (SvTYPE(sv) != (svtype)SVTYPEMASK
473                     && (sv->sv_flags & mask) == flags
474                     && SvREFCNT(sv))
475             {
476                 (*f)(aTHX_ sv);
477                 ++visited;
478             }
479         }
480     }
481     return visited;
482 }
483
484 #ifdef DEBUGGING
485
486 /* called by sv_report_used() for each live SV */
487
488 static void
489 do_report_used(pTHX_ SV *const sv)
490 {
491     if (SvTYPE(sv) != (svtype)SVTYPEMASK) {
492         PerlIO_printf(Perl_debug_log, "****\n");
493         sv_dump(sv);
494     }
495 }
496 #endif
497
498 /*
499 =for apidoc sv_report_used
500
501 Dump the contents of all SVs not yet freed (debugging aid).
502
503 =cut
504 */
505
506 void
507 Perl_sv_report_used(pTHX)
508 {
509 #ifdef DEBUGGING
510     visit(do_report_used, 0, 0);
511 #else
512     PERL_UNUSED_CONTEXT;
513 #endif
514 }
515
516 /* called by sv_clean_objs() for each live SV */
517
518 static void
519 do_clean_objs(pTHX_ SV *const ref)
520 {
521     assert (SvROK(ref));
522     {
523         SV * const target = SvRV(ref);
524         if (SvOBJECT(target)) {
525             DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning object ref:\n "), sv_dump(ref)));
526             if (SvWEAKREF(ref)) {
527                 sv_del_backref(target, ref);
528                 SvWEAKREF_off(ref);
529                 SvRV_set(ref, NULL);
530             } else {
531                 SvROK_off(ref);
532                 SvRV_set(ref, NULL);
533                 SvREFCNT_dec_NN(target);
534             }
535         }
536     }
537 }
538
539
540 /* clear any slots in a GV which hold objects - except IO;
541  * called by sv_clean_objs() for each live GV */
542
543 static void
544 do_clean_named_objs(pTHX_ SV *const sv)
545 {
546     SV *obj;
547     assert(SvTYPE(sv) == SVt_PVGV);
548     assert(isGV_with_GP(sv));
549     if (!GvGP(sv))
550         return;
551
552     /* freeing GP entries may indirectly free the current GV;
553      * hold onto it while we mess with the GP slots */
554     SvREFCNT_inc(sv);
555
556     if ( ((obj = GvSV(sv) )) && SvOBJECT(obj)) {
557         DEBUG_D((PerlIO_printf(Perl_debug_log,
558                 "Cleaning named glob SV object:\n "), sv_dump(obj)));
559         GvSV(sv) = NULL;
560         SvREFCNT_dec_NN(obj);
561     }
562     if ( ((obj = MUTABLE_SV(GvAV(sv)) )) && SvOBJECT(obj)) {
563         DEBUG_D((PerlIO_printf(Perl_debug_log,
564                 "Cleaning named glob AV object:\n "), sv_dump(obj)));
565         GvAV(sv) = NULL;
566         SvREFCNT_dec_NN(obj);
567     }
568     if ( ((obj = MUTABLE_SV(GvHV(sv)) )) && SvOBJECT(obj)) {
569         DEBUG_D((PerlIO_printf(Perl_debug_log,
570                 "Cleaning named glob HV object:\n "), sv_dump(obj)));
571         GvHV(sv) = NULL;
572         SvREFCNT_dec_NN(obj);
573     }
574     if ( ((obj = MUTABLE_SV(GvCV(sv)) )) && SvOBJECT(obj)) {
575         DEBUG_D((PerlIO_printf(Perl_debug_log,
576                 "Cleaning named glob CV object:\n "), sv_dump(obj)));
577         GvCV_set(sv, NULL);
578         SvREFCNT_dec_NN(obj);
579     }
580     SvREFCNT_dec_NN(sv); /* undo the inc above */
581 }
582
583 /* clear any IO slots in a GV which hold objects (except stderr, defout);
584  * called by sv_clean_objs() for each live GV */
585
586 static void
587 do_clean_named_io_objs(pTHX_ SV *const sv)
588 {
589     SV *obj;
590     assert(SvTYPE(sv) == SVt_PVGV);
591     assert(isGV_with_GP(sv));
592     if (!GvGP(sv) || sv == (SV*)PL_stderrgv || sv == (SV*)PL_defoutgv)
593         return;
594
595     SvREFCNT_inc(sv);
596     if ( ((obj = MUTABLE_SV(GvIO(sv)) )) && SvOBJECT(obj)) {
597         DEBUG_D((PerlIO_printf(Perl_debug_log,
598                 "Cleaning named glob IO object:\n "), sv_dump(obj)));
599         GvIOp(sv) = NULL;
600         SvREFCNT_dec_NN(obj);
601     }
602     SvREFCNT_dec_NN(sv); /* undo the inc above */
603 }
604
605 /* Void wrapper to pass to visit() */
606 static void
607 do_curse(pTHX_ SV * const sv) {
608     if ((PL_stderrgv && GvGP(PL_stderrgv) && (SV*)GvIO(PL_stderrgv) == sv)
609      || (PL_defoutgv && GvGP(PL_defoutgv) && (SV*)GvIO(PL_defoutgv) == sv))
610         return;
611     (void)curse(sv, 0);
612 }
613
614 /*
615 =for apidoc sv_clean_objs
616
617 Attempt to destroy all objects not yet freed.
618
619 =cut
620 */
621
622 void
623 Perl_sv_clean_objs(pTHX)
624 {
625     GV *olddef, *olderr;
626     PL_in_clean_objs = TRUE;
627     visit(do_clean_objs, SVf_ROK, SVf_ROK);
628     /* Some barnacles may yet remain, clinging to typeglobs.
629      * Run the non-IO destructors first: they may want to output
630      * error messages, close files etc */
631     visit(do_clean_named_objs, SVt_PVGV|SVpgv_GP, SVTYPEMASK|SVp_POK|SVpgv_GP);
632     visit(do_clean_named_io_objs, SVt_PVGV|SVpgv_GP, SVTYPEMASK|SVp_POK|SVpgv_GP);
633     /* And if there are some very tenacious barnacles clinging to arrays,
634        closures, or what have you.... */
635     visit(do_curse, SVs_OBJECT, SVs_OBJECT);
636     olddef = PL_defoutgv;
637     PL_defoutgv = NULL; /* disable skip of PL_defoutgv */
638     if (olddef && isGV_with_GP(olddef))
639         do_clean_named_io_objs(aTHX_ MUTABLE_SV(olddef));
640     olderr = PL_stderrgv;
641     PL_stderrgv = NULL; /* disable skip of PL_stderrgv */
642     if (olderr && isGV_with_GP(olderr))
643         do_clean_named_io_objs(aTHX_ MUTABLE_SV(olderr));
644     SvREFCNT_dec(olddef);
645     PL_in_clean_objs = FALSE;
646 }
647
648 /* called by sv_clean_all() for each live SV */
649
650 static void
651 do_clean_all(pTHX_ SV *const sv)
652 {
653     if (sv == (const SV *) PL_fdpid || sv == (const SV *)PL_strtab) {
654         /* don't clean pid table and strtab */
655         return;
656     }
657     DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning loops: SV at 0x%" UVxf "\n", PTR2UV(sv)) ));
658     SvFLAGS(sv) |= SVf_BREAK;
659     SvREFCNT_dec_NN(sv);
660 }
661
662 /*
663 =for apidoc sv_clean_all
664
665 Decrement the refcnt of each remaining SV, possibly triggering a
666 cleanup.  This function may have to be called multiple times to free
667 SVs which are in complex self-referential hierarchies.
668
669 =cut
670 */
671
672 I32
673 Perl_sv_clean_all(pTHX)
674 {
675     I32 cleaned;
676     PL_in_clean_all = TRUE;
677     cleaned = visit(do_clean_all, 0,0);
678     return cleaned;
679 }
680
681 /*
682   ARENASETS: a meta-arena implementation which separates arena-info
683   into struct arena_set, which contains an array of struct
684   arena_descs, each holding info for a single arena.  By separating
685   the meta-info from the arena, we recover the 1st slot, formerly
686   borrowed for list management.  The arena_set is about the size of an
687   arena, avoiding the needless malloc overhead of a naive linked-list.
688
689   The cost is 1 arena-set malloc per ~320 arena-mallocs, + the unused
690   memory in the last arena-set (1/2 on average).  In trade, we get
691   back the 1st slot in each arena (ie 1.7% of a CV-arena, less for
692   smaller types).  The recovery of the wasted space allows use of
693   small arenas for large, rare body types, by changing array* fields
694   in body_details_by_type[] below.
695 */
696 struct arena_desc {
697     char       *arena;          /* the raw storage, allocated aligned */
698     size_t      size;           /* its size ~4k typ */
699     svtype      utype;          /* bodytype stored in arena */
700 };
701
702 struct arena_set;
703
704 /* Get the maximum number of elements in set[] such that struct arena_set
705    will fit within PERL_ARENA_SIZE, which is probably just under 4K, and
706    therefore likely to be 1 aligned memory page.  */
707
708 #define ARENAS_PER_SET  ((PERL_ARENA_SIZE - sizeof(struct arena_set*) \
709                           - 2 * sizeof(int)) / sizeof (struct arena_desc))
710
711 struct arena_set {
712     struct arena_set* next;
713     unsigned int   set_size;    /* ie ARENAS_PER_SET */
714     unsigned int   curr;        /* index of next available arena-desc */
715     struct arena_desc set[ARENAS_PER_SET];
716 };
717
718 /*
719 =for apidoc sv_free_arenas
720
721 Deallocate the memory used by all arenas.  Note that all the individual SV
722 heads and bodies within the arenas must already have been freed.
723
724 =cut
725
726 */
727 void
728 Perl_sv_free_arenas(pTHX)
729 {
730     SV* sva;
731     SV* svanext;
732     unsigned int i;
733
734     /* Free arenas here, but be careful about fake ones.  (We assume
735        contiguity of the fake ones with the corresponding real ones.) */
736
737     for (sva = PL_sv_arenaroot; sva; sva = svanext) {
738         svanext = MUTABLE_SV(SvANY(sva));
739         while (svanext && SvFAKE(svanext))
740             svanext = MUTABLE_SV(SvANY(svanext));
741
742         if (!SvFAKE(sva))
743             Safefree(sva);
744     }
745
746     {
747         struct arena_set *aroot = (struct arena_set*) PL_body_arenas;
748
749         while (aroot) {
750             struct arena_set *current = aroot;
751             i = aroot->curr;
752             while (i--) {
753                 assert(aroot->set[i].arena);
754                 Safefree(aroot->set[i].arena);
755             }
756             aroot = aroot->next;
757             Safefree(current);
758         }
759     }
760     PL_body_arenas = 0;
761
762     i = PERL_ARENA_ROOTS_SIZE;
763     while (i--)
764         PL_body_roots[i] = 0;
765
766     PL_sv_arenaroot = 0;
767     PL_sv_root = 0;
768 }
769
770 /*
771   Here are mid-level routines that manage the allocation of bodies out
772   of the various arenas.  There are 5 kinds of arenas:
773
774   1. SV-head arenas, which are discussed and handled above
775   2. regular body arenas
776   3. arenas for reduced-size bodies
777   4. Hash-Entry arenas
778
779   Arena types 2 & 3 are chained by body-type off an array of
780   arena-root pointers, which is indexed by svtype.  Some of the
781   larger/less used body types are malloced singly, since a large
782   unused block of them is wasteful.  Also, several svtypes dont have
783   bodies; the data fits into the sv-head itself.  The arena-root
784   pointer thus has a few unused root-pointers (which may be hijacked
785   later for arena types 4,5)
786
787   3 differs from 2 as an optimization; some body types have several
788   unused fields in the front of the structure (which are kept in-place
789   for consistency).  These bodies can be allocated in smaller chunks,
790   because the leading fields arent accessed.  Pointers to such bodies
791   are decremented to point at the unused 'ghost' memory, knowing that
792   the pointers are used with offsets to the real memory.
793
794
795 =head1 SV-Body Allocation
796
797 =cut
798
799 Allocation of SV-bodies is similar to SV-heads, differing as follows;
800 the allocation mechanism is used for many body types, so is somewhat
801 more complicated, it uses arena-sets, and has no need for still-live
802 SV detection.
803
804 At the outermost level, (new|del)_X*V macros return bodies of the
805 appropriate type.  These macros call either (new|del)_body_type or
806 (new|del)_body_allocated macro pairs, depending on specifics of the
807 type.  Most body types use the former pair, the latter pair is used to
808 allocate body types with "ghost fields".
809
810 "ghost fields" are fields that are unused in certain types, and
811 consequently don't need to actually exist.  They are declared because
812 they're part of a "base type", which allows use of functions as
813 methods.  The simplest examples are AVs and HVs, 2 aggregate types
814 which don't use the fields which support SCALAR semantics.
815
816 For these types, the arenas are carved up into appropriately sized
817 chunks, we thus avoid wasted memory for those unaccessed members.
818 When bodies are allocated, we adjust the pointer back in memory by the
819 size of the part not allocated, so it's as if we allocated the full
820 structure.  (But things will all go boom if you write to the part that
821 is "not there", because you'll be overwriting the last members of the
822 preceding structure in memory.)
823
824 We calculate the correction using the STRUCT_OFFSET macro on the first
825 member present.  If the allocated structure is smaller (no initial NV
826 actually allocated) then the net effect is to subtract the size of the NV
827 from the pointer, to return a new pointer as if an initial NV were actually
828 allocated.  (We were using structures named *_allocated for this, but
829 this turned out to be a subtle bug, because a structure without an NV
830 could have a lower alignment constraint, but the compiler is allowed to
831 optimised accesses based on the alignment constraint of the actual pointer
832 to the full structure, for example, using a single 64 bit load instruction
833 because it "knows" that two adjacent 32 bit members will be 8-byte aligned.)
834
835 This is the same trick as was used for NV and IV bodies.  Ironically it
836 doesn't need to be used for NV bodies any more, because NV is now at
837 the start of the structure.  IV bodies, and also in some builds NV bodies,
838 don't need it either, because they are no longer allocated.
839
840 In turn, the new_body_* allocators call S_new_body(), which invokes
841 new_body_inline macro, which takes a lock, and takes a body off the
842 linked list at PL_body_roots[sv_type], calling Perl_more_bodies() if
843 necessary to refresh an empty list.  Then the lock is released, and
844 the body is returned.
845
846 Perl_more_bodies allocates a new arena, and carves it up into an array of N
847 bodies, which it strings into a linked list.  It looks up arena-size
848 and body-size from the body_details table described below, thus
849 supporting the multiple body-types.
850
851 If PURIFY is defined, or PERL_ARENA_SIZE=0, arenas are not used, and
852 the (new|del)_X*V macros are mapped directly to malloc/free.
853
854 For each sv-type, struct body_details bodies_by_type[] carries
855 parameters which control these aspects of SV handling:
856
857 Arena_size determines whether arenas are used for this body type, and if
858 so, how big they are.  PURIFY or PERL_ARENA_SIZE=0 set this field to
859 zero, forcing individual mallocs and frees.
860
861 Body_size determines how big a body is, and therefore how many fit into
862 each arena.  Offset carries the body-pointer adjustment needed for
863 "ghost fields", and is used in *_allocated macros.
864
865 But its main purpose is to parameterize info needed in
866 Perl_sv_upgrade().  The info here dramatically simplifies the function
867 vs the implementation in 5.8.8, making it table-driven.  All fields
868 are used for this, except for arena_size.
869
870 For the sv-types that have no bodies, arenas are not used, so those
871 PL_body_roots[sv_type] are unused, and can be overloaded.  In
872 something of a special case, SVt_NULL is borrowed for HE arenas;
873 PL_body_roots[HE_SVSLOT=SVt_NULL] is filled by S_more_he, but the
874 bodies_by_type[SVt_NULL] slot is not used, as the table is not
875 available in hv.c.
876
877 */
878
879 struct body_details {
880     U8 body_size;       /* Size to allocate  */
881     U8 copy;            /* Size of structure to copy (may be shorter)  */
882     U8 offset;          /* Size of unalloced ghost fields to first alloced field*/
883     PERL_BITFIELD8 type : 4;        /* We have space for a sanity check. */
884     PERL_BITFIELD8 cant_upgrade : 1;/* Cannot upgrade this type */
885     PERL_BITFIELD8 zero_nv : 1;     /* zero the NV when upgrading from this */
886     PERL_BITFIELD8 arena : 1;       /* Allocated from an arena */
887     U32 arena_size;                 /* Size of arena to allocate */
888 };
889
890 #define HADNV FALSE
891 #define NONV TRUE
892
893
894 #ifdef PURIFY
895 /* With -DPURFIY we allocate everything directly, and don't use arenas.
896    This seems a rather elegant way to simplify some of the code below.  */
897 #define HASARENA FALSE
898 #else
899 #define HASARENA TRUE
900 #endif
901 #define NOARENA FALSE
902
903 /* Size the arenas to exactly fit a given number of bodies.  A count
904    of 0 fits the max number bodies into a PERL_ARENA_SIZE.block,
905    simplifying the default.  If count > 0, the arena is sized to fit
906    only that many bodies, allowing arenas to be used for large, rare
907    bodies (XPVFM, XPVIO) without undue waste.  The arena size is
908    limited by PERL_ARENA_SIZE, so we can safely oversize the
909    declarations.
910  */
911 #define FIT_ARENA0(body_size)                           \
912     ((size_t)(PERL_ARENA_SIZE / body_size) * body_size)
913 #define FIT_ARENAn(count,body_size)                     \
914     ( count * body_size <= PERL_ARENA_SIZE)             \
915     ? count * body_size                                 \
916     : FIT_ARENA0 (body_size)
917 #define FIT_ARENA(count,body_size)                      \
918    (U32)(count                                          \
919     ? FIT_ARENAn (count, body_size)                     \
920     : FIT_ARENA0 (body_size))
921
922 /* Calculate the length to copy. Specifically work out the length less any
923    final padding the compiler needed to add.  See the comment in sv_upgrade
924    for why copying the padding proved to be a bug.  */
925
926 #define copy_length(type, last_member) \
927         STRUCT_OFFSET(type, last_member) \
928         + sizeof (((type*)SvANY((const SV *)0))->last_member)
929
930 static const struct body_details bodies_by_type[] = {
931     /* HEs use this offset for their arena.  */
932     { 0, 0, 0, SVt_NULL, FALSE, NONV, NOARENA, 0 },
933
934     /* IVs are in the head, so the allocation size is 0.  */
935     { 0,
936       sizeof(IV), /* This is used to copy out the IV body.  */
937       STRUCT_OFFSET(XPVIV, xiv_iv), SVt_IV, FALSE, NONV,
938       NOARENA /* IVS don't need an arena  */, 0
939     },
940
941 #if NVSIZE <= IVSIZE
942     { 0, sizeof(NV),
943       STRUCT_OFFSET(XPVNV, xnv_u),
944       SVt_NV, FALSE, HADNV, NOARENA, 0 },
945 #else
946     { sizeof(NV), sizeof(NV),
947       STRUCT_OFFSET(XPVNV, xnv_u),
948       SVt_NV, FALSE, HADNV, HASARENA, FIT_ARENA(0, sizeof(NV)) },
949 #endif
950
951     { sizeof(XPV) - STRUCT_OFFSET(XPV, xpv_cur),
952       copy_length(XPV, xpv_len) - STRUCT_OFFSET(XPV, xpv_cur),
953       + STRUCT_OFFSET(XPV, xpv_cur),
954       SVt_PV, FALSE, NONV, HASARENA,
955       FIT_ARENA(0, sizeof(XPV) - STRUCT_OFFSET(XPV, xpv_cur)) },
956
957     { sizeof(XINVLIST) - STRUCT_OFFSET(XPV, xpv_cur),
958       copy_length(XINVLIST, is_offset) - STRUCT_OFFSET(XPV, xpv_cur),
959       + STRUCT_OFFSET(XPV, xpv_cur),
960       SVt_INVLIST, TRUE, NONV, HASARENA,
961       FIT_ARENA(0, sizeof(XINVLIST) - STRUCT_OFFSET(XPV, xpv_cur)) },
962
963     { sizeof(XPVIV) - STRUCT_OFFSET(XPV, xpv_cur),
964       copy_length(XPVIV, xiv_u) - STRUCT_OFFSET(XPV, xpv_cur),
965       + STRUCT_OFFSET(XPV, xpv_cur),
966       SVt_PVIV, FALSE, NONV, HASARENA,
967       FIT_ARENA(0, sizeof(XPVIV) - STRUCT_OFFSET(XPV, xpv_cur)) },
968
969     { sizeof(XPVNV) - STRUCT_OFFSET(XPV, xpv_cur),
970       copy_length(XPVNV, xnv_u) - STRUCT_OFFSET(XPV, xpv_cur),
971       + STRUCT_OFFSET(XPV, xpv_cur),
972       SVt_PVNV, FALSE, HADNV, HASARENA,
973       FIT_ARENA(0, sizeof(XPVNV) - STRUCT_OFFSET(XPV, xpv_cur)) },
974
975     { sizeof(XPVMG), copy_length(XPVMG, xnv_u), 0, SVt_PVMG, FALSE, HADNV,
976       HASARENA, FIT_ARENA(0, sizeof(XPVMG)) },
977
978     { sizeof(regexp),
979       sizeof(regexp),
980       0,
981       SVt_REGEXP, TRUE, NONV, HASARENA,
982       FIT_ARENA(0, sizeof(regexp))
983     },
984
985     { sizeof(XPVGV), sizeof(XPVGV), 0, SVt_PVGV, TRUE, HADNV,
986       HASARENA, FIT_ARENA(0, sizeof(XPVGV)) },
987     
988     { sizeof(XPVLV), sizeof(XPVLV), 0, SVt_PVLV, TRUE, HADNV,
989       HASARENA, FIT_ARENA(0, sizeof(XPVLV)) },
990
991     { sizeof(XPVAV),
992       copy_length(XPVAV, xav_alloc),
993       0,
994       SVt_PVAV, TRUE, NONV, HASARENA,
995       FIT_ARENA(0, sizeof(XPVAV)) },
996
997     { sizeof(XPVHV),
998       copy_length(XPVHV, xhv_max),
999       0,
1000       SVt_PVHV, TRUE, NONV, HASARENA,
1001       FIT_ARENA(0, sizeof(XPVHV)) },
1002
1003     { sizeof(XPVCV),
1004       sizeof(XPVCV),
1005       0,
1006       SVt_PVCV, TRUE, NONV, HASARENA,
1007       FIT_ARENA(0, sizeof(XPVCV)) },
1008
1009     { sizeof(XPVFM),
1010       sizeof(XPVFM),
1011       0,
1012       SVt_PVFM, TRUE, NONV, NOARENA,
1013       FIT_ARENA(20, sizeof(XPVFM)) },
1014
1015     { sizeof(XPVIO),
1016       sizeof(XPVIO),
1017       0,
1018       SVt_PVIO, TRUE, NONV, HASARENA,
1019       FIT_ARENA(24, sizeof(XPVIO)) },
1020 };
1021
1022 #define new_body_allocated(sv_type)             \
1023     (void *)((char *)S_new_body(aTHX_ sv_type)  \
1024              - bodies_by_type[sv_type].offset)
1025
1026 /* return a thing to the free list */
1027
1028 #define del_body(thing, root)                           \
1029     STMT_START {                                        \
1030         void ** const thing_copy = (void **)thing;      \
1031         *thing_copy = *root;                            \
1032         *root = (void*)thing_copy;                      \
1033     } STMT_END
1034
1035 #ifdef PURIFY
1036 #if !(NVSIZE <= IVSIZE)
1037 #  define new_XNV()     safemalloc(sizeof(XPVNV))
1038 #endif
1039 #define new_XPVNV()     safemalloc(sizeof(XPVNV))
1040 #define new_XPVMG()     safemalloc(sizeof(XPVMG))
1041
1042 #define del_XPVGV(p)    safefree(p)
1043
1044 #else /* !PURIFY */
1045
1046 #if !(NVSIZE <= IVSIZE)
1047 #  define new_XNV()     new_body_allocated(SVt_NV)
1048 #endif
1049 #define new_XPVNV()     new_body_allocated(SVt_PVNV)
1050 #define new_XPVMG()     new_body_allocated(SVt_PVMG)
1051
1052 #define del_XPVGV(p)    del_body(p + bodies_by_type[SVt_PVGV].offset,   \
1053                                  &PL_body_roots[SVt_PVGV])
1054
1055 #endif /* PURIFY */
1056
1057 /* no arena for you! */
1058
1059 #define new_NOARENA(details) \
1060         safemalloc((details)->body_size + (details)->offset)
1061 #define new_NOARENAZ(details) \
1062         safecalloc((details)->body_size + (details)->offset, 1)
1063
1064 void *
1065 Perl_more_bodies (pTHX_ const svtype sv_type, const size_t body_size,
1066                   const size_t arena_size)
1067 {
1068     void ** const root = &PL_body_roots[sv_type];
1069     struct arena_desc *adesc;
1070     struct arena_set *aroot = (struct arena_set *) PL_body_arenas;
1071     unsigned int curr;
1072     char *start;
1073     const char *end;
1074     const size_t good_arena_size = Perl_malloc_good_size(arena_size);
1075 #if defined(DEBUGGING) && defined(PERL_GLOBAL_STRUCT)
1076     dVAR;
1077 #endif
1078 #if defined(DEBUGGING) && !defined(PERL_GLOBAL_STRUCT_PRIVATE)
1079     static bool done_sanity_check;
1080
1081     /* PERL_GLOBAL_STRUCT_PRIVATE cannot coexist with global
1082      * variables like done_sanity_check. */
1083     if (!done_sanity_check) {
1084         unsigned int i = SVt_LAST;
1085
1086         done_sanity_check = TRUE;
1087
1088         while (i--)
1089             assert (bodies_by_type[i].type == i);
1090     }
1091 #endif
1092
1093     assert(arena_size);
1094
1095     /* may need new arena-set to hold new arena */
1096     if (!aroot || aroot->curr >= aroot->set_size) {
1097         struct arena_set *newroot;
1098         Newxz(newroot, 1, struct arena_set);
1099         newroot->set_size = ARENAS_PER_SET;
1100         newroot->next = aroot;
1101         aroot = newroot;
1102         PL_body_arenas = (void *) newroot;
1103         DEBUG_m(PerlIO_printf(Perl_debug_log, "new arenaset %p\n", (void*)aroot));
1104     }
1105
1106     /* ok, now have arena-set with at least 1 empty/available arena-desc */
1107     curr = aroot->curr++;
1108     adesc = &(aroot->set[curr]);
1109     assert(!adesc->arena);
1110     
1111     Newx(adesc->arena, good_arena_size, char);
1112     adesc->size = good_arena_size;
1113     adesc->utype = sv_type;
1114     DEBUG_m(PerlIO_printf(Perl_debug_log, "arena %d added: %p size %" UVuf "\n",
1115                           curr, (void*)adesc->arena, (UV)good_arena_size));
1116
1117     start = (char *) adesc->arena;
1118
1119     /* Get the address of the byte after the end of the last body we can fit.
1120        Remember, this is integer division:  */
1121     end = start + good_arena_size / body_size * body_size;
1122
1123     /* computed count doesn't reflect the 1st slot reservation */
1124 #if defined(MYMALLOC) || defined(HAS_MALLOC_GOOD_SIZE)
1125     DEBUG_m(PerlIO_printf(Perl_debug_log,
1126                           "arena %p end %p arena-size %d (from %d) type %d "
1127                           "size %d ct %d\n",
1128                           (void*)start, (void*)end, (int)good_arena_size,
1129                           (int)arena_size, sv_type, (int)body_size,
1130                           (int)good_arena_size / (int)body_size));
1131 #else
1132     DEBUG_m(PerlIO_printf(Perl_debug_log,
1133                           "arena %p end %p arena-size %d type %d size %d ct %d\n",
1134                           (void*)start, (void*)end,
1135                           (int)arena_size, sv_type, (int)body_size,
1136                           (int)good_arena_size / (int)body_size));
1137 #endif
1138     *root = (void *)start;
1139
1140     while (1) {
1141         /* Where the next body would start:  */
1142         char * const next = start + body_size;
1143
1144         if (next >= end) {
1145             /* This is the last body:  */
1146             assert(next == end);
1147
1148             *(void **)start = 0;
1149             return *root;
1150         }
1151
1152         *(void**) start = (void *)next;
1153         start = next;
1154     }
1155 }
1156
1157 /* grab a new thing from the free list, allocating more if necessary.
1158    The inline version is used for speed in hot routines, and the
1159    function using it serves the rest (unless PURIFY).
1160 */
1161 #define new_body_inline(xpv, sv_type) \
1162     STMT_START { \
1163         void ** const r3wt = &PL_body_roots[sv_type]; \
1164         xpv = (PTR_TBL_ENT_t*) (*((void **)(r3wt))      \
1165           ? *((void **)(r3wt)) : Perl_more_bodies(aTHX_ sv_type, \
1166                                              bodies_by_type[sv_type].body_size,\
1167                                              bodies_by_type[sv_type].arena_size)); \
1168         *(r3wt) = *(void**)(xpv); \
1169     } STMT_END
1170
1171 #ifndef PURIFY
1172
1173 STATIC void *
1174 S_new_body(pTHX_ const svtype sv_type)
1175 {
1176     void *xpv;
1177     new_body_inline(xpv, sv_type);
1178     return xpv;
1179 }
1180
1181 #endif
1182
1183 static const struct body_details fake_rv =
1184     { 0, 0, 0, SVt_IV, FALSE, NONV, NOARENA, 0 };
1185
1186 /*
1187 =for apidoc sv_upgrade
1188
1189 Upgrade an SV to a more complex form.  Generally adds a new body type to the
1190 SV, then copies across as much information as possible from the old body.
1191 It croaks if the SV is already in a more complex form than requested.  You
1192 generally want to use the C<SvUPGRADE> macro wrapper, which checks the type
1193 before calling C<sv_upgrade>, and hence does not croak.  See also
1194 C<L</svtype>>.
1195
1196 =cut
1197 */
1198
1199 void
1200 Perl_sv_upgrade(pTHX_ SV *const sv, svtype new_type)
1201 {
1202     void*       old_body;
1203     void*       new_body;
1204     const svtype old_type = SvTYPE(sv);
1205     const struct body_details *new_type_details;
1206     const struct body_details *old_type_details
1207         = bodies_by_type + old_type;
1208     SV *referent = NULL;
1209
1210     PERL_ARGS_ASSERT_SV_UPGRADE;
1211
1212     if (old_type == new_type)
1213         return;
1214
1215     /* This clause was purposefully added ahead of the early return above to
1216        the shared string hackery for (sort {$a <=> $b} keys %hash), with the
1217        inference by Nick I-S that it would fix other troublesome cases. See
1218        changes 7162, 7163 (f130fd4589cf5fbb24149cd4db4137c8326f49c1 and parent)
1219
1220        Given that shared hash key scalars are no longer PVIV, but PV, there is
1221        no longer need to unshare so as to free up the IVX slot for its proper
1222        purpose. So it's safe to move the early return earlier.  */
1223
1224     if (new_type > SVt_PVMG && SvIsCOW(sv)) {
1225         sv_force_normal_flags(sv, 0);
1226     }
1227
1228     old_body = SvANY(sv);
1229
1230     /* Copying structures onto other structures that have been neatly zeroed
1231        has a subtle gotcha. Consider XPVMG
1232
1233        +------+------+------+------+------+-------+-------+
1234        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |
1235        +------+------+------+------+------+-------+-------+
1236        0      4      8     12     16     20      24      28
1237
1238        where NVs are aligned to 8 bytes, so that sizeof that structure is
1239        actually 32 bytes long, with 4 bytes of padding at the end:
1240
1241        +------+------+------+------+------+-------+-------+------+
1242        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH | ???  |
1243        +------+------+------+------+------+-------+-------+------+
1244        0      4      8     12     16     20      24      28     32
1245
1246        so what happens if you allocate memory for this structure:
1247
1248        +------+------+------+------+------+-------+-------+------+------+...
1249        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |  GP  | NAME |
1250        +------+------+------+------+------+-------+-------+------+------+...
1251        0      4      8     12     16     20      24      28     32     36
1252
1253        zero it, then copy sizeof(XPVMG) bytes on top of it? Not quite what you
1254        expect, because you copy the area marked ??? onto GP. Now, ??? may have
1255        started out as zero once, but it's quite possible that it isn't. So now,
1256        rather than a nicely zeroed GP, you have it pointing somewhere random.
1257        Bugs ensue.
1258
1259        (In fact, GP ends up pointing at a previous GP structure, because the
1260        principle cause of the padding in XPVMG getting garbage is a copy of
1261        sizeof(XPVMG) bytes from a XPVGV structure in sv_unglob. Right now
1262        this happens to be moot because XPVGV has been re-ordered, with GP
1263        no longer after STASH)
1264
1265        So we are careful and work out the size of used parts of all the
1266        structures.  */
1267
1268     switch (old_type) {
1269     case SVt_NULL:
1270         break;
1271     case SVt_IV:
1272         if (SvROK(sv)) {
1273             referent = SvRV(sv);
1274             old_type_details = &fake_rv;
1275             if (new_type == SVt_NV)
1276                 new_type = SVt_PVNV;
1277         } else {
1278             if (new_type < SVt_PVIV) {
1279                 new_type = (new_type == SVt_NV)
1280                     ? SVt_PVNV : SVt_PVIV;
1281             }
1282         }
1283         break;
1284     case SVt_NV:
1285         if (new_type < SVt_PVNV) {
1286             new_type = SVt_PVNV;
1287         }
1288         break;
1289     case SVt_PV:
1290         assert(new_type > SVt_PV);
1291         STATIC_ASSERT_STMT(SVt_IV < SVt_PV);
1292         STATIC_ASSERT_STMT(SVt_NV < SVt_PV);
1293         break;
1294     case SVt_PVIV:
1295         break;
1296     case SVt_PVNV:
1297         break;
1298     case SVt_PVMG:
1299         /* Because the XPVMG of PL_mess_sv isn't allocated from the arena,
1300            there's no way that it can be safely upgraded, because perl.c
1301            expects to Safefree(SvANY(PL_mess_sv))  */
1302         assert(sv != PL_mess_sv);
1303         break;
1304     default:
1305         if (UNLIKELY(old_type_details->cant_upgrade))
1306             Perl_croak(aTHX_ "Can't upgrade %s (%" UVuf ") to %" UVuf,
1307                        sv_reftype(sv, 0), (UV) old_type, (UV) new_type);
1308     }
1309
1310     if (UNLIKELY(old_type > new_type))
1311         Perl_croak(aTHX_ "sv_upgrade from type %d down to type %d",
1312                 (int)old_type, (int)new_type);
1313
1314     new_type_details = bodies_by_type + new_type;
1315
1316     SvFLAGS(sv) &= ~SVTYPEMASK;
1317     SvFLAGS(sv) |= new_type;
1318
1319     /* This can't happen, as SVt_NULL is <= all values of new_type, so one of
1320        the return statements above will have triggered.  */
1321     assert (new_type != SVt_NULL);
1322     switch (new_type) {
1323     case SVt_IV:
1324         assert(old_type == SVt_NULL);
1325         SET_SVANY_FOR_BODYLESS_IV(sv);
1326         SvIV_set(sv, 0);
1327         return;
1328     case SVt_NV:
1329         assert(old_type == SVt_NULL);
1330 #if NVSIZE <= IVSIZE
1331         SET_SVANY_FOR_BODYLESS_NV(sv);
1332 #else
1333         SvANY(sv) = new_XNV();
1334 #endif
1335         SvNV_set(sv, 0);
1336         return;
1337     case SVt_PVHV:
1338     case SVt_PVAV:
1339         assert(new_type_details->body_size);
1340
1341 #ifndef PURIFY  
1342         assert(new_type_details->arena);
1343         assert(new_type_details->arena_size);
1344         /* This points to the start of the allocated area.  */
1345         new_body_inline(new_body, new_type);
1346         Zero(new_body, new_type_details->body_size, char);
1347         new_body = ((char *)new_body) - new_type_details->offset;
1348 #else
1349         /* We always allocated the full length item with PURIFY. To do this
1350            we fake things so that arena is false for all 16 types..  */
1351         new_body = new_NOARENAZ(new_type_details);
1352 #endif
1353         SvANY(sv) = new_body;
1354         if (new_type == SVt_PVAV) {
1355             AvMAX(sv)   = -1;
1356             AvFILLp(sv) = -1;
1357             AvREAL_only(sv);
1358             if (old_type_details->body_size) {
1359                 AvALLOC(sv) = 0;
1360             } else {
1361                 /* It will have been zeroed when the new body was allocated.
1362                    Lets not write to it, in case it confuses a write-back
1363                    cache.  */
1364             }
1365         } else {
1366             assert(!SvOK(sv));
1367             SvOK_off(sv);
1368 #ifndef NODEFAULT_SHAREKEYS
1369             HvSHAREKEYS_on(sv);         /* key-sharing on by default */
1370 #endif
1371             /* start with PERL_HASH_DEFAULT_HvMAX+1 buckets: */
1372             HvMAX(sv) = PERL_HASH_DEFAULT_HvMAX;
1373         }
1374
1375         /* SVt_NULL isn't the only thing upgraded to AV or HV.
1376            The target created by newSVrv also is, and it can have magic.
1377            However, it never has SvPVX set.
1378         */
1379         if (old_type == SVt_IV) {
1380             assert(!SvROK(sv));
1381         } else if (old_type >= SVt_PV) {
1382             assert(SvPVX_const(sv) == 0);
1383         }
1384
1385         if (old_type >= SVt_PVMG) {
1386             SvMAGIC_set(sv, ((XPVMG*)old_body)->xmg_u.xmg_magic);
1387             SvSTASH_set(sv, ((XPVMG*)old_body)->xmg_stash);
1388         } else {
1389             sv->sv_u.svu_array = NULL; /* or svu_hash  */
1390         }
1391         break;
1392
1393     case SVt_PVIV:
1394         /* XXX Is this still needed?  Was it ever needed?   Surely as there is
1395            no route from NV to PVIV, NOK can never be true  */
1396         assert(!SvNOKp(sv));
1397         assert(!SvNOK(sv));
1398         /* FALLTHROUGH */
1399     case SVt_PVIO:
1400     case SVt_PVFM:
1401     case SVt_PVGV:
1402     case SVt_PVCV:
1403     case SVt_PVLV:
1404     case SVt_INVLIST:
1405     case SVt_REGEXP:
1406     case SVt_PVMG:
1407     case SVt_PVNV:
1408     case SVt_PV:
1409
1410         assert(new_type_details->body_size);
1411         /* We always allocated the full length item with PURIFY. To do this
1412            we fake things so that arena is false for all 16 types..  */
1413         if(new_type_details->arena) {
1414             /* This points to the start of the allocated area.  */
1415             new_body_inline(new_body, new_type);
1416             Zero(new_body, new_type_details->body_size, char);
1417             new_body = ((char *)new_body) - new_type_details->offset;
1418         } else {
1419             new_body = new_NOARENAZ(new_type_details);
1420         }
1421         SvANY(sv) = new_body;
1422
1423         if (old_type_details->copy) {
1424             /* There is now the potential for an upgrade from something without
1425                an offset (PVNV or PVMG) to something with one (PVCV, PVFM)  */
1426             int offset = old_type_details->offset;
1427             int length = old_type_details->copy;
1428
1429             if (new_type_details->offset > old_type_details->offset) {
1430                 const int difference
1431                     = new_type_details->offset - old_type_details->offset;
1432                 offset += difference;
1433                 length -= difference;
1434             }
1435             assert (length >= 0);
1436                 
1437             Copy((char *)old_body + offset, (char *)new_body + offset, length,
1438                  char);
1439         }
1440
1441 #ifndef NV_ZERO_IS_ALLBITS_ZERO
1442         /* If NV 0.0 is stores as all bits 0 then Zero() already creates a
1443          * correct 0.0 for us.  Otherwise, if the old body didn't have an
1444          * NV slot, but the new one does, then we need to initialise the
1445          * freshly created NV slot with whatever the correct bit pattern is
1446          * for 0.0  */
1447         if (old_type_details->zero_nv && !new_type_details->zero_nv
1448             && !isGV_with_GP(sv))
1449             SvNV_set(sv, 0);
1450 #endif
1451
1452         if (UNLIKELY(new_type == SVt_PVIO)) {
1453             IO * const io = MUTABLE_IO(sv);
1454             GV *iogv = gv_fetchpvs("IO::File::", GV_ADD, SVt_PVHV);
1455
1456             SvOBJECT_on(io);
1457             /* Clear the stashcache because a new IO could overrule a package
1458                name */
1459             DEBUG_o(Perl_deb(aTHX_ "sv_upgrade clearing PL_stashcache\n"));
1460             hv_clear(PL_stashcache);
1461
1462             SvSTASH_set(io, MUTABLE_HV(SvREFCNT_inc(GvHV(iogv))));
1463             IoPAGE_LEN(sv) = 60;
1464         }
1465         if (UNLIKELY(new_type == SVt_REGEXP))
1466             sv->sv_u.svu_rx = (regexp *)new_body;
1467         else if (old_type < SVt_PV) {
1468             /* referent will be NULL unless the old type was SVt_IV emulating
1469                SVt_RV */
1470             sv->sv_u.svu_rv = referent;
1471         }
1472         break;
1473     default:
1474         Perl_croak(aTHX_ "panic: sv_upgrade to unknown type %lu",
1475                    (unsigned long)new_type);
1476     }
1477
1478     /* if this is zero, this is a body-less SVt_NULL, SVt_IV/SVt_RV,
1479        and sometimes SVt_NV */
1480     if (old_type_details->body_size) {
1481 #ifdef PURIFY
1482         safefree(old_body);
1483 #else
1484         /* Note that there is an assumption that all bodies of types that
1485            can be upgraded came from arenas. Only the more complex non-
1486            upgradable types are allowed to be directly malloc()ed.  */
1487         assert(old_type_details->arena);
1488         del_body((void*)((char*)old_body + old_type_details->offset),
1489                  &PL_body_roots[old_type]);
1490 #endif
1491     }
1492 }
1493
1494 /*
1495 =for apidoc sv_backoff
1496
1497 Remove any string offset.  You should normally use the C<SvOOK_off> macro
1498 wrapper instead.
1499
1500 =cut
1501 */
1502
1503 /* prior to 5.000 stable, this function returned the new OOK-less SvFLAGS
1504    prior to 5.23.4 this function always returned 0
1505 */
1506
1507 void
1508 Perl_sv_backoff(SV *const sv)
1509 {
1510     STRLEN delta;
1511     const char * const s = SvPVX_const(sv);
1512
1513     PERL_ARGS_ASSERT_SV_BACKOFF;
1514
1515     assert(SvOOK(sv));
1516     assert(SvTYPE(sv) != SVt_PVHV);
1517     assert(SvTYPE(sv) != SVt_PVAV);
1518
1519     SvOOK_offset(sv, delta);
1520     
1521     SvLEN_set(sv, SvLEN(sv) + delta);
1522     SvPV_set(sv, SvPVX(sv) - delta);
1523     SvFLAGS(sv) &= ~SVf_OOK;
1524     Move(s, SvPVX(sv), SvCUR(sv)+1, char);
1525     return;
1526 }
1527
1528 /*
1529 =for apidoc sv_grow
1530
1531 Expands the character buffer in the SV.  If necessary, uses C<sv_unref> and
1532 upgrades the SV to C<SVt_PV>.  Returns a pointer to the character buffer.
1533 Use the C<SvGROW> wrapper instead.
1534
1535 =cut
1536 */
1537
1538 static void S_sv_uncow(pTHX_ SV * const sv, const U32 flags);
1539
1540 char *
1541 Perl_sv_grow(pTHX_ SV *const sv, STRLEN newlen)
1542 {
1543     char *s;
1544
1545     PERL_ARGS_ASSERT_SV_GROW;
1546
1547     if (SvROK(sv))
1548         sv_unref(sv);
1549     if (SvTYPE(sv) < SVt_PV) {
1550         sv_upgrade(sv, SVt_PV);
1551         s = SvPVX_mutable(sv);
1552     }
1553     else if (SvOOK(sv)) {       /* pv is offset? */
1554         sv_backoff(sv);
1555         s = SvPVX_mutable(sv);
1556         if (newlen > SvLEN(sv))
1557             newlen += 10 * (newlen - SvCUR(sv)); /* avoid copy each time */
1558     }
1559     else
1560     {
1561         if (SvIsCOW(sv)) S_sv_uncow(aTHX_ sv, 0);
1562         s = SvPVX_mutable(sv);
1563     }
1564
1565 #ifdef PERL_COPY_ON_WRITE
1566     /* the new COW scheme uses SvPVX(sv)[SvLEN(sv)-1] (if spare)
1567      * to store the COW count. So in general, allocate one more byte than
1568      * asked for, to make it likely this byte is always spare: and thus
1569      * make more strings COW-able.
1570      *
1571      * Only increment if the allocation isn't MEM_SIZE_MAX,
1572      * otherwise it will wrap to 0.
1573      */
1574     if ( newlen != MEM_SIZE_MAX )
1575         newlen++;
1576 #endif
1577
1578 #if defined(PERL_USE_MALLOC_SIZE) && defined(Perl_safesysmalloc_size)
1579 #define PERL_UNWARANTED_CHUMMINESS_WITH_MALLOC
1580 #endif
1581
1582     if (newlen > SvLEN(sv)) {           /* need more room? */
1583         STRLEN minlen = SvCUR(sv);
1584         minlen += (minlen >> PERL_STRLEN_EXPAND_SHIFT) + 10;
1585         if (newlen < minlen)
1586             newlen = minlen;
1587 #ifndef PERL_UNWARANTED_CHUMMINESS_WITH_MALLOC
1588
1589         /* Don't round up on the first allocation, as odds are pretty good that
1590          * the initial request is accurate as to what is really needed */
1591         if (SvLEN(sv)) {
1592             STRLEN rounded = PERL_STRLEN_ROUNDUP(newlen);
1593             if (rounded > newlen)
1594                 newlen = rounded;
1595         }
1596 #endif
1597         if (SvLEN(sv) && s) {
1598             s = (char*)saferealloc(s, newlen);
1599         }
1600         else {
1601             s = (char*)safemalloc(newlen);
1602             if (SvPVX_const(sv) && SvCUR(sv)) {
1603                 Move(SvPVX_const(sv), s, SvCUR(sv), char);
1604             }
1605         }
1606         SvPV_set(sv, s);
1607 #ifdef PERL_UNWARANTED_CHUMMINESS_WITH_MALLOC
1608         /* Do this here, do it once, do it right, and then we will never get
1609            called back into sv_grow() unless there really is some growing
1610            needed.  */
1611         SvLEN_set(sv, Perl_safesysmalloc_size(s));
1612 #else
1613         SvLEN_set(sv, newlen);
1614 #endif
1615     }
1616     return s;
1617 }
1618
1619 /*
1620 =for apidoc sv_setiv
1621
1622 Copies an integer into the given SV, upgrading first if necessary.
1623 Does not handle 'set' magic.  See also C<L</sv_setiv_mg>>.
1624
1625 =cut
1626 */
1627
1628 void
1629 Perl_sv_setiv(pTHX_ SV *const sv, const IV i)
1630 {
1631     PERL_ARGS_ASSERT_SV_SETIV;
1632
1633     SV_CHECK_THINKFIRST_COW_DROP(sv);
1634     switch (SvTYPE(sv)) {
1635     case SVt_NULL:
1636     case SVt_NV:
1637         sv_upgrade(sv, SVt_IV);
1638         break;
1639     case SVt_PV:
1640         sv_upgrade(sv, SVt_PVIV);
1641         break;
1642
1643     case SVt_PVGV:
1644         if (!isGV_with_GP(sv))
1645             break;
1646     case SVt_PVAV:
1647     case SVt_PVHV:
1648     case SVt_PVCV:
1649     case SVt_PVFM:
1650     case SVt_PVIO:
1651         /* diag_listed_as: Can't coerce %s to %s in %s */
1652         Perl_croak(aTHX_ "Can't coerce %s to integer in %s", sv_reftype(sv,0),
1653                    OP_DESC(PL_op));
1654         break;
1655     default: NOOP;
1656     }
1657     (void)SvIOK_only(sv);                       /* validate number */
1658     SvIV_set(sv, i);
1659     SvTAINT(sv);
1660 }
1661
1662 /*
1663 =for apidoc sv_setiv_mg
1664
1665 Like C<sv_setiv>, but also handles 'set' magic.
1666
1667 =cut
1668 */
1669
1670 void
1671 Perl_sv_setiv_mg(pTHX_ SV *const sv, const IV i)
1672 {
1673     PERL_ARGS_ASSERT_SV_SETIV_MG;
1674
1675     sv_setiv(sv,i);
1676     SvSETMAGIC(sv);
1677 }
1678
1679 /*
1680 =for apidoc sv_setuv
1681
1682 Copies an unsigned integer into the given SV, upgrading first if necessary.
1683 Does not handle 'set' magic.  See also C<L</sv_setuv_mg>>.
1684
1685 =cut
1686 */
1687
1688 void
1689 Perl_sv_setuv(pTHX_ SV *const sv, const UV u)
1690 {
1691     PERL_ARGS_ASSERT_SV_SETUV;
1692
1693     /* With the if statement to ensure that integers are stored as IVs whenever
1694        possible:
1695        u=1.49  s=0.52  cu=72.49  cs=10.64  scripts=270  tests=20865
1696
1697        without
1698        u=1.35  s=0.47  cu=73.45  cs=11.43  scripts=270  tests=20865
1699
1700        If you wish to remove the following if statement, so that this routine
1701        (and its callers) always return UVs, please benchmark to see what the
1702        effect is. Modern CPUs may be different. Or may not :-)
1703     */
1704     if (u <= (UV)IV_MAX) {
1705        sv_setiv(sv, (IV)u);
1706        return;
1707     }
1708     sv_setiv(sv, 0);
1709     SvIsUV_on(sv);
1710     SvUV_set(sv, u);
1711 }
1712
1713 /*
1714 =for apidoc sv_setuv_mg
1715
1716 Like C<sv_setuv>, but also handles 'set' magic.
1717
1718 =cut
1719 */
1720
1721 void
1722 Perl_sv_setuv_mg(pTHX_ SV *const sv, const UV u)
1723 {
1724     PERL_ARGS_ASSERT_SV_SETUV_MG;
1725
1726     sv_setuv(sv,u);
1727     SvSETMAGIC(sv);
1728 }
1729
1730 /*
1731 =for apidoc sv_setnv
1732
1733 Copies a double into the given SV, upgrading first if necessary.
1734 Does not handle 'set' magic.  See also C<L</sv_setnv_mg>>.
1735
1736 =cut
1737 */
1738
1739 void
1740 Perl_sv_setnv(pTHX_ SV *const sv, const NV num)
1741 {
1742     PERL_ARGS_ASSERT_SV_SETNV;
1743
1744     SV_CHECK_THINKFIRST_COW_DROP(sv);
1745     switch (SvTYPE(sv)) {
1746     case SVt_NULL:
1747     case SVt_IV:
1748         sv_upgrade(sv, SVt_NV);
1749         break;
1750     case SVt_PV:
1751     case SVt_PVIV:
1752         sv_upgrade(sv, SVt_PVNV);
1753         break;
1754
1755     case SVt_PVGV:
1756         if (!isGV_with_GP(sv))
1757             break;
1758     case SVt_PVAV:
1759     case SVt_PVHV:
1760     case SVt_PVCV:
1761     case SVt_PVFM:
1762     case SVt_PVIO:
1763         /* diag_listed_as: Can't coerce %s to %s in %s */
1764         Perl_croak(aTHX_ "Can't coerce %s to number in %s", sv_reftype(sv,0),
1765                    OP_DESC(PL_op));
1766         break;
1767     default: NOOP;
1768     }
1769     SvNV_set(sv, num);
1770     (void)SvNOK_only(sv);                       /* validate number */
1771     SvTAINT(sv);
1772 }
1773
1774 /*
1775 =for apidoc sv_setnv_mg
1776
1777 Like C<sv_setnv>, but also handles 'set' magic.
1778
1779 =cut
1780 */
1781
1782 void
1783 Perl_sv_setnv_mg(pTHX_ SV *const sv, const NV num)
1784 {
1785     PERL_ARGS_ASSERT_SV_SETNV_MG;
1786
1787     sv_setnv(sv,num);
1788     SvSETMAGIC(sv);
1789 }
1790
1791 /* Return a cleaned-up, printable version of sv, for non-numeric, or
1792  * not incrementable warning display.
1793  * Originally part of S_not_a_number().
1794  * The return value may be != tmpbuf.
1795  */
1796
1797 STATIC const char *
1798 S_sv_display(pTHX_ SV *const sv, char *tmpbuf, STRLEN tmpbuf_size) {
1799     const char *pv;
1800
1801      PERL_ARGS_ASSERT_SV_DISPLAY;
1802
1803      if (DO_UTF8(sv)) {
1804           SV *dsv = newSVpvs_flags("", SVs_TEMP);
1805           pv = sv_uni_display(dsv, sv, 32, UNI_DISPLAY_ISPRINT);
1806      } else {
1807           char *d = tmpbuf;
1808           const char * const limit = tmpbuf + tmpbuf_size - 8;
1809           /* each *s can expand to 4 chars + "...\0",
1810              i.e. need room for 8 chars */
1811         
1812           const char *s = SvPVX_const(sv);
1813           const char * const end = s + SvCUR(sv);
1814           for ( ; s < end && d < limit; s++ ) {
1815                int ch = *s & 0xFF;
1816                if (! isASCII(ch) && !isPRINT_LC(ch)) {
1817                     *d++ = 'M';
1818                     *d++ = '-';
1819
1820                     /* Map to ASCII "equivalent" of Latin1 */
1821                     ch = LATIN1_TO_NATIVE(NATIVE_TO_LATIN1(ch) & 127);
1822                }
1823                if (ch == '\n') {
1824                     *d++ = '\\';
1825                     *d++ = 'n';
1826                }
1827                else if (ch == '\r') {
1828                     *d++ = '\\';
1829                     *d++ = 'r';
1830                }
1831                else if (ch == '\f') {
1832                     *d++ = '\\';
1833                     *d++ = 'f';
1834                }
1835                else if (ch == '\\') {
1836                     *d++ = '\\';
1837                     *d++ = '\\';
1838                }
1839                else if (ch == '\0') {
1840                     *d++ = '\\';
1841                     *d++ = '0';
1842                }
1843                else if (isPRINT_LC(ch))
1844                     *d++ = ch;
1845                else {
1846                     *d++ = '^';
1847                     *d++ = toCTRL(ch);
1848                }
1849           }
1850           if (s < end) {
1851                *d++ = '.';
1852                *d++ = '.';
1853                *d++ = '.';
1854           }
1855           *d = '\0';
1856           pv = tmpbuf;
1857     }
1858
1859     return pv;
1860 }
1861
1862 /* Print an "isn't numeric" warning, using a cleaned-up,
1863  * printable version of the offending string
1864  */
1865
1866 STATIC void
1867 S_not_a_number(pTHX_ SV *const sv)
1868 {
1869      char tmpbuf[64];
1870      const char *pv;
1871
1872      PERL_ARGS_ASSERT_NOT_A_NUMBER;
1873
1874      pv = sv_display(sv, tmpbuf, sizeof(tmpbuf));
1875
1876     if (PL_op)
1877         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1878                     /* diag_listed_as: Argument "%s" isn't numeric%s */
1879                     "Argument \"%s\" isn't numeric in %s", pv,
1880                     OP_DESC(PL_op));
1881     else
1882         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1883                     /* diag_listed_as: Argument "%s" isn't numeric%s */
1884                     "Argument \"%s\" isn't numeric", pv);
1885 }
1886
1887 STATIC void
1888 S_not_incrementable(pTHX_ SV *const sv) {
1889      char tmpbuf[64];
1890      const char *pv;
1891
1892      PERL_ARGS_ASSERT_NOT_INCREMENTABLE;
1893
1894      pv = sv_display(sv, tmpbuf, sizeof(tmpbuf));
1895
1896      Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1897                  "Argument \"%s\" treated as 0 in increment (++)", pv);
1898 }
1899
1900 /*
1901 =for apidoc looks_like_number
1902
1903 Test if the content of an SV looks like a number (or is a number).
1904 C<Inf> and C<Infinity> are treated as numbers (so will not issue a
1905 non-numeric warning), even if your C<atof()> doesn't grok them.  Get-magic is
1906 ignored.
1907
1908 =cut
1909 */
1910
1911 I32
1912 Perl_looks_like_number(pTHX_ SV *const sv)
1913 {
1914     const char *sbegin;
1915     STRLEN len;
1916     int numtype;
1917
1918     PERL_ARGS_ASSERT_LOOKS_LIKE_NUMBER;
1919
1920     if (SvPOK(sv) || SvPOKp(sv)) {
1921         sbegin = SvPV_nomg_const(sv, len);
1922     }
1923     else
1924         return SvFLAGS(sv) & (SVf_NOK|SVp_NOK|SVf_IOK|SVp_IOK);
1925     numtype = grok_number(sbegin, len, NULL);
1926     return ((numtype & IS_NUMBER_TRAILING)) ? 0 : numtype;
1927 }
1928
1929 STATIC bool
1930 S_glob_2number(pTHX_ GV * const gv)
1931 {
1932     PERL_ARGS_ASSERT_GLOB_2NUMBER;
1933
1934     /* We know that all GVs stringify to something that is not-a-number,
1935         so no need to test that.  */
1936     if (ckWARN(WARN_NUMERIC))
1937     {
1938         SV *const buffer = sv_newmortal();
1939         gv_efullname3(buffer, gv, "*");
1940         not_a_number(buffer);
1941     }
1942     /* We just want something true to return, so that S_sv_2iuv_common
1943         can tail call us and return true.  */
1944     return TRUE;
1945 }
1946
1947 /* Actually, ISO C leaves conversion of UV to IV undefined, but
1948    until proven guilty, assume that things are not that bad... */
1949
1950 /*
1951    NV_PRESERVES_UV:
1952
1953    As 64 bit platforms often have an NV that doesn't preserve all bits of
1954    an IV (an assumption perl has been based on to date) it becomes necessary
1955    to remove the assumption that the NV always carries enough precision to
1956    recreate the IV whenever needed, and that the NV is the canonical form.
1957    Instead, IV/UV and NV need to be given equal rights. So as to not lose
1958    precision as a side effect of conversion (which would lead to insanity
1959    and the dragon(s) in t/op/numconvert.t getting very angry) the intent is
1960    1) to distinguish between IV/UV/NV slots that have a valid conversion cached
1961       where precision was lost, and IV/UV/NV slots that have a valid conversion
1962       which has lost no precision
1963    2) to ensure that if a numeric conversion to one form is requested that
1964       would lose precision, the precise conversion (or differently
1965       imprecise conversion) is also performed and cached, to prevent
1966       requests for different numeric formats on the same SV causing
1967       lossy conversion chains. (lossless conversion chains are perfectly
1968       acceptable (still))
1969
1970
1971    flags are used:
1972    SvIOKp is true if the IV slot contains a valid value
1973    SvIOK  is true only if the IV value is accurate (UV if SvIOK_UV true)
1974    SvNOKp is true if the NV slot contains a valid value
1975    SvNOK  is true only if the NV value is accurate
1976
1977    so
1978    while converting from PV to NV, check to see if converting that NV to an
1979    IV(or UV) would lose accuracy over a direct conversion from PV to
1980    IV(or UV). If it would, cache both conversions, return NV, but mark
1981    SV as IOK NOKp (ie not NOK).
1982
1983    While converting from PV to IV, check to see if converting that IV to an
1984    NV would lose accuracy over a direct conversion from PV to NV. If it
1985    would, cache both conversions, flag similarly.
1986
1987    Before, the SV value "3.2" could become NV=3.2 IV=3 NOK, IOK quite
1988    correctly because if IV & NV were set NV *always* overruled.
1989    Now, "3.2" will become NV=3.2 IV=3 NOK, IOKp, because the flag's meaning
1990    changes - now IV and NV together means that the two are interchangeable:
1991    SvIVX == (IV) SvNVX && SvNVX == (NV) SvIVX;
1992
1993    The benefit of this is that operations such as pp_add know that if
1994    SvIOK is true for both left and right operands, then integer addition
1995    can be used instead of floating point (for cases where the result won't
1996    overflow). Before, floating point was always used, which could lead to
1997    loss of precision compared with integer addition.
1998
1999    * making IV and NV equal status should make maths accurate on 64 bit
2000      platforms
2001    * may speed up maths somewhat if pp_add and friends start to use
2002      integers when possible instead of fp. (Hopefully the overhead in
2003      looking for SvIOK and checking for overflow will not outweigh the
2004      fp to integer speedup)
2005    * will slow down integer operations (callers of SvIV) on "inaccurate"
2006      values, as the change from SvIOK to SvIOKp will cause a call into
2007      sv_2iv each time rather than a macro access direct to the IV slot
2008    * should speed up number->string conversion on integers as IV is
2009      favoured when IV and NV are equally accurate
2010
2011    ####################################################################
2012    You had better be using SvIOK_notUV if you want an IV for arithmetic:
2013    SvIOK is true if (IV or UV), so you might be getting (IV)SvUV.
2014    On the other hand, SvUOK is true iff UV.
2015    ####################################################################
2016
2017    Your mileage will vary depending your CPU's relative fp to integer
2018    performance ratio.
2019 */
2020
2021 #ifndef NV_PRESERVES_UV
2022 #  define IS_NUMBER_UNDERFLOW_IV 1
2023 #  define IS_NUMBER_UNDERFLOW_UV 2
2024 #  define IS_NUMBER_IV_AND_UV    2
2025 #  define IS_NUMBER_OVERFLOW_IV  4
2026 #  define IS_NUMBER_OVERFLOW_UV  5
2027
2028 /* sv_2iuv_non_preserve(): private routine for use by sv_2iv() and sv_2uv() */
2029
2030 /* For sv_2nv these three cases are "SvNOK and don't bother casting"  */
2031 STATIC int
2032 S_sv_2iuv_non_preserve(pTHX_ SV *const sv
2033 #  ifdef DEBUGGING
2034                        , I32 numtype
2035 #  endif
2036                        )
2037 {
2038     PERL_ARGS_ASSERT_SV_2IUV_NON_PRESERVE;
2039     PERL_UNUSED_CONTEXT;
2040
2041     DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_2iuv_non '%s', IV=0x%" UVxf " NV=%" NVgf " inttype=%" UVXf "\n", SvPVX_const(sv), SvIVX(sv), SvNVX(sv), (UV)numtype));
2042     if (SvNVX(sv) < (NV)IV_MIN) {
2043         (void)SvIOKp_on(sv);
2044         (void)SvNOK_on(sv);
2045         SvIV_set(sv, IV_MIN);
2046         return IS_NUMBER_UNDERFLOW_IV;
2047     }
2048     if (SvNVX(sv) > (NV)UV_MAX) {
2049         (void)SvIOKp_on(sv);
2050         (void)SvNOK_on(sv);
2051         SvIsUV_on(sv);
2052         SvUV_set(sv, UV_MAX);
2053         return IS_NUMBER_OVERFLOW_UV;
2054     }
2055     (void)SvIOKp_on(sv);
2056     (void)SvNOK_on(sv);
2057     /* Can't use strtol etc to convert this string.  (See truth table in
2058        sv_2iv  */
2059     if (SvNVX(sv) <= (UV)IV_MAX) {
2060         SvIV_set(sv, I_V(SvNVX(sv)));
2061         if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
2062             SvIOK_on(sv); /* Integer is precise. NOK, IOK */
2063         } else {
2064             /* Integer is imprecise. NOK, IOKp */
2065         }
2066         return SvNVX(sv) < 0 ? IS_NUMBER_UNDERFLOW_UV : IS_NUMBER_IV_AND_UV;
2067     }
2068     SvIsUV_on(sv);
2069     SvUV_set(sv, U_V(SvNVX(sv)));
2070     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
2071         if (SvUVX(sv) == UV_MAX) {
2072             /* As we know that NVs don't preserve UVs, UV_MAX cannot
2073                possibly be preserved by NV. Hence, it must be overflow.
2074                NOK, IOKp */
2075             return IS_NUMBER_OVERFLOW_UV;
2076         }
2077         SvIOK_on(sv); /* Integer is precise. NOK, UOK */
2078     } else {
2079         /* Integer is imprecise. NOK, IOKp */
2080     }
2081     return IS_NUMBER_OVERFLOW_IV;
2082 }
2083 #endif /* !NV_PRESERVES_UV*/
2084
2085 /* If numtype is infnan, set the NV of the sv accordingly.
2086  * If numtype is anything else, try setting the NV using Atof(PV). */
2087 #ifdef USING_MSVC6
2088 #  pragma warning(push)
2089 #  pragma warning(disable:4756;disable:4056)
2090 #endif
2091 static void
2092 S_sv_setnv(pTHX_ SV* sv, int numtype)
2093 {
2094     bool pok = cBOOL(SvPOK(sv));
2095     bool nok = FALSE;
2096 #ifdef NV_INF
2097     if ((numtype & IS_NUMBER_INFINITY)) {
2098         SvNV_set(sv, (numtype & IS_NUMBER_NEG) ? -NV_INF : NV_INF);
2099         nok = TRUE;
2100     } else
2101 #endif
2102 #ifdef NV_NAN
2103     if ((numtype & IS_NUMBER_NAN)) {
2104         SvNV_set(sv, NV_NAN);
2105         nok = TRUE;
2106     } else
2107 #endif
2108     if (pok) {
2109         SvNV_set(sv, Atof(SvPVX_const(sv)));
2110         /* Purposefully no true nok here, since we don't want to blow
2111          * away the possible IOK/UV of an existing sv. */
2112     }
2113     if (nok) {
2114         SvNOK_only(sv); /* No IV or UV please, this is pure infnan. */
2115         if (pok)
2116             SvPOK_on(sv); /* PV is okay, though. */
2117     }
2118 }
2119 #ifdef USING_MSVC6
2120 #  pragma warning(pop)
2121 #endif
2122
2123 STATIC bool
2124 S_sv_2iuv_common(pTHX_ SV *const sv)
2125 {
2126     PERL_ARGS_ASSERT_SV_2IUV_COMMON;
2127
2128     if (SvNOKp(sv)) {
2129         /* erm. not sure. *should* never get NOKp (without NOK) from sv_2nv
2130          * without also getting a cached IV/UV from it at the same time
2131          * (ie PV->NV conversion should detect loss of accuracy and cache
2132          * IV or UV at same time to avoid this. */
2133         /* IV-over-UV optimisation - choose to cache IV if possible */
2134
2135         if (SvTYPE(sv) == SVt_NV)
2136             sv_upgrade(sv, SVt_PVNV);
2137
2138         (void)SvIOKp_on(sv);    /* Must do this first, to clear any SvOOK */
2139         /* < not <= as for NV doesn't preserve UV, ((NV)IV_MAX+1) will almost
2140            certainly cast into the IV range at IV_MAX, whereas the correct
2141            answer is the UV IV_MAX +1. Hence < ensures that dodgy boundary
2142            cases go to UV */
2143 #if defined(NAN_COMPARE_BROKEN) && defined(Perl_isnan)
2144         if (Perl_isnan(SvNVX(sv))) {
2145             SvUV_set(sv, 0);
2146             SvIsUV_on(sv);
2147             return FALSE;
2148         }
2149 #endif
2150         if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2151             SvIV_set(sv, I_V(SvNVX(sv)));
2152             if (SvNVX(sv) == (NV) SvIVX(sv)
2153 #ifndef NV_PRESERVES_UV
2154                 && SvIVX(sv) != IV_MIN /* avoid negating IV_MIN below */
2155                 && (((UV)1 << NV_PRESERVES_UV_BITS) >
2156                     (UV)(SvIVX(sv) > 0 ? SvIVX(sv) : -SvIVX(sv)))
2157                 /* Don't flag it as "accurately an integer" if the number
2158                    came from a (by definition imprecise) NV operation, and
2159                    we're outside the range of NV integer precision */
2160 #endif
2161                 ) {
2162                 if (SvNOK(sv))
2163                     SvIOK_on(sv);  /* Can this go wrong with rounding? NWC */
2164                 else {
2165                     /* scalar has trailing garbage, eg "42a" */
2166                 }
2167                 DEBUG_c(PerlIO_printf(Perl_debug_log,
2168                                       "0x%" UVxf " iv(%" NVgf " => %" IVdf ") (precise)\n",
2169                                       PTR2UV(sv),
2170                                       SvNVX(sv),
2171                                       SvIVX(sv)));
2172
2173             } else {
2174                 /* IV not precise.  No need to convert from PV, as NV
2175                    conversion would already have cached IV if it detected
2176                    that PV->IV would be better than PV->NV->IV
2177                    flags already correct - don't set public IOK.  */
2178                 DEBUG_c(PerlIO_printf(Perl_debug_log,
2179                                       "0x%" UVxf " iv(%" NVgf " => %" IVdf ") (imprecise)\n",
2180                                       PTR2UV(sv),
2181                                       SvNVX(sv),
2182                                       SvIVX(sv)));
2183             }
2184             /* Can the above go wrong if SvIVX == IV_MIN and SvNVX < IV_MIN,
2185                but the cast (NV)IV_MIN rounds to a the value less (more
2186                negative) than IV_MIN which happens to be equal to SvNVX ??
2187                Analogous to 0xFFFFFFFFFFFFFFFF rounding up to NV (2**64) and
2188                NV rounding back to 0xFFFFFFFFFFFFFFFF, so UVX == UV(NVX) and
2189                (NV)UVX == NVX are both true, but the values differ. :-(
2190                Hopefully for 2s complement IV_MIN is something like
2191                0x8000000000000000 which will be exact. NWC */
2192         }
2193         else {
2194             SvUV_set(sv, U_V(SvNVX(sv)));
2195             if (
2196                 (SvNVX(sv) == (NV) SvUVX(sv))
2197 #ifndef  NV_PRESERVES_UV
2198                 /* Make sure it's not 0xFFFFFFFFFFFFFFFF */
2199                 /*&& (SvUVX(sv) != UV_MAX) irrelevant with code below */
2200                 && (((UV)1 << NV_PRESERVES_UV_BITS) > SvUVX(sv))
2201                 /* Don't flag it as "accurately an integer" if the number
2202                    came from a (by definition imprecise) NV operation, and
2203                    we're outside the range of NV integer precision */
2204 #endif
2205                 && SvNOK(sv)
2206                 )
2207                 SvIOK_on(sv);
2208             SvIsUV_on(sv);
2209             DEBUG_c(PerlIO_printf(Perl_debug_log,
2210                                   "0x%" UVxf " 2iv(%" UVuf " => %" IVdf ") (as unsigned)\n",
2211                                   PTR2UV(sv),
2212                                   SvUVX(sv),
2213                                   SvUVX(sv)));
2214         }
2215     }
2216     else if (SvPOKp(sv)) {
2217         UV value;
2218         int numtype;
2219         const char *s = SvPVX_const(sv);
2220         const STRLEN cur = SvCUR(sv);
2221
2222         /* short-cut for a single digit string like "1" */
2223
2224         if (cur == 1) {
2225             char c = *s;
2226             if (isDIGIT(c)) {
2227                 if (SvTYPE(sv) < SVt_PVIV)
2228                     sv_upgrade(sv, SVt_PVIV);
2229                 (void)SvIOK_on(sv);
2230                 SvIV_set(sv, (IV)(c - '0'));
2231                 return FALSE;
2232             }
2233         }
2234
2235         numtype = grok_number(s, cur, &value);
2236         /* We want to avoid a possible problem when we cache an IV/ a UV which
2237            may be later translated to an NV, and the resulting NV is not
2238            the same as the direct translation of the initial string
2239            (eg 123.456 can shortcut to the IV 123 with atol(), but we must
2240            be careful to ensure that the value with the .456 is around if the
2241            NV value is requested in the future).
2242         
2243            This means that if we cache such an IV/a UV, we need to cache the
2244            NV as well.  Moreover, we trade speed for space, and do not
2245            cache the NV if we are sure it's not needed.
2246          */
2247
2248         /* SVt_PVNV is one higher than SVt_PVIV, hence this order  */
2249         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2250              == IS_NUMBER_IN_UV) {
2251             /* It's definitely an integer, only upgrade to PVIV */
2252             if (SvTYPE(sv) < SVt_PVIV)
2253                 sv_upgrade(sv, SVt_PVIV);
2254             (void)SvIOK_on(sv);
2255         } else if (SvTYPE(sv) < SVt_PVNV)
2256             sv_upgrade(sv, SVt_PVNV);
2257
2258         if ((numtype & (IS_NUMBER_INFINITY | IS_NUMBER_NAN))) {
2259             if (ckWARN(WARN_NUMERIC) && ((numtype & IS_NUMBER_TRAILING)))
2260                 not_a_number(sv);
2261             S_sv_setnv(aTHX_ sv, numtype);
2262             return FALSE;
2263         }
2264
2265         /* If NVs preserve UVs then we only use the UV value if we know that
2266            we aren't going to call atof() below. If NVs don't preserve UVs
2267            then the value returned may have more precision than atof() will
2268            return, even though value isn't perfectly accurate.  */
2269         if ((numtype & (IS_NUMBER_IN_UV
2270 #ifdef NV_PRESERVES_UV
2271                         | IS_NUMBER_NOT_INT
2272 #endif
2273             )) == IS_NUMBER_IN_UV) {
2274             /* This won't turn off the public IOK flag if it was set above  */
2275             (void)SvIOKp_on(sv);
2276
2277             if (!(numtype & IS_NUMBER_NEG)) {
2278                 /* positive */;
2279                 if (value <= (UV)IV_MAX) {
2280                     SvIV_set(sv, (IV)value);
2281                 } else {
2282                     /* it didn't overflow, and it was positive. */
2283                     SvUV_set(sv, value);
2284                     SvIsUV_on(sv);
2285                 }
2286             } else {
2287                 /* 2s complement assumption  */
2288                 if (value <= (UV)IV_MIN) {
2289                     SvIV_set(sv, value == (UV)IV_MIN
2290                                     ? IV_MIN : -(IV)value);
2291                 } else {
2292                     /* Too negative for an IV.  This is a double upgrade, but
2293                        I'm assuming it will be rare.  */
2294                     if (SvTYPE(sv) < SVt_PVNV)
2295                         sv_upgrade(sv, SVt_PVNV);
2296                     SvNOK_on(sv);
2297                     SvIOK_off(sv);
2298                     SvIOKp_on(sv);
2299                     SvNV_set(sv, -(NV)value);
2300                     SvIV_set(sv, IV_MIN);
2301                 }
2302             }
2303         }
2304         /* For !NV_PRESERVES_UV and IS_NUMBER_IN_UV and IS_NUMBER_NOT_INT we
2305            will be in the previous block to set the IV slot, and the next
2306            block to set the NV slot.  So no else here.  */
2307         
2308         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2309             != IS_NUMBER_IN_UV) {
2310             /* It wasn't an (integer that doesn't overflow the UV). */
2311             S_sv_setnv(aTHX_ sv, numtype);
2312
2313             if (! numtype && ckWARN(WARN_NUMERIC))
2314                 not_a_number(sv);
2315
2316             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%" UVxf " 2iv(%" NVgf ")\n",
2317                                   PTR2UV(sv), SvNVX(sv)));
2318
2319 #ifdef NV_PRESERVES_UV
2320             (void)SvIOKp_on(sv);
2321             (void)SvNOK_on(sv);
2322 #if defined(NAN_COMPARE_BROKEN) && defined(Perl_isnan)
2323             if (Perl_isnan(SvNVX(sv))) {
2324                 SvUV_set(sv, 0);
2325                 SvIsUV_on(sv);
2326                 return FALSE;
2327             }
2328 #endif
2329             if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2330                 SvIV_set(sv, I_V(SvNVX(sv)));
2331                 if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
2332                     SvIOK_on(sv);
2333                 } else {
2334                     NOOP;  /* Integer is imprecise. NOK, IOKp */
2335                 }
2336                 /* UV will not work better than IV */
2337             } else {
2338                 if (SvNVX(sv) > (NV)UV_MAX) {
2339                     SvIsUV_on(sv);
2340                     /* Integer is inaccurate. NOK, IOKp, is UV */
2341                     SvUV_set(sv, UV_MAX);
2342                 } else {
2343                     SvUV_set(sv, U_V(SvNVX(sv)));
2344                     /* 0xFFFFFFFFFFFFFFFF not an issue in here, NVs
2345                        NV preservse UV so can do correct comparison.  */
2346                     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
2347                         SvIOK_on(sv);
2348                     } else {
2349                         NOOP;   /* Integer is imprecise. NOK, IOKp, is UV */
2350                     }
2351                 }
2352                 SvIsUV_on(sv);
2353             }
2354 #else /* NV_PRESERVES_UV */
2355             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2356                 == (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT)) {
2357                 /* The IV/UV slot will have been set from value returned by
2358                    grok_number above.  The NV slot has just been set using
2359                    Atof.  */
2360                 SvNOK_on(sv);
2361                 assert (SvIOKp(sv));
2362             } else {
2363                 if (((UV)1 << NV_PRESERVES_UV_BITS) >
2364                     U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2365                     /* Small enough to preserve all bits. */
2366                     (void)SvIOKp_on(sv);
2367                     SvNOK_on(sv);
2368                     SvIV_set(sv, I_V(SvNVX(sv)));
2369                     if ((NV)(SvIVX(sv)) == SvNVX(sv))
2370                         SvIOK_on(sv);
2371                     /* Assumption: first non-preserved integer is < IV_MAX,
2372                        this NV is in the preserved range, therefore: */
2373                     if (!(U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))
2374                           < (UV)IV_MAX)) {
2375                         Perl_croak(aTHX_ "sv_2iv assumed (U_V(fabs((double)SvNVX(sv))) < (UV)IV_MAX) but SvNVX(sv)=%" NVgf " U_V is 0x%" UVxf ", IV_MAX is 0x%" UVxf "\n", SvNVX(sv), U_V(SvNVX(sv)), (UV)IV_MAX);
2376                     }
2377                 } else {
2378                     /* IN_UV NOT_INT
2379                          0      0       already failed to read UV.
2380                          0      1       already failed to read UV.
2381                          1      0       you won't get here in this case. IV/UV
2382                                         slot set, public IOK, Atof() unneeded.
2383                          1      1       already read UV.
2384                        so there's no point in sv_2iuv_non_preserve() attempting
2385                        to use atol, strtol, strtoul etc.  */
2386 #  ifdef DEBUGGING
2387                     sv_2iuv_non_preserve (sv, numtype);
2388 #  else
2389                     sv_2iuv_non_preserve (sv);
2390 #  endif
2391                 }
2392             }
2393 #endif /* NV_PRESERVES_UV */
2394         /* It might be more code efficient to go through the entire logic above
2395            and conditionally set with SvIOKp_on() rather than SvIOK(), but it
2396            gets complex and potentially buggy, so more programmer efficient
2397            to do it this way, by turning off the public flags:  */
2398         if (!numtype)
2399             SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK);
2400         }
2401     }
2402     else  {
2403         if (isGV_with_GP(sv))
2404             return glob_2number(MUTABLE_GV(sv));
2405
2406         if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
2407                 report_uninit(sv);
2408         if (SvTYPE(sv) < SVt_IV)
2409             /* Typically the caller expects that sv_any is not NULL now.  */
2410             sv_upgrade(sv, SVt_IV);
2411         /* Return 0 from the caller.  */
2412         return TRUE;
2413     }
2414     return FALSE;
2415 }
2416
2417 /*
2418 =for apidoc sv_2iv_flags
2419
2420 Return the integer value of an SV, doing any necessary string
2421 conversion.  If C<flags> has the C<SV_GMAGIC> bit set, does an C<mg_get()> first.
2422 Normally used via the C<SvIV(sv)> and C<SvIVx(sv)> macros.
2423
2424 =cut
2425 */
2426
2427 IV
2428 Perl_sv_2iv_flags(pTHX_ SV *const sv, const I32 flags)
2429 {
2430     PERL_ARGS_ASSERT_SV_2IV_FLAGS;
2431
2432     assert (SvTYPE(sv) != SVt_PVAV && SvTYPE(sv) != SVt_PVHV
2433          && SvTYPE(sv) != SVt_PVFM);
2434
2435     if (SvGMAGICAL(sv) && (flags & SV_GMAGIC))
2436         mg_get(sv);
2437
2438     if (SvROK(sv)) {
2439         if (SvAMAGIC(sv)) {
2440             SV * tmpstr;
2441             if (flags & SV_SKIP_OVERLOAD)
2442                 return 0;
2443             tmpstr = AMG_CALLunary(sv, numer_amg);
2444             if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2445                 return SvIV(tmpstr);
2446             }
2447         }
2448         return PTR2IV(SvRV(sv));
2449     }
2450
2451     if (SvVALID(sv) || isREGEXP(sv)) {
2452         /* FBMs use the space for SvIVX and SvNVX for other purposes, so
2453            must not let them cache IVs.
2454            In practice they are extremely unlikely to actually get anywhere
2455            accessible by user Perl code - the only way that I'm aware of is when
2456            a constant subroutine which is used as the second argument to index.
2457
2458            Regexps have no SvIVX and SvNVX fields.
2459         */
2460         assert(isREGEXP(sv) || SvPOKp(sv));
2461         {
2462             UV value;
2463             const char * const ptr =
2464                 isREGEXP(sv) ? RX_WRAPPED((REGEXP*)sv) : SvPVX_const(sv);
2465             const int numtype
2466                 = grok_number(ptr, SvCUR(sv), &value);
2467
2468             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2469                 == IS_NUMBER_IN_UV) {
2470                 /* It's definitely an integer */
2471                 if (numtype & IS_NUMBER_NEG) {
2472                     if (value < (UV)IV_MIN)
2473                         return -(IV)value;
2474                 } else {
2475                     if (value < (UV)IV_MAX)
2476                         return (IV)value;
2477                 }
2478             }
2479
2480             /* Quite wrong but no good choices. */
2481             if ((numtype & IS_NUMBER_INFINITY)) {
2482                 return (numtype & IS_NUMBER_NEG) ? IV_MIN : IV_MAX;
2483             } else if ((numtype & IS_NUMBER_NAN)) {
2484                 return 0; /* So wrong. */
2485             }
2486
2487             if (!numtype) {
2488                 if (ckWARN(WARN_NUMERIC))
2489                     not_a_number(sv);
2490             }
2491             return I_V(Atof(ptr));
2492         }
2493     }
2494
2495     if (SvTHINKFIRST(sv)) {
2496         if (SvREADONLY(sv) && !SvOK(sv)) {
2497             if (ckWARN(WARN_UNINITIALIZED))
2498                 report_uninit(sv);
2499             return 0;
2500         }
2501     }
2502
2503     if (!SvIOKp(sv)) {
2504         if (S_sv_2iuv_common(aTHX_ sv))
2505             return 0;
2506     }
2507
2508     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%" UVxf " 2iv(%" IVdf ")\n",
2509         PTR2UV(sv),SvIVX(sv)));
2510     return SvIsUV(sv) ? (IV)SvUVX(sv) : SvIVX(sv);
2511 }
2512
2513 /*
2514 =for apidoc sv_2uv_flags
2515
2516 Return the unsigned integer value of an SV, doing any necessary string
2517 conversion.  If C<flags> has the C<SV_GMAGIC> bit set, does an C<mg_get()> first.
2518 Normally used via the C<SvUV(sv)> and C<SvUVx(sv)> macros.
2519
2520 =cut
2521 */
2522
2523 UV
2524 Perl_sv_2uv_flags(pTHX_ SV *const sv, const I32 flags)
2525 {
2526     PERL_ARGS_ASSERT_SV_2UV_FLAGS;
2527
2528     if (SvGMAGICAL(sv) && (flags & SV_GMAGIC))
2529         mg_get(sv);
2530
2531     if (SvROK(sv)) {
2532         if (SvAMAGIC(sv)) {
2533             SV *tmpstr;
2534             if (flags & SV_SKIP_OVERLOAD)
2535                 return 0;
2536             tmpstr = AMG_CALLunary(sv, numer_amg);
2537             if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2538                 return SvUV(tmpstr);
2539             }
2540         }
2541         return PTR2UV(SvRV(sv));
2542     }
2543
2544     if (SvVALID(sv) || isREGEXP(sv)) {
2545         /* FBMs use the space for SvIVX and SvNVX for other purposes, and use
2546            the same flag bit as SVf_IVisUV, so must not let them cache IVs.  
2547            Regexps have no SvIVX and SvNVX fields. */
2548         assert(isREGEXP(sv) || SvPOKp(sv));
2549         {
2550             UV value;
2551             const char * const ptr =
2552                 isREGEXP(sv) ? RX_WRAPPED((REGEXP*)sv) : SvPVX_const(sv);
2553             const int numtype
2554                 = grok_number(ptr, SvCUR(sv), &value);
2555
2556             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2557                 == IS_NUMBER_IN_UV) {
2558                 /* It's definitely an integer */
2559                 if (!(numtype & IS_NUMBER_NEG))
2560                     return value;
2561             }
2562
2563             /* Quite wrong but no good choices. */
2564             if ((numtype & IS_NUMBER_INFINITY)) {
2565                 return UV_MAX; /* So wrong. */
2566             } else if ((numtype & IS_NUMBER_NAN)) {
2567                 return 0; /* So wrong. */
2568             }
2569
2570             if (!numtype) {
2571                 if (ckWARN(WARN_NUMERIC))
2572                     not_a_number(sv);
2573             }
2574             return U_V(Atof(ptr));
2575         }
2576     }
2577
2578     if (SvTHINKFIRST(sv)) {
2579         if (SvREADONLY(sv) && !SvOK(sv)) {
2580             if (ckWARN(WARN_UNINITIALIZED))
2581                 report_uninit(sv);
2582             return 0;
2583         }
2584     }
2585
2586     if (!SvIOKp(sv)) {
2587         if (S_sv_2iuv_common(aTHX_ sv))
2588             return 0;
2589     }
2590
2591     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%" UVxf " 2uv(%" UVuf ")\n",
2592                           PTR2UV(sv),SvUVX(sv)));
2593     return SvIsUV(sv) ? SvUVX(sv) : (UV)SvIVX(sv);
2594 }
2595
2596 /*
2597 =for apidoc sv_2nv_flags
2598
2599 Return the num value of an SV, doing any necessary string or integer
2600 conversion.  If C<flags> has the C<SV_GMAGIC> bit set, does an C<mg_get()> first.
2601 Normally used via the C<SvNV(sv)> and C<SvNVx(sv)> macros.
2602
2603 =cut
2604 */
2605
2606 NV
2607 Perl_sv_2nv_flags(pTHX_ SV *const sv, const I32 flags)
2608 {
2609     PERL_ARGS_ASSERT_SV_2NV_FLAGS;
2610
2611     assert (SvTYPE(sv) != SVt_PVAV && SvTYPE(sv) != SVt_PVHV
2612          && SvTYPE(sv) != SVt_PVFM);
2613     if (SvGMAGICAL(sv) || SvVALID(sv) || isREGEXP(sv)) {
2614         /* FBMs use the space for SvIVX and SvNVX for other purposes, and use
2615            the same flag bit as SVf_IVisUV, so must not let them cache NVs.
2616            Regexps have no SvIVX and SvNVX fields.  */
2617         const char *ptr;
2618         if (flags & SV_GMAGIC)
2619             mg_get(sv);
2620         if (SvNOKp(sv))
2621             return SvNVX(sv);
2622         if (SvPOKp(sv) && !SvIOKp(sv)) {
2623             ptr = SvPVX_const(sv);
2624           grokpv:
2625             if (!SvIOKp(sv) && ckWARN(WARN_NUMERIC) &&
2626                 !grok_number(ptr, SvCUR(sv), NULL))
2627                 not_a_number(sv);
2628             return Atof(ptr);
2629         }
2630         if (SvIOKp(sv)) {
2631             if (SvIsUV(sv))
2632                 return (NV)SvUVX(sv);
2633             else
2634                 return (NV)SvIVX(sv);
2635         }
2636         if (SvROK(sv)) {
2637             goto return_rok;
2638         }
2639         if (isREGEXP(sv)) {
2640             ptr = RX_WRAPPED((REGEXP *)sv);
2641             goto grokpv;
2642         }
2643         assert(SvTYPE(sv) >= SVt_PVMG);
2644         /* This falls through to the report_uninit near the end of the
2645            function. */
2646     } else if (SvTHINKFIRST(sv)) {
2647         if (SvROK(sv)) {
2648         return_rok:
2649             if (SvAMAGIC(sv)) {
2650                 SV *tmpstr;
2651                 if (flags & SV_SKIP_OVERLOAD)
2652                     return 0;
2653                 tmpstr = AMG_CALLunary(sv, numer_amg);
2654                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2655                     return SvNV(tmpstr);
2656                 }
2657             }
2658             return PTR2NV(SvRV(sv));
2659         }
2660         if (SvREADONLY(sv) && !SvOK(sv)) {
2661             if (ckWARN(WARN_UNINITIALIZED))
2662                 report_uninit(sv);
2663             return 0.0;
2664         }
2665     }
2666     if (SvTYPE(sv) < SVt_NV) {
2667         /* The logic to use SVt_PVNV if necessary is in sv_upgrade.  */
2668         sv_upgrade(sv, SVt_NV);
2669         DEBUG_c({
2670             STORE_NUMERIC_LOCAL_SET_STANDARD();
2671             PerlIO_printf(Perl_debug_log,
2672                           "0x%" UVxf " num(%" NVgf ")\n",
2673                           PTR2UV(sv), SvNVX(sv));
2674             RESTORE_NUMERIC_LOCAL();
2675         });
2676     }
2677     else if (SvTYPE(sv) < SVt_PVNV)
2678         sv_upgrade(sv, SVt_PVNV);
2679     if (SvNOKp(sv)) {
2680         return SvNVX(sv);
2681     }
2682     if (SvIOKp(sv)) {
2683         SvNV_set(sv, SvIsUV(sv) ? (NV)SvUVX(sv) : (NV)SvIVX(sv));
2684 #ifdef NV_PRESERVES_UV
2685         if (SvIOK(sv))
2686             SvNOK_on(sv);
2687         else
2688             SvNOKp_on(sv);
2689 #else
2690         /* Only set the public NV OK flag if this NV preserves the IV  */
2691         /* Check it's not 0xFFFFFFFFFFFFFFFF */
2692         if (SvIOK(sv) &&
2693             SvIsUV(sv) ? ((SvUVX(sv) != UV_MAX)&&(SvUVX(sv) == U_V(SvNVX(sv))))
2694                        : (SvIVX(sv) == I_V(SvNVX(sv))))
2695             SvNOK_on(sv);
2696         else
2697             SvNOKp_on(sv);
2698 #endif
2699     }
2700     else if (SvPOKp(sv)) {
2701         UV value;
2702         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2703         if (!SvIOKp(sv) && !numtype && ckWARN(WARN_NUMERIC))
2704             not_a_number(sv);
2705 #ifdef NV_PRESERVES_UV
2706         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2707             == IS_NUMBER_IN_UV) {
2708             /* It's definitely an integer */
2709             SvNV_set(sv, (numtype & IS_NUMBER_NEG) ? -(NV)value : (NV)value);
2710         } else {
2711             S_sv_setnv(aTHX_ sv, numtype);
2712         }
2713         if (numtype)
2714             SvNOK_on(sv);
2715         else
2716             SvNOKp_on(sv);
2717 #else
2718         SvNV_set(sv, Atof(SvPVX_const(sv)));
2719         /* Only set the public NV OK flag if this NV preserves the value in
2720            the PV at least as well as an IV/UV would.
2721            Not sure how to do this 100% reliably. */
2722         /* if that shift count is out of range then Configure's test is
2723            wonky. We shouldn't be in here with NV_PRESERVES_UV_BITS ==
2724            UV_BITS */
2725         if (((UV)1 << NV_PRESERVES_UV_BITS) >
2726             U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2727             SvNOK_on(sv); /* Definitely small enough to preserve all bits */
2728         } else if (!(numtype & IS_NUMBER_IN_UV)) {
2729             /* Can't use strtol etc to convert this string, so don't try.
2730                sv_2iv and sv_2uv will use the NV to convert, not the PV.  */
2731             SvNOK_on(sv);
2732         } else {
2733             /* value has been set.  It may not be precise.  */
2734             if ((numtype & IS_NUMBER_NEG) && (value >= (UV)IV_MIN)) {
2735                 /* 2s complement assumption for (UV)IV_MIN  */
2736                 SvNOK_on(sv); /* Integer is too negative.  */
2737             } else {
2738                 SvNOKp_on(sv);
2739                 SvIOKp_on(sv);
2740
2741                 if (numtype & IS_NUMBER_NEG) {
2742                     /* -IV_MIN is undefined, but we should never reach
2743                      * this point with both IS_NUMBER_NEG and value ==
2744                      * (UV)IV_MIN */
2745                     assert(value != (UV)IV_MIN);
2746                     SvIV_set(sv, -(IV)value);
2747                 } else if (value <= (UV)IV_MAX) {
2748                     SvIV_set(sv, (IV)value);
2749                 } else {
2750                     SvUV_set(sv, value);
2751                     SvIsUV_on(sv);
2752                 }
2753
2754                 if (numtype & IS_NUMBER_NOT_INT) {
2755                     /* I believe that even if the original PV had decimals,
2756                        they are lost beyond the limit of the FP precision.
2757                        However, neither is canonical, so both only get p
2758                        flags.  NWC, 2000/11/25 */
2759                     /* Both already have p flags, so do nothing */
2760                 } else {
2761                     const NV nv = SvNVX(sv);
2762                     /* XXX should this spot have NAN_COMPARE_BROKEN, too? */
2763                     if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2764                         if (SvIVX(sv) == I_V(nv)) {
2765                             SvNOK_on(sv);
2766                         } else {
2767                             /* It had no "." so it must be integer.  */
2768                         }
2769                         SvIOK_on(sv);
2770                     } else {
2771                         /* between IV_MAX and NV(UV_MAX).
2772                            Could be slightly > UV_MAX */
2773
2774                         if (numtype & IS_NUMBER_NOT_INT) {
2775                             /* UV and NV both imprecise.  */
2776                         } else {
2777                             const UV nv_as_uv = U_V(nv);
2778
2779                             if (value == nv_as_uv && SvUVX(sv) != UV_MAX) {
2780                                 SvNOK_on(sv);
2781                             }
2782                             SvIOK_on(sv);
2783                         }
2784                     }
2785                 }
2786             }
2787         }
2788         /* It might be more code efficient to go through the entire logic above
2789            and conditionally set with SvNOKp_on() rather than SvNOK(), but it
2790            gets complex and potentially buggy, so more programmer efficient
2791            to do it this way, by turning off the public flags:  */
2792         if (!numtype)
2793             SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK);
2794 #endif /* NV_PRESERVES_UV */
2795     }
2796     else  {
2797         if (isGV_with_GP(sv)) {
2798             glob_2number(MUTABLE_GV(sv));
2799             return 0.0;
2800         }
2801
2802         if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
2803             report_uninit(sv);
2804         assert (SvTYPE(sv) >= SVt_NV);
2805         /* Typically the caller expects that sv_any is not NULL now.  */
2806         /* XXX Ilya implies that this is a bug in callers that assume this
2807            and ideally should be fixed.  */
2808         return 0.0;
2809     }
2810     DEBUG_c({
2811         STORE_NUMERIC_LOCAL_SET_STANDARD();
2812         PerlIO_printf(Perl_debug_log, "0x%" UVxf " 2nv(%" NVgf ")\n",
2813                       PTR2UV(sv), SvNVX(sv));
2814         RESTORE_NUMERIC_LOCAL();
2815     });
2816     return SvNVX(sv);
2817 }
2818
2819 /*
2820 =for apidoc sv_2num
2821
2822 Return an SV with the numeric value of the source SV, doing any necessary
2823 reference or overload conversion.  The caller is expected to have handled
2824 get-magic already.
2825
2826 =cut
2827 */
2828
2829 SV *
2830 Perl_sv_2num(pTHX_ SV *const sv)
2831 {
2832     PERL_ARGS_ASSERT_SV_2NUM;
2833
2834     if (!SvROK(sv))
2835         return sv;
2836     if (SvAMAGIC(sv)) {
2837         SV * const tmpsv = AMG_CALLunary(sv, numer_amg);
2838         TAINT_IF(tmpsv && SvTAINTED(tmpsv));
2839         if (tmpsv && (!SvROK(tmpsv) || (SvRV(tmpsv) != SvRV(sv))))
2840             return sv_2num(tmpsv);
2841     }
2842     return sv_2mortal(newSVuv(PTR2UV(SvRV(sv))));
2843 }
2844
2845 /* uiv_2buf(): private routine for use by sv_2pv_flags(): print an IV or
2846  * UV as a string towards the end of buf, and return pointers to start and
2847  * end of it.
2848  *
2849  * We assume that buf is at least TYPE_CHARS(UV) long.
2850  */
2851
2852 static char *
2853 S_uiv_2buf(char *const buf, const IV iv, UV uv, const int is_uv, char **const peob)
2854 {
2855     char *ptr = buf + TYPE_CHARS(UV);
2856     char * const ebuf = ptr;
2857     int sign;
2858
2859     PERL_ARGS_ASSERT_UIV_2BUF;
2860
2861     if (is_uv)
2862         sign = 0;
2863     else if (iv >= 0) {
2864         uv = iv;
2865         sign = 0;
2866     } else {
2867         uv = (iv == IV_MIN) ? (UV)iv : (UV)(-iv);
2868         sign = 1;
2869     }
2870     do {
2871         *--ptr = '0' + (char)(uv % 10);
2872     } while (uv /= 10);
2873     if (sign)
2874         *--ptr = '-';
2875     *peob = ebuf;
2876     return ptr;
2877 }
2878
2879 /* Helper for sv_2pv_flags and sv_vcatpvfn_flags.  If the NV is an
2880  * infinity or a not-a-number, writes the appropriate strings to the
2881  * buffer, including a zero byte.  On success returns the written length,
2882  * excluding the zero byte, on failure (not an infinity, not a nan)
2883  * returns zero, assert-fails on maxlen being too short.
2884  *
2885  * XXX for "Inf", "-Inf", and "NaN", we could have three read-only
2886  * shared string constants we point to, instead of generating a new
2887  * string for each instance. */
2888 STATIC size_t
2889 S_infnan_2pv(NV nv, char* buffer, size_t maxlen, char plus) {
2890     char* s = buffer;
2891     assert(maxlen >= 4);
2892     if (Perl_isinf(nv)) {
2893         if (nv < 0) {
2894             if (maxlen < 5) /* "-Inf\0"  */
2895                 return 0;
2896             *s++ = '-';
2897         } else if (plus) {
2898             *s++ = '+';
2899         }
2900         *s++ = 'I';
2901         *s++ = 'n';
2902         *s++ = 'f';
2903     }
2904     else if (Perl_isnan(nv)) {
2905         *s++ = 'N';
2906         *s++ = 'a';
2907         *s++ = 'N';
2908         /* XXX optionally output the payload mantissa bits as
2909          * "(unsigned)" (to match the nan("...") C99 function,
2910          * or maybe as "(0xhhh...)"  would make more sense...
2911          * provide a format string so that the user can decide?
2912          * NOTE: would affect the maxlen and assert() logic.*/
2913     }
2914     else {
2915       return 0;
2916     }
2917     assert((s == buffer + 3) || (s == buffer + 4));
2918     *s++ = 0;
2919     return s - buffer - 1; /* -1: excluding the zero byte */
2920 }
2921
2922 /*
2923 =for apidoc sv_2pv_flags
2924
2925 Returns a pointer to the string value of an SV, and sets C<*lp> to its length.
2926 If flags has the C<SV_GMAGIC> bit set, does an C<mg_get()> first.  Coerces C<sv> to a
2927 string if necessary.  Normally invoked via the C<SvPV_flags> macro.
2928 C<sv_2pv()> and C<sv_2pv_nomg> usually end up here too.
2929
2930 =cut
2931 */
2932
2933 char *
2934 Perl_sv_2pv_flags(pTHX_ SV *const sv, STRLEN *const lp, const I32 flags)
2935 {
2936     char *s;
2937
2938     PERL_ARGS_ASSERT_SV_2PV_FLAGS;
2939
2940     assert (SvTYPE(sv) != SVt_PVAV && SvTYPE(sv) != SVt_PVHV
2941          && SvTYPE(sv) != SVt_PVFM);
2942     if (SvGMAGICAL(sv) && (flags & SV_GMAGIC))
2943         mg_get(sv);
2944     if (SvROK(sv)) {
2945         if (SvAMAGIC(sv)) {
2946             SV *tmpstr;
2947             if (flags & SV_SKIP_OVERLOAD)
2948                 return NULL;
2949             tmpstr = AMG_CALLunary(sv, string_amg);
2950             TAINT_IF(tmpstr && SvTAINTED(tmpstr));
2951             if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2952                 /* Unwrap this:  */
2953                 /* char *pv = lp ? SvPV(tmpstr, *lp) : SvPV_nolen(tmpstr);
2954                  */
2955
2956                 char *pv;
2957                 if ((SvFLAGS(tmpstr) & (SVf_POK)) == SVf_POK) {
2958                     if (flags & SV_CONST_RETURN) {
2959                         pv = (char *) SvPVX_const(tmpstr);
2960                     } else {
2961                         pv = (flags & SV_MUTABLE_RETURN)
2962                             ? SvPVX_mutable(tmpstr) : SvPVX(tmpstr);
2963                     }
2964                     if (lp)
2965                         *lp = SvCUR(tmpstr);
2966                 } else {
2967                     pv = sv_2pv_flags(tmpstr, lp, flags);
2968                 }
2969                 if (SvUTF8(tmpstr))
2970                     SvUTF8_on(sv);
2971                 else
2972                     SvUTF8_off(sv);
2973                 return pv;
2974             }
2975         }
2976         {
2977             STRLEN len;
2978             char *retval;
2979             char *buffer;
2980             SV *const referent = SvRV(sv);
2981
2982             if (!referent) {
2983                 len = 7;
2984                 retval = buffer = savepvn("NULLREF", len);
2985             } else if (SvTYPE(referent) == SVt_REGEXP &&
2986                        (!(PL_curcop->cop_hints & HINT_NO_AMAGIC) ||
2987                         amagic_is_enabled(string_amg))) {
2988                 REGEXP * const re = (REGEXP *)MUTABLE_PTR(referent);
2989
2990                 assert(re);
2991                         
2992                 /* If the regex is UTF-8 we want the containing scalar to
2993                    have an UTF-8 flag too */
2994                 if (RX_UTF8(re))
2995                     SvUTF8_on(sv);
2996                 else
2997                     SvUTF8_off(sv);     
2998
2999                 if (lp)
3000                     *lp = RX_WRAPLEN(re);
3001  
3002                 return RX_WRAPPED(re);
3003             } else {
3004                 const char *const typestr = sv_reftype(referent, 0);
3005                 const STRLEN typelen = strlen(typestr);
3006                 UV addr = PTR2UV(referent);
3007                 const char *stashname = NULL;
3008                 STRLEN stashnamelen = 0; /* hush, gcc */
3009                 const char *buffer_end;
3010
3011                 if (SvOBJECT(referent)) {
3012                     const HEK *const name = HvNAME_HEK(SvSTASH(referent));
3013
3014                     if (name) {
3015                         stashname = HEK_KEY(name);
3016                         stashnamelen = HEK_LEN(name);
3017
3018                         if (HEK_UTF8(name)) {
3019                             SvUTF8_on(sv);
3020                         } else {
3021                             SvUTF8_off(sv);
3022                         }
3023                     } else {
3024                         stashname = "__ANON__";
3025                         stashnamelen = 8;
3026                     }
3027                     len = stashnamelen + 1 /* = */ + typelen + 3 /* (0x */
3028                         + 2 * sizeof(UV) + 2 /* )\0 */;
3029                 } else {
3030                     len = typelen + 3 /* (0x */
3031                         + 2 * sizeof(UV) + 2 /* )\0 */;
3032                 }
3033
3034                 Newx(buffer, len, char);
3035                 buffer_end = retval = buffer + len;
3036
3037                 /* Working backwards  */
3038                 *--retval = '\0';
3039                 *--retval = ')';
3040                 do {
3041                     *--retval = PL_hexdigit[addr & 15];
3042                 } while (addr >>= 4);
3043                 *--retval = 'x';
3044                 *--retval = '0';
3045                 *--retval = '(';
3046
3047                 retval -= typelen;
3048                 memcpy(retval, typestr, typelen);
3049
3050                 if (stashname) {
3051                     *--retval = '=';
3052                     retval -= stashnamelen;
3053                     memcpy(retval, stashname, stashnamelen);
3054                 }
3055                 /* retval may not necessarily have reached the start of the
3056                    buffer here.  */
3057                 assert (retval >= buffer);
3058
3059                 len = buffer_end - retval - 1; /* -1 for that \0  */
3060             }
3061             if (lp)
3062                 *lp = len;
3063             SAVEFREEPV(buffer);
3064             return retval;
3065         }
3066     }
3067
3068     if (SvPOKp(sv)) {
3069         if (lp)
3070             *lp = SvCUR(sv);
3071         if (flags & SV_MUTABLE_RETURN)
3072             return SvPVX_mutable(sv);
3073         if (flags & SV_CONST_RETURN)
3074             return (char *)SvPVX_const(sv);
3075         return SvPVX(sv);
3076     }
3077
3078     if (SvIOK(sv)) {
3079         /* I'm assuming that if both IV and NV are equally valid then
3080            converting the IV is going to be more efficient */
3081         const U32 isUIOK = SvIsUV(sv);
3082         char buf[TYPE_CHARS(UV)];
3083         char *ebuf, *ptr;
3084         STRLEN len;
3085
3086         if (SvTYPE(sv) < SVt_PVIV)
3087             sv_upgrade(sv, SVt_PVIV);
3088         ptr = uiv_2buf(buf, SvIVX(sv), SvUVX(sv), isUIOK, &ebuf);
3089         len = ebuf - ptr;
3090         /* inlined from sv_setpvn */
3091         s = SvGROW_mutable(sv, len + 1);
3092         Move(ptr, s, len, char);
3093         s += len;
3094         *s = '\0';
3095         SvPOK_on(sv);
3096     }
3097     else if (SvNOK(sv)) {
3098         if (SvTYPE(sv) < SVt_PVNV)
3099             sv_upgrade(sv, SVt_PVNV);
3100         if (SvNVX(sv) == 0.0
3101 #if defined(NAN_COMPARE_BROKEN) && defined(Perl_isnan)
3102             && !Perl_isnan(SvNVX(sv))
3103 #endif
3104         ) {
3105             s = SvGROW_mutable(sv, 2);
3106             *s++ = '0';
3107             *s = '\0';
3108         } else {
3109             STRLEN len;
3110             STRLEN size = 5; /* "-Inf\0" */
3111
3112             s = SvGROW_mutable(sv, size);
3113             len = S_infnan_2pv(SvNVX(sv), s, size, 0);
3114             if (len > 0) {
3115                 s += len;
3116                 SvPOK_on(sv);
3117             }
3118             else {
3119                 /* some Xenix systems wipe out errno here */
3120                 dSAVE_ERRNO;
3121
3122                 size =
3123                     1 + /* sign */
3124                     1 + /* "." */
3125                     NV_DIG +
3126                     1 + /* "e" */
3127                     1 + /* sign */
3128                     5 + /* exponent digits */
3129                     1 + /* \0 */
3130                     2; /* paranoia */
3131
3132                 s = SvGROW_mutable(sv, size);
3133 #ifndef USE_LOCALE_NUMERIC
3134                 SNPRINTF_G(SvNVX(sv), s, SvLEN(sv), NV_DIG);
3135
3136                 SvPOK_on(sv);
3137 #else
3138                 {
3139                     bool local_radix;
3140                     DECLARATION_FOR_LC_NUMERIC_MANIPULATION;
3141                     STORE_LC_NUMERIC_SET_TO_NEEDED();
3142
3143                     local_radix = PL_numeric_local && PL_numeric_radix_sv;
3144                     if (local_radix && SvLEN(PL_numeric_radix_sv) > 1) {
3145                         size += SvLEN(PL_numeric_radix_sv) - 1;
3146                         s = SvGROW_mutable(sv, size);
3147                     }
3148
3149                     SNPRINTF_G(SvNVX(sv), s, SvLEN(sv), NV_DIG);
3150
3151                     /* If the radix character is UTF-8, and actually is in the
3152                      * output, turn on the UTF-8 flag for the scalar */
3153                     if (   local_radix
3154                         && SvUTF8(PL_numeric_radix_sv)
3155                         && instr(s, SvPVX_const(PL_numeric_radix_sv)))
3156                     {
3157                         SvUTF8_on(sv);
3158                     }
3159
3160                     RESTORE_LC_NUMERIC();
3161                 }
3162
3163                 /* We don't call SvPOK_on(), because it may come to
3164                  * pass that the locale changes so that the
3165                  * stringification we just did is no longer correct.  We
3166                  * will have to re-stringify every time it is needed */
3167 #endif
3168                 RESTORE_ERRNO;
3169             }
3170             while (*s) s++;
3171         }
3172     }
3173     else if (isGV_with_GP(sv)) {
3174         GV *const gv = MUTABLE_GV(sv);
3175         SV *const buffer = sv_newmortal();
3176
3177         gv_efullname3(buffer, gv, "*");
3178
3179         assert(SvPOK(buffer));
3180         if (SvUTF8(buffer))
3181             SvUTF8_on(sv);
3182         if (lp)
3183             *lp = SvCUR(buffer);
3184         return SvPVX(buffer);
3185     }
3186     else if (isREGEXP(sv)) {
3187         if (lp) *lp = RX_WRAPLEN((REGEXP *)sv);
3188         return RX_WRAPPED((REGEXP *)sv);
3189     }
3190     else {
3191         if (lp)
3192             *lp = 0;
3193         if (flags & SV_UNDEF_RETURNS_NULL)
3194             return NULL;
3195         if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
3196             report_uninit(sv);
3197         /* Typically the caller expects that sv_any is not NULL now.  */
3198         if (!SvREADONLY(sv) && SvTYPE(sv) < SVt_PV)
3199             sv_upgrade(sv, SVt_PV);
3200         return (char *)"";
3201     }
3202
3203     {
3204         const STRLEN len = s - SvPVX_const(sv);
3205         if (lp) 
3206             *lp = len;
3207         SvCUR_set(sv, len);
3208     }
3209     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%" UVxf " 2pv(%s)\n",
3210                           PTR2UV(sv),SvPVX_const(sv)));
3211     if (flags & SV_CONST_RETURN)
3212         return (char *)SvPVX_const(sv);
3213     if (flags & SV_MUTABLE_RETURN)
3214         return SvPVX_mutable(sv);
3215     return SvPVX(sv);
3216 }
3217
3218 /*
3219 =for apidoc sv_copypv
3220
3221 Copies a stringified representation of the source SV into the
3222 destination SV.  Automatically performs any necessary C<mg_get> and
3223 coercion of numeric values into strings.  Guaranteed to preserve
3224 C<UTF8> flag even from overloaded objects.  Similar in nature to
3225 C<sv_2pv[_flags]> but operates directly on an SV instead of just the
3226 string.  Mostly uses C<sv_2pv_flags> to do its work, except when that
3227 would lose the UTF-8'ness of the PV.
3228
3229 =for apidoc sv_copypv_nomg
3230
3231 Like C<sv_copypv>, but doesn't invoke get magic first.
3232
3233 =for apidoc sv_copypv_flags
3234
3235 Implementation of C<sv_copypv> and C<sv_copypv_nomg>.  Calls get magic iff flags
3236 has the C<SV_GMAGIC> bit set.
3237
3238 =cut
3239 */
3240
3241 void
3242 Perl_sv_copypv_flags(pTHX_ SV *const dsv, SV *const ssv, const I32 flags)
3243 {
3244     STRLEN len;
3245     const char *s;
3246
3247     PERL_ARGS_ASSERT_SV_COPYPV_FLAGS;
3248
3249     s = SvPV_flags_const(ssv,len,(flags & SV_GMAGIC));
3250     sv_setpvn(dsv,s,len);
3251     if (SvUTF8(ssv))
3252         SvUTF8_on(dsv);
3253     else
3254         SvUTF8_off(dsv);
3255 }
3256
3257 /*
3258 =for apidoc sv_2pvbyte
3259
3260 Return a pointer to the byte-encoded representation of the SV, and set C<*lp>
3261 to its length.  May cause the SV to be downgraded from UTF-8 as a
3262 side-effect.
3263
3264 Usually accessed via the C<SvPVbyte> macro.
3265
3266 =cut
3267 */
3268
3269 char *
3270 Perl_sv_2pvbyte(pTHX_ SV *sv, STRLEN *const lp)
3271 {
3272     PERL_ARGS_ASSERT_SV_2PVBYTE;
3273
3274     SvGETMAGIC(sv);
3275     if (((SvREADONLY(sv) || SvFAKE(sv)) && !SvIsCOW(sv))
3276      || isGV_with_GP(sv) || SvROK(sv)) {
3277         SV *sv2 = sv_newmortal();
3278         sv_copypv_nomg(sv2,sv);
3279         sv = sv2;
3280     }
3281     sv_utf8_downgrade(sv,0);
3282     return lp ? SvPV_nomg(sv,*lp) : SvPV_nomg_nolen(sv);
3283 }
3284
3285 /*
3286 =for apidoc sv_2pvutf8
3287
3288 Return a pointer to the UTF-8-encoded representation of the SV, and set C<*lp>
3289 to its length.  May cause the SV to be upgraded to UTF-8 as a side-effect.
3290
3291 Usually accessed via the C<SvPVutf8> macro.
3292
3293 =cut
3294 */
3295
3296 char *
3297 Perl_sv_2pvutf8(pTHX_ SV *sv, STRLEN *const lp)
3298 {
3299     PERL_ARGS_ASSERT_SV_2PVUTF8;
3300
3301     if (((SvREADONLY(sv) || SvFAKE(sv)) && !SvIsCOW(sv))
3302      || isGV_with_GP(sv) || SvROK(sv))
3303         sv = sv_mortalcopy(sv);
3304     else
3305         SvGETMAGIC(sv);
3306     sv_utf8_upgrade_nomg(sv);
3307     return lp ? SvPV_nomg(sv,*lp) : SvPV_nomg_nolen(sv);
3308 }
3309
3310
3311 /*
3312 =for apidoc sv_2bool
3313
3314 This macro is only used by C<sv_true()> or its macro equivalent, and only if
3315 the latter's argument is neither C<SvPOK>, C<SvIOK> nor C<SvNOK>.
3316 It calls C<sv_2bool_flags> with the C<SV_GMAGIC> flag.
3317
3318 =for apidoc sv_2bool_flags
3319
3320 This function is only used by C<sv_true()> and friends,  and only if
3321 the latter's argument is neither C<SvPOK>, C<SvIOK> nor C<SvNOK>.  If the flags
3322 contain C<SV_GMAGIC>, then it does an C<mg_get()> first.
3323
3324
3325 =cut
3326 */
3327
3328 bool
3329 Perl_sv_2bool_flags(pTHX_ SV *sv, I32 flags)
3330 {
3331     PERL_ARGS_ASSERT_SV_2BOOL_FLAGS;
3332
3333     restart:
3334     if(flags & SV_GMAGIC) SvGETMAGIC(sv);
3335
3336     if (!SvOK(sv))
3337         return 0;
3338     if (SvROK(sv)) {
3339         if (SvAMAGIC(sv)) {
3340             SV * const tmpsv = AMG_CALLunary(sv, bool__amg);
3341             if (tmpsv && (!SvROK(tmpsv) || (SvRV(tmpsv) != SvRV(sv)))) {
3342                 bool svb;
3343                 sv = tmpsv;
3344                 if(SvGMAGICAL(sv)) {
3345                     flags = SV_GMAGIC;
3346                     goto restart; /* call sv_2bool */
3347                 }
3348                 /* expanded SvTRUE_common(sv, (flags = 0, goto restart)) */
3349                 else if(!SvOK(sv)) {
3350                     svb = 0;
3351                 }
3352                 else if(SvPOK(sv)) {
3353                     svb = SvPVXtrue(sv);
3354                 }
3355                 else if((SvFLAGS(sv) & (SVf_IOK|SVf_NOK))) {
3356                     svb = (SvIOK(sv) && SvIVX(sv) != 0)
3357                         || (SvNOK(sv) && SvNVX(sv) != 0.0);
3358                 }
3359                 else {
3360                     flags = 0;
3361                     goto restart; /* call sv_2bool_nomg */
3362                 }
3363                 return cBOOL(svb);
3364             }
3365         }
3366         return SvRV(sv) != 0;
3367     }
3368     if (isREGEXP(sv))
3369         return
3370           RX_WRAPLEN(sv) > 1 || (RX_WRAPLEN(sv) && *RX_WRAPPED(sv) != '0');
3371     return SvTRUE_common(sv, isGV_with_GP(sv) ? 1 : 0);
3372 }
3373
3374 /*
3375 =for apidoc sv_utf8_upgrade
3376
3377 Converts the PV of an SV to its UTF-8-encoded form.
3378 Forces the SV to string form if it is not already.
3379 Will C<mg_get> on C<sv> if appropriate.
3380 Always sets the C<SvUTF8> flag to avoid future validity checks even
3381 if the whole string is the same in UTF-8 as not.
3382 Returns the number of bytes in the converted string
3383
3384 This is not a general purpose byte encoding to Unicode interface:
3385 use the Encode extension for that.
3386
3387 =for apidoc sv_utf8_upgrade_nomg
3388
3389 Like C<sv_utf8_upgrade>, but doesn't do magic on C<sv>.
3390
3391 =for apidoc sv_utf8_upgrade_flags
3392
3393 Converts the PV of an SV to its UTF-8-encoded form.
3394 Forces the SV to string form if it is not already.
3395 Always sets the SvUTF8 flag to avoid future validity checks even
3396 if all the bytes are invariant in UTF-8.
3397 If C<flags> has C<SV_GMAGIC> bit set,
3398 will C<mg_get> on C<sv> if appropriate, else not.
3399
3400 If C<flags> has C<SV_FORCE_UTF8_UPGRADE> set, this function assumes that the PV
3401 will expand when converted to UTF-8, and skips the extra work of checking for
3402 that.  Typically this flag is used by a routine that has already parsed the
3403 string and found such characters, and passes this information on so that the
3404 work doesn't have to be repeated.
3405
3406 Returns the number of bytes in the converted string.
3407
3408 This is not a general purpose byte encoding to Unicode interface:
3409 use the Encode extension for that.
3410
3411 =for apidoc sv_utf8_upgrade_flags_grow
3412
3413 Like C<sv_utf8_upgrade_flags>, but has an additional parameter C<extra>, which is
3414 the number of unused bytes the string of C<sv> is guaranteed to have free after
3415 it upon return.  This allows the caller to reserve extra space that it intends
3416 to fill, to avoid extra grows.
3417
3418 C<sv_utf8_upgrade>, C<sv_utf8_upgrade_nomg>, and C<sv_utf8_upgrade_flags>
3419 are implemented in terms of this function.
3420
3421 Returns the number of bytes in the converted string (not including the spares).
3422
3423 =cut
3424
3425 (One might think that the calling routine could pass in the position of the
3426 first variant character when it has set SV_FORCE_UTF8_UPGRADE, so it wouldn't
3427 have to be found again.  But that is not the case, because typically when the
3428 caller is likely to use this flag, it won't be calling this routine unless it
3429 finds something that won't fit into a byte.  Otherwise it tries to not upgrade
3430 and just use bytes.  But some things that do fit into a byte are variants in
3431 utf8, and the caller may not have been keeping track of these.)
3432
3433 If the routine itself changes the string, it adds a trailing C<NUL>.  Such a
3434 C<NUL> isn't guaranteed due to having other routines do the work in some input
3435 cases, or if the input is already flagged as being in utf8.
3436
3437 The speed of this could perhaps be improved for many cases if someone wanted to
3438 write a fast function that counts the number of variant characters in a string,
3439 especially if it could return the position of the first one.
3440
3441 */
3442
3443 STRLEN
3444 Perl_sv_utf8_upgrade_flags_grow(pTHX_ SV *const sv, const I32 flags, STRLEN extra)
3445 {
3446     PERL_ARGS_ASSERT_SV_UTF8_UPGRADE_FLAGS_GROW;
3447
3448     if (sv == &PL_sv_undef)
3449         return 0;
3450     if (!SvPOK_nog(sv)) {
3451         STRLEN len = 0;
3452         if (SvREADONLY(sv) && (SvPOKp(sv) || SvIOKp(sv) || SvNOKp(sv))) {
3453             (void) sv_2pv_flags(sv,&len, flags);
3454             if (SvUTF8(sv)) {
3455                 if (extra) SvGROW(sv, SvCUR(sv) + extra);
3456                 return len;
3457             }
3458         } else {
3459             (void) SvPV_force_flags(sv,len,flags & SV_GMAGIC);
3460         }
3461     }
3462
3463     if (SvUTF8(sv)) {
3464         if (extra) SvGROW(sv, SvCUR(sv) + extra);
3465         return SvCUR(sv);
3466     }
3467
3468     if (SvIsCOW(sv)) {
3469         S_sv_uncow(aTHX_ sv, 0);
3470     }
3471
3472     if (SvCUR(sv) == 0) {
3473         if (extra) SvGROW(sv, extra);
3474     } else { /* Assume Latin-1/EBCDIC */
3475         /* This function could be much more efficient if we
3476          * had a FLAG in SVs to signal if there are any variant
3477          * chars in the PV.  Given that there isn't such a flag
3478          * make the loop as fast as possible (although there are certainly ways
3479          * to speed this up, eg. through vectorization) */
3480         U8 * s = (U8 *) SvPVX_const(sv);
3481         U8 * e = (U8 *) SvEND(sv);
3482         U8 *t = s;
3483         STRLEN two_byte_count = 0;
3484         
3485         if (flags & SV_FORCE_UTF8_UPGRADE) goto must_be_utf8;
3486
3487         /* See if really will need to convert to utf8.  We mustn't rely on our
3488          * incoming SV being well formed and having a trailing '\0', as certain
3489          * code in pp_formline can send us partially built SVs. */
3490
3491         while (t < e) {
3492             const U8 ch = *t++;
3493             if (NATIVE_BYTE_IS_INVARIANT(ch)) continue;
3494
3495             t--;    /* t already incremented; re-point to first variant */
3496             two_byte_count = 1;
3497             goto must_be_utf8;
3498         }
3499
3500         /* utf8 conversion not needed because all are invariants.  Mark as
3501          * UTF-8 even if no variant - saves scanning loop */
3502         SvUTF8_on(sv);
3503         if (extra) SvGROW(sv, SvCUR(sv) + extra);
3504         return SvCUR(sv);
3505
3506       must_be_utf8:
3507
3508         /* Here, the string should be converted to utf8, either because of an
3509          * input flag (two_byte_count = 0), or because a character that
3510          * requires 2 bytes was found (two_byte_count = 1).  t points either to
3511          * the beginning of the string (if we didn't examine anything), or to
3512          * the first variant.  In either case, everything from s to t - 1 will
3513          * occupy only 1 byte each on output.
3514          *
3515          * There are two main ways to convert.  One is to create a new string
3516          * and go through the input starting from the beginning, appending each
3517          * converted value onto the new string as we go along.  It's probably
3518          * best to allocate enough space in the string for the worst possible
3519          * case rather than possibly running out of space and having to
3520          * reallocate and then copy what we've done so far.  Since everything
3521          * from s to t - 1 is invariant, the destination can be initialized
3522          * with these using a fast memory copy
3523          *
3524          * The other way is to figure out exactly how big the string should be
3525          * by parsing the entire input.  Then you don't have to make it big
3526          * enough to handle the worst possible case, and more importantly, if
3527          * the string you already have is large enough, you don't have to
3528          * allocate a new string, you can copy the last character in the input
3529          * string to the final position(s) that will be occupied by the
3530          * converted string and go backwards, stopping at t, since everything
3531          * before that is invariant.
3532          *
3533          * There are advantages and disadvantages to each method.
3534          *
3535          * In the first method, we can allocate a new string, do the memory
3536          * copy from the s to t - 1, and then proceed through the rest of the
3537          * string byte-by-byte.
3538          *
3539          * In the second method, we proceed through the rest of the input
3540          * string just calculating how big the converted string will be.  Then
3541          * there are two cases:
3542          *  1)  if the string has enough extra space to handle the converted
3543          *      value.  We go backwards through the string, converting until we
3544          *      get to the position we are at now, and then stop.  If this
3545          *      position is far enough along in the string, this method is
3546          *      faster than the other method.  If the memory copy were the same
3547          *      speed as the byte-by-byte loop, that position would be about
3548          *      half-way, as at the half-way mark, parsing to the end and back
3549          *      is one complete string's parse, the same amount as starting
3550          *      over and going all the way through.  Actually, it would be
3551          *      somewhat less than half-way, as it's faster to just count bytes
3552          *      than to also copy, and we don't have the overhead of allocating
3553          *      a new string, changing the scalar to use it, and freeing the
3554          *      existing one.  But if the memory copy is fast, the break-even
3555          *      point is somewhere after half way.  The counting loop could be
3556          *      sped up by vectorization, etc, to move the break-even point
3557          *      further towards the beginning.
3558          *  2)  if the string doesn't have enough space to handle the converted
3559          *      value.  A new string will have to be allocated, and one might
3560          *      as well, given that, start from the beginning doing the first
3561          *      method.  We've spent extra time parsing the string and in
3562          *      exchange all we've gotten is that we know precisely how big to
3563          *      make the new one.  Perl is more optimized for time than space,
3564          *      so this case is a loser.
3565          * So what I've decided to do is not use the 2nd method unless it is
3566          * guaranteed that a new string won't have to be allocated, assuming
3567          * the worst case.  I also decided not to put any more conditions on it
3568          * than this, for now.  It seems likely that, since the worst case is
3569          * twice as big as the unknown portion of the string (plus 1), we won't
3570          * be guaranteed enough space, causing us to go to the first method,
3571          * unless the string is short, or the first variant character is near
3572          * the end of it.  In either of these cases, it seems best to use the
3573          * 2nd method.  The only circumstance I can think of where this would
3574          * be really slower is if the string had once had much more data in it
3575          * than it does now, but there is still a substantial amount in it  */
3576
3577         {
3578             STRLEN invariant_head = t - s;
3579             STRLEN size = invariant_head + (e - t) * 2 + 1 + extra;
3580             if (SvLEN(sv) < size) {
3581
3582                 /* Here, have decided to allocate a new string */
3583
3584                 U8 *dst;
3585                 U8 *d;
3586
3587                 Newx(dst, size, U8);
3588
3589                 /* If no known invariants at the beginning of the input string,
3590                  * set so starts from there.  Otherwise, can use memory copy to
3591                  * get up to where we are now, and then start from here */
3592
3593                 if (invariant_head == 0) {
3594                     d = dst;
3595                 } else {
3596                     Copy(s, dst, invariant_head, char);
3597                     d = dst + invariant_head;
3598                 }
3599
3600                 while (t < e) {
3601                     append_utf8_from_native_byte(*t, &d);
3602                     t++;
3603                 }
3604                 *d = '\0';
3605                 SvPV_free(sv); /* No longer using pre-existing string */
3606                 SvPV_set(sv, (char*)dst);
3607                 SvCUR_set(sv, d - dst);
3608                 SvLEN_set(sv, size);
3609             } else {
3610
3611                 /* Here, have decided to get the exact size of the string.
3612                  * Currently this happens only when we know that there is
3613                  * guaranteed enough space to fit the converted string, so
3614                  * don't have to worry about growing.  If two_byte_count is 0,
3615                  * then t points to the first byte of the string which hasn't
3616                  * been examined yet.  Otherwise two_byte_count is 1, and t
3617                  * points to the first byte in the string that will expand to
3618                  * two.  Depending on this, start examining at t or 1 after t.
3619                  * */
3620
3621                 U8 *d = t + two_byte_count;
3622
3623
3624                 /* Count up the remaining bytes that expand to two */
3625
3626                 while (d < e) {
3627                     const U8 chr = *d++;
3628                     if (! NATIVE_BYTE_IS_INVARIANT(chr)) two_byte_count++;
3629                 }
3630
3631                 /* The string will expand by just the number of bytes that
3632                  * occupy two positions.  But we are one afterwards because of
3633                  * the increment just above.  This is the place to put the
3634                  * trailing NUL, and to set the length before we decrement */
3635
3636                 d += two_byte_count;
3637                 SvCUR_set(sv, d - s);
3638                 *d-- = '\0';
3639
3640
3641                 /* Having decremented d, it points to the position to put the
3642                  * very last byte of the expanded string.  Go backwards through
3643                  * the string, copying and expanding as we go, stopping when we
3644                  * get to the part that is invariant the rest of the way down */
3645
3646                 e--;
3647                 while (e >= t) {
3648                     if (NATIVE_BYTE_IS_INVARIANT(*e)) {
3649                         *d-- = *e;
3650                     } else {
3651                         *d-- = UTF8_EIGHT_BIT_LO(*e);
3652                         *d-- = UTF8_EIGHT_BIT_HI(*e);
3653                     }
3654                     e--;
3655                 }
3656             }
3657
3658             if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
3659                 /* Update pos. We do it at the end rather than during
3660                  * the upgrade, to avoid slowing down the common case
3661                  * (upgrade without pos).
3662                  * pos can be stored as either bytes or characters.  Since
3663                  * this was previously a byte string we can just turn off
3664                  * the bytes flag. */
3665                 MAGIC * mg = mg_find(sv, PERL_MAGIC_regex_global);
3666                 if (mg) {
3667                     mg->mg_flags &= ~MGf_BYTES;
3668                 }
3669                 if ((mg = mg_find(sv, PERL_MAGIC_utf8)))
3670                     magic_setutf8(sv,mg); /* clear UTF8 cache */
3671             }
3672         }
3673     }
3674
3675     /* Mark as UTF-8 even if no variant - saves scanning loop */
3676     SvUTF8_on(sv);
3677     return SvCUR(sv);
3678 }
3679
3680 /*
3681 =for apidoc sv_utf8_downgrade
3682
3683 Attempts to convert the PV of an SV from characters to bytes.
3684 If the PV contains a character that cannot fit
3685 in a byte, this conversion will fail;
3686 in this case, either returns false or, if C<fail_ok> is not
3687 true, croaks.
3688
3689 This is not a general purpose Unicode to byte encoding interface:
3690 use the C<Encode> extension for that.
3691
3692 =cut
3693 */
3694
3695 bool
3696 Perl_sv_utf8_downgrade(pTHX_ SV *const sv, const bool fail_ok)
3697 {
3698     PERL_ARGS_ASSERT_SV_UTF8_DOWNGRADE;
3699
3700     if (SvPOKp(sv) && SvUTF8(sv)) {
3701         if (SvCUR(sv)) {
3702             U8 *s;
3703             STRLEN len;
3704             int mg_flags = SV_GMAGIC;
3705
3706             if (SvIsCOW(sv)) {
3707                 S_sv_uncow(aTHX_ sv, 0);
3708             }
3709             if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
3710                 /* update pos */
3711                 MAGIC * mg = mg_find(sv, PERL_MAGIC_regex_global);
3712                 if (mg && mg->mg_len > 0 && mg->mg_flags & MGf_BYTES) {
3713                         mg->mg_len = sv_pos_b2u_flags(sv, mg->mg_len,
3714                                                 SV_GMAGIC|SV_CONST_RETURN);
3715                         mg_flags = 0; /* sv_pos_b2u does get magic */
3716                 }
3717                 if ((mg = mg_find(sv, PERL_MAGIC_utf8)))
3718                     magic_setutf8(sv,mg); /* clear UTF8 cache */
3719
3720             }
3721             s = (U8 *) SvPV_flags(sv, len, mg_flags);
3722
3723             if (!utf8_to_bytes(s, &len)) {
3724                 if (fail_ok)
3725                     return FALSE;
3726                 else {
3727                     if (PL_op)
3728                         Perl_croak(aTHX_ "Wide character in %s",
3729                                    OP_DESC(PL_op));
3730                     else
3731                         Perl_croak(aTHX_ "Wide character");
3732                 }
3733             }
3734             SvCUR_set(sv, len);
3735         }
3736     }
3737     SvUTF8_off(sv);
3738     return TRUE;
3739 }
3740
3741 /*
3742 =for apidoc sv_utf8_encode
3743
3744 Converts the PV of an SV to UTF-8, but then turns the C<SvUTF8>
3745 flag off so that it looks like octets again.
3746
3747 =cut
3748 */
3749
3750 void
3751 Perl_sv_utf8_encode(pTHX_ SV *const sv)
3752 {
3753     PERL_ARGS_ASSERT_SV_UTF8_ENCODE;
3754
3755     if (SvREADONLY(sv)) {
3756         sv_force_normal_flags(sv, 0);
3757     }
3758     (void) sv_utf8_upgrade(sv);
3759     SvUTF8_off(sv);
3760 }
3761
3762 /*
3763 =for apidoc sv_utf8_decode
3764
3765 If the PV of the SV is an octet sequence in Perl's extended UTF-8
3766 and contains a multiple-byte character, the C<SvUTF8> flag is turned on
3767 so that it looks like a character.  If the PV contains only single-byte
3768 characters, the C<SvUTF8> flag stays off.
3769 Scans PV for validity and returns FALSE if the PV is invalid UTF-8.
3770
3771 =cut
3772 */
3773
3774 bool
3775 Perl_sv_utf8_decode(pTHX_ SV *const sv)
3776 {
3777     PERL_ARGS_ASSERT_SV_UTF8_DECODE;
3778
3779     if (SvPOKp(sv)) {
3780         const U8 *start, *c;
3781
3782         /* The octets may have got themselves encoded - get them back as
3783          * bytes
3784          */
3785         if (!sv_utf8_downgrade(sv, TRUE))
3786             return FALSE;
3787
3788         /* it is actually just a matter of turning the utf8 flag on, but
3789          * we want to make sure everything inside is valid utf8 first.
3790          */
3791         c = start = (const U8 *) SvPVX_const(sv);
3792         if (!is_utf8_string(c, SvCUR(sv)))
3793             return FALSE;
3794         if (! is_utf8_invariant_string(c, SvCUR(sv))) {
3795             SvUTF8_on(sv);
3796         }
3797         if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
3798             /* XXX Is this dead code?  XS_utf8_decode calls SvSETMAGIC
3799                    after this, clearing pos.  Does anything on CPAN
3800                    need this? */
3801             /* adjust pos to the start of a UTF8 char sequence */
3802             MAGIC * mg = mg_find(sv, PERL_MAGIC_regex_global);
3803             if (mg) {
3804                 I32 pos = mg->mg_len;
3805                 if (pos > 0) {
3806                     for (c = start + pos; c > start; c--) {
3807                         if (UTF8_IS_START(*c))
3808                             break;
3809                     }
3810                     mg->mg_len  = c - start;
3811                 }
3812             }
3813             if ((mg = mg_find(sv, PERL_MAGIC_utf8)))
3814                 magic_setutf8(sv,mg); /* clear UTF8 cache */
3815         }
3816     }
3817     return TRUE;
3818 }
3819
3820 /*
3821 =for apidoc sv_setsv
3822
3823 Copies the contents of the source SV C<ssv> into the destination SV
3824 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3825 function if the source SV needs to be reused.  Does not handle 'set' magic on
3826 destination SV.  Calls 'get' magic on source SV.  Loosely speaking, it
3827 performs a copy-by-value, obliterating any previous content of the
3828 destination.
3829
3830 You probably want to use one of the assortment of wrappers, such as
3831 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3832 C<SvSetMagicSV_nosteal>.
3833
3834 =for apidoc sv_setsv_flags
3835
3836 Copies the contents of the source SV C<ssv> into the destination SV
3837 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3838 function if the source SV needs to be reused.  Does not handle 'set' magic.
3839 Loosely speaking, it performs a copy-by-value, obliterating any previous
3840 content of the destination.
3841 If the C<flags> parameter has the C<SV_GMAGIC> bit set, will C<mg_get> on
3842 C<ssv> if appropriate, else not.  If the C<flags>
3843 parameter has the C<SV_NOSTEAL> bit set then the
3844 buffers of temps will not be stolen.  C<sv_setsv>
3845 and C<sv_setsv_nomg> are implemented in terms of this function.
3846
3847 You probably want to use one of the assortment of wrappers, such as
3848 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3849 C<SvSetMagicSV_nosteal>.
3850
3851 This is the primary function for copying scalars, and most other
3852 copy-ish functions and macros use this underneath.
3853
3854 =cut
3855 */
3856
3857 static void
3858 S_glob_assign_glob(pTHX_ SV *const dstr, SV *const sstr, const int dtype)
3859 {
3860     I32 mro_changes = 0; /* 1 = method, 2 = isa, 3 = recursive isa */
3861     HV *old_stash = NULL;
3862
3863     PERL_ARGS_ASSERT_GLOB_ASSIGN_GLOB;
3864
3865     if (dtype != SVt_PVGV && !isGV_with_GP(dstr)) {
3866         const char * const name = GvNAME(sstr);
3867         const STRLEN len = GvNAMELEN(sstr);
3868         {
3869             if (dtype >= SVt_PV) {
3870                 SvPV_free(dstr);
3871                 SvPV_set(dstr, 0);
3872                 SvLEN_set(dstr, 0);
3873                 SvCUR_set(dstr, 0);
3874             }
3875             SvUPGRADE(dstr, SVt_PVGV);
3876             (void)SvOK_off(dstr);
3877             isGV_with_GP_on(dstr);
3878         }
3879         GvSTASH(dstr) = GvSTASH(sstr);
3880         if (GvSTASH(dstr))
3881             Perl_sv_add_backref(aTHX_ MUTABLE_SV(GvSTASH(dstr)), dstr);
3882         gv_name_set(MUTABLE_GV(dstr), name, len,
3883                         GV_ADD | (GvNAMEUTF8(sstr) ? SVf_UTF8 : 0 ));
3884         SvFAKE_on(dstr);        /* can coerce to non-glob */
3885     }
3886
3887     if(GvGP(MUTABLE_GV(sstr))) {
3888         /* If source has method cache entry, clear it */
3889         if(GvCVGEN(sstr)) {
3890             SvREFCNT_dec(GvCV(sstr));
3891             GvCV_set(sstr, NULL);
3892             GvCVGEN(sstr) = 0;
3893         }
3894         /* If source has a real method, then a method is
3895            going to change */
3896         else if(
3897          GvCV((const GV *)sstr) && GvSTASH(dstr) && HvENAME(GvSTASH(dstr))
3898         ) {
3899             mro_changes = 1;
3900         }
3901     }
3902
3903     /* If dest already had a real method, that's a change as well */
3904     if(
3905         !mro_changes && GvGP(MUTABLE_GV(dstr)) && GvCVu((const GV *)dstr)
3906      && GvSTASH(dstr) && HvENAME(GvSTASH(dstr))
3907     ) {
3908         mro_changes = 1;
3909     }
3910
3911     /* We don't need to check the name of the destination if it was not a
3912        glob to begin with. */
3913     if(dtype == SVt_PVGV) {
3914         const char * const name = GvNAME((const GV *)dstr);
3915         if(
3916             strEQ(name,"ISA")
3917          /* The stash may have been detached from the symbol table, so
3918             check its name. */
3919          && GvSTASH(dstr) && HvENAME(GvSTASH(dstr))
3920         )
3921             mro_changes = 2;
3922         else {
3923             const STRLEN len = GvNAMELEN(dstr);
3924             if ((len > 1 && name[len-2] == ':' && name[len-1] == ':')
3925              || (len == 1 && name[0] == ':')) {
3926                 mro_changes = 3;
3927
3928                 /* Set aside the old stash, so we can reset isa caches on
3929                    its subclasses. */
3930                 if((old_stash = GvHV(dstr)))
3931                     /* Make sure we do not lose it early. */
3932                     SvREFCNT_inc_simple_void_NN(
3933                      sv_2mortal((SV *)old_stash)
3934                     );
3935             }
3936         }
3937
3938         SvREFCNT_inc_simple_void_NN(sv_2mortal(dstr));
3939     }
3940
3941     /* freeing dstr's GP might free sstr (e.g. *x = $x),
3942      * so temporarily protect it */
3943     ENTER;
3944     SAVEFREESV(SvREFCNT_inc_simple_NN(sstr));
3945     gp_free(MUTABLE_GV(dstr));
3946     GvINTRO_off(dstr);          /* one-shot flag */
3947     GvGP_set(dstr, gp_ref(GvGP(sstr)));
3948     LEAVE;
3949
3950     if (SvTAINTED(sstr))
3951         SvTAINT(dstr);
3952     if (GvIMPORTED(dstr) != GVf_IMPORTED
3953         && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3954         {
3955             GvIMPORTED_on(dstr);
3956         }
3957     GvMULTI_on(dstr);
3958     if(mro_changes == 2) {
3959       if (GvAV((const GV *)sstr)) {
3960         MAGIC *mg;
3961         SV * const sref = (SV *)GvAV((const GV *)dstr);
3962         if (SvSMAGICAL(sref) && (mg = mg_find(sref, PERL_MAGIC_isa))) {
3963             if (SvTYPE(mg->mg_obj) != SVt_PVAV) {
3964                 AV * const ary = newAV();
3965                 av_push(ary, mg->mg_obj); /* takes the refcount */
3966                 mg->mg_obj = (SV *)ary;
3967             }
3968             av_push((AV *)mg->mg_obj, SvREFCNT_inc_simple_NN(dstr));
3969         }
3970         else sv_magic(sref, dstr, PERL_MAGIC_isa, NULL, 0);
3971       }
3972       mro_isa_changed_in(GvSTASH(dstr));
3973     }
3974     else if(mro_changes == 3) {
3975         HV * const stash = GvHV(dstr);
3976         if(old_stash ? (HV *)HvENAME_get(old_stash) : stash)
3977             mro_package_moved(
3978                 stash, old_stash,
3979                 (GV *)dstr, 0
3980             );
3981     }
3982     else if(mro_changes) mro_method_changed_in(GvSTASH(dstr));
3983     if (GvIO(dstr) && dtype == SVt_PVGV) {
3984         DEBUG_o(Perl_deb(aTHX_
3985                         "glob_assign_glob clearing PL_stashcache\n"));
3986         /* It's a cache. It will rebuild itself quite happily.
3987            It's a lot of effort to work out exactly which key (or keys)
3988            might be invalidated by the creation of the this file handle.
3989          */
3990         hv_clear(PL_stashcache);
3991     }
3992     return;
3993 }
3994
3995 void
3996 Perl_gv_setref(pTHX_ SV *const dstr, SV *const sstr)
3997 {
3998     SV * const sref = SvRV(sstr);
3999     SV *dref;
4000     const int intro = GvINTRO(dstr);
4001     SV **location;
4002     U8 import_flag = 0;
4003     const U32 stype = SvTYPE(sref);
4004
4005     PERL_ARGS_ASSERT_GV_SETREF;
4006
4007     if (intro) {
4008         GvINTRO_off(dstr);      /* one-shot flag */
4009         GvLINE(dstr) = CopLINE(PL_curcop);
4010         GvEGV(dstr) = MUTABLE_GV(dstr);
4011     }
4012     GvMULTI_on(dstr);
4013     switch (stype) {
4014     case SVt_PVCV:
4015         location = (SV **) &(GvGP(dstr)->gp_cv); /* XXX bypassing GvCV_set */
4016         import_flag = GVf_IMPORTED_CV;
4017         goto common;
4018     case SVt_PVHV:
4019         location = (SV **) &GvHV(dstr);
4020         import_flag = GVf_IMPORTED_HV;
4021         goto common;
4022     case SVt_PVAV:
4023         location = (SV **) &GvAV(dstr);
4024         import_flag = GVf_IMPORTED_AV;
4025         goto common;
4026     case SVt_PVIO:
4027         location = (SV **) &GvIOp(dstr);
4028         goto common;
4029     case SVt_PVFM:
4030         location = (SV **) &GvFORM(dstr);
4031         goto common;
4032     default:
4033         location = &GvSV(dstr);
4034         import_flag = GVf_IMPORTED_SV;
4035     common:
4036         if (intro) {
4037             if (stype == SVt_PVCV) {
4038                 /*if (GvCVGEN(dstr) && (GvCV(dstr) != (const CV *)sref || GvCVGEN(dstr))) {*/
4039                 if (GvCVGEN(dstr)) {
4040                     SvREFCNT_dec(GvCV(dstr));
4041                     GvCV_set(dstr, NULL);
4042                     GvCVGEN(dstr) = 0; /* Switch off cacheness. */
4043                 }
4044             }
4045             /* SAVEt_GVSLOT takes more room on the savestack and has more
4046                overhead in leave_scope than SAVEt_GENERIC_SV.  But for CVs
4047                leave_scope needs access to the GV so it can reset method
4048                caches.  We must use SAVEt_GVSLOT whenever the type is
4049                SVt_PVCV, even if the stash is anonymous, as the stash may
4050                gain a name somehow before leave_scope. */
4051             if (stype == SVt_PVCV) {
4052                 /* There is no save_pushptrptrptr.  Creating it for this
4053                    one call site would be overkill.  So inline the ss add
4054                    routines here. */
4055                 dSS_ADD;
4056                 SS_ADD_PTR(dstr);
4057                 SS_ADD_PTR(location);
4058                 SS_ADD_PTR(SvREFCNT_inc(*location));
4059                 SS_ADD_UV(SAVEt_GVSLOT);
4060                 SS_ADD_END(4);
4061             }
4062             else SAVEGENERICSV(*location);
4063         }
4064         dref = *location;
4065         if (stype == SVt_PVCV && (*location != sref || GvCVGEN(dstr))) {
4066             CV* const cv = MUTABLE_CV(*location);
4067             if (cv) {
4068                 if (!GvCVGEN((const GV *)dstr) &&
4069                     (CvROOT(cv) || CvXSUB(cv)) &&
4070                     /* redundant check that avoids creating the extra SV
4071                        most of the time: */
4072                     (CvCONST(cv) || ckWARN(WARN_REDEFINE)))
4073                     {
4074                         SV * const new_const_sv =
4075                             CvCONST((const CV *)sref)
4076                                  ? cv_const_sv((const CV *)sref)
4077                                  : NULL;
4078                         HV * const stash = GvSTASH((const GV *)dstr);
4079                         report_redefined_cv(
4080                            sv_2mortal(
4081                              stash
4082                                ? Perl_newSVpvf(aTHX_
4083                                     "%" HEKf "::%" HEKf,
4084                                     HEKfARG(HvNAME_HEK(stash)),
4085                                     HEKfARG(GvENAME_HEK(MUTABLE_GV(dstr))))
4086                                : Perl_newSVpvf(aTHX_
4087                                     "%" HEKf,
4088                                     HEKfARG(GvENAME_HEK(MUTABLE_GV(dstr))))
4089                            ),
4090                            cv,
4091                            CvCONST((const CV *)sref) ? &new_const_sv : NULL
4092                         );
4093                     }
4094                 if (!intro)
4095                     cv_ckproto_len_flags(cv, (const GV *)dstr,
4096                                    SvPOK(sref) ? CvPROTO(sref) : NULL,
4097                                    SvPOK(sref) ? CvPROTOLEN(sref) : 0,
4098                                    SvPOK(sref) ? SvUTF8(sref) : 0);
4099             }
4100             GvCVGEN(dstr) = 0; /* Switch off cacheness. */
4101             GvASSUMECV_on(dstr);
4102             if(GvSTASH(dstr)) { /* sub foo { 1 } sub bar { 2 } *bar = \&foo */
4103                 if (intro && GvREFCNT(dstr) > 1) {
4104                     /* temporary remove extra savestack's ref */
4105                     --GvREFCNT(dstr);
4106                     gv_method_changed(dstr);
4107                     ++GvREFCNT(dstr);
4108                 }
4109                 else gv_method_changed(dstr);
4110             }
4111         }
4112         *location = SvREFCNT_inc_simple_NN(sref);
4113         if (import_flag && !(GvFLAGS(dstr) & import_flag)
4114             && CopSTASH_ne(PL_curcop, GvSTASH(dstr))) {
4115             GvFLAGS(dstr) |= import_flag;
4116         }
4117
4118         if (stype == SVt_PVHV) {
4119             const char * const name = GvNAME((GV*)dstr);
4120             const STRLEN len = GvNAMELEN(dstr);
4121             if (
4122                 (
4123                    (len > 1 && name[len-2] == ':' && name[len-1] == ':')
4124                 || (len == 1 && name[0] == ':')
4125                 )
4126              && (!dref || HvENAME_get(dref))
4127             ) {
4128                 mro_package_moved(
4129                     (HV *)sref, (HV *)dref,
4130                     (GV *)dstr, 0
4131                 );
4132             }
4133         }
4134         else if (
4135             stype == SVt_PVAV && sref != dref
4136          && strEQ(GvNAME((GV*)dstr), "ISA")
4137          /* The stash may have been detached from the symbol table, so
4138             check its name before doing anything. */
4139          && GvSTASH(dstr) && HvENAME(GvSTASH(dstr))
4140         ) {
4141             MAGIC *mg;
4142             MAGIC * const omg = dref && SvSMAGICAL(dref)
4143                                  ? mg_find(dref, PERL_MAGIC_isa)
4144                                  : NULL;
4145             if (SvSMAGICAL(sref) && (mg = mg_find(sref, PERL_MAGIC_isa))) {
4146                 if (SvTYPE(mg->mg_obj) != SVt_PVAV) {
4147                     AV * const ary = newAV();
4148                     av_push(ary, mg->mg_obj); /* takes the refcount */
4149                     mg->mg_obj = (SV *)ary;
4150                 }
4151                 if (omg) {
4152                     if (SvTYPE(omg->mg_obj) == SVt_PVAV) {
4153                         SV **svp = AvARRAY((AV *)omg->mg_obj);
4154                         I32 items = AvFILLp((AV *)omg->mg_obj) + 1;
4155                         while (items--)
4156                             av_push(
4157                              (AV *)mg->mg_obj,
4158                              SvREFCNT_inc_simple_NN(*svp++)
4159                             );
4160                     }
4161                     else
4162                         av_push(
4163                          (AV *)mg->mg_obj,
4164                          SvREFCNT_inc_simple_NN(omg->mg_obj)
4165                         );
4166                 }
4167                 else
4168                     av_push((AV *)mg->mg_obj,SvREFCNT_inc_simple_NN(dstr));
4169             }
4170             else
4171             {
4172                 SSize_t i;
4173                 sv_magic(
4174                  sref, omg ? omg->mg_obj : dstr, PERL_MAGIC_isa, NULL, 0
4175                 );
4176                 for (i = 0; i <= AvFILL(sref); ++i) {
4177                     SV **elem = av_fetch ((AV*)sref, i, 0);
4178                     if (elem) {
4179                         sv_magic(
4180                           *elem, sref, PERL_MAGIC_isaelem, NULL, i
4181                         );
4182                     }
4183                 }
4184                 mg = mg_find(sref, PERL_MAGIC_isa);
4185             }
4186             /* Since the *ISA assignment could have affected more than
4187                one stash, don't call mro_isa_changed_in directly, but let
4188                magic_clearisa do it for us, as it already has the logic for
4189                dealing with globs vs arrays of globs. */
4190             assert(mg);
4191             Perl_magic_clearisa(aTHX_ NULL, mg);
4192         }
4193         else if (stype == SVt_PVIO) {
4194             DEBUG_o(Perl_deb(aTHX_ "gv_setref clearing PL_stashcache\n"));
4195             /* It's a cache. It will rebuild itself quite happily.
4196                It's a lot of effort to work out exactly which key (or keys)
4197                might be invalidated by the creation of the this file handle.
4198             */
4199             hv_clear(PL_stashcache);
4200         }
4201         break;
4202     }
4203     if (!intro) SvREFCNT_dec(dref);
4204     if (SvTAINTED(sstr))
4205         SvTAINT(dstr);
4206     return;
4207 }
4208
4209
4210
4211
4212 #ifdef PERL_DEBUG_READONLY_COW
4213 # include <sys/mman.h>
4214
4215 # ifndef PERL_MEMORY_DEBUG_HEADER_SIZE
4216 #  define PERL_MEMORY_DEBUG_HEADER_SIZE 0
4217 # endif
4218
4219 void
4220 Perl_sv_buf_to_ro(pTHX_ SV *sv)
4221 {
4222     struct perl_memory_debug_header * const header =
4223         (struct perl_memory_debug_header *)(SvPVX(sv)-PERL_MEMORY_DEBUG_HEADER_SIZE);
4224     const MEM_SIZE len = header->size;
4225     PERL_ARGS_ASSERT_SV_BUF_TO_RO;
4226 # ifdef PERL_TRACK_MEMPOOL
4227     if (!header->readonly) header->readonly = 1;
4228 # endif
4229     if (mprotect(header, len, PROT_READ))
4230         Perl_warn(aTHX_ "mprotect RW for COW string %p %lu failed with %d",
4231                          header, len, errno);
4232 }
4233
4234 static void
4235 S_sv_buf_to_rw(pTHX_ SV *sv)
4236 {
4237     struct perl_memory_debug_header * const header =
4238         (struct perl_memory_debug_header *)(SvPVX(sv)-PERL_MEMORY_DEBUG_HEADER_SIZE);
4239     const MEM_SIZE len = header->size;
4240     PERL_ARGS_ASSERT_SV_BUF_TO_RW;
4241     if (mprotect(header, len, PROT_READ|PROT_WRITE))
4242         Perl_warn(aTHX_ "mprotect for COW string %p %lu failed with %d",
4243                          header, len, errno);
4244 # ifdef PERL_TRACK_MEMPOOL
4245     header->readonly = 0;
4246 # endif
4247 }
4248
4249 #else
4250 # define sv_buf_to_ro(sv)       NOOP
4251 # define sv_buf_to_rw(sv)       NOOP
4252 #endif
4253
4254 void
4255 Perl_sv_setsv_flags(pTHX_ SV *dstr, SV* sstr, const I32 flags)
4256 {
4257     U32 sflags;
4258     int dtype;
4259     svtype stype;
4260     unsigned int both_type;
4261
4262     PERL_ARGS_ASSERT_SV_SETSV_FLAGS;
4263
4264     if (UNLIKELY( sstr == dstr ))
4265         return;
4266
4267     if (UNLIKELY( !sstr ))
4268         sstr = &PL_sv_undef;
4269
4270     stype = SvTYPE(sstr);
4271     dtype = SvTYPE(dstr);
4272     both_type = (stype | dtype);
4273
4274     /* with these values, we can check that both SVs are NULL/IV (and not
4275      * freed) just by testing the or'ed types */
4276     STATIC_ASSERT_STMT(SVt_NULL == 0);
4277     STATIC_ASSERT_STMT(SVt_IV   == 1);
4278     if (both_type <= 1) {
4279         /* both src and dst are UNDEF/IV/RV, so we can do a lot of
4280          * special-casing */
4281         U32 sflags;
4282         U32 new_dflags;
4283         SV *old_rv = NULL;
4284
4285         /* minimal subset of SV_CHECK_THINKFIRST_COW_DROP(dstr) */
4286         if (SvREADONLY(dstr))
4287             Perl_croak_no_modify();
4288         if (SvROK(dstr)) {
4289             if (SvWEAKREF(dstr))
4290                 sv_unref_flags(dstr, 0);
4291             else
4292                 old_rv = SvRV(dstr);
4293         }
4294
4295         assert(!SvGMAGICAL(sstr));
4296         assert(!SvGMAGICAL(dstr));
4297
4298         sflags = SvFLAGS(sstr);
4299         if (sflags & (SVf_IOK|SVf_ROK)) {
4300             SET_SVANY_FOR_BODYLESS_IV(dstr);
4301             new_dflags = SVt_IV;
4302
4303             if (sflags & SVf_ROK) {
4304                 dstr->sv_u.svu_rv = SvREFCNT_inc(SvRV(sstr));
4305                 new_dflags |= SVf_ROK;
4306             }
4307             else {
4308                 /* both src and dst are <= SVt_IV, so sv_any points to the
4309                  * head; so access the head directly
4310                  */
4311                 assert(    &(sstr->sv_u.svu_iv)
4312                         == &(((XPVIV*) SvANY(sstr))->xiv_iv));
4313                 assert(    &(dstr->sv_u.svu_iv)
4314                         == &(((XPVIV*) SvANY(dstr))->xiv_iv));
4315                 dstr->sv_u.svu_iv = sstr->sv_u.svu_iv;
4316                 new_dflags |= (SVf_IOK|SVp_IOK|(sflags & SVf_IVisUV));
4317             }
4318         }
4319         else {
4320             new_dflags = dtype; /* turn off everything except the type */
4321         }
4322         SvFLAGS(dstr) = new_dflags;
4323         SvREFCNT_dec(old_rv);
4324
4325         return;
4326     }
4327
4328     if (UNLIKELY(both_type == SVTYPEMASK)) {
4329         if (SvIS_FREED(dstr)) {
4330             Perl_croak(aTHX_ "panic: attempt to copy value %" SVf
4331                        " to a freed scalar %p", SVfARG(sstr), (void *)dstr);
4332         }
4333         if (SvIS_FREED(sstr)) {
4334             Perl_croak(aTHX_ "panic: attempt to copy freed scalar %p to %p",
4335                        (void*)sstr, (void*)dstr);
4336         }
4337     }
4338
4339
4340
4341     SV_CHECK_THINKFIRST_COW_DROP(dstr);
4342     dtype = SvTYPE(dstr); /* THINKFIRST may have changed type */
4343
4344     /* There's a lot of redundancy below but we're going for speed here */
4345
4346     switch (stype) {
4347     case SVt_NULL:
4348       undef_sstr:
4349         if (LIKELY( dtype != SVt_PVGV && dtype != SVt_PVLV )) {
4350             (void)SvOK_off(dstr);
4351             return;
4352         }
4353         break;
4354     case SVt_IV:
4355         if (SvIOK(sstr)) {
4356             switch (dtype) {
4357             case SVt_NULL:
4358                 /* For performance, we inline promoting to type SVt_IV. */
4359                 /* We're starting from SVt_NULL, so provided that define is
4360                  * actual 0, we don't have to unset any SV type flags
4361                  * to promote to SVt_IV. */
4362                 STATIC_ASSERT_STMT(SVt_NULL == 0);
4363                 SET_SVANY_FOR_BODYLESS_IV(dstr);
4364                 SvFLAGS(dstr) |= SVt_IV;
4365                 break;
4366             case SVt_NV:
4367             case SVt_PV:
4368                 sv_upgrade(dstr, SVt_PVIV);
4369                 break;
4370             case SVt_PVGV:
4371             case SVt_PVLV:
4372                 goto end_of_first_switch;
4373             }
4374             (void)SvIOK_only(dstr);
4375             SvIV_set(dstr,  SvIVX(sstr));
4376             if (SvIsUV(sstr))
4377                 SvIsUV_on(dstr);
4378             /* SvTAINTED can only be true if the SV has taint magic, which in
4379                turn means that the SV type is PVMG (or greater). This is the
4380                case statement for SVt_IV, so this cannot be true (whatever gcov
4381                may say).  */
4382             assert(!SvTAINTED(sstr));
4383             return;
4384         }
4385         if (!SvROK(sstr))
4386             goto undef_sstr;
4387         if (dtype < SVt_PV && dtype != SVt_IV)
4388             sv_upgrade(dstr, SVt_IV);
4389         break;
4390
4391     case SVt_NV:
4392         if (LIKELY( SvNOK(sstr) )) {
4393             switch (dtype) {
4394             case SVt_NULL:
4395             case SVt_IV:
4396                 sv_upgrade(dstr, SVt_NV);
4397                 break;
4398             case SVt_PV:
4399             case SVt_PVIV:
4400                 sv_upgrade(dstr, SVt_PVNV);
4401                 break;
4402             case SVt_PVGV:
4403             case SVt_PVLV:
4404                 goto end_of_first_switch;
4405             }
4406             SvNV_set(dstr, SvNVX(sstr));
4407             (void)SvNOK_only(dstr);
4408             /* SvTAINTED can only be true if the SV has taint magic, which in
4409                turn means that the SV type is PVMG (or greater). This is the
4410                case statement for SVt_NV, so this cannot be true (whatever gcov
4411                may say).  */
4412             assert(!SvTAINTED(sstr));
4413             return;
4414         }
4415         goto undef_sstr;
4416
4417     case SVt_PV:
4418         if (dtype < SVt_PV)
4419             sv_upgrade(dstr, SVt_PV);
4420         break;
4421     case SVt_PVIV:
4422         if (dtype < SVt_PVIV)
4423             sv_upgrade(dstr, SVt_PVIV);
4424         break;
4425     case SVt_PVNV:
4426         if (dtype < SVt_PVNV)
4427             sv_upgrade(dstr, SVt_PVNV);
4428         break;
4429     default:
4430         {
4431         const char * const type = sv_reftype(sstr,0);
4432         if (PL_op)
4433             /* diag_listed_as: Bizarre copy of %s */
4434             Perl_croak(aTHX_ "Bizarre copy of %s in %s", type, OP_DESC(PL_op));
4435         else
4436             Perl_croak(aTHX_ "Bizarre copy of %s", type);
4437         }
4438         NOT_REACHED; /* NOTREACHED */
4439
4440     case SVt_REGEXP:
4441       upgregexp:
4442         if (dtype < SVt_REGEXP)
4443         {
4444             if (dtype >= SVt_PV) {
4445                 SvPV_free(dstr);
4446                 SvPV_set(dstr, 0);
4447                 SvLEN_set(dstr, 0);
4448                 SvCUR_set(dstr, 0);
4449             }
4450             sv_upgrade(dstr, SVt_REGEXP);
4451         }
4452         break;
4453
4454         case SVt_INVLIST:
4455     case SVt_PVLV:
4456     case SVt_PVGV:
4457     case SVt_PVMG:
4458         if (SvGMAGICAL(sstr) && (flags & SV_GMAGIC)) {
4459             mg_get(sstr);
4460             if (SvTYPE(sstr) != stype)
4461                 stype = SvTYPE(sstr);
4462         }
4463         if (isGV_with_GP(sstr) && dtype <= SVt_PVLV) {
4464                     glob_assign_glob(dstr, sstr, dtype);
4465                     return;
4466         }
4467         if (stype == SVt_PVLV)
4468         {
4469             if (isREGEXP(sstr)) goto upgregexp;
4470             SvUPGRADE(dstr, SVt_PVNV);
4471         }
4472         else
4473             SvUPGRADE(dstr, (svtype)stype);
4474     }
4475  end_of_first_switch:
4476
4477     /* dstr may have been upgraded.  */
4478     dtype = SvTYPE(dstr);
4479     sflags = SvFLAGS(sstr);
4480
4481     if (UNLIKELY( dtype == SVt_PVCV )) {
4482         /* Assigning to a subroutine sets the prototype.  */
4483         if (SvOK(sstr)) {
4484             STRLEN len;
4485             const char *const ptr = SvPV_const(sstr, len);
4486
4487             SvGROW(dstr, len + 1);
4488             Copy(ptr, SvPVX(dstr), len + 1, char);
4489             SvCUR_set(dstr, len);
4490             SvPOK_only(dstr);
4491             SvFLAGS(dstr) |= sflags & SVf_UTF8;
4492             CvAUTOLOAD_off(dstr);
4493         } else {
4494             SvOK_off(dstr);
4495         }
4496     }
4497     else if (UNLIKELY(dtype == SVt_PVAV || dtype == SVt_PVHV
4498              || dtype == SVt_PVFM))
4499     {
4500         const char * const type = sv_reftype(dstr,0);
4501         if (PL_op)
4502             /* diag_listed_as: Cannot copy to %s */
4503             Perl_croak(aTHX_ "Cannot copy to %s in %s", type, OP_DESC(PL_op));
4504         else
4505             Perl_croak(aTHX_ "Cannot copy to %s", type);
4506     } else if (sflags & SVf_ROK) {
4507         if (isGV_with_GP(dstr)
4508             && SvTYPE(SvRV(sstr)) == SVt_PVGV && isGV_with_GP(SvRV(sstr))) {
4509             sstr = SvRV(sstr);
4510             if (sstr == dstr) {
4511                 if (GvIMPORTED(dstr) != GVf_IMPORTED
4512                     && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
4513                 {
4514                     GvIMPORTED_on(dstr);
4515                 }
4516                 GvMULTI_on(dstr);
4517                 return;
4518             }
4519             glob_assign_glob(dstr, sstr, dtype);
4520             return;
4521         }
4522
4523         if (dtype >= SVt_PV) {
4524             if (isGV_with_GP(dstr)) {
4525                 gv_setref(dstr, sstr);
4526                 return;
4527             }
4528             if (SvPVX_const(dstr)) {
4529                 SvPV_free(dstr);
4530                 SvLEN_set(dstr, 0);
4531                 SvCUR_set(dstr, 0);
4532             }
4533         }
4534         (void)SvOK_off(dstr);
4535         SvRV_set(dstr, SvREFCNT_inc(SvRV(sstr)));
4536         SvFLAGS(dstr) |= sflags & SVf_ROK;
4537         assert(!(sflags & SVp_NOK));
4538         assert(!(sflags & SVp_IOK));
4539         assert(!(sflags & SVf_NOK));
4540         assert(!(sflags & SVf_IOK));
4541     }
4542     else if (isGV_with_GP(dstr)) {
4543         if (!(sflags & SVf_OK)) {
4544             Perl_ck_warner(aTHX_ packWARN(WARN_MISC),
4545                            "Undefined value assigned to typeglob");
4546         }
4547         else {
4548             GV *gv = gv_fetchsv_nomg(sstr, GV_ADD, SVt_PVGV);
4549             if (dstr != (const SV *)gv) {
4550                 const char * const name = GvNAME((const GV *)dstr);
4551                 const STRLEN len = GvNAMELEN(dstr);
4552                 HV *old_stash = NULL;
4553                 bool reset_isa = FALSE;
4554                 if ((len > 1 && name[len-2] == ':' && name[len-1] == ':')
4555                  || (len == 1 && name[0] == ':')) {
4556                     /* Set aside the old stash, so we can reset isa caches
4557                        on its subclasses. */
4558                     if((old_stash = GvHV(dstr))) {
4559                         /* Make sure we do not lose it early. */
4560                         SvREFCNT_inc_simple_void_NN(
4561                          sv_2mortal((SV *)old_stash)
4562                         );
4563                     }
4564                     reset_isa = TRUE;
4565                 }
4566
4567                 if (GvGP(dstr)) {
4568                     SvREFCNT_inc_simple_void_NN(sv_2mortal(dstr));
4569                     gp_free(MUTABLE_GV(dstr));
4570                 }
4571                 GvGP_set(dstr, gp_ref(GvGP(gv)));
4572
4573                 if (reset_isa) {
4574                     HV * const stash = GvHV(dstr);
4575                     if(
4576                         old_stash ? (HV *)HvENAME_get(old_stash) : stash
4577                     )
4578                         mro_package_moved(
4579                          stash, old_stash,
4580                          (GV *)dstr, 0
4581                         );
4582                 }
4583             }
4584         }
4585     }
4586     else if ((dtype == SVt_REGEXP || dtype == SVt_PVLV)
4587           && (stype == SVt_REGEXP || isREGEXP(sstr))) {
4588         reg_temp_copy((REGEXP*)dstr, (REGEXP*)sstr);
4589     }
4590     else if (sflags & SVp_POK) {
4591         const STRLEN cur = SvCUR(sstr);
4592         const STRLEN len = SvLEN(sstr);
4593
4594         /*
4595          * We have three basic ways to copy the string:
4596          *
4597          *  1. Swipe
4598          *  2. Copy-on-write
4599          *  3. Actual copy
4600          * 
4601          * Which we choose is based on various factors.  The following
4602          * things are listed in order of speed, fastest to slowest:
4603          *  - Swipe
4604          *  - Copying a short string
4605          *  - Copy-on-write bookkeeping
4606          *  - malloc
4607          *  - Copying a long string
4608          * 
4609          * We swipe the string (steal the string buffer) if the SV on the
4610          * rhs is about to be freed anyway (TEMP and refcnt==1).  This is a
4611          * big win on long strings.  It should be a win on short strings if
4612          * SvPVX_const(dstr) has to be allocated.  If not, it should not 
4613          * slow things down, as SvPVX_const(sstr) would have been freed
4614          * soon anyway.
4615          * 
4616          * We also steal the buffer from a PADTMP (operator target) if it
4617          * is â€˜long enough’.  For short strings, a swipe does not help
4618          * here, as it causes more malloc calls the next time the target
4619          * is used.  Benchmarks show that even if SvPVX_const(dstr) has to
4620          * be allocated it is still not worth swiping PADTMPs for short
4621          * strings, as the savings here are small.
4622          * 
4623          * If swiping is not an option, then we see whether it is
4624          * worth using copy-on-write.  If the lhs already has a buf-
4625          * fer big enough and the string is short, we skip it and fall back
4626          * to method 3, since memcpy is faster for short strings than the
4627          * later bookkeeping overhead that copy-on-write entails.
4628
4629          * If the rhs is not a copy-on-write string yet, then we also
4630          * consider whether the buffer is too large relative to the string
4631          * it holds.  Some operations such as readline allocate a large
4632          * buffer in the expectation of reusing it.  But turning such into
4633          * a COW buffer is counter-productive because it increases memory
4634          * usage by making readline allocate a new large buffer the sec-
4635          * ond time round.  So, if the buffer is too large, again, we use
4636          * method 3 (copy).
4637          * 
4638          * Finally, if there is no buffer on the left, or the buffer is too 
4639          * small, then we use copy-on-write and make both SVs share the
4640          * string buffer.
4641          *
4642          */
4643
4644         /* Whichever path we take through the next code, we want this true,
4645            and doing it now facilitates the COW check.  */
4646         (void)SvPOK_only(dstr);
4647
4648         if (
4649                  (              /* Either ... */
4650                                 /* slated for free anyway (and not COW)? */
4651                     (sflags & (SVs_TEMP|SVf_IsCOW)) == SVs_TEMP
4652                                 /* or a swipable TARG */
4653                  || ((sflags &
4654                            (SVs_PADTMP|SVf_READONLY|SVf_PROTECT|SVf_IsCOW))
4655                        == SVs_PADTMP
4656                                 /* whose buffer is worth stealing */
4657                      && CHECK_COWBUF_THRESHOLD(cur,len)
4658                     )
4659                  ) &&
4660                  !(sflags & SVf_OOK) &&   /* and not involved in OOK hack? */
4661                  (!(flags & SV_NOSTEAL)) &&
4662                                         /* and we're allowed to steal temps */
4663                  SvREFCNT(sstr) == 1 &&   /* and no other references to it? */
4664                  len)             /* and really is a string */
4665         {       /* Passes the swipe test.  */
4666             if (SvPVX_const(dstr))      /* we know that dtype >= SVt_PV */
4667                 SvPV_free(dstr);
4668             SvPV_set(dstr, SvPVX_mutable(sstr));
4669             SvLEN_set(dstr, SvLEN(sstr));
4670             SvCUR_set(dstr, SvCUR(sstr));
4671
4672             SvTEMP_off(dstr);
4673             (void)SvOK_off(sstr);       /* NOTE: nukes most SvFLAGS on sstr */
4674             SvPV_set(sstr, NULL);
4675             SvLEN_set(sstr, 0);
4676             SvCUR_set(sstr, 0);
4677             SvTEMP_off(sstr);
4678         }
4679         else if (flags & SV_COW_SHARED_HASH_KEYS
4680               &&
4681 #ifdef PERL_COPY_ON_WRITE
4682                  (sflags & SVf_IsCOW
4683                    ? (!len ||
4684                        (  (CHECK_COWBUF_THRESHOLD(cur,len) || SvLEN(dstr) < cur+1)
4685                           /* If this is a regular (non-hek) COW, only so
4686                              many COW "copies" are possible. */
4687                        && CowREFCNT(sstr) != SV_COW_REFCNT_MAX  ))
4688                    : (  (sflags & CAN_COW_MASK) == CAN_COW_FLAGS
4689                      && !(SvFLAGS(dstr) & SVf_BREAK)
4690                      && CHECK_COW_THRESHOLD(cur,len) && cur+1 < len
4691                      && (CHECK_COWBUF_THRESHOLD(cur,len) || SvLEN(dstr) < cur+1)
4692                     ))
4693 #else
4694                  sflags & SVf_IsCOW
4695               && !(SvFLAGS(dstr) & SVf_BREAK)
4696 #endif
4697             ) {
4698             /* Either it's a shared hash key, or it's suitable for
4699                copy-on-write.  */
4700             if (DEBUG_C_TEST) {
4701                 PerlIO_printf(Perl_debug_log, "Copy on write: sstr --> dstr\n");
4702                 sv_dump(sstr);
4703                 sv_dump(dstr);
4704             }
4705 #ifdef PERL_ANY_COW
4706             if (!(sflags & SVf_IsCOW)) {
4707                     SvIsCOW_on(sstr);
4708                     CowREFCNT(sstr) = 0;
4709             }
4710 #endif
4711             if (SvPVX_const(dstr)) {    /* we know that dtype >= SVt_PV */
4712                 SvPV_free(dstr);
4713             }
4714
4715 #ifdef PERL_ANY_COW
4716             if (len) {
4717                     if (sflags & SVf_IsCOW) {
4718                         sv_buf_to_rw(sstr);
4719                     }
4720                     CowREFCNT(sstr)++;
4721                     SvPV_set(dstr, SvPVX_mutable(sstr));
4722                     sv_buf_to_ro(sstr);
4723             } else
4724 #endif
4725             {
4726                     /* SvIsCOW_shared_hash */
4727                     DEBUG_C(PerlIO_printf(Perl_debug_log,
4728                                           "Copy on write: Sharing hash\n"));
4729
4730                     assert (SvTYPE(dstr) >= SVt_PV);
4731                     SvPV_set(dstr,
4732                              HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)))));
4733             }
4734             SvLEN_set(dstr, len);
4735             SvCUR_set(dstr, cur);
4736             SvIsCOW_on(dstr);
4737         } else {
4738             /* Failed the swipe test, and we cannot do copy-on-write either.
4739                Have to copy the string.  */
4740             SvGROW(dstr, cur + 1);      /* inlined from sv_setpvn */
4741             Move(SvPVX_const(sstr),SvPVX(dstr),cur,char);
4742             SvCUR_set(dstr, cur);
4743             *SvEND(dstr) = '\0';
4744         }
4745         if (sflags & SVp_NOK) {
4746             SvNV_set(dstr, SvNVX(sstr));
4747         }
4748         if (sflags & SVp_IOK) {
4749             SvIV_set(dstr, SvIVX(sstr));
4750             if (sflags & SVf_IVisUV)
4751                 SvIsUV_on(dstr);
4752         }
4753         SvFLAGS(dstr) |= sflags & (SVf_IOK|SVp_IOK|SVf_NOK|SVp_NOK|SVf_UTF8);
4754         {
4755             const MAGIC * const smg = SvVSTRING_mg(sstr);
4756             if (smg) {
4757                 sv_magic(dstr, NULL, PERL_MAGIC_vstring,
4758                          smg->mg_ptr, smg->mg_len);
4759                 SvRMAGICAL_on(dstr);
4760             }
4761         }
4762     }
4763     else if (sflags & (SVp_IOK|SVp_NOK)) {
4764         (void)SvOK_off(dstr);
4765         SvFLAGS(dstr) |= sflags & (SVf_IOK|SVp_IOK|SVf_IVisUV|SVf_NOK|SVp_NOK);
4766         if (sflags & SVp_IOK) {
4767             /* XXXX Do we want to set IsUV for IV(ROK)?  Be extra safe... */
4768             SvIV_set(dstr, SvIVX(sstr));
4769         }
4770         if (sflags & SVp_NOK) {
4771             SvNV_set(dstr, SvNVX(sstr));
4772         }
4773     }
4774     else {
4775         if (isGV_with_GP(sstr)) {
4776             gv_efullname3(dstr, MUTABLE_GV(sstr), "*");
4777         }
4778         else
4779             (void)SvOK_off(dstr);
4780     }
4781     if (SvTAINTED(sstr))
4782         SvTAINT(dstr);
4783 }
4784
4785
4786 /*
4787 =for apidoc sv_set_undef
4788
4789 Equivalent to C<sv_setsv(sv, &PL_sv_undef)>, but more efficient.
4790 Doesn't handle set magic.
4791
4792 The perl equivalent is C<$sv = undef;>. Note that it doesn't free any string
4793 buffer, unlike C<undef $sv>.
4794
4795 Introduced in perl 5.26.0.
4796
4797 =cut
4798 */
4799
4800 void
4801 Perl_sv_set_undef(pTHX_ SV *sv)
4802 {
4803     U32 type = SvTYPE(sv);
4804
4805     PERL_ARGS_ASSERT_SV_SET_UNDEF;
4806
4807     /* shortcut, NULL, IV, RV */
4808
4809     if (type <= SVt_IV) {
4810         assert(!SvGMAGICAL(sv));
4811         if (SvREADONLY(sv))
4812             Perl_croak_no_modify();
4813
4814         if (SvROK(sv)) {
4815             if (SvWEAKREF(sv))
4816                 sv_unref_flags(sv, 0);
4817             else {
4818                 SV *rv = SvRV(sv);
4819                 SvFLAGS(sv) = type; /* quickly turn off all flags */
4820                 SvREFCNT_dec_NN(rv);
4821                 return;
4822             }
4823         }
4824         SvFLAGS(sv) = type; /* quickly turn off all flags */
4825         return;
4826     }
4827
4828     if (SvIS_FREED(sv))
4829         Perl_croak(aTHX_ "panic: attempt to undefine a freed scalar %p",
4830             (void *)sv);
4831
4832     SV_CHECK_THINKFIRST_COW_DROP(sv);
4833
4834     if (isGV_with_GP(sv))
4835         Perl_ck_warner(aTHX_ packWARN(WARN_MISC),
4836                        "Undefined value assigned to typeglob");
4837
4838     SvOK_off(sv);
4839 }
4840
4841
4842
4843 /*
4844 =for apidoc sv_setsv_mg
4845
4846 Like C<sv_setsv>, but also handles 'set' magic.
4847
4848 =cut
4849 */
4850
4851 void
4852 Perl_sv_setsv_mg(pTHX_ SV *const dstr, SV *const sstr)
4853 {
4854     PERL_ARGS_ASSERT_SV_SETSV_MG;
4855
4856     sv_setsv(dstr,sstr);
4857     SvSETMAGIC(dstr);
4858 }
4859
4860 #ifdef PERL_ANY_COW
4861 #  define SVt_COW SVt_PV
4862 SV *
4863 Perl_sv_setsv_cow(pTHX_ SV *dstr, SV *sstr)
4864 {
4865     STRLEN cur = SvCUR(sstr);
4866     STRLEN len = SvLEN(sstr);
4867     char *new_pv;
4868 #if defined(PERL_DEBUG_READONLY_COW) && defined(PERL_COPY_ON_WRITE)
4869     const bool already = cBOOL(SvIsCOW(sstr));
4870 #endif
4871
4872     PERL_ARGS_ASSERT_SV_SETSV_COW;
4873
4874     if (DEBUG_C_TEST) {
4875         PerlIO_printf(Perl_debug_log, "Fast copy on write: %p -> %p\n",
4876                       (void*)sstr, (void*)dstr);
4877         sv_dump(sstr);
4878         if (dstr)
4879                     sv_dump(dstr);
4880     }
4881
4882     if (dstr) {
4883         if (SvTHINKFIRST(dstr))
4884             sv_force_normal_flags(dstr, SV_COW_DROP_PV);
4885         else if (SvPVX_const(dstr))
4886             Safefree(SvPVX_mutable(dstr));
4887     }
4888     else
4889         new_SV(dstr);
4890     SvUPGRADE(dstr, SVt_COW);
4891
4892     assert (SvPOK(sstr));
4893     assert (SvPOKp(sstr));
4894
4895     if (SvIsCOW(sstr)) {
4896
4897         if (SvLEN(sstr) == 0) {
4898             /* source is a COW shared hash key.  */
4899             DEBUG_C(PerlIO_printf(Perl_debug_log,
4900                                   "Fast copy on write: Sharing hash\n"));
4901             new_pv = HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr))));
4902             goto common_exit;
4903         }
4904         assert(SvCUR(sstr)+1 < SvLEN(sstr));
4905         assert(CowREFCNT(sstr) < SV_COW_REFCNT_MAX);
4906     } else {
4907         assert ((SvFLAGS(sstr) & CAN_COW_MASK) == CAN_COW_FLAGS);
4908         SvUPGRADE(sstr, SVt_COW);
4909         SvIsCOW_on(sstr);
4910         DEBUG_C(PerlIO_printf(Perl_debug_log,
4911                               "Fast copy on write: Converting sstr to COW\n"));
4912         CowREFCNT(sstr) = 0;    
4913     }
4914 #  ifdef PERL_DEBUG_READONLY_COW
4915     if (already) sv_buf_to_rw(sstr);
4916 #  endif
4917     CowREFCNT(sstr)++;  
4918     new_pv = SvPVX_mutable(sstr);
4919     sv_buf_to_ro(sstr);
4920
4921   common_exit:
4922     SvPV_set(dstr, new_pv);
4923     SvFLAGS(dstr) = (SVt_COW|SVf_POK|SVp_POK|SVf_IsCOW);
4924     if (SvUTF8(sstr))
4925         SvUTF8_on(dstr);
4926     SvLEN_set(dstr, len);
4927     SvCUR_set(dstr, cur);
4928     if (DEBUG_C_TEST) {
4929         sv_dump(dstr);
4930     }
4931     return dstr;
4932 }
4933 #endif
4934
4935 /*
4936 =for apidoc sv_setpv_bufsize
4937
4938 Sets the SV to be a string of cur bytes length, with at least
4939 len bytes available. Ensures that there is a null byte at SvEND.
4940 Returns a char * pointer to the SvPV buffer.
4941
4942 =cut
4943 */
4944
4945 char *
4946 Perl_sv_setpv_bufsize(pTHX_ SV *const sv, const STRLEN cur, const STRLEN len)
4947 {
4948     char *pv;
4949
4950     PERL_ARGS_ASSERT_SV_SETPV_BUFSIZE;
4951
4952     SV_CHECK_THINKFIRST_COW_DROP(sv);
4953     SvUPGRADE(sv, SVt_PV);
4954     pv = SvGROW(sv, len + 1);
4955     SvCUR_set(sv, cur);
4956     *(SvEND(sv))= '\0';
4957     (void)SvPOK_only_UTF8(sv);                /* validate pointer */
4958
4959     SvTAINT(sv);
4960     if (SvTYPE(sv) == SVt_PVCV) CvAUTOLOAD_off(sv);
4961     return pv;
4962 }
4963
4964 /*
4965 =for apidoc sv_setpvn
4966
4967 Copies a string (possibly containing embedded C<NUL> characters) into an SV.
4968 The C<len> parameter indicates the number of
4969 bytes to be copied.  If the C<ptr> argument is NULL the SV will become
4970 undefined.  Does not handle 'set' magic.  See C<L</sv_setpvn_mg>>.
4971
4972 =cut
4973 */
4974
4975 void
4976 Perl_sv_setpvn(pTHX_ SV *const sv, const char *const ptr, const STRLEN len)
4977 {
4978     char *dptr;
4979
4980     PERL_ARGS_ASSERT_SV_SETPVN;
4981
4982     SV_CHECK_THINKFIRST_COW_DROP(sv);
4983     if (!ptr) {
4984         (void)SvOK_off(sv);
4985         return;
4986     }
4987     else {
4988         /* len is STRLEN which is unsigned, need to copy to signed */
4989         const IV iv = len;
4990         if (iv < 0)
4991             Perl_croak(aTHX_ "panic: sv_setpvn called with negative strlen %"
4992                        IVdf, iv);
4993     }
4994     SvUPGRADE(sv, SVt_PV);
4995
4996     dptr = SvGROW(sv, len + 1);
4997     Move(ptr,dptr,len,char);
4998     dptr[len] = '\0';
4999     SvCUR_set(sv, len);
5000     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
5001     SvTAINT(sv);
5002     if (SvTYPE(sv) == SVt_PVCV) CvAUTOLOAD_off(sv);
5003 }
5004
5005 /*
5006 =for apidoc sv_setpvn_mg
5007
5008 Like C<sv_setpvn>, but also handles 'set' magic.
5009
5010 =cut
5011 */
5012
5013 void
5014 Perl_sv_setpvn_mg(pTHX_ SV *const sv, const char *const ptr, const STRLEN len)
5015 {
5016     PERL_ARGS_ASSERT_SV_SETPVN_MG;
5017
5018     sv_setpvn(sv,ptr,len);
5019     SvSETMAGIC(sv);
5020 }
5021
5022 /*
5023 =for apidoc sv_setpv
5024
5025 Copies a string into an SV.  The string must be terminated with a C<NUL>
5026 character, and not contain embeded C<NUL>'s.
5027 Does not handle 'set' magic.  See C<L</sv_setpv_mg>>.
5028
5029 =cut
5030 */
5031
5032 void
5033 Perl_sv_setpv(pTHX_ SV *const sv, const char *const ptr)
5034 {
5035     STRLEN len;
5036
5037     PERL_ARGS_ASSERT_SV_SETPV;
5038
5039     SV_CHECK_THINKFIRST_COW_DROP(sv);
5040     if (!ptr) {
5041         (void)SvOK_off(sv);
5042         return;
5043     }
5044     len = strlen(ptr);
5045     SvUPGRADE(sv, SVt_PV);
5046
5047     SvGROW(sv, len + 1);
5048     Move(ptr,SvPVX(sv),len+1,char);
5049     SvCUR_set(sv, len);
5050     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
5051     SvTAINT(sv);
5052     if (SvTYPE(sv) == SVt_PVCV) CvAUTOLOAD_off(sv);
5053 }
5054
5055 /*
5056 =for apidoc sv_setpv_mg
5057
5058 Like C<sv_setpv>, but also handles 'set' magic.
5059
5060 =cut
5061 */
5062
5063 void
5064 Perl_sv_setpv_mg(pTHX_ SV *const sv, const char *const ptr)
5065 {
5066     PERL_ARGS_ASSERT_SV_SETPV_MG;
5067
5068     sv_setpv(sv,ptr);
5069     SvSETMAGIC(sv);
5070 }
5071
5072 void
5073 Perl_sv_sethek(pTHX_ SV *const sv, const HEK *const hek)
5074 {
5075     PERL_ARGS_ASSERT_SV_SETHEK;
5076
5077     if (!hek) {
5078         return;
5079     }
5080
5081     if (HEK_LEN(hek) == HEf_SVKEY) {
5082         sv_setsv(sv, *(SV**)HEK_KEY(hek));
5083         return;
5084     } else {
5085         const int flags = HEK_FLAGS(hek);
5086         if (flags & HVhek_WASUTF8) {
5087             STRLEN utf8_len = HEK_LEN(hek);
5088             char *as_utf8 = (char *)bytes_to_utf8((U8*)HEK_KEY(hek), &utf8_len);
5089             sv_usepvn_flags(sv, as_utf8, utf8_len, SV_HAS_TRAILING_NUL);
5090             SvUTF8_on(sv);
5091             return;
5092         } else if (flags & HVhek_UNSHARED) {
5093             sv_setpvn(sv, HEK_KEY(hek), HEK_LEN(hek));
5094             if (HEK_UTF8(hek))
5095                 SvUTF8_on(sv);
5096             else SvUTF8_off(sv);
5097             return;
5098         }
5099         {
5100             SV_CHECK_THINKFIRST_COW_DROP(sv);
5101             SvUPGRADE(sv, SVt_PV);
5102             SvPV_free(sv);
5103             SvPV_set(sv,(char *)HEK_KEY(share_hek_hek(hek)));
5104             SvCUR_set(sv, HEK_LEN(hek));
5105             SvLEN_set(sv, 0);
5106             SvIsCOW_on(sv);
5107             SvPOK_on(sv);
5108             if (HEK_UTF8(hek))
5109                 SvUTF8_on(sv);
5110             else SvUTF8_off(sv);
5111             return;
5112         }
5113     }
5114 }
5115
5116
5117 /*
5118 =for apidoc sv_usepvn_flags
5119
5120 Tells an SV to use C<ptr> to find its string value.  Normally the
5121 string is stored inside the SV, but sv_usepvn allows the SV to use an
5122 outside string.  C<ptr> should point to memory that was allocated
5123 by L<C<Newx>|perlclib/Memory Management and String Handling>.  It must be
5124 the start of a C<Newx>-ed block of memory, and not a pointer to the
5125 middle of it (beware of L<C<OOK>|perlguts/Offsets> and copy-on-write),
5126 and not be from a non-C<Newx> memory allocator like C<malloc>.  The
5127 string length, C<len>, must be supplied.  By default this function
5128 will C<Renew> (i.e. realloc, move) the memory pointed to by C<ptr>,
5129 so that pointer should not be freed or used by the programmer after
5130 giving it to C<sv_usepvn>, and neither should any pointers from "behind"
5131 that pointer (e.g. ptr + 1) be used.
5132
5133 If S<C<flags & SV_SMAGIC>> is true, will call C<SvSETMAGIC>.  If
5134 S<C<flags> & SV_HAS_TRAILING_NUL>> is true, then C<ptr[len]> must be C<NUL>,
5135 and the realloc
5136 will be skipped (i.e. the buffer is actually at least 1 byte longer than
5137 C<len>, and already meets the requirements for storing in C<SvPVX>).
5138
5139 =cut
5140 */
5141
5142 void
5143 Perl_sv_usepvn_flags(pTHX_ SV *const sv, char *ptr, const STRLEN len, const U32 flags)
5144 {
5145     STRLEN allocate;
5146
5147     PERL_ARGS_ASSERT_SV_USEPVN_FLAGS;
5148
5149     SV_CHECK_THINKFIRST_COW_DROP(sv);
5150     SvUPGRADE(sv, SVt_PV);
5151     if (!ptr) {
5152         (void)SvOK_off(sv);
5153         if (flags & SV_SMAGIC)
5154             SvSETMAGIC(sv);
5155         return;
5156     }
5157     if (SvPVX_const(sv))
5158         SvPV_free(sv);
5159
5160 #ifdef DEBUGGING
5161     if (flags & SV_HAS_TRAILING_NUL)
5162         assert(ptr[len] == '\0');
5163 #endif
5164
5165     allocate = (flags & SV_HAS_TRAILING_NUL)
5166         ? len + 1 :
5167 #ifdef Perl_safesysmalloc_size
5168         len + 1;
5169 #else 
5170         PERL_STRLEN_ROUNDUP(len + 1);
5171 #endif
5172     if (flags & SV_HAS_TRAILING_NUL) {
5173         /* It's long enough - do nothing.
5174            Specifically Perl_newCONSTSUB is relying on this.  */
5175     } else {
5176 #ifdef DEBUGGING
5177         /* Force a move to shake out bugs in callers.  */
5178         char *new_ptr = (char*)safemalloc(allocate);
5179         Copy(ptr, new_ptr, len, char);
5180         PoisonFree(ptr,len,char);
5181         Safefree(ptr);
5182         ptr = new_ptr;
5183 #else
5184         ptr = (char*) saferealloc (ptr, allocate);
5185 #endif
5186     }
5187 #ifdef Perl_safesysmalloc_size
5188     SvLEN_set(sv, Perl_safesysmalloc_size(ptr));
5189 #else
5190     SvLEN_set(sv, allocate);
5191 #endif
5192     SvCUR_set(sv, len);
5193     SvPV_set(sv, ptr);
5194     if (!(flags & SV_HAS_TRAILING_NUL)) {
5195         ptr[len] = '\0';
5196     }
5197     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
5198     SvTAINT(sv);
5199     if (flags & SV_SMAGIC)
5200         SvSETMAGIC(sv);
5201 }
5202
5203 /*
5204 =for apidoc sv_force_normal_flags
5205
5206 Undo various types of fakery on an SV, where fakery means
5207 "more than" a string: if the PV is a shared string, make
5208 a private copy; if we're a ref, stop refing; if we're a glob, downgrade to
5209 an C<xpvmg>; if we're a copy-on-write scalar, this is the on-write time when
5210 we do the copy, and is also used locally; if this is a
5211 vstring, drop the vstring magic.  If C<SV_COW_DROP_PV> is set
5212 then a copy-on-write scalar drops its PV buffer (if any) and becomes
5213 C<SvPOK_off> rather than making a copy.  (Used where this
5214 scalar is about to be set to some other value.)  In addition,
5215 the C<flags> parameter gets passed to C<sv_unref_flags()>
5216 when unreffing.  C<sv_force_normal> calls this function
5217 with flags set to 0.
5218
5219 This function is expected to be used to signal to perl that this SV is
5220 about to be written to, and any extra book-keeping needs to be taken care
5221 of.  Hence, it croaks on read-only values.
5222
5223 =cut
5224 */
5225
5226 static void
5227 S_sv_uncow(pTHX_ SV * const sv, const U32 flags)
5228 {
5229     assert(SvIsCOW(sv));
5230     {
5231 #ifdef PERL_ANY_COW
5232         const char * const pvx = SvPVX_const(sv);
5233         const STRLEN len = SvLEN(sv);
5234         const STRLEN cur = SvCUR(sv);
5235
5236         if (DEBUG_C_TEST) {
5237                 PerlIO_printf(Perl_debug_log,
5238                               "Copy on write: Force normal %ld\n",
5239                               (long) flags);
5240                 sv_dump(sv);
5241         }
5242         SvIsCOW_off(sv);
5243 # ifdef PERL_COPY_ON_WRITE
5244         if (len) {
5245             /* Must do this first, since the CowREFCNT uses SvPVX and
5246             we need to write to CowREFCNT, or de-RO the whole buffer if we are
5247             the only owner left of the buffer. */
5248             sv_buf_to_rw(sv); /* NOOP if RO-ing not supported */
5249             {
5250                 U8 cowrefcnt = CowREFCNT(sv);
5251                 if(cowrefcnt != 0) {
5252                     cowrefcnt--;
5253                     CowREFCNT(sv) = cowrefcnt;
5254                     sv_buf_to_ro(sv);
5255                     goto copy_over;
5256                 }
5257             }
5258             /* Else we are the only owner of the buffer. */
5259         }
5260         else
5261 # endif
5262         {
5263             /* This SV doesn't own the buffer, so need to Newx() a new one:  */
5264             copy_over:
5265             SvPV_set(sv, NULL);
5266             SvCUR_set(sv, 0);
5267             SvLEN_set(sv, 0);
5268             if (flags & SV_COW_DROP_PV) {
5269                 /* OK, so we don't need to copy our buffer.  */
5270                 SvPOK_off(sv);
5271             } else {
5272                 SvGROW(sv, cur + 1);
5273                 Move(pvx,SvPVX(sv),cur,char);
5274                 SvCUR_set(sv, cur);
5275                 *SvEND(sv) = '\0';
5276             }
5277             if (len) {
5278             } else {
5279                 unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
5280             }
5281             if (DEBUG_C_TEST) {
5282                 sv_dump(sv);
5283             }
5284         }
5285 #else
5286             const char * const pvx = SvPVX_const(sv);
5287             const STRLEN len = SvCUR(sv);
5288             SvIsCOW_off(sv);
5289             SvPV_set(sv, NULL);
5290             SvLEN_set(sv, 0);
5291             if (flags & SV_COW_DROP_PV) {
5292                 /* OK, so we don't need to copy our buffer.  */
5293                 SvPOK_off(sv);
5294             } else {
5295                 SvGROW(sv, len + 1);
5296                 Move(pvx,SvPVX(sv),len,char);
5297                 *SvEND(sv) = '\0';
5298             }
5299             unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
5300 #endif
5301     }
5302 }
5303
5304 void
5305 Perl_sv_force_normal_flags(pTHX_ SV *const sv, const U32 flags)
5306 {
5307     PERL_ARGS_ASSERT_SV_FORCE_NORMAL_FLAGS;
5308
5309     if (SvREADONLY(sv))
5310         Perl_croak_no_modify();
5311     else if (SvIsCOW(sv) && LIKELY(SvTYPE(sv) != SVt_PVHV))
5312         S_sv_uncow(aTHX_ sv, flags);
5313     if (SvROK(sv))
5314         sv_unref_flags(sv, flags);
5315     else if (SvFAKE(sv) && isGV_with_GP(sv))
5316         sv_unglob(sv, flags);
5317     else if (SvFAKE(sv) && isREGEXP(sv)) {
5318         /* Need to downgrade the REGEXP to a simple(r) scalar. This is analogous
5319            to sv_unglob. We only need it here, so inline it.  */
5320         const bool islv = SvTYPE(sv) == SVt_PVLV;
5321         const svtype new_type =
5322           islv ? SVt_NULL : SvMAGIC(sv) || SvSTASH(sv) ? SVt_PVMG : SVt_PV;
5323         SV *const temp = newSV_type(new_type);
5324         regexp *const temp_p = ReANY((REGEXP *)sv);
5325
5326         if (new_type == SVt_PVMG) {
5327             SvMAGIC_set(temp, SvMAGIC(sv));
5328             SvMAGIC_set(sv, NULL);
5329             SvSTASH_set(temp, SvSTASH(sv));
5330             SvSTASH_set(sv, NULL);
5331         }
5332         if (!islv) SvCUR_set(temp, SvCUR(sv));
5333         /* Remember that SvPVX is in the head, not the body.  But
5334            RX_WRAPPED is in the body. */
5335         assert(ReANY((REGEXP *)sv)->mother_re);
5336         /* Their buffer is already owned by someone else. */
5337         if (flags & SV_COW_DROP_PV) {
5338             /* SvLEN is already 0.  For SVt_REGEXP, we have a brand new
5339                zeroed body.  For SVt_PVLV, it should have been set to 0
5340                before turning into a regexp. */
5341             assert(!SvLEN(islv ? sv : temp));
5342             sv->sv_u.svu_pv = 0;
5343         }
5344         else {
5345             sv->sv_u.svu_pv = savepvn(RX_WRAPPED((REGEXP *)sv), SvCUR(sv));
5346             SvLEN_set(islv ? sv : temp, SvCUR(sv)+1);
5347             SvPOK_on(sv);
5348         }
5349
5350         /* Now swap the rest of the bodies. */
5351
5352         SvFAKE_off(sv);
5353         if (!islv) {
5354             SvFLAGS(sv) &= ~SVTYPEMASK;
5355             SvFLAGS(sv) |= new_type;
5356             SvANY(sv) = SvANY(temp);
5357         }
5358
5359         SvFLAGS(temp) &= ~(SVTYPEMASK);
5360         SvFLAGS(temp) |= SVt_REGEXP|SVf_FAKE;
5361         SvANY(temp) = temp_p;
5362         temp->sv_u.svu_rx = (regexp *)temp_p;
5363
5364         SvREFCNT_dec_NN(temp);
5365     }
5366     else if (SvVOK(sv)) sv_unmagic(sv, PERL_MAGIC_vstring);
5367 }
5368
5369 /*
5370 =for apidoc sv_chop
5371
5372 Efficient removal of characters from the beginning of the string buffer.
5373 C<SvPOK(sv)>, or at least C<SvPOKp(sv)>, must be true and C<ptr> must be a
5374 pointer to somewhere inside the string buffer.  C<ptr> becomes the first
5375 character of the adjusted string.  Uses the C<OOK> hack.  On return, only
5376 C<SvPOK(sv)> and C<SvPOKp(sv)> among the C<OK> flags will be true.
5377
5378 Beware: after this function returns, C<ptr> and SvPVX_const(sv) may no longer
5379 refer to the same chunk of data.
5380
5381 The unfortunate similarity of this function's name to that of Perl's C<chop>
5382 operator is strictly coincidental.  This function works from the left;
5383 C<chop> works from the right.
5384
5385 =cut
5386 */
5387
5388 void
5389 Perl_sv_chop(pTHX_ SV *const sv, const char *const ptr)
5390 {
5391     STRLEN delta;
5392     STRLEN old_delta;
5393     U8 *p;
5394 #ifdef DEBUGGING
5395     const U8 *evacp;
5396     STRLEN evacn;
5397 #endif
5398     STRLEN max_delta;
5399
5400     PERL_ARGS_ASSERT_SV_CHOP;
5401
5402     if (!ptr || !SvPOKp(sv))
5403         return;
5404     delta = ptr - SvPVX_const(sv);
5405     if (!delta) {
5406         /* Nothing to do.  */
5407         return;
5408     }
5409     max_delta = SvLEN(sv) ? SvLEN(sv) : SvCUR(sv);
5410     if (delta > max_delta)
5411         Perl_croak(aTHX_ "panic: sv_chop ptr=%p, start=%p, end=%p",
5412                    ptr, SvPVX_const(sv), SvPVX_const(sv) + max_delta);
5413     /* SvPVX(sv) may move in SV_CHECK_THINKFIRST(sv), so don't use ptr any more */
5414     SV_CHECK_THINKFIRST(sv);
5415     SvPOK_only_UTF8(sv);
5416
5417     if (!SvOOK(sv)) {
5418         if (!SvLEN(sv)) { /* make copy of shared string */
5419             const char *pvx = SvPVX_const(sv);
5420             const STRLEN len = SvCUR(sv);
5421             SvGROW(sv, len + 1);
5422             Move(pvx,SvPVX(sv),len,char);
5423             *SvEND(sv) = '\0';
5424         }
5425         SvOOK_on(sv);
5426         old_delta = 0;
5427     } else {
5428         SvOOK_offset(sv, old_delta);
5429     }
5430     SvLEN_set(sv, SvLEN(sv) - delta);
5431     SvCUR_set(sv, SvCUR(sv) - delta);
5432     SvPV_set(sv, SvPVX(sv) + delta);
5433
5434     p = (U8 *)SvPVX_const(sv);
5435
5436 #ifdef DEBUGGING
5437     /* how many bytes were evacuated?  we will fill them with sentinel
5438        bytes, except for the part holding the new offset of course. */
5439     evacn = delta;
5440     if (old_delta)
5441         evacn += (old_delta < 0x100 ? 1 : 1 + sizeof(STRLEN));
5442     assert(evacn);
5443     assert(evacn <= delta + old_delta);
5444     evacp = p - evacn;
5445 #endif
5446
5447     /* This sets 'delta' to the accumulated value of all deltas so far */
5448     delta += old_delta;
5449     assert(delta);
5450
5451     /* If 'delta' fits in a byte, store it just prior to the new beginning of
5452      * the string; otherwise store a 0 byte there and store 'delta' just prior
5453      * to that, using as many bytes as a STRLEN occupies.  Thus it overwrites a
5454      * portion of the chopped part of the string */
5455     if (delta < 0x100) {
5456         *--p = (U8) delta;
5457     } else {
5458         *--p = 0;
5459         p -= sizeof(STRLEN);
5460         Copy((U8*)&delta, p, sizeof(STRLEN), U8);
5461     }
5462
5463 #ifdef DEBUGGING
5464     /* Fill the preceding buffer with sentinals to verify that no-one is
5465        using it.  */
5466     while (p > evacp) {
5467         --p;
5468         *p = (U8)PTR2UV(p);
5469     }
5470 #endif
5471 }
5472
5473 /*
5474 =for apidoc sv_catpvn
5475
5476 Concatenates the string onto the end of the string which is in the SV.
5477 C<len> indicates number of bytes to copy.  If the SV has the UTF-8
5478 status set, then the bytes appended should be valid UTF-8.
5479 Handles 'get' magic, but not 'set' magic.  See C<L</sv_catpvn_mg>>.
5480
5481 =for apidoc sv_catpvn_flags
5482
5483 Concatenates the string onto the end of the string which is in the SV.  The
5484 C<len> indicates number of bytes to copy.
5485
5486 By default, the string appended is assumed to be valid UTF-8 if the SV has
5487 the UTF-8 status set, and a string of bytes otherwise.  One can force the
5488 appended string to be interpreted as UTF-8 by supplying the C<SV_CATUTF8>
5489 flag, and as bytes by supplying the C<SV_CATBYTES> flag; the SV or the
5490 string appended will be upgraded to UTF-8 if necessary.
5491
5492 If C<flags> has the C<SV_SMAGIC> bit set, will
5493 C<mg_set> on C<dsv> afterwards if appropriate.
5494 C<sv_catpvn> and C<sv_catpvn_nomg> are implemented
5495 in terms of this function.
5496
5497 =cut
5498 */
5499
5500 void
5501 Perl_sv_catpvn_flags(pTHX_ SV *const dsv, const char *sstr, const STRLEN slen, const I32 flags)
5502 {
5503     STRLEN dlen;
5504     const char * const dstr = SvPV_force_flags(dsv, dlen, flags);
5505
5506     PERL_ARGS_ASSERT_SV_CATPVN_FLAGS;
5507     assert((flags & (SV_CATBYTES|SV_CATUTF8)) != (SV_CATBYTES|SV_CATUTF8));
5508
5509     if (!(flags & SV_CATBYTES) || !SvUTF8(dsv)) {
5510       if (flags & SV_CATUTF8 && !SvUTF8(dsv)) {
5511          sv_utf8_upgrade_flags_grow(dsv, 0, slen + 1);
5512          dlen = SvCUR(dsv);
5513       }
5514       else SvGROW(dsv, dlen + slen + 3);
5515       if (sstr == dstr)
5516         sstr = SvPVX_const(dsv);
5517       Move(sstr, SvPVX(dsv) + dlen, slen, char);
5518       SvCUR_set(dsv, SvCUR(dsv) + slen);
5519     }
5520     else {
5521         /* We inline bytes_to_utf8, to avoid an extra malloc. */
5522         const char * const send = sstr + slen;
5523         U8 *d;
5524
5525         /* Something this code does not account for, which I think is
5526            impossible; it would require the same pv to be treated as
5527            bytes *and* utf8, which would indicate a bug elsewhere. */
5528         assert(sstr != dstr);
5529
5530         SvGROW(dsv, dlen + slen * 2 + 3);
5531         d = (U8 *)SvPVX(dsv) + dlen;
5532
5533         while (sstr < send) {
5534             append_utf8_from_native_byte(*sstr, &d);
5535             sstr++;
5536         }
5537         SvCUR_set(dsv, d-(const U8 *)SvPVX(dsv));
5538     }
5539     *SvEND(dsv) = '\0';
5540     (void)SvPOK_only_UTF8(dsv);         /* validate pointer */
5541     SvTAINT(dsv);
5542     if (flags & SV_SMAGIC)
5543         SvSETMAGIC(dsv);
5544 }
5545
5546 /*
5547 =for apidoc sv_catsv
5548
5549 Concatenates the string from SV C<ssv> onto the end of the string in SV
5550 C<dsv>.  If C<ssv> is null, does nothing; otherwise modifies only C<dsv>.
5551 Handles 'get' magic on both SVs, but no 'set' magic.  See C<L</sv_catsv_mg>>
5552 and C<L</sv_catsv_nomg>>.
5553
5554 =for apidoc sv_catsv_flags
5555
5556 Concatenates the string from SV C<ssv> onto the end of the string in SV
5557 C<dsv>.  If C<ssv> is null, does nothing; otherwise modifies only C<dsv>.
5558 If C<flags> has the C<SV_GMAGIC> bit set, will call C<mg_get> on both SVs if
5559 appropriate.  If C<flags> has the C<SV_SMAGIC> bit set, C<mg_set> will be called on
5560 the modified SV afterward, if appropriate.  C<sv_catsv>, C<sv_catsv_nomg>,
5561 and C<sv_catsv_mg> are implemented in terms of this function.
5562
5563 =cut */
5564
5565 void
5566 Perl_sv_catsv_flags(pTHX_ SV *const dsv, SV *const ssv, const I32 flags)
5567 {
5568     PERL_ARGS_ASSERT_SV_CATSV_FLAGS;
5569
5570     if (ssv) {
5571         STRLEN slen;
5572         const char *spv = SvPV_flags_const(ssv, slen, flags);
5573         if (flags & SV_GMAGIC)
5574                 SvGETMAGIC(dsv);
5575         sv_catpvn_flags(dsv, spv, slen,
5576                             DO_UTF8(ssv) ? SV_CATUTF8 : SV_CATBYTES);
5577         if (flags & SV_SMAGIC)
5578                 SvSETMAGIC(dsv);
5579     }
5580 }
5581
5582 /*
5583 =for apidoc sv_catpv
5584
5585 Concatenates the C<NUL>-terminated string onto the end of the string which is
5586 in the SV.
5587 If the SV has the UTF-8 status set, then the bytes appended should be
5588 valid UTF-8.  Handles 'get' magic, but not 'set' magic.  See
5589 C<L</sv_catpv_mg>>.
5590
5591 =cut */
5592
5593 void
5594 Perl_sv_catpv(pTHX_ SV *const sv, const char *ptr)
5595 {
5596     STRLEN len;
5597     STRLEN tlen;
5598     char *junk;
5599
5600     PERL_ARGS_ASSERT_SV_CATPV;
5601
5602     if (!ptr)
5603         return;
5604     junk = SvPV_force(sv, tlen);
5605     len = strlen(ptr);
5606     SvGROW(sv, tlen + len + 1);
5607     if (ptr == junk)
5608         ptr = SvPVX_const(sv);
5609     Move(ptr,SvPVX(sv)+tlen,len+1,char);
5610     SvCUR_set(sv, SvCUR(sv) + len);
5611     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
5612     SvTAINT(sv);
5613 }
5614
5615 /*
5616 =for apidoc sv_catpv_flags
5617
5618 Concatenates the C<NUL>-terminated string onto the end of the string which is
5619 in the SV.
5620 If the SV has the UTF-8 status set, then the bytes appended should
5621 be valid UTF-8.  If C<flags> has the C<SV_SMAGIC> bit set, will C<mg_set>
5622 on the modified SV if appropriate.
5623
5624 =cut
5625 */
5626
5627 void
5628 Perl_sv_catpv_flags(pTHX_ SV *dstr, const char *sstr, const I32 flags)
5629 {
5630     PERL_ARGS_ASSERT_SV_CATPV_FLAGS;
5631     sv_catpvn_flags(dstr, sstr, strlen(sstr), flags);
5632 }
5633
5634 /*
5635 =for apidoc sv_catpv_mg
5636
5637 Like C<sv_catpv>, but also handles 'set' magic.
5638
5639 =cut
5640 */
5641
5642 void
5643 Perl_sv_catpv_mg(pTHX_ SV *const sv, const char *const ptr)
5644 {
5645     PERL_ARGS_ASSERT_SV_CATPV_MG;
5646
5647     sv_catpv(sv,ptr);
5648     SvSETMAGIC(sv);
5649 }
5650
5651 /*
5652 =for apidoc newSV
5653
5654 Creates a new SV.  A non-zero C<len> parameter indicates the number of
5655 bytes of preallocated string space the SV should have.  An extra byte for a
5656 trailing C<NUL> is also reserved.  (C<SvPOK> is not set for the SV even if string
5657 space is allocated.)  The reference count for the new SV is set to 1.
5658
5659 In 5.9.3, C<newSV()> replaces the older C<NEWSV()> API, and drops the first
5660 parameter, I<x>, a debug aid which allowed callers to identify themselves.
5661 This aid has been superseded by a new build option, C<PERL_MEM_LOG> (see
5662 L<perlhacktips/PERL_MEM_LOG>).  The older API is still there for use in XS
5663 modules supporting older perls.
5664
5665 =cut
5666 */
5667
5668 SV *
5669 Perl_newSV(pTHX_ const STRLEN len)
5670 {
5671     SV *sv;
5672
5673     new_SV(sv);
5674     if (len) {
5675         sv_grow(sv, len + 1);
5676     }
5677     return sv;
5678 }
5679 /*
5680 =for apidoc sv_magicext
5681
5682 Adds magic to an SV, upgrading it if necessary.  Applies the
5683 supplied C<vtable> and returns a pointer to the magic added.
5684
5685 Note that C<sv_magicext> will allow things that C<sv_magic> will not.
5686 In particular, you can add magic to C<SvREADONLY> SVs, and add more than
5687 one instance of the same C<how>.
5688
5689 If C<namlen> is greater than zero then a C<savepvn> I<copy> of C<name> is
5690 stored, if C<namlen> is zero then C<name> is stored as-is and - as another
5691 special case - if C<(name && namlen == HEf_SVKEY)> then C<name> is assumed
5692 to contain an SV* and is stored as-is with its C<REFCNT> incremented.
5693
5694 (This is now used as a subroutine by C<sv_magic>.)
5695
5696 =cut
5697 */
5698 MAGIC * 
5699 Perl_sv_magicext(pTHX_ SV *const sv, SV *const obj, const int how, 
5700                 const MGVTBL *const vtable, const char *const name, const I32 namlen)
5701 {
5702     MAGIC* mg;
5703
5704     PERL_ARGS_ASSERT_SV_MAGICEXT;
5705
5706     SvUPGRADE(sv, SVt_PVMG);
5707     Newxz(mg, 1, MAGIC);
5708     mg->mg_moremagic = SvMAGIC(sv);
5709     SvMAGIC_set(sv, mg);
5710
5711     /* Sometimes a magic contains a reference loop, where the sv and
5712        object refer to each other.  To prevent a reference loop that
5713        would prevent such objects being freed, we look for such loops
5714        and if we find one we avoid incrementing the object refcount.
5715
5716        Note we cannot do this to avoid self-tie loops as intervening RV must
5717        have its REFCNT incremented to keep it in existence.
5718
5719     */
5720     if (!obj || obj == sv ||
5721         how == PERL_MAGIC_arylen ||
5722         how == PERL_MAGIC_regdata ||
5723         how == PERL_MAGIC_regdatum ||
5724         how == PERL_MAGIC_symtab ||
5725         (SvTYPE(obj) == SVt_PVGV &&
5726             (GvSV(obj) == sv || GvHV(obj) == (const HV *)sv
5727              || GvAV(obj) == (const AV *)sv || GvCV(obj) == (const CV *)sv
5728              || GvIOp(obj) == (const IO *)sv || GvFORM(obj) == (const CV *)sv)))
5729     {
5730         mg->mg_obj = obj;
5731     }
5732     else {
5733         mg->mg_obj = SvREFCNT_inc_simple(obj);
5734         mg->mg_flags |= MGf_REFCOUNTED;
5735     }
5736
5737     /* Normal self-ties simply pass a null object, and instead of
5738        using mg_obj directly, use the SvTIED_obj macro to produce a
5739        new RV as needed.  For glob "self-ties", we are tieing the PVIO
5740        with an RV obj pointing to the glob containing the PVIO.  In
5741        this case, to avoid a reference loop, we need to weaken the
5742        reference.
5743     */
5744
5745     if (how == PERL_MAGIC_tiedscalar && SvTYPE(sv) == SVt_PVIO &&
5746         obj && SvROK(obj) && GvIO(SvRV(obj)) == (const IO *)sv)
5747     {
5748       sv_rvweaken(obj);
5749     }
5750
5751     mg->mg_type = how;
5752     mg->mg_len = namlen;
5753     if (name) {
5754         if (namlen > 0)
5755             mg->mg_ptr = savepvn(name, namlen);
5756         else if (namlen == HEf_SVKEY) {
5757             /* Yes, this is casting away const. This is only for the case of
5758                HEf_SVKEY. I think we need to document this aberation of the
5759                constness of the API, rather than making name non-const, as
5760                that change propagating outwards a long way.  */
5761             mg->mg_ptr = (char*)SvREFCNT_inc_simple_NN((SV *)name);
5762         } else
5763             mg->mg_ptr = (char *) name;
5764     }
5765     mg->mg_virtual = (MGVTBL *) vtable;
5766
5767     mg_magical(sv);
5768     return mg;
5769 }
5770
5771 MAGIC *
5772 Perl_sv_magicext_mglob(pTHX_ SV *sv)
5773 {
5774     PERL_ARGS_ASSERT_SV_MAGICEXT_MGLOB;
5775     if (SvTYPE(sv) == SVt_PVLV && LvTYPE(sv) == 'y') {
5776         /* This sv is only a delegate.  //g magic must be attached to
5777            its target. */
5778         vivify_defelem(sv);
5779         sv = LvTARG(sv);
5780     }
5781     return sv_magicext(sv, NULL, PERL_MAGIC_regex_global,
5782                        &PL_vtbl_mglob, 0, 0);
5783 }
5784
5785 /*
5786 =for apidoc sv_magic
5787
5788 Adds magic to an SV.  First upgrades C<sv> to type C<SVt_PVMG> if
5789 necessary, then adds a new magic item of type C<how> to the head of the
5790 magic list.
5791
5792 See C<L</sv_magicext>> (which C<sv_magic> now calls) for a description of the
5793 handling of the C<name> and C<namlen> arguments.
5794
5795 You need to use C<sv_magicext> to add magic to C<SvREADONLY> SVs and also
5796 to add more than one instance of the same C<how>.
5797
5798 =cut
5799 */
5800
5801 void
5802 Perl_sv_magic(pTHX_ SV *const sv, SV *const obj, const int how,
5803              const char *const name, const I32 namlen)
5804 {
5805     const MGVTBL *vtable;
5806     MAGIC* mg;
5807     unsigned int flags;
5808     unsigned int vtable_index;
5809
5810     PERL_ARGS_ASSERT_SV_MAGIC;
5811
5812     if (how < 0 || (unsigned)how >= C_ARRAY_LENGTH(PL_magic_data)
5813         || ((flags = PL_magic_data[how]),
5814             (vtable_index = flags & PERL_MAGIC_VTABLE_MASK)
5815             > magic_vtable_max))
5816         Perl_croak(aTHX_ "Don't know how to handle magic of type \\%o", how);
5817
5818     /* PERL_MAGIC_ext is reserved for use by extensions not perl internals.
5819        Useful for attaching extension internal data to perl vars.
5820        Note that multiple extensions may clash if magical scalars
5821        etc holding private data from one are passed to another. */
5822
5823     vtable = (vtable_index == magic_vtable_max)
5824         ? NULL : PL_magic_vtables + vtable_index;
5825
5826     if (SvREADONLY(sv)) {
5827         if (
5828             !PERL_MAGIC_TYPE_READONLY_ACCEPTABLE(how)
5829            )
5830         {
5831             Perl_croak_no_modify();
5832         }
5833     }
5834     if (SvMAGICAL(sv) || (how == PERL_MAGIC_taint && SvTYPE(sv) >= SVt_PVMG)) {
5835         if (SvMAGIC(sv) && (mg = mg_find(sv, how))) {
5836             /* sv_magic() refuses to add a magic of the same 'how' as an
5837                existing one
5838              */
5839             if (how == PERL_MAGIC_taint)
5840                 mg->mg_len |= 1;
5841             return;
5842         }
5843     }
5844
5845     /* Force pos to be stored as characters, not bytes. */
5846     if (SvMAGICAL(sv) && DO_UTF8(sv)
5847       && (mg = mg_find(sv, PERL_MAGIC_regex_global))
5848       && mg->mg_len != -1
5849       && mg->mg_flags & MGf_BYTES) {
5850         mg->mg_len = (SSize_t)sv_pos_b2u_flags(sv, (STRLEN)mg->mg_len,
5851                                                SV_CONST_RETURN);
5852         mg->mg_flags &= ~MGf_BYTES;
5853     }
5854
5855     /* Rest of work is done else where */
5856     mg = sv_magicext(sv,obj,how,vtable,name,namlen);
5857
5858     switch (how) {
5859     case PERL_MAGIC_taint:
5860         mg->mg_len = 1;
5861         break;
5862     case PERL_MAGIC_ext:
5863     case PERL_MAGIC_dbfile:
5864         SvRMAGICAL_on(sv);
5865         break;
5866     }
5867 }
5868
5869 static int
5870 S_sv_unmagicext_flags(pTHX_ SV *const sv, const int type, MGVTBL *vtbl, const U32 flags)
5871 {
5872     MAGIC* mg;
5873     MAGIC** mgp;
5874
5875     assert(flags <= 1);
5876
5877     if (SvTYPE(sv) < SVt_PVMG || !SvMAGIC(sv))
5878         return 0;
5879     mgp = &(((XPVMG*) SvANY(sv))->xmg_u.xmg_magic);
5880     for (mg = *mgp; mg; mg = *mgp) {
5881         const MGVTBL* const virt = mg->mg_virtual;
5882         if (mg->mg_type == type && (!flags || virt == vtbl)) {
5883             *mgp = mg->mg_moremagic;
5884             if (virt && virt->svt_free)
5885                 virt->svt_free(aTHX_ sv, mg);
5886             if (mg->mg_ptr && mg->mg_type != PERL_MAGIC_regex_global) {
5887                 if (mg->mg_len > 0)
5888                     Safefree(mg->mg_ptr);
5889                 else if (mg->mg_len == HEf_SVKEY)
5890                     SvREFCNT_dec(MUTABLE_SV(mg->mg_ptr));
5891                 else if (mg->mg_type == PERL_MAGIC_utf8)
5892                     Safefree(mg->mg_ptr);
5893             }
5894             if (mg->mg_flags & MGf_REFCOUNTED)
5895                 SvREFCNT_dec(mg->mg_obj);
5896             Safefree(mg);
5897         }
5898         else
5899             mgp = &mg->mg_moremagic;
5900     }
5901     if (SvMAGIC(sv)) {
5902         if (SvMAGICAL(sv))      /* if we're under save_magic, wait for restore_magic; */
5903             mg_magical(sv);     /*    else fix the flags now */
5904     }
5905     else
5906         SvMAGICAL_off(sv);
5907
5908     return 0;
5909 }
5910
5911 /*
5912 =for apidoc sv_unmagic
5913
5914 Removes all magic of type C<type> from an SV.
5915
5916 =cut
5917 */
5918
5919 int
5920 Perl_sv_unmagic(pTHX_ SV *const sv, const int type)
5921 {
5922     PERL_ARGS_ASSERT_SV_UNMAGIC;
5923     return S_sv_unmagicext_flags(aTHX_ sv, type, NULL, 0);
5924 }
5925
5926 /*
5927 =for apidoc sv_unmagicext
5928
5929 Removes all magic of type C<type> with the specified C<vtbl> from an SV.
5930
5931 =cut
5932 */
5933
5934 int
5935 Perl_sv_unmagicext(pTHX_ SV *const sv, const int type, MGVTBL *vtbl)
5936 {
5937     PERL_ARGS_ASSERT_SV_UNMAGICEXT;
5938     return S_sv_unmagicext_flags(aTHX_ sv, type, vtbl, 1);
5939 }
5940
5941 /*
5942 =for apidoc sv_rvweaken
5943
5944 Weaken a reference: set the C<SvWEAKREF> flag on this RV; give the
5945 referred-to SV C<PERL_MAGIC_backref> magic if it hasn't already; and
5946 push a back-reference to this RV onto the array of backreferences
5947 associated with that magic.  If the RV is magical, set magic will be
5948 called after the RV is cleared.
5949
5950 =cut
5951 */
5952
5953 SV *
5954 Perl_sv_rvweaken(pTHX_ SV *const sv)
5955 {
5956     SV *tsv;
5957
5958     PERL_ARGS_ASSERT_SV_RVWEAKEN;
5959
5960     if (!SvOK(sv))  /* let undefs pass */
5961         return sv;
5962     if (!SvROK(sv))
5963         Perl_croak(aTHX_ "Can't weaken a nonreference");
5964     else if (SvWEAKREF(sv)) {
5965         Perl_ck_warner(aTHX_ packWARN(WARN_MISC), "Reference is already weak");
5966         return sv;
5967     }
5968     else if (SvREADONLY(sv)) croak_no_modify();
5969     tsv = SvRV(sv);
5970     Perl_sv_add_backref(aTHX_ tsv, sv);
5971     SvWEAKREF_on(sv);
5972     SvREFCNT_dec_NN(tsv);
5973     return sv;
5974 }
5975
5976 /*
5977 =for apidoc sv_get_backrefs
5978
5979 If C<sv> is the target of a weak reference then it returns the back
5980 references structure associated with the sv; otherwise return C<NULL>.
5981
5982 When returning a non-null result the type of the return is relevant. If it
5983 is an AV then the elements of the AV are the weak reference RVs which
5984 point at this item. If it is any other type then the item itself is the
5985 weak reference.
5986
5987 See also C<Perl_sv_add_backref()>, C<Perl_sv_del_backref()>,
5988 C<Perl_sv_kill_backrefs()>
5989
5990 =cut
5991 */
5992
5993 SV *
5994 Perl_sv_get_backrefs(SV *const sv)
5995 {
5996     SV *backrefs= NULL;
5997
5998     PERL_ARGS_ASSERT_SV_GET_BACKREFS;
5999
6000     /* find slot to store array or singleton backref */
6001
6002     if (SvTYPE(sv) == SVt_PVHV) {
6003         if (SvOOK(sv)) {
6004             struct xpvhv_aux * const iter = HvAUX((HV *)sv);
6005             backrefs = (SV *)iter->xhv_backreferences;
6006         }
6007     } else if (SvMAGICAL(sv)) {
6008         MAGIC *mg = mg_find(sv, PERL_MAGIC_backref);
6009         if (mg)
6010             backrefs = mg->mg_obj;
6011     }
6012     return backrefs;
6013 }
6014
6015 /* Give tsv backref magic if it hasn't already got it, then push a
6016  * back-reference to sv onto the array associated with the backref magic.
6017  *
6018  * As an optimisation, if there's only one backref and it's not an AV,
6019  * store it directly in the HvAUX or mg_obj slot, avoiding the need to
6020  * allocate an AV. (Whether the slot holds an AV tells us whether this is
6021  * active.)
6022  */
6023
6024 /* A discussion about the backreferences array and its refcount:
6025  *
6026  * The AV holding the backreferences is pointed to either as the mg_obj of
6027  * PERL_MAGIC_backref, or in the specific case of a HV, from the
6028  * xhv_backreferences field. The array is created with a refcount
6029  * of 2. This means that if during global destruction the array gets
6030  * picked on before its parent to have its refcount decremented by the
6031  * random zapper, it won't actually be freed, meaning it's still there for
6032  * when its parent gets freed.
6033  *
6034  * When the parent SV is freed, the extra ref is killed by
6035  * Perl_sv_kill_backrefs.  The other ref is killed, in the case of magic,
6036  * by mg_free() / MGf_REFCOUNTED, or for a hash, by Perl_hv_kill_backrefs.
6037  *
6038  * When a single backref SV is stored directly, it is not reference
6039  * counted.
6040  */
6041
6042 void
6043 Perl_sv_add_backref(pTHX_ SV *const tsv, SV *const sv)
6044 {
6045     SV **svp;
6046     AV *av = NULL;
6047     MAGIC *mg = NULL;
6048
6049     PERL_ARGS_ASSERT_SV_ADD_BACKREF;
6050
6051     /* find slot to store array or singleton backref */
6052
6053     if (SvTYPE(tsv) == SVt_PVHV) {
6054         svp = (SV**)Perl_hv_backreferences_p(aTHX_ MUTABLE_HV(tsv));
6055     } else {
6056         if (SvMAGICAL(tsv))
6057             mg = mg_find(tsv, PERL_MAGIC_backref);
6058         if (!mg)
6059             mg = sv_magicext(tsv, NULL, PERL_MAGIC_backref, &PL_vtbl_backref, NULL, 0);
6060         svp = &(mg->mg_obj);
6061     }
6062
6063     /* create or retrieve the array */
6064
6065     if (   (!*svp && SvTYPE(sv) == SVt_PVAV)
6066         || (*svp && SvTYPE(*svp) != SVt_PVAV)
6067     ) {
6068         /* create array */
6069         if (mg)
6070             mg->mg_flags |= MGf_REFCOUNTED;
6071         av = newAV();
6072         AvREAL_off(av);
6073         SvREFCNT_inc_simple_void_NN(av);
6074         /* av now has a refcnt of 2; see discussion above */
6075         av_extend(av, *svp ? 2 : 1);
6076         if (*svp) {
6077             /* move single existing backref to the array */
6078             AvARRAY(av)[++AvFILLp(av)] = *svp; /* av_push() */
6079         }
6080         *svp = (SV*)av;
6081     }
6082     else {
6083         av = MUTABLE_AV(*svp);
6084         if (!av) {
6085             /* optimisation: store single backref directly in HvAUX or mg_obj */
6086             *svp = sv;
6087             return;
6088         }
6089         assert(SvTYPE(av) == SVt_PVAV);
6090         if (AvFILLp(av) >= AvMAX(av)) {
6091             av_extend(av, AvFILLp(av)+1);
6092         }
6093     }
6094     /* push new backref */
6095     AvARRAY(av)[++AvFILLp(av)] = sv; /* av_push() */
6096 }
6097
6098 /* delete a back-reference to ourselves from the backref magic associated
6099  * with the SV we point to.
6100  */
6101
6102 void
6103 Perl_sv_del_backref(pTHX_ SV *const tsv, SV *const sv)
6104 {
6105     SV **svp = NULL;
6106
6107     PERL_ARGS_ASSERT_SV_DEL_BACKREF;
6108
6109     if (SvTYPE(tsv) == SVt_PVHV) {
6110         if (SvOOK(tsv))
6111             svp = (SV**)Perl_hv_backreferences_p(aTHX_ MUTABLE_HV(tsv));
6112     }
6113     else if (SvIS_FREED(tsv) && PL_phase == PERL_PHASE_DESTRUCT) {
6114         /* It's possible for the the last (strong) reference to tsv to have
6115            become freed *before* the last thing holding a weak reference.
6116            If both survive longer than the backreferences array, then when
6117            the referent's reference count drops to 0 and it is freed, it's
6118            not able to chase the backreferences, so they aren't NULLed.
6119
6120            For example, a CV holds a weak reference to its stash. If both the
6121            CV and the stash survive longer than the backreferences array,
6122            and the CV gets picked for the SvBREAK() treatment first,
6123            *and* it turns out that the stash is only being kept alive because
6124            of an our variable in the pad of the CV, then midway during CV
6125            destruction the stash gets freed, but CvSTASH() isn't set to NULL.
6126            It ends up pointing to the freed HV. Hence it's chased in here, and
6127            if this block wasn't here, it would hit the !svp panic just below.
6128
6129            I don't believe that "better" destruction ordering is going to help
6130            here - during global destruction there's always going to be the
6131            chance that something goes out of order. We've tried to make it
6132            foolproof before, and it only resulted in evolutionary pressure on
6133            fools. Which made us look foolish for our hubris. :-(
6134         */
6135         return;
6136     }
6137     else {
6138         MAGIC *const mg
6139             = SvMAGICAL(tsv) ? mg_find(tsv, PERL_MAGIC_backref) : NULL;
6140         svp =  mg ? &(mg->mg_obj) : NULL;
6141     }
6142
6143     if (!svp)
6144         Perl_croak(aTHX_ "panic: del_backref, svp=0");
6145     if (!*svp) {
6146         /* It's possible that sv is being freed recursively part way through the
6147            freeing of tsv. If this happens, the backreferences array of tsv has
6148            already been freed, and so svp will be NULL. If this is the case,
6149            we should not panic. Instead, nothing needs doing, so return.  */
6150         if (PL_phase == PERL_PHASE_DESTRUCT && SvREFCNT(tsv) == 0)
6151             return;
6152         Perl_croak(aTHX_ "panic: del_backref, *svp=%p phase=%s refcnt=%" UVuf,
6153                    (void*)*svp, PL_phase_names[PL_phase], (UV)SvREFCNT(tsv));
6154     }
6155
6156     if (SvTYPE(*svp) == SVt_PVAV) {
6157 #ifdef DEBUGGING
6158         int count = 1;
6159 #endif
6160         AV * const av = (AV*)*svp;
6161         SSize_t fill;
6162         assert(!SvIS_FREED(av));
6163         fill = AvFILLp(av);
6164         assert(fill > -1);
6165         svp = AvARRAY(av);
6166         /* for an SV with N weak references to it, if all those
6167          * weak refs are deleted, then sv_del_backref will be called
6168          * N times and O(N^2) compares will be done within the backref
6169          * array. To ameliorate this potential slowness, we:
6170          * 1) make sure this code is as tight as possible;
6171          * 2) when looking for SV, look for it at both the head and tail of the
6172          *    array first before searching the rest, since some create/destroy
6173          *    patterns will cause the backrefs to be freed in order.
6174          */
6175         if (*svp == sv) {
6176             AvARRAY(av)++;
6177             AvMAX(av)--;
6178         }
6179         else {
6180             SV **p = &svp[fill];
6181             SV *const topsv = *p;
6182             if (topsv != sv) {
6183 #ifdef DEBUGGING
6184                 count = 0;
6185 #endif
6186                 while (--p > svp) {
6187                     if (*p == sv) {
6188                         /* We weren't the last entry.
6189                            An unordered list has this property that you
6190                            can take the last element off the end to fill
6191                            the hole, and it's still an unordered list :-)
6192                         */
6193                         *p = topsv;
6194 #ifdef DEBUGGING
6195                         count++;
6196 #else
6197                         break; /* should only be one */
6198 #endif
6199                     }
6200                 }
6201             }
6202         }
6203         assert(count ==1);
6204         AvFILLp(av) = fill-1;
6205     }
6206     else if (SvIS_FREED(*svp) && PL_phase == PERL_PHASE_DESTRUCT) {
6207         /* freed AV; skip */
6208     }
6209     else {
6210         /* optimisation: only a single backref, stored directly */
6211         if (*svp != sv)
6212             Perl_croak(aTHX_ "panic: del_backref, *svp=%p, sv=%p",
6213                        (void*)*svp, (void*)sv);
6214         *svp = NULL;
6215     }
6216
6217 }
6218
6219 void
6220 Perl_sv_kill_backrefs(pTHX_ SV *const sv, AV *const av)
6221 {
6222     SV **svp;
6223     SV **last;
6224     bool is_array;
6225
6226     PERL_ARGS_ASSERT_SV_KILL_BACKREFS;
6227
6228     if (!av)
6229         return;
6230
6231     /* after multiple passes through Perl_sv_clean_all() for a thingy
6232      * that has badly leaked, the backref array may have gotten freed,
6233      * since we only protect it against 1 round of cleanup */
6234     if (SvIS_FREED(av)) {
6235         if (PL_in_clean_all) /* All is fair */
6236             return;
6237         Perl_croak(aTHX_
6238                    "panic: magic_killbackrefs (freed backref AV/SV)");
6239     }
6240
6241
6242     is_array = (SvTYPE(av) == SVt_PVAV);
6243     if (is_array) {
6244         assert(!SvIS_FREED(av));
6245         svp = AvARRAY(av);
6246         if (svp)
6247             last = svp + AvFILLp(av);
6248     }
6249     else {
6250         /* optimisation: only a single backref, stored directly */
6251         svp = (SV**)&av;
6252         last = svp;
6253     }
6254
6255     if (svp) {
6256         while (svp <= last) {
6257             if (*svp) {
6258                 SV *const referrer = *svp;
6259                 if (SvWEAKREF(referrer)) {
6260                     /* XXX Should we check that it hasn't changed? */
6261                     assert(SvROK(referrer));
6262                     SvRV_set(referrer, 0);
6263                     SvOK_off(referrer);
6264                     SvWEAKREF_off(referrer);
6265                     SvSETMAGIC(referrer);
6266                 } else if (SvTYPE(referrer) == SVt_PVGV ||
6267                            SvTYPE(referrer) == SVt_PVLV) {
6268                     assert(SvTYPE(sv) == SVt_PVHV); /* stash backref */
6269                     /* You lookin' at me?  */
6270                     assert(GvSTASH(referrer));
6271                     assert(GvSTASH(referrer) == (const HV *)sv);
6272                     GvSTASH(referrer) = 0;
6273                 } else if (SvTYPE(referrer) == SVt_PVCV ||
6274                            SvTYPE(referrer) == SVt_PVFM) {
6275                     if (SvTYPE(sv) == SVt_PVHV) { /* stash backref */
6276                         /* You lookin' at me?  */
6277                         assert(CvSTASH(referrer));
6278                         assert(CvSTASH(referrer) == (const HV *)sv);
6279                         SvANY(MUTABLE_CV(referrer))->xcv_stash = 0;
6280                     }
6281                     else {
6282                         assert(SvTYPE(sv) == SVt_PVGV);
6283                         /* You lookin' at me?  */
6284                         assert(CvGV(referrer));
6285                         assert(CvGV(referrer) == (const GV *)sv);
6286                         anonymise_cv_maybe(MUTABLE_GV(sv),
6287                                                 MUTABLE_CV(referrer));
6288                     }
6289
6290                 } else {
6291                     Perl_croak(aTHX_
6292                                "panic: magic_killbackrefs (flags=%" UVxf ")",
6293                                (UV)SvFLAGS(referrer));
6294                 }
6295
6296                 if (is_array)
6297                     *svp = NULL;
6298             }
6299             svp++;
6300         }
6301     }
6302     if (is_array) {
6303         AvFILLp(av) = -1;
6304         SvREFCNT_dec_NN(av); /* remove extra count added by sv_add_backref() */
6305     }
6306     return;
6307 }
6308
6309 /*
6310 =for apidoc sv_insert
6311
6312 Inserts a string at the specified offset/length within the SV.  Similar to
6313 the Perl C<substr()> function.  Handles get magic.
6314
6315 =for apidoc sv_insert_flags
6316
6317 Same as C<sv_insert>, but the extra C<flags> are passed to the
6318 C<SvPV_force_flags> that applies to C<bigstr>.
6319
6320 =cut
6321 */
6322
6323 void
6324 Perl_sv_insert_flags(pTHX_ SV *const bigstr, const STRLEN offset, const STRLEN len, const char *const little, const STRLEN littlelen, const U32 flags)
6325 {
6326     char *big;
6327     char *mid;
6328     char *midend;
6329     char *bigend;
6330     SSize_t i;          /* better be sizeof(STRLEN) or bad things happen */
6331     STRLEN curlen;
6332
6333     PERL_ARGS_ASSERT_SV_INSERT_FLAGS;
6334
6335     SvPV_force_flags(bigstr, curlen, flags);
6336     (void)SvPOK_only_UTF8(bigstr);
6337     if (offset + len > curlen) {
6338         SvGROW(bigstr, offset+len+1);
6339         Zero(SvPVX(bigstr)+curlen, offset+len-curlen, char);
6340         SvCUR_set(bigstr, offset+len);
6341     }
6342
6343     SvTAINT(bigstr);
6344     i = littlelen - len;
6345     if (i > 0) {                        /* string might grow */
6346         big = SvGROW(bigstr, SvCUR(bigstr) + i + 1);
6347         mid = big + offset + len;
6348         midend = bigend = big + SvCUR(bigstr);
6349         bigend += i;
6350         *bigend = '\0';
6351         while (midend > mid)            /* shove everything down */
6352             *--bigend = *--midend;
6353         Move(little,big+offset,littlelen,char);
6354         SvCUR_set(bigstr, SvCUR(bigstr) + i);
6355         SvSETMAGIC(bigstr);
6356         return;
6357     }
6358     else if (i == 0) {
6359         Move(little,SvPVX(bigstr)+offset,len,char);
6360         SvSETMAGIC(bigstr);
6361         return;
6362     }
6363
6364     big = SvPVX(bigstr);
6365     mid = big + offset;
6366     midend = mid + len;
6367     bigend = big + SvCUR(bigstr);
6368
6369     if (midend > bigend)
6370         Perl_croak(aTHX_ "panic: sv_insert, midend=%p, bigend=%p",
6371                    midend, bigend);
6372
6373     if (mid - big > bigend - midend) {  /* faster to shorten from end */
6374         if (littlelen) {
6375             Move(little, mid, littlelen,char);
6376             mid += littlelen;
6377         }
6378         i = bigend - midend;
6379         if (i > 0) {
6380             Move(midend, mid, i,char);
6381             mid += i;
6382         }
6383         *mid = '\0';
6384         SvCUR_set(bigstr, mid - big);
6385     }
6386     else if ((i = mid - big)) { /* faster from front */
6387         midend -= littlelen;
6388         mid = midend;
6389         Move(big, midend - i, i, char);
6390         sv_chop(bigstr,midend-i);
6391         if (littlelen)
6392             Move(little, mid, littlelen,char);
6393     }
6394     else if (littlelen) {
6395         midend -= littlelen;
6396         sv_chop(bigstr,midend);
6397         Move(little,midend,littlelen,char);
6398     }
6399     else {
6400         sv_chop(bigstr,midend);
6401     }
6402     SvSETMAGIC(bigstr);
6403 }
6404
6405 /*
6406 =for apidoc sv_replace
6407
6408 Make the first argument a copy of the second, then delete the original.
6409 The target SV physically takes over ownership of the body of the source SV
6410 and inherits its flags; however, the target keeps any magic it owns,
6411 and any magic in the source is discarded.
6412 Note that this is a rather specialist SV copying operation; most of the
6413 time you'll want to use C<sv_setsv> or one of its many macro front-ends.
6414
6415 =cut
6416 */
6417
6418 void
6419 Perl_sv_replace(pTHX_ SV *const sv, SV *const nsv)
6420 {
6421     const U32 refcnt = SvREFCNT(sv);
6422
6423     PERL_ARGS_ASSERT_SV_REPLACE;
6424
6425     SV_CHECK_THINKFIRST_COW_DROP(sv);
6426     if (SvREFCNT(nsv) != 1) {
6427         Perl_croak(aTHX_ "panic: reference miscount on nsv in sv_replace()"
6428                    " (%" UVuf " != 1)", (UV) SvREFCNT(nsv));
6429     }
6430     if (SvMAGICAL(sv)) {
6431         if (SvMAGICAL(nsv))
6432             mg_free(nsv);
6433         else
6434             sv_upgrade(nsv, SVt_PVMG);
6435         SvMAGIC_set(nsv, SvMAGIC(sv));
6436         SvFLAGS(nsv) |= SvMAGICAL(sv);
6437         SvMAGICAL_off(sv);
6438         SvMAGIC_set(sv, NULL);
6439     }
6440     SvREFCNT(sv) = 0;
6441     sv_clear(sv);
6442     assert(!SvREFCNT(sv));
6443 #ifdef DEBUG_LEAKING_SCALARS
6444     sv->sv_flags  = nsv->sv_flags;
6445     sv->sv_any    = nsv->sv_any;
6446     sv->sv_refcnt = nsv->sv_refcnt;
6447     sv->sv_u      = nsv->sv_u;
6448 #else
6449     StructCopy(nsv,sv,SV);
6450 #endif
6451     if(SvTYPE(sv) == SVt_IV) {
6452         SET_SVANY_FOR_BODYLESS_IV(sv);
6453     }
6454         
6455
6456     SvREFCNT(sv) = refcnt;
6457     SvFLAGS(nsv) |= SVTYPEMASK;         /* Mark as freed */
6458     SvREFCNT(nsv) = 0;
6459     del_SV(nsv);
6460 }
6461
6462 /* We're about to free a GV which has a CV that refers back to us.
6463  * If that CV will outlive us, make it anonymous (i.e. fix up its CvGV
6464  * field) */
6465
6466 STATIC void
6467 S_anonymise_cv_maybe(pTHX_ GV *gv, CV* cv)
6468 {
6469     SV *gvname;
6470     GV *anongv;
6471
6472     PERL_ARGS_ASSERT_ANONYMISE_CV_MAYBE;
6473
6474     /* be assertive! */
6475     assert(SvREFCNT(gv) == 0);
6476     assert(isGV(gv) && isGV_with_GP(gv));
6477     assert(GvGP(gv));
6478     assert(!CvANON(cv));
6479     assert(CvGV(cv) == gv);
6480     assert(!CvNAMED(cv));
6481
6482     /* will the CV shortly be freed by gp_free() ? */
6483     if (GvCV(gv) == cv && GvGP(gv)->gp_refcnt < 2 && SvREFCNT(cv) < 2) {
6484         SvANY(cv)->xcv_gv_u.xcv_gv = NULL;
6485         return;
6486     }
6487
6488     /* if not, anonymise: */
6489     gvname = (GvSTASH(gv) && HvNAME(GvSTASH(gv)) && HvENAME(GvSTASH(gv)))
6490                     ? newSVhek(HvENAME_HEK(GvSTASH(gv)))
6491                     : newSVpvn_flags( "__ANON__", 8, 0 );
6492     sv_catpvs(gvname, "::__ANON__");
6493     anongv = gv_fetchsv(gvname, GV_ADDMULTI, SVt_PVCV);
6494     SvREFCNT_dec_NN(gvname);
6495
6496     CvANON_on(cv);
6497     CvCVGV_RC_on(cv);
6498     SvANY(cv)->xcv_gv_u.xcv_gv = MUTABLE_GV(SvREFCNT_inc(anongv));
6499 }
6500
6501
6502 /*
6503 =for apidoc sv_clear
6504
6505 Clear an SV: call any destructors, free up any memory used by the body,
6506 and free the body itself.  The SV's head is I<not> freed, although
6507 its type is set to all 1's so that it won't inadvertently be assumed
6508 to be live during global destruction etc.
6509 This function should only be called when C<REFCNT> is zero.  Most of the time
6510 you'll want to call C<sv_free()> (or its macro wrapper C<SvREFCNT_dec>)
6511 instead.
6512
6513 =cut
6514 */
6515
6516 void
6517 Perl_sv_clear(pTHX_ SV *const orig_sv)
6518 {
6519     dVAR;
6520     HV *stash;
6521     U32 type;
6522     const struct body_details *sv_type_details;
6523     SV* iter_sv = NULL;
6524     SV* next_sv = NULL;
6525     SV *sv = orig_sv;
6526     STRLEN hash_index = 0; /* initialise to make Coverity et al happy.
6527                               Not strictly necessary */
6528
6529     PERL_ARGS_ASSERT_SV_CLEAR;
6530
6531     /* within this loop, sv is the SV currently being freed, and
6532      * iter_sv is the most recent AV or whatever that's being iterated
6533      * over to provide more SVs */
6534
6535     while (sv) {
6536
6537         type = SvTYPE(sv);
6538
6539         assert(SvREFCNT(sv) == 0);
6540         assert(SvTYPE(sv) != (svtype)SVTYPEMASK);
6541
6542         if (type <= SVt_IV) {
6543             /* See the comment in sv.h about the collusion between this
6544              * early return and the overloading of the NULL slots in the
6545              * size table.  */
6546             if (SvROK(sv))
6547                 goto free_rv;
6548             SvFLAGS(sv) &= SVf_BREAK;
6549             SvFLAGS(sv) |= SVTYPEMASK;
6550             goto free_head;
6551         }
6552
6553         /* objs are always >= MG, but pad names use the SVs_OBJECT flag
6554            for another purpose  */
6555         assert(!SvOBJECT(sv) || type >= SVt_PVMG);
6556
6557         if (type >= SVt_PVMG) {
6558             if (SvOBJECT(sv)) {
6559                 if (!curse(sv, 1)) goto get_next_sv;
6560                 type = SvTYPE(sv); /* destructor may have changed it */
6561             }
6562             /* Free back-references before magic, in case the magic calls
6563              * Perl code that has weak references to sv. */
6564             if (type == SVt_PVHV) {
6565                 Perl_hv_kill_backrefs(aTHX_ MUTABLE_HV(sv));
6566                 if (SvMAGIC(sv))
6567                     mg_free(sv);
6568             }
6569             else if (SvMAGIC(sv)) {
6570                 /* Free back-references before other types of magic. */
6571                 sv_unmagic(sv, PERL_MAGIC_backref);
6572                 mg_free(sv);
6573             }
6574             SvMAGICAL_off(sv);
6575         }
6576         switch (type) {
6577             /* case SVt_INVLIST: */
6578         case SVt_PVIO:
6579             if (IoIFP(sv) &&
6580                 IoIFP(sv) != PerlIO_stdin() &&
6581                 IoIFP(sv) != PerlIO_stdout() &&
6582                 IoIFP(sv) != PerlIO_stderr() &&
6583                 !(IoFLAGS(sv) & IOf_FAKE_DIRP))
6584             {
6585                 io_close(MUTABLE_IO(sv), NULL, FALSE,
6586                          (IoTYPE(sv) == IoTYPE_WRONLY ||
6587                           IoTYPE(sv) == IoTYPE_RDWR   ||
6588                           IoTYPE(sv) == IoTYPE_APPEND));
6589             }
6590             if (IoDIRP(sv) && !(IoFLAGS(sv) & IOf_FAKE_DIRP))
6591                 PerlDir_close(IoDIRP(sv));
6592             IoDIRP(sv) = (DIR*)NULL;
6593             Safefree(IoTOP_NAME(sv));
6594             Safefree(IoFMT_NAME(sv));
6595             Safefree(IoBOTTOM_NAME(sv));
6596             if ((const GV *)sv == PL_statgv)
6597                 PL_statgv = NULL;
6598             goto freescalar;
6599         case SVt_REGEXP:
6600             /* FIXME for plugins */
6601           freeregexp:
6602             pregfree2((REGEXP*) sv);
6603             goto freescalar;
6604         case SVt_PVCV:
6605         case SVt_PVFM:
6606             cv_undef(MUTABLE_CV(sv));
6607             /* If we're in a stash, we don't own a reference to it.
6608              * However it does have a back reference to us, which needs to
6609              * be cleared.  */
6610             if ((stash = CvSTASH(sv)))
6611                 sv_del_backref(MUTABLE_SV(stash), sv);
6612             goto freescalar;
6613         case SVt_PVHV:
6614             if (PL_last_swash_hv == (const HV *)sv) {
6615                 PL_last_swash_hv = NULL;
6616             }
6617             if (HvTOTALKEYS((HV*)sv) > 0) {
6618                 const HEK *hek;
6619                 /* this statement should match the one at the beginning of
6620                  * hv_undef_flags() */
6621                 if (   PL_phase != PERL_PHASE_DESTRUCT
6622                     && (hek = HvNAME_HEK((HV*)sv)))
6623                 {
6624                     if (PL_stashcache) {
6625                         DEBUG_o(Perl_deb(aTHX_
6626                             "sv_clear clearing PL_stashcache for '%" HEKf
6627                             "'\n",
6628                              HEKfARG(hek)));
6629                         (void)hv_deletehek(PL_stashcache,
6630                                            hek, G_DISCARD);
6631                     }
6632                     hv_name_set((HV*)sv, NULL, 0, 0);
6633                 }
6634
6635                 /* save old iter_sv in unused SvSTASH field */
6636                 assert(!SvOBJECT(sv));
6637                 SvSTASH(sv) = (HV*)iter_sv;
6638                 iter_sv = sv;
6639
6640                 /* save old hash_index in unused SvMAGIC field */
6641                 assert(!SvMAGICAL(sv));
6642                 assert(!SvMAGIC(sv));
6643                 ((XPVMG*) SvANY(sv))->xmg_u.xmg_hash_index = hash_index;
6644                 hash_index = 0;
6645
6646                 next_sv = Perl_hfree_next_entry(aTHX_ (HV*)sv, &hash_index);
6647                 goto get_next_sv; /* process this new sv */
6648             }
6649             /* free empty hash */
6650             Perl_hv_undef_flags(aTHX_ MUTABLE_HV(sv), HV_NAME_SETALL);
6651             assert(!HvARRAY((HV*)sv));
6652             break;
6653         case SVt_PVAV:
6654             {
6655                 AV* av = MUTABLE_AV(sv);
6656                 if (PL_comppad == av) {
6657                     PL_comppad = NULL;
6658                     PL_curpad = NULL;
6659                 }
6660                 if (AvREAL(av) && AvFILLp(av) > -1) {
6661                     next_sv = AvARRAY(av)[AvFILLp(av)--];
6662                     /* save old iter_sv in top-most slot of AV,
6663                      * and pray that it doesn't get wiped in the meantime */
6664                     AvARRAY(av)[AvMAX(av)] = iter_sv;
6665                     iter_sv = sv;
6666                     goto get_next_sv; /* process this new sv */
6667                 }
6668                 Safefree(AvALLOC(av));
6669             }
6670
6671             break;
6672         case SVt_PVLV:
6673             if (LvTYPE(sv) == 'T') { /* for tie: return HE to pool */
6674                 SvREFCNT_dec(HeKEY_sv((HE*)LvTARG(sv)));
6675                 HeNEXT((HE*)LvTARG(sv)) = PL_hv_fetch_ent_mh;
6676                 PL_hv_fetch_ent_mh = (HE*)LvTARG(sv);
6677             }
6678             else if (LvTYPE(sv) != 't') /* unless tie: unrefcnted fake SV**  */
6679                 SvREFCNT_dec(LvTARG(sv));
6680             if (isREGEXP(sv)) goto freeregexp;
6681             /* FALLTHROUGH */
6682         case SVt_PVGV:
6683             if (isGV_with_GP(sv)) {
6684                 if(GvCVu((const GV *)sv) && (stash = GvSTASH(MUTABLE_GV(sv)))
6685                    && HvENAME_get(stash))
6686                     mro_method_changed_in(stash);
6687                 gp_free(MUTABLE_GV(sv));
6688                 if (GvNAME_HEK(sv))
6689                     unshare_hek(GvNAME_HEK(sv));
6690                 /* If we're in a stash, we don't own a reference to it.
6691                  * However it does have a back reference to us, which
6692                  * needs to be cleared.  */
6693                 if ((stash = GvSTASH(sv)))
6694                         sv_del_backref(MUTABLE_SV(stash), sv);
6695             }
6696             /* FIXME. There are probably more unreferenced pointers to SVs
6697              * in the interpreter struct that we should check and tidy in
6698              * a similar fashion to this:  */
6699             /* See also S_sv_unglob, which does the same thing. */
6700             if ((const GV *)sv == PL_last_in_gv)
6701                 PL_last_in_gv = NULL;
6702             else if ((const GV *)sv == PL_statgv)
6703                 PL_statgv = NULL;
6704             else if ((const GV *)sv == PL_stderrgv)
6705                 PL_stderrgv = NULL;
6706             /* FALLTHROUGH */
6707         case SVt_PVMG:
6708         case SVt_PVNV:
6709         case SVt_PVIV:
6710         case SVt_INVLIST:
6711         case SVt_PV:
6712           freescalar:
6713             /* Don't bother with SvOOK_off(sv); as we're only going to
6714              * free it.  */
6715             if (SvOOK(sv)) {
6716                 STRLEN offset;
6717                 SvOOK_offset(sv, offset);
6718                 SvPV_set(sv, SvPVX_mutable(sv) - offset);
6719                 /* Don't even bother with turning off the OOK flag.  */
6720             }
6721             if (SvROK(sv)) {
6722             free_rv:
6723                 {
6724                     SV * const target = SvRV(sv);
6725                     if (SvWEAKREF(sv))
6726                         sv_del_backref(target, sv);
6727                     else
6728                         next_sv = target;
6729                 }
6730             }
6731 #ifdef PERL_ANY_COW
6732             else if (SvPVX_const(sv)
6733                      && !(SvTYPE(sv) == SVt_PVIO
6734                      && !(IoFLAGS(sv) & IOf_FAKE_DIRP)))
6735             {
6736                 if (SvIsCOW(sv)) {
6737                     if (DEBUG_C_TEST) {
6738                         PerlIO_printf(Perl_debug_log, "Copy on write: clear\n");
6739                         sv_dump(sv);
6740                     }
6741                     if (SvLEN(sv)) {
6742                         if (CowREFCNT(sv)) {
6743                             sv_buf_to_rw(sv);
6744                             CowREFCNT(sv)--;
6745                             sv_buf_to_ro(sv);
6746                             SvLEN_set(sv, 0);
6747                         }
6748                     } else {
6749                         unshare_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sv)));
6750                     }
6751
6752                 }
6753                 if (SvLEN(sv)) {
6754                     Safefree(SvPVX_mutable(sv));
6755                 }
6756             }
6757 #else
6758             else if (SvPVX_const(sv) && SvLEN(sv)
6759                      && !(SvTYPE(sv) == SVt_PVIO
6760                      && !(IoFLAGS(sv) & IOf_FAKE_DIRP)))
6761                 Safefree(SvPVX_mutable(sv));
6762             else if (SvPVX_const(sv) && SvIsCOW(sv)) {
6763                 unshare_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sv)));
6764             }
6765 #endif
6766             break;
6767         case SVt_NV:
6768             break;
6769         }
6770
6771       free_body:
6772
6773         SvFLAGS(sv) &= SVf_BREAK;
6774         SvFLAGS(sv) |= SVTYPEMASK;
6775
6776         sv_type_details = bodies_by_type + type;
6777         if (sv_type_details->arena) {
6778             del_body(((char *)SvANY(sv) + sv_type_details->offset),
6779                      &PL_body_roots[type]);
6780         }
6781         else if (sv_type_details->body_size) {
6782             safefree(SvANY(sv));
6783         }
6784
6785       free_head:
6786         /* caller is responsible for freeing the head of the original sv */
6787         if (sv != orig_sv && !SvREFCNT(sv))
6788             del_SV(sv);
6789
6790         /* grab and free next sv, if any */
6791       get_next_sv:
6792         while (1) {
6793             sv = NULL;
6794             if (next_sv) {
6795                 sv = next_sv;
6796                 next_sv = NULL;
6797             }
6798             else if (!iter_sv) {
6799                 break;
6800             } else if (SvTYPE(iter_sv) == SVt_PVAV) {
6801                 AV *const av = (AV*)iter_sv;
6802                 if (AvFILLp(av) > -1) {
6803                     sv = AvARRAY(av)[AvFILLp(av)--];
6804                 }
6805                 else { /* no more elements of current AV to free */
6806                     sv = iter_sv;
6807                     type = SvTYPE(sv);
6808                     /* restore previous value, squirrelled away */
6809                     iter_sv = AvARRAY(av)[AvMAX(av)];
6810                     Safefree(AvALLOC(av));
6811                     goto free_body;
6812                 }
6813             } else if (SvTYPE(iter_sv) == SVt_PVHV) {
6814                 sv = Perl_hfree_next_entry(aTHX_ (HV*)iter_sv, &hash_index);
6815                 if (!sv && !HvTOTALKEYS((HV *)iter_sv)) {
6816                     /* no more elements of current HV to free */
6817                     sv = iter_sv;
6818                     type = SvTYPE(sv);
6819                     /* Restore previous values of iter_sv and hash_index,
6820                      * squirrelled away */
6821                     assert(!SvOBJECT(sv));
6822                     iter_sv = (SV*)SvSTASH(sv);
6823                     assert(!SvMAGICAL(sv));
6824                     hash_index = ((XPVMG*) SvANY(sv))->xmg_u.xmg_hash_index;
6825 #ifdef DEBUGGING
6826                     /* perl -DA does not like rubbish in SvMAGIC. */
6827                     SvMAGIC_set(sv, 0);
6828 #endif
6829
6830                     /* free any remaining detritus from the hash struct */
6831                     Perl_hv_undef_flags(aTHX_ MUTABLE_HV(sv), HV_NAME_SETALL);
6832                     assert(!HvARRAY((HV*)sv));
6833                     goto free_body;
6834                 }
6835             }
6836
6837             /* unrolled SvREFCNT_dec and sv_free2 follows: */
6838
6839             if (!sv)
6840                 continue;
6841             if (!SvREFCNT(sv)) {
6842                 sv_free(sv);
6843                 continue;
6844             }
6845             if (--(SvREFCNT(sv)))
6846                 continue;
6847 #ifdef DEBUGGING
6848             if (SvTEMP(sv)) {
6849                 Perl_ck_warner_d(aTHX_ packWARN(WARN_DEBUGGING),
6850                          "Attempt to free temp prematurely: SV 0x%" UVxf
6851                          pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
6852                 continue;
6853             }
6854 #endif
6855             if (SvIMMORTAL(sv)) {
6856                 /* make sure SvREFCNT(sv)==0 happens very seldom */
6857                 SvREFCNT(sv) = SvREFCNT_IMMORTAL;
6858                 continue;
6859             }
6860             break;
6861         } /* while 1 */
6862
6863     } /* while sv */
6864 }
6865
6866 /* This routine curses the sv itself, not the object referenced by sv. So
6867    sv does not have to be ROK. */
6868
6869 static bool
6870 S_curse(pTHX_ SV * const sv, const bool check_refcnt) {
6871     PERL_ARGS_ASSERT_CURSE;
6872     assert(SvOBJECT(sv));
6873
6874     if (PL_defstash &&  /* Still have a symbol table? */
6875         SvDESTROYABLE(sv))
6876     {
6877         dSP;
6878         HV* stash;
6879         do {
6880           stash = SvSTASH(sv);
6881           assert(SvTYPE(stash) == SVt_PVHV);
6882           if (HvNAME(stash)) {
6883             CV* destructor = NULL;
6884             struct mro_meta *meta;
6885
6886             assert (SvOOK(stash));
6887
6888             DEBUG_o( Perl_deb(aTHX_ "Looking for DESTROY method for %s\n",
6889                          HvNAME(stash)) );
6890
6891             /* don't make this an initialization above the assert, since it needs
6892                an AUX structure */
6893             meta = HvMROMETA(stash);
6894             if (meta->destroy_gen && meta->destroy_gen == PL_sub_generation) {
6895                 destructor = meta->destroy;
6896                 DEBUG_o( Perl_deb(aTHX_ "Using cached DESTROY method %p for %s\n",
6897                              (void *)destructor, HvNAME(stash)) );
6898             }
6899             else {
6900                 bool autoload = FALSE;
6901                 GV *gv =
6902                     gv_fetchmeth_pvn(stash, S_destroy, S_destroy_len, -1, 0);
6903                 if (gv)
6904                     destructor = GvCV(gv);
6905                 if (!destructor) {
6906                     gv = gv_autoload_pvn(stash, S_destroy, S_destroy_len,
6907                                          GV_AUTOLOAD_ISMETHOD);
6908                     if (gv)
6909                         destructor = GvCV(gv);
6910                     if (destructor)
6911                         autoload = TRUE;
6912                 }
6913                 /* we don't cache AUTOLOAD for DESTROY, since this code
6914                    would then need to set $__PACKAGE__::AUTOLOAD, or the
6915                    equivalent for XS AUTOLOADs */
6916                 if (!autoload) {
6917                     meta->destroy_gen = PL_sub_generation;
6918                     meta->destroy = destructor;
6919
6920                     DEBUG_o( Perl_deb(aTHX_ "Set cached DESTROY method %p for %s\n",
6921                                       (void *)destructor, HvNAME(stash)) );
6922                 }
6923                 else {
6924                     DEBUG_o( Perl_deb(aTHX_ "Not caching AUTOLOAD for DESTROY method for %s\n",
6925                                       HvNAME(stash)) );
6926                 }
6927             }
6928             assert(!destructor || SvTYPE(destructor) == SVt_PVCV);
6929             if (destructor
6930                 /* A constant subroutine can have no side effects, so
6931                    don't bother calling it.  */
6932                 && !CvCONST(destructor)
6933                 /* Don't bother calling an empty destructor or one that
6934                    returns immediately. */
6935                 && (CvISXSUB(destructor)
6936                 || (CvSTART(destructor)
6937                     && (CvSTART(destructor)->op_next->op_type
6938                                         != OP_LEAVESUB)
6939                     && (CvSTART(destructor)->op_next->op_type
6940                                         != OP_PUSHMARK
6941                         || CvSTART(destructor)->op_next->op_next->op_type
6942                                         != OP_RETURN
6943                        )
6944                    ))
6945                )
6946             {
6947                 SV* const tmpref = newRV(sv);
6948                 SvREADONLY_on(tmpref); /* DESTROY() could be naughty */
6949                 ENTER;
6950                 PUSHSTACKi(PERLSI_DESTROY);
6951                 EXTEND(SP, 2);
6952                 PUSHMARK(SP);
6953                 PUSHs(tmpref);
6954                 PUTBACK;
6955                 call_sv(MUTABLE_SV(destructor),
6956                             G_DISCARD|G_EVAL|G_KEEPERR|G_VOID);
6957                 POPSTACK;
6958                 SPAGAIN;
6959                 LEAVE;
6960                 if(SvREFCNT(tmpref) < 2) {
6961                     /* tmpref is not kept alive! */
6962                     SvREFCNT(sv)--;
6963                     SvRV_set(tmpref, NULL);
6964                     SvROK_off(tmpref);
6965                 }
6966                 SvREFCNT_dec_NN(tmpref);
6967             }
6968           }
6969         } while (SvOBJECT(sv) && SvSTASH(sv) != stash);
6970
6971
6972         if (check_refcnt && SvREFCNT(sv)) {
6973             if (PL_in_clean_objs)
6974                 Perl_croak(aTHX_
6975                   "DESTROY created new reference to dead object '%" HEKf "'",
6976                    HEKfARG(HvNAME_HEK(stash)));
6977             /* DESTROY gave object new lease on life */
6978             return FALSE;
6979         }
6980     }
6981
6982     if (SvOBJECT(sv)) {
6983         HV * const stash = SvSTASH(sv);
6984         /* Curse before freeing the stash, as freeing the stash could cause
6985            a recursive call into S_curse. */
6986         SvOBJECT_off(sv);       /* Curse the object. */
6987         SvSTASH_set(sv,0);      /* SvREFCNT_dec may try to read this */
6988         SvREFCNT_dec(stash); /* possibly of changed persuasion */
6989     }
6990     return TRUE;
6991 }
6992
6993 /*
6994 =for apidoc sv_newref
6995
6996 Increment an SV's reference count.  Use the C<SvREFCNT_inc()> wrapper
6997 instead.
6998
6999 =cut
7000 */
7001
7002 SV *
7003 Perl_sv_newref(pTHX_ SV *const sv)
7004 {
7005     PERL_UNUSED_CONTEXT;
7006     if (sv)
7007         (SvREFCNT(sv))++;
7008     return sv;
7009 }
7010
7011 /*
7012 =for apidoc sv_free
7013
7014 Decrement an SV's reference count, and if it drops to zero, call
7015 C<sv_clear> to invoke destructors and free up any memory used by
7016 the body; finally, deallocating the SV's head itself.
7017 Normally called via a wrapper macro C<SvREFCNT_dec>.
7018
7019 =cut
7020 */
7021
7022 void
7023 Perl_sv_free(pTHX_ SV *const sv)
7024 {
7025     SvREFCNT_dec(sv);
7026 }
7027
7028
7029 /* Private helper function for SvREFCNT_dec().
7030  * Called with rc set to original SvREFCNT(sv), where rc == 0 or 1 */
7031
7032 void
7033 Perl_sv_free2(pTHX_ SV *const sv, const U32 rc)
7034 {
7035     dVAR;
7036
7037     PERL_ARGS_ASSERT_SV_FREE2;
7038
7039     if (LIKELY( rc == 1 )) {
7040         /* normal case */
7041         SvREFCNT(sv) = 0;
7042
7043 #ifdef DEBUGGING
7044         if (SvTEMP(sv)) {
7045             Perl_ck_warner_d(aTHX_ packWARN(WARN_DEBUGGING),
7046                              "Attempt to free temp prematurely: SV 0x%" UVxf
7047                              pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
7048             return;
7049         }
7050 #endif
7051         if (SvIMMORTAL(sv)) {
7052             /* make sure SvREFCNT(sv)==0 happens very seldom */
7053             SvREFCNT(sv) = SvREFCNT_IMMORTAL;
7054             return;
7055         }
7056         sv_clear(sv);
7057         if (! SvREFCNT(sv)) /* may have have been resurrected */
7058             del_SV(sv);
7059         return;
7060     }
7061
7062     /* handle exceptional cases */
7063
7064     assert(rc == 0);
7065
7066     if (SvFLAGS(sv) & SVf_BREAK)
7067         /* this SV's refcnt has been artificially decremented to
7068          * trigger cleanup */
7069         return;
7070     if (PL_in_clean_all) /* All is fair */
7071         return;
7072     if (SvIMMORTAL(sv)) {
7073         /* make sure SvREFCNT(sv)==0 happens very seldom */
7074         SvREFCNT(sv) = SvREFCNT_IMMORTAL;
7075         return;
7076     }
7077     if (ckWARN_d(WARN_INTERNAL)) {
7078 #ifdef DEBUG_LEAKING_SCALARS_FORK_DUMP
7079         Perl_dump_sv_child(aTHX_ sv);
7080 #else
7081     #ifdef DEBUG_LEAKING_SCALARS
7082         sv_dump(sv);
7083     #endif
7084 #ifdef DEBUG_LEAKING_SCALARS_ABORT
7085         if (PL_warnhook == PERL_WARNHOOK_FATAL
7086             || ckDEAD(packWARN(WARN_INTERNAL))) {
7087             /* Don't let Perl_warner cause us to escape our fate:  */
7088             abort();
7089         }
7090 #endif
7091         /* This may not return:  */
7092         Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
7093                     "Attempt to free unreferenced scalar: SV 0x%" UVxf
7094                     pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
7095 #endif
7096     }
7097 #ifdef DEBUG_LEAKING_SCALARS_ABORT
7098     abort();
7099 #endif
7100
7101 }
7102
7103
7104 /*
7105 =for apidoc sv_len
7106
7107 Returns the length of the string in the SV.  Handles magic and type
7108 coercion and sets the UTF8 flag appropriately.  See also C<L</SvCUR>>, which
7109 gives raw access to the C<xpv_cur> slot.
7110
7111 =cut
7112 */
7113
7114 STRLEN
7115 Perl_sv_len(pTHX_ SV *const sv)
7116 {
7117     STRLEN len;
7118
7119     if (!sv)
7120         return 0;
7121
7122     (void)SvPV_const(sv, len);
7123     return len;
7124 }
7125
7126 /*
7127 =for apidoc sv_len_utf8
7128
7129 Returns the number of characters in the string in an SV, counting wide
7130 UTF-8 bytes as a single character.  Handles magic and type coercion.
7131
7132 =cut
7133 */
7134
7135 /*
7136  * The length is cached in PERL_MAGIC_utf8, in the mg_len field.  Also the
7137  * mg_ptr is used, by sv_pos_u2b() and sv_pos_b2u() - see the comments below.
7138  * (Note that the mg_len is not the length of the mg_ptr field.
7139  * This allows the cache to store the character length of the string without
7140  * needing to malloc() extra storage to attach to the mg_ptr.)
7141  *
7142  */
7143
7144 STRLEN
7145 Perl_sv_len_utf8(pTHX_ SV *const sv)
7146 {
7147     if (!sv)
7148         return 0;
7149
7150     SvGETMAGIC(sv);
7151     return sv_len_utf8_nomg(sv);
7152 }
7153
7154 STRLEN
7155 Perl_sv_len_utf8_nomg(pTHX_ SV * const sv)
7156 {
7157     STRLEN len;
7158     const U8 *s = (U8*)SvPV_nomg_const(sv, len);
7159
7160     PERL_ARGS_ASSERT_SV_LEN_UTF8_NOMG;
7161
7162     if (PL_utf8cache && SvUTF8(sv)) {
7163             STRLEN ulen;
7164             MAGIC *mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_utf8) : NULL;
7165
7166             if (mg && (mg->mg_len != -1 || mg->mg_ptr)) {
7167                 if (mg->mg_len != -1)
7168                     ulen = mg->mg_len;
7169                 else {
7170                     /* We can use the offset cache for a headstart.
7171                        The longer value is stored in the first pair.  */
7172                     STRLEN *cache = (STRLEN *) mg->mg_ptr;
7173
7174                     ulen = cache[0] + Perl_utf8_length(aTHX_ s + cache[1],
7175                                                        s + len);
7176                 }
7177                 
7178                 if (PL_utf8cache < 0) {
7179                     const STRLEN real = Perl_utf8_length(aTHX_ s, s + len);
7180                     assert_uft8_cache_coherent("sv_len_utf8", ulen, real, sv);
7181                 }
7182             }
7183             else {
7184                 ulen = Perl_utf8_length(aTHX_ s, s + len);
7185                 utf8_mg_len_cache_update(sv, &mg, ulen);
7186             }
7187             return ulen;
7188     }
7189     return SvUTF8(sv) ? Perl_utf8_length(aTHX_ s, s + len) : len;
7190 }
7191
7192 /* Walk forwards to find the byte corresponding to the passed in UTF-8
7193    offset.  */
7194 static STRLEN
7195 S_sv_pos_u2b_forwards(const U8 *const start, const U8 *const send,
7196                       STRLEN *const uoffset_p, bool *const at_end)
7197 {
7198     const U8 *s = start;
7199     STRLEN uoffset = *uoffset_p;
7200
7201     PERL_ARGS_ASSERT_SV_POS_U2B_FORWARDS;
7202
7203     while (s < send && uoffset) {
7204         --uoffset;
7205         s += UTF8SKIP(s);
7206     }
7207     if (s == send) {
7208         *at_end = TRUE;
7209     }
7210     else if (s > send) {
7211         *at_end = TRUE;
7212         /* This is the existing behaviour. Possibly it should be a croak, as
7213            it's actually a bounds error  */
7214         s = send;
7215     }
7216     *uoffset_p -= uoffset;
7217     return s - start;
7218 }
7219
7220 /* Given the length of the string in both bytes and UTF-8 characters, decide
7221    whether to walk forwards or backwards to find the byte corresponding to
7222    the passed in UTF-8 offset.  */
7223 static STRLEN
7224 S_sv_pos_u2b_midway(const U8 *const start, const U8 *send,
7225                     STRLEN uoffset, const STRLEN uend)
7226 {
7227     STRLEN backw = uend - uoffset;
7228
7229     PERL_ARGS_ASSERT_SV_POS_U2B_MIDWAY;
7230
7231     if (uoffset < 2 * backw) {
7232         /* The assumption is that going forwards is twice the speed of going
7233            forward (that's where the 2 * backw comes from).
7234            (The real figure of course depends on the UTF-8 data.)  */
7235         const U8 *s = start;
7236
7237         while (s < send && uoffset--)
7238             s += UTF8SKIP(s);
7239         assert (s <= send);
7240         if (s > send)
7241             s = send;
7242         return s - start;
7243     }
7244
7245     while (backw--) {
7246         send--;
7247         while (UTF8_IS_CONTINUATION(*send))
7248             send--;
7249     }
7250     return send - start;
7251 }
7252
7253 /* For the string representation of the given scalar, find the byte
7254    corresponding to the passed in UTF-8 offset.  uoffset0 and boffset0
7255    give another position in the string, *before* the sought offset, which
7256    (which is always true, as 0, 0 is a valid pair of positions), which should
7257    help reduce the amount of linear searching.
7258    If *mgp is non-NULL, it should point to the UTF-8 cache magic, which
7259    will be used to reduce the amount of linear searching. The cache will be
7260    created if necessary, and the found value offered to it for update.  */
7261 static STRLEN
7262 S_sv_pos_u2b_cached(pTHX_ SV *const sv, MAGIC **const mgp, const U8 *const start,
7263                     const U8 *const send, STRLEN uoffset,
7264                     STRLEN uoffset0, STRLEN boffset0)
7265 {
7266     STRLEN boffset = 0; /* Actually always set, but let's keep gcc happy.  */
7267     bool found = FALSE;
7268     bool at_end = FALSE;
7269
7270     PERL_ARGS_ASSERT_SV_POS_U2B_CACHED;
7271
7272     assert (uoffset >= uoffset0);
7273
7274     if (!uoffset)
7275         return 0;
7276
7277     if (!SvREADONLY(sv) && !SvGMAGICAL(sv) && SvPOK(sv)
7278         && PL_utf8cache
7279         && (*mgp || (SvTYPE(sv) >= SVt_PVMG &&
7280                      (*mgp = mg_find(sv, PERL_MAGIC_utf8))))) {
7281         if ((*mgp)->mg_ptr) {
7282             STRLEN *cache = (STRLEN *) (*mgp)->mg_ptr;
7283             if (cache[0] == uoffset) {
7284                 /* An exact match. */
7285                 return cache[1];
7286             }
7287             if (cache[2] == uoffset) {
7288                 /* An exact match. */
7289                 return cache[3];
7290             }
7291
7292             if (cache[0] < uoffset) {
7293                 /* The cache already knows part of the way.   */
7294                 if (cache[0] > uoffset0) {
7295                     /* The cache knows more than the passed in pair  */
7296                     uoffset0 = cache[0];
7297                     boffset0 = cache[1];
7298                 }
7299                 if ((*mgp)->mg_len != -1) {
7300                     /* And we know the end too.  */
7301                     boffset = boffset0
7302                         + sv_pos_u2b_midway(start + boffset0, send,
7303                                               uoffset - uoffset0,
7304                                               (*mgp)->mg_len - uoffset0);
7305                 } else {
7306                     uoffset -= uoffset0;
7307                     boffset = boffset0
7308                         + sv_pos_u2b_forwards(start + boffset0,
7309                                               send, &uoffset, &at_end);
7310                     uoffset += uoffset0;
7311                 }
7312             }
7313             else if (cache[2] < uoffset) {
7314                 /* We're between the two cache entries.  */
7315                 if (cache[2] > uoffset0) {
7316                     /* and the cache knows more than the passed in pair  */
7317                     uoffset0 = cache[2];
7318                     boffset0 = cache[3];
7319                 }
7320
7321                 boffset = boffset0
7322                     + sv_pos_u2b_midway(start + boffset0,
7323                                           start + cache[1],
7324                                           uoffset - uoffset0,
7325                                           cache[0] - uoffset0);
7326             } else {
7327                 boffset = boffset0
7328                     + sv_pos_u2b_midway(start + boffset0,
7329                                           start + cache[3],
7330                                           uoffset - uoffset0,
7331                                           cache[2] - uoffset0);
7332             }
7333             found = TRUE;
7334         }
7335         else if ((*mgp)->mg_len != -1) {
7336             /* If we can take advantage of a passed in offset, do so.  */
7337             /* In fact, offset0 is either 0, or less than offset, so don't
7338                need to worry about the other possibility.  */
7339             boffset = boffset0
7340                 + sv_pos_u2b_midway(start + boffset0, send,
7341                                       uoffset - uoffset0,
7342                                       (*mgp)->mg_len - uoffset0);
7343             found = TRUE;
7344         }
7345     }
7346
7347     if (!found || PL_utf8cache < 0) {
7348         STRLEN real_boffset;
7349         uoffset -= uoffset0;
7350         real_boffset = boffset0 + sv_pos_u2b_forwards(start + boffset0,
7351                                                       send, &uoffset, &at_end);
7352         uoffset += uoffset0;
7353
7354         if (found && PL_utf8cache < 0)
7355             assert_uft8_cache_coherent("sv_pos_u2b_cache", boffset,
7356                                        real_boffset, sv);
7357         boffset = real_boffset;
7358     }
7359
7360     if (PL_utf8cache && !SvGMAGICAL(sv) && SvPOK(sv)) {
7361         if (at_end)
7362             utf8_mg_len_cache_update(sv, mgp, uoffset);
7363         else
7364             utf8_mg_pos_cache_update(sv, mgp, boffset, uoffset, send - start);
7365     }
7366     return boffset;
7367 }
7368
7369
7370 /*
7371 =for apidoc sv_pos_u2b_flags
7372
7373 Converts the offset from a count of UTF-8 chars from
7374 the start of the string, to a count of the equivalent number of bytes; if
7375 C<lenp> is non-zero, it does the same to C<lenp>, but this time starting from
7376 C<offset>, rather than from the start
7377 of the string.  Handles type coercion.
7378 C<flags> is passed to C<SvPV_flags>, and usually should be
7379 C<SV_GMAGIC|SV_CONST_RETURN> to handle magic.
7380
7381 =cut
7382 */
7383
7384 /*
7385  * sv_pos_u2b_flags() uses, like sv_pos_b2u(), the mg_ptr of the potential
7386  * PERL_MAGIC_utf8 of the sv to store the mapping between UTF-8 and
7387  * byte offsets.  See also the comments of S_utf8_mg_pos_cache_update().
7388  *
7389  */
7390
7391 STRLEN
7392 Perl_sv_pos_u2b_flags(pTHX_ SV *const sv, STRLEN uoffset, STRLEN *const lenp,
7393                       U32 flags)
7394 {
7395     const U8 *start;
7396     STRLEN len;
7397     STRLEN boffset;
7398
7399     PERL_ARGS_ASSERT_SV_POS_U2B_FLAGS;
7400
7401     start = (U8*)SvPV_flags(sv, len, flags);
7402     if (len) {
7403         const U8 * const send = start + len;
7404         MAGIC *mg = NULL;
7405         boffset = sv_pos_u2b_cached(sv, &mg, start, send, uoffset, 0, 0);
7406
7407         if (lenp
7408             && *lenp /* don't bother doing work for 0, as its bytes equivalent
7409                         is 0, and *lenp is already set to that.  */) {
7410             /* Convert the relative offset to absolute.  */
7411             const STRLEN uoffset2 = uoffset + *lenp;
7412             const STRLEN boffset2
7413                 = sv_pos_u2b_cached(sv, &mg, start, send, uoffset2,
7414                                       uoffset, boffset) - boffset;
7415
7416             *lenp = boffset2;
7417         }
7418     } else {
7419         if (lenp)
7420             *lenp = 0;
7421         boffset = 0;
7422     }
7423
7424     return boffset;
7425 }
7426
7427 /*
7428 =for apidoc sv_pos_u2b
7429
7430 Converts the value pointed to by C<offsetp> from a count of UTF-8 chars from
7431 the start of the string, to a count of the equivalent number of bytes; if
7432 C<lenp> is non-zero, it does the same to C<lenp>, but this time starting from
7433 the offset, rather than from the start of the string.  Handles magic and
7434 type coercion.
7435
7436 Use C<sv_pos_u2b_flags> in preference, which correctly handles strings longer
7437 than 2Gb.
7438
7439 =cut
7440 */
7441
7442 /*
7443  * sv_pos_u2b() uses, like sv_pos_b2u(), the mg_ptr of the potential
7444  * PERL_MAGIC_utf8 of the sv to store the mapping between UTF-8 and
7445  * byte offsets.  See also the comments of S_utf8_mg_pos_cache_update().
7446  *
7447  */
7448
7449 /* This function is subject to size and sign problems */
7450
7451 void
7452 Perl_sv_pos_u2b(pTHX_ SV *const sv, I32 *const offsetp, I32 *const lenp)
7453 {
7454     PERL_ARGS_ASSERT_SV_POS_U2B;
7455
7456     if (lenp) {
7457         STRLEN ulen = (STRLEN)*lenp;
7458         *offsetp = (I32)sv_pos_u2b_flags(sv, (STRLEN)*offsetp, &ulen,
7459                                          SV_GMAGIC|SV_CONST_RETURN);
7460         *lenp = (I32)ulen;
7461     } else {
7462         *offsetp = (I32)sv_pos_u2b_flags(sv, (STRLEN)*offsetp, NULL,
7463                                          SV_GMAGIC|SV_CONST_RETURN);
7464     }
7465 }
7466
7467 static void
7468 S_utf8_mg_len_cache_update(pTHX_ SV *const sv, MAGIC **const mgp,
7469                            const STRLEN ulen)
7470 {
7471     PERL_ARGS_ASSERT_UTF8_MG_LEN_CACHE_UPDATE;
7472     if (SvREADONLY(sv) || SvGMAGICAL(sv) || !SvPOK(sv))
7473         return;
7474
7475     if (!*mgp && (SvTYPE(sv) < SVt_PVMG ||
7476                   !(*mgp = mg_find(sv, PERL_MAGIC_utf8)))) {
7477         *mgp = sv_magicext(sv, 0, PERL_MAGIC_utf8, &PL_vtbl_utf8, 0, 0);
7478     }
7479     assert(*mgp);
7480
7481     (*mgp)->mg_len = ulen;
7482 }
7483
7484 /* Create and update the UTF8 magic offset cache, with the proffered utf8/
7485    byte length pairing. The (byte) length of the total SV is passed in too,
7486    as blen, because for some (more esoteric) SVs, the call to SvPV_const()
7487    may not have updated SvCUR, so we can't rely on reading it directly.
7488
7489    The proffered utf8/byte length pairing isn't used if the cache already has
7490    two pairs, and swapping either for the proffered pair would increase the
7491    RMS of the intervals between known byte offsets.
7492
7493    The cache itself consists of 4 STRLEN values
7494    0: larger UTF-8 offset
7495    1: corresponding byte offset
7496    2: smaller UTF-8 offset
7497    3: corresponding byte offset
7498
7499    Unused cache pairs have the value 0, 0.
7500    Keeping the cache "backwards" means that the invariant of
7501    cache[0] >= cache[2] is maintained even with empty slots, which means that
7502    the code that uses it doesn't need to worry if only 1 entry has actually
7503    been set to non-zero.  It also makes the "position beyond the end of the
7504    cache" logic much simpler, as the first slot is always the one to start
7505    from.   
7506 */
7507 static void
7508 S_utf8_mg_pos_cache_update(pTHX_ SV *const sv, MAGIC **const mgp, const STRLEN byte,
7509                            const STRLEN utf8, const STRLEN blen)
7510 {
7511     STRLEN *cache;
7512
7513     PERL_ARGS_ASSERT_UTF8_MG_POS_CACHE_UPDATE;
7514
7515     if (SvREADONLY(sv))
7516         return;
7517
7518     if (!*mgp && (SvTYPE(sv) < SVt_PVMG ||
7519                   !(*mgp = mg_find(sv, PERL_MAGIC_utf8)))) {
7520         *mgp = sv_magicext(sv, 0, PERL_MAGIC_utf8, (MGVTBL*)&PL_vtbl_utf8, 0,
7521                            0);
7522         (*mgp)->mg_len = -1;
7523     }
7524     assert(*mgp);
7525
7526     if (!(cache = (STRLEN *)(*mgp)->mg_ptr)) {
7527         Newxz(cache, PERL_MAGIC_UTF8_CACHESIZE * 2, STRLEN);
7528         (*mgp)->mg_ptr = (char *) cache;
7529     }
7530     assert(cache);
7531
7532     if (PL_utf8cache < 0 && SvPOKp(sv)) {
7533         /* SvPOKp() because, if sv is a reference, then SvPVX() is actually
7534            a pointer.  Note that we no longer cache utf8 offsets on refer-
7535            ences, but this check is still a good idea, for robustness.  */
7536         const U8 *start = (const U8 *) SvPVX_const(sv);
7537         const STRLEN realutf8 = utf8_length(start, start + byte);
7538
7539         assert_uft8_cache_coherent("utf8_mg_pos_cache_update", utf8, realutf8,
7540                                    sv);
7541     }
7542
7543     /* Cache is held with the later position first, to simplify the code
7544        that deals with unbounded ends.  */
7545        
7546     ASSERT_UTF8_CACHE(cache);
7547     if (cache[1] == 0) {
7548         /* Cache is totally empty  */
7549         cache[0] = utf8;
7550         cache[1] = byte;
7551     } else if (cache[3] == 0) {
7552         if (byte > cache[1]) {
7553             /* New one is larger, so goes first.  */
7554             cache[2] = cache[0];
7555             cache[3] = cache[1];
7556             cache[0] = utf8;
7557             cache[1] = byte;
7558         } else {
7559             cache[2] = utf8;
7560             cache[3] = byte;
7561         }
7562     } else {
7563 /* float casts necessary? XXX */
7564 #define THREEWAY_SQUARE(a,b,c,d) \
7565             ((float)((d) - (c))) * ((float)((d) - (c))) \
7566             + ((float)((c) - (b))) * ((float)((c) - (b))) \
7567                + ((float)((b) - (a))) * ((float)((b) - (a)))
7568
7569         /* Cache has 2 slots in use, and we know three potential pairs.
7570            Keep the two that give the lowest RMS distance. Do the
7571            calculation in bytes simply because we always know the byte
7572            length.  squareroot has the same ordering as the positive value,
7573            so don't bother with the actual square root.  */
7574         if (byte > cache[1]) {
7575             /* New position is after the existing pair of pairs.  */
7576             const float keep_earlier
7577                 = THREEWAY_SQUARE(0, cache[3], byte, blen);
7578             const float keep_later
7579                 = THREEWAY_SQUARE(0, cache[1], byte, blen);
7580
7581             if (keep_later < keep_earlier) {
7582                 cache[2] = cache[0];
7583                 cache[3] = cache[1];
7584             }
7585             cache[0] = utf8;
7586             cache[1] = byte;
7587         }
7588         else {
7589             const float keep_later = THREEWAY_SQUARE(0, byte, cache[1], blen);
7590             float b, c, keep_earlier;
7591             if (byte > cache[3]) {
7592                 /* New position is between the existing pair of pairs.  */
7593                 b = (float)cache[3];
7594                 c = (float)byte;
7595             } else {
7596                 /* New position is before the existing pair of pairs.  */
7597                 b = (float)byte;
7598                 c = (float)cache[3];
7599             }
7600             keep_earlier = THREEWAY_SQUARE(0, b, c, blen);
7601             if (byte > cache[3]) {
7602                 if (keep_later < keep_earlier) {
7603                     cache[2] = utf8;
7604                     cache[3] = byte;
7605                 }
7606                 else {
7607                     cache[0] = utf8;
7608                     cache[1] = byte;
7609                 }
7610             }
7611             else {
7612                 if (! (keep_later < keep_earlier)) {
7613                     cache[0] = cache[2];
7614                     cache[1] = cache[3];
7615                 }
7616                 cache[2] = utf8;
7617                 cache[3] = byte;
7618             }
7619         }
7620     }
7621     ASSERT_UTF8_CACHE(cache);
7622 }
7623
7624 /* We already know all of the way, now we may be able to walk back.  The same
7625    assumption is made as in S_sv_pos_u2b_midway(), namely that walking
7626    backward is half the speed of walking forward. */
7627 static STRLEN
7628 S_sv_pos_b2u_midway(pTHX_ const U8 *const s, const U8 *const target,
7629                     const U8 *end, STRLEN endu)
7630 {
7631     const STRLEN forw = target - s;
7632     STRLEN backw = end - target;
7633
7634     PERL_ARGS_ASSERT_SV_POS_B2U_MIDWAY;
7635
7636     if (forw < 2 * backw) {
7637         return utf8_length(s, target);
7638     }
7639
7640     while (end > target) {
7641         end--;
7642         while (UTF8_IS_CONTINUATION(*end)) {
7643             end--;
7644         }
7645         endu--;
7646     }
7647     return endu;
7648 }
7649
7650 /*
7651 =for apidoc sv_pos_b2u_flags
7652
7653 Converts C<offset> from a count of bytes from the start of the string, to
7654 a count of the equivalent number of UTF-8 chars.  Handles type coercion.
7655 C<flags> is passed to C<SvPV_flags>, and usually should be
7656 C<SV_GMAGIC|SV_CONST_RETURN> to handle magic.
7657
7658 =cut
7659 */
7660
7661 /*
7662  * sv_pos_b2u_flags() uses, like sv_pos_u2b_flags(), the mg_ptr of the
7663  * potential PERL_MAGIC_utf8 of the sv to store the mapping between UTF-8
7664  * and byte offsets.
7665  *
7666  */
7667 STRLEN
7668 Perl_sv_pos_b2u_flags(pTHX_ SV *const sv, STRLEN const offset, U32 flags)
7669 {
7670     const U8* s;
7671     STRLEN len = 0; /* Actually always set, but let's keep gcc happy.  */
7672     STRLEN blen;
7673     MAGIC* mg = NULL;
7674     const U8* send;
7675     bool found = FALSE;
7676
7677     PERL_ARGS_ASSERT_SV_POS_B2U_FLAGS;
7678
7679     s = (const U8*)SvPV_flags(sv, blen, flags);
7680
7681     if (blen < offset)
7682         Perl_croak(aTHX_ "panic: sv_pos_b2u: bad byte offset, blen=%" UVuf
7683                    ", byte=%" UVuf, (UV)blen, (UV)offset);
7684
7685     send = s + offset;
7686
7687     if (!SvREADONLY(sv)
7688         && PL_utf8cache
7689         && SvTYPE(sv) >= SVt_PVMG
7690         && (mg = mg_find(sv, PERL_MAGIC_utf8)))
7691     {
7692         if (mg->mg_ptr) {
7693             STRLEN * const cache = (STRLEN *) mg->mg_ptr;
7694             if (cache[1] == offset) {
7695                 /* An exact match. */
7696                 return cache[0];
7697             }
7698             if (cache[3] == offset) {
7699                 /* An exact match. */
7700                 return cache[2];
7701             }
7702
7703             if (cache[1] < offset) {
7704                 /* We already know part of the way. */
7705                 if (mg->mg_len != -1) {
7706                     /* Actually, we know the end too.  */
7707                     len = cache[0]
7708                         + S_sv_pos_b2u_midway(aTHX_ s + cache[1], send,
7709                                               s + blen, mg->mg_len - cache[0]);
7710                 } else {
7711                     len = cache[0] + utf8_length(s + cache[1], send);
7712                 }
7713             }
7714             else if (cache[3] < offset) {
7715                 /* We're between the two cached pairs, so we do the calculation
7716                    offset by the byte/utf-8 positions for the earlier pair,
7717                    then add the utf-8 characters from the string start to
7718                    there.  */
7719                 len = S_sv_pos_b2u_midway(aTHX_ s + cache[3], send,
7720                                           s + cache[1], cache[0] - cache[2])
7721                     + cache[2];
7722
7723             }
7724             else { /* cache[3] > offset */
7725                 len = S_sv_pos_b2u_midway(aTHX_ s, send, s + cache[3],
7726                                           cache[2]);
7727
7728             }
7729             ASSERT_UTF8_CACHE(cache);
7730             found = TRUE;
7731         } else if (mg->mg_len != -1) {
7732             len = S_sv_pos_b2u_midway(aTHX_ s, send, s + blen, mg->mg_len);
7733             found = TRUE;
7734         }
7735     }
7736     if (!found || PL_utf8cache < 0) {
7737         const STRLEN real_len = utf8_length(s, send);
7738
7739         if (found && PL_utf8cache < 0)
7740             assert_uft8_cache_coherent("sv_pos_b2u", len, real_len, sv);
7741         len = real_len;
7742     }
7743
7744     if (PL_utf8cache) {
7745         if (blen == offset)
7746             utf8_mg_len_cache_update(sv, &mg, len);
7747         else
7748             utf8_mg_pos_cache_update(sv, &mg, offset, len, blen);
7749     }
7750
7751     return len;
7752 }
7753
7754 /*
7755 =for apidoc sv_pos_b2u
7756
7757 Converts the value pointed to by C<offsetp> from a count of bytes from the
7758 start of the string, to a count of the equivalent number of UTF-8 chars.
7759 Handles magic and type coercion.
7760
7761 Use C<sv_pos_b2u_flags> in preference, which correctly handles strings
7762 longer than 2Gb.
7763
7764 =cut
7765 */
7766
7767 /*
7768  * sv_pos_b2u() uses, like sv_pos_u2b(), the mg_ptr of the potential
7769  * PERL_MAGIC_utf8 of the sv to store the mapping between UTF-8 and
7770  * byte offsets.
7771  *
7772  */
7773 void
7774 Perl_sv_pos_b2u(pTHX_ SV *const sv, I32 *const offsetp)
7775 {
7776     PERL_ARGS_ASSERT_SV_POS_B2U;
7777
7778     if (!sv)
7779         return;
7780
7781     *offsetp = (I32)sv_pos_b2u_flags(sv, (STRLEN)*offsetp,
7782                                      SV_GMAGIC|SV_CONST_RETURN);
7783 }
7784
7785 static void
7786 S_assert_uft8_cache_coherent(pTHX_ const char *const func, STRLEN from_cache,
7787                              STRLEN real, SV *const sv)
7788 {
7789     PERL_ARGS_ASSERT_ASSERT_UFT8_CACHE_COHERENT;
7790
7791     /* As this is debugging only code, save space by keeping this test here,
7792        rather than inlining it in all the callers.  */
7793     if (from_cache == real)
7794         return;
7795
7796     /* Need to turn the assertions off otherwise we may recurse infinitely
7797        while printing error messages.  */
7798     SAVEI8(PL_utf8cache);
7799     PL_utf8cache = 0;
7800     Perl_croak(aTHX_ "panic: %s cache %" UVuf " real %" UVuf " for %" SVf,
7801                func, (UV) from_cache, (UV) real, SVfARG(sv));
7802 }
7803
7804 /*
7805 =for apidoc sv_eq
7806
7807 Returns a boolean indicating whether the strings in the two SVs are
7808 identical.  Is UTF-8 and S<C<'use bytes'>> aware, handles get magic, and will
7809 coerce its args to strings if necessary.
7810
7811 =for apidoc sv_eq_flags
7812
7813 Returns a boolean indicating whether the strings in the two SVs are
7814 identical.  Is UTF-8 and S<C<'use bytes'>> aware and coerces its args to strings
7815 if necessary.  If the flags has the C<SV_GMAGIC> bit set, it handles get-magic, too.
7816
7817 =cut
7818 */
7819
7820 I32
7821 Perl_sv_eq_flags(pTHX_ SV *sv1, SV *sv2, const U32 flags)
7822 {
7823     const char *pv1;
7824     STRLEN cur1;
7825     const char *pv2;
7826     STRLEN cur2;
7827     I32  eq     = 0;
7828     SV* svrecode = NULL;
7829
7830     if (!sv1) {
7831         pv1 = "";
7832         cur1 = 0;
7833     }
7834     else {
7835         /* if pv1 and pv2 are the same, second SvPV_const call may
7836          * invalidate pv1 (if we are handling magic), so we may need to
7837          * make a copy */
7838         if (sv1 == sv2 && flags & SV_GMAGIC
7839          && (SvTHINKFIRST(sv1) || SvGMAGICAL(sv1))) {
7840             pv1 = SvPV_const(sv1, cur1);
7841             sv1 = newSVpvn_flags(pv1, cur1, SVs_TEMP | SvUTF8(sv2));
7842         }
7843         pv1 = SvPV_flags_const(sv1, cur1, flags);
7844     }
7845
7846     if (!sv2){
7847         pv2 = "";
7848         cur2 = 0;
7849     }
7850     else
7851         pv2 = SvPV_flags_const(sv2, cur2, flags);
7852
7853     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
7854         /* Differing utf8ness.  */
7855         if (SvUTF8(sv1)) {
7856                   /* sv1 is the UTF-8 one  */
7857                   return bytes_cmp_utf8((const U8*)pv2, cur2,
7858                                         (const U8*)pv1, cur1) == 0;
7859         }
7860         else {
7861                   /* sv2 is the UTF-8 one  */
7862                   return bytes_cmp_utf8((const U8*)pv1, cur1,
7863                                         (const U8*)pv2, cur2) == 0;
7864         }
7865     }
7866
7867     if (cur1 == cur2)
7868         eq = (pv1 == pv2) || memEQ(pv1, pv2, cur1);
7869         
7870     SvREFCNT_dec(svrecode);
7871
7872     return eq;
7873 }
7874
7875 /*
7876 =for apidoc sv_cmp
7877
7878 Compares the strings in two SVs.  Returns -1, 0, or 1 indicating whether the
7879 string in C<sv1> is less than, equal to, or greater than the string in
7880 C<sv2>.  Is UTF-8 and S<C<'use bytes'>> aware, handles get magic, and will
7881 coerce its args to strings if necessary.  See also C<L</sv_cmp_locale>>.
7882
7883 =for apidoc sv_cmp_flags
7884
7885 Compares the strings in two SVs.  Returns -1, 0, or 1 indicating whether the
7886 string in C<sv1> is less than, equal to, or greater than the string in
7887 C<sv2>.  Is UTF-8 and S<C<'use bytes'>> aware and will coerce its args to strings
7888 if necessary.  If the flags has the C<SV_GMAGIC> bit set, it handles get magic.  See
7889 also C<L</sv_cmp_locale_flags>>.
7890
7891 =cut
7892 */
7893
7894 I32
7895 Perl_sv_cmp(pTHX_ SV *const sv1, SV *const sv2)
7896 {
7897     return sv_cmp_flags(sv1, sv2, SV_GMAGIC);
7898 }
7899
7900 I32
7901 Perl_sv_cmp_flags(pTHX_ SV *const sv1, SV *const sv2,
7902                   const U32 flags)
7903 {
7904     STRLEN cur1, cur2;
7905     const char *pv1, *pv2;
7906     I32  cmp;
7907     SV *svrecode = NULL;
7908
7909     if (!sv1) {
7910         pv1 = "";
7911         cur1 = 0;
7912     }
7913     else
7914         pv1 = SvPV_flags_const(sv1, cur1, flags);
7915
7916     if (!sv2) {
7917         pv2 = "";
7918         cur2 = 0;
7919     }
7920     else
7921         pv2 = SvPV_flags_const(sv2, cur2, flags);
7922
7923     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
7924         /* Differing utf8ness.  */
7925         if (SvUTF8(sv1)) {
7926                 const int retval = -bytes_cmp_utf8((const U8*)pv2, cur2,
7927                                                    (const U8*)pv1, cur1);
7928                 return retval ? retval < 0 ? -1 : +1 : 0;
7929         }
7930         else {
7931                 const int retval = bytes_cmp_utf8((const U8*)pv1, cur1,
7932                                                   (const U8*)pv2, cur2);
7933                 return retval ? retval < 0 ? -1 : +1 : 0;
7934         }
7935     }
7936
7937     /* Here, if both are non-NULL, then they have the same UTF8ness. */
7938
7939     if (!cur1) {
7940         cmp = cur2 ? -1 : 0;
7941     } else if (!cur2) {
7942         cmp = 1;
7943     } else {
7944         STRLEN shortest_len = cur1 < cur2 ? cur1 : cur2;
7945
7946 #ifdef EBCDIC
7947         if (! DO_UTF8(sv1)) {
7948 #endif
7949             const I32 retval = memcmp((const void*)pv1,
7950                                       (const void*)pv2,
7951                                       shortest_len);
7952             if (retval) {
7953                 cmp = retval < 0 ? -1 : 1;
7954             } else if (cur1 == cur2) {
7955                 cmp = 0;
7956             } else {
7957                 cmp = cur1 < cur2 ? -1 : 1;
7958             }
7959 #ifdef EBCDIC
7960         }
7961         else {  /* Both are to be treated as UTF-EBCDIC */
7962
7963             /* EBCDIC UTF-8 is complicated by the fact that it is based on I8
7964              * which remaps code points 0-255.  We therefore generally have to
7965              * unmap back to the original values to get an accurate comparison.
7966              * But we don't have to do that for UTF-8 invariants, as by
7967              * definition, they aren't remapped, nor do we have to do it for
7968              * above-latin1 code points, as they also aren't remapped.  (This
7969              * code also works on ASCII platforms, but the memcmp() above is
7970              * much faster). */
7971
7972             const char *e = pv1 + shortest_len;
7973
7974             /* Find the first bytes that differ between the two strings */
7975             while (pv1 < e && *pv1 == *pv2) {
7976                 pv1++;
7977                 pv2++;
7978             }
7979
7980
7981             if (pv1 == e) { /* Are the same all the way to the end */
7982                 if (cur1 == cur2) {
7983                     cmp = 0;
7984                 } else {
7985                     cmp = cur1 < cur2 ? -1 : 1;
7986                 }
7987             }
7988             else   /* Here *pv1 and *pv2 are not equal, but all bytes earlier
7989                     * in the strings were.  The current bytes may or may not be
7990                     * at the beginning of a character.  But neither or both are
7991                     * (or else earlier bytes would have been different).  And
7992                     * if we are in the middle of a character, the two
7993                     * characters are comprised of the same number of bytes
7994                     * (because in this case the start bytes are the same, and
7995                     * the start bytes encode the character's length). */
7996                  if (UTF8_IS_INVARIANT(*pv1))
7997             {
7998                 /* If both are invariants; can just compare directly */
7999                 if (UTF8_IS_INVARIANT(*pv2)) {
8000                     cmp = ((U8) *pv1 < (U8) *pv2) ? -1 : 1;
8001                 }
8002                 else   /* Since *pv1 is invariant, it is the whole character,
8003                           which means it is at the beginning of a character.
8004                           That means pv2 is also at the beginning of a
8005                           character (see earlier comment).  Since it isn't
8006                           invariant, it must be a start byte.  If it starts a
8007                           character whose code point is above 255, that
8008                           character is greater than any single-byte char, which
8009                           *pv1 is */
8010                       if (UTF8_IS_ABOVE_LATIN1_START(*pv2))
8011                 {
8012                     cmp = -1;
8013                 }
8014                 else {
8015                     /* Here, pv2 points to a character composed of 2 bytes
8016                      * whose code point is < 256.  Get its code point and
8017                      * compare with *pv1 */
8018                     cmp = ((U8) *pv1 < EIGHT_BIT_UTF8_TO_NATIVE(*pv2, *(pv2 + 1)))
8019                            ?  -1
8020                            : 1;
8021                 }
8022             }
8023             else   /* The code point starting at pv1 isn't a single byte */
8024                  if (UTF8_IS_INVARIANT(*pv2))
8025             {
8026                 /* But here, the code point starting at *pv2 is a single byte,
8027                  * and so *pv1 must begin a character, hence is a start byte.
8028                  * If that character is above 255, it is larger than any
8029                  * single-byte char, which *pv2 is */
8030                 if (UTF8_IS_ABOVE_LATIN1_START(*pv1)) {
8031                     cmp = 1;
8032                 }
8033                 else {
8034                     /* Here, pv1 points to a character composed of 2 bytes
8035                      * whose code point is < 256.  Get its code point and
8036                      * compare with the single byte character *pv2 */
8037                     cmp = (EIGHT_BIT_UTF8_TO_NATIVE(*pv1, *(pv1 + 1)) < (U8) *pv2)
8038                           ?  -1
8039                           : 1;
8040                 }
8041             }
8042             else   /* Here, we've ruled out either *pv1 and *pv2 being
8043                       invariant.  That means both are part of variants, but not
8044                       necessarily at the start of a character */
8045                  if (   UTF8_IS_ABOVE_LATIN1_START(*pv1)
8046                      || UTF8_IS_ABOVE_LATIN1_START(*pv2))
8047             {
8048                 /* Here, at least one is the start of a character, which means
8049                  * the other is also a start byte.  And the code point of at
8050                  * least one of the characters is above 255.  It is a
8051                  * characteristic of UTF-EBCDIC that all start bytes for
8052                  * above-latin1 code points are well behaved as far as code
8053                  * point comparisons go, and all are larger than all other
8054                  * start bytes, so the comparison with those is also well
8055                  * behaved */
8056                 cmp = ((U8) *pv1 < (U8) *pv2) ? -1 : 1;
8057             }
8058             else {
8059                 /* Here both *pv1 and *pv2 are part of variant characters.
8060                  * They could be both continuations, or both start characters.
8061                  * (One or both could even be an illegal start character (for
8062                  * an overlong) which for the purposes of sorting we treat as
8063                  * legal. */
8064                 if (UTF8_IS_CONTINUATION(*pv1)) {
8065
8066                     /* If they are continuations for code points above 255,
8067                      * then comparing the current byte is sufficient, as there
8068                      * is no remapping of these and so the comparison is
8069                      * well-behaved.   We determine if they are such
8070                      * continuations by looking at the preceding byte.  It
8071                      * could be a start byte, from which we can tell if it is
8072                      * for an above 255 code point.  Or it could be a
8073                      * continuation, which means the character occupies at
8074                      * least 3 bytes, so must be above 255.  */
8075                     if (   UTF8_IS_CONTINUATION(*(pv2 - 1))
8076                         || UTF8_IS_ABOVE_LATIN1_START(*(pv2 -1)))
8077                     {
8078                         cmp = ((U8) *pv1 < (U8) *pv2) ? -1 : 1;
8079                         goto cmp_done;
8080                     }
8081
8082                     /* Here, the continuations are for code points below 256;
8083                      * back up one to get to the start byte */
8084                     pv1--;
8085                     pv2--;
8086                 }
8087
8088                 /* We need to get the actual native code point of each of these
8089                  * variants in order to compare them */
8090                 cmp =  (  EIGHT_BIT_UTF8_TO_NATIVE(*pv1, *(pv1 + 1))
8091                         < EIGHT_BIT_UTF8_TO_NATIVE(*pv2, *(pv2 + 1)))
8092                         ? -1
8093                         : 1;
8094             }
8095         }
8096       cmp_done: ;
8097 #endif
8098     }
8099
8100     SvREFCNT_dec(svrecode);
8101
8102     return cmp;
8103 }
8104
8105 /*
8106 =for apidoc sv_cmp_locale
8107
8108 Compares the strings in two SVs in a locale-aware manner.  Is UTF-8 and
8109 S<C<'use bytes'>> aware, handles get magic, and will coerce its args to strings
8110 if necessary.  See also C<L</sv_cmp>>.
8111
8112 =for apidoc sv_cmp_locale_flags
8113
8114 Compares the strings in two SVs in a locale-aware manner.  Is UTF-8 and
8115 S<C<'use bytes'>> aware and will coerce its args to strings if necessary.  If
8116 the flags contain C<SV_GMAGIC>, it handles get magic.  See also
8117 C<L</sv_cmp_flags>>.
8118
8119 =cut
8120 */
8121
8122 I32
8123 Perl_sv_cmp_locale(pTHX_ SV *const sv1, SV *const sv2)
8124 {
8125     return sv_cmp_locale_flags(sv1, sv2, SV_GMAGIC);
8126 }
8127
8128 I32
8129 Perl_sv_cmp_locale_flags(pTHX_ SV *const sv1, SV *const sv2,
8130                          const U32 flags)
8131 {
8132 #ifdef USE_LOCALE_COLLATE
8133
8134     char *pv1, *pv2;
8135     STRLEN len1, len2;
8136     I32 retval;
8137
8138     if (PL_collation_standard)
8139         goto raw_compare;
8140
8141     len1 = len2 = 0;
8142
8143     /* Revert to using raw compare if both operands exist, but either one
8144      * doesn't transform properly for collation */
8145     if (sv1 && sv2) {
8146         pv1 = sv_collxfrm_flags(sv1, &len1, flags);
8147         if (! pv1) {
8148             goto raw_compare;
8149         }
8150         pv2 = sv_collxfrm_flags(sv2, &len2, flags);
8151         if (! pv2) {
8152             goto raw_compare;
8153         }
8154     }
8155     else {
8156         pv1 = sv1 ? sv_collxfrm_flags(sv1, &len1, flags) : (char *) NULL;
8157         pv2 = sv2 ? sv_collxfrm_flags(sv2, &len2, flags) : (char *) NULL;
8158     }
8159
8160     if (!pv1 || !len1) {
8161         if (pv2 && len2)
8162             return -1;
8163         else
8164             goto raw_compare;
8165     }
8166     else {
8167         if (!pv2 || !len2)
8168             return 1;
8169     }
8170
8171     retval = memcmp((void*)pv1, (void*)pv2, len1 < len2 ? len1 : len2);
8172
8173     if (retval)
8174         return retval < 0 ? -1 : 1;
8175
8176     /*
8177      * When the result of collation is equality, that doesn't mean
8178      * that there are no differences -- some locales exclude some
8179      * characters from consideration.  So to avoid false equalities,
8180      * we use the raw string as a tiebreaker.
8181      */
8182
8183   raw_compare:
8184     /* FALLTHROUGH */
8185
8186 #else
8187     PERL_UNUSED_ARG(flags);
8188 #endif /* USE_LOCALE_COLLATE */
8189
8190     return sv_cmp(sv1, sv2);
8191 }
8192
8193
8194 #ifdef USE_LOCALE_COLLATE
8195
8196 /*
8197 =for apidoc sv_collxfrm
8198
8199 This calls C<sv_collxfrm_flags> with the SV_GMAGIC flag.  See
8200 C<L</sv_collxfrm_flags>>.
8201
8202 =for apidoc sv_collxfrm_flags
8203
8204 Add Collate Transform magic to an SV if it doesn't already have it.  If the
8205 flags contain C<SV_GMAGIC>, it handles get-magic.
8206
8207 Any scalar variable may carry C<PERL_MAGIC_collxfrm> magic that contains the
8208 scalar data of the variable, but transformed to such a format that a normal
8209 memory comparison can be used to compare the data according to the locale
8210 settings.
8211
8212 =cut
8213 */
8214
8215 char *
8216 Perl_sv_collxfrm_flags(pTHX_ SV *const sv, STRLEN *const nxp, const I32 flags)
8217 {
8218     MAGIC *mg;
8219
8220     PERL_ARGS_ASSERT_SV_COLLXFRM_FLAGS;
8221
8222     mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_collxfrm) : (MAGIC *) NULL;
8223
8224     /* If we don't have collation magic on 'sv', or the locale has changed
8225      * since the last time we calculated it, get it and save it now */
8226     if (!mg || !mg->mg_ptr || *(U32*)mg->mg_ptr != PL_collation_ix) {
8227         const char *s;
8228         char *xf;
8229         STRLEN len, xlen;
8230
8231         /* Free the old space */
8232         if (mg)
8233             Safefree(mg->mg_ptr);
8234
8235         s = SvPV_flags_const(sv, len, flags);
8236         if ((xf = _mem_collxfrm(s, len, &xlen, cBOOL(SvUTF8(sv))))) {
8237             if (! mg) {
8238                 mg = sv_magicext(sv, 0, PERL_MAGIC_collxfrm, &PL_vtbl_collxfrm,
8239                                  0, 0);
8240                 assert(mg);
8241             }
8242             mg->mg_ptr = xf;
8243             mg->mg_len = xlen;
8244         }
8245         else {
8246             if (mg) {
8247                 mg->mg_ptr = NULL;
8248                 mg->mg_len = -1;
8249             }
8250         }
8251     }
8252
8253     if (mg && mg->mg_ptr) {
8254         *nxp = mg->mg_len;
8255         return mg->mg_ptr + sizeof(PL_collation_ix);
8256     }
8257     else {
8258         *nxp = 0;
8259         return NULL;
8260     }
8261 }
8262
8263 #endif /* USE_LOCALE_COLLATE */
8264
8265 static char *
8266 S_sv_gets_append_to_utf8(pTHX_ SV *const sv, PerlIO *const fp, I32 append)
8267 {
8268     SV * const tsv = newSV(0);
8269     ENTER;
8270     SAVEFREESV(tsv);
8271     sv_gets(tsv, fp, 0);
8272     sv_utf8_upgrade_nomg(tsv);
8273     SvCUR_set(sv,append);
8274     sv_catsv(sv,tsv);
8275     LEAVE;
8276     return (SvCUR(sv) - append) ? SvPVX(sv) : NULL;
8277 }
8278
8279 static char *
8280 S_sv_gets_read_record(pTHX_ SV *const sv, PerlIO *const fp, I32 append)
8281 {
8282     SSize_t bytesread;
8283     const STRLEN recsize = SvUV(SvRV(PL_rs)); /* RsRECORD() guarantees > 0. */
8284       /* Grab the size of the record we're getting */
8285     char *buffer = SvGROW(sv, (STRLEN)(recsize + append + 1)) + append;
8286     
8287     /* Go yank in */
8288 #ifdef __VMS
8289     int fd;
8290     Stat_t st;
8291
8292     /* With a true, record-oriented file on VMS, we need to use read directly
8293      * to ensure that we respect RMS record boundaries.  The user is responsible
8294      * for providing a PL_rs value that corresponds to the FAB$W_MRS (maximum
8295      * record size) field.  N.B. This is likely to produce invalid results on
8296      * varying-width character data when a record ends mid-character.
8297      */
8298     fd = PerlIO_fileno(fp);
8299     if (fd != -1
8300         && PerlLIO_fstat(fd, &st) == 0
8301         && (st.st_fab_rfm == FAB$C_VAR
8302             || st.st_fab_rfm == FAB$C_VFC
8303             || st.st_fab_rfm == FAB$C_FIX)) {
8304
8305         bytesread = PerlLIO_read(fd, buffer, recsize);
8306     }
8307     else /* in-memory file from PerlIO::Scalar
8308           * or not a record-oriented file
8309           */
8310 #endif
8311     {
8312         bytesread = PerlIO_read(fp, buffer, recsize);
8313
8314         /* At this point, the logic in sv_get() means that sv will
8315            be treated as utf-8 if the handle is utf8.
8316         */
8317         if (PerlIO_isutf8(fp) && bytesread > 0) {
8318             char *bend = buffer + bytesread;
8319             char *bufp = buffer;
8320             size_t charcount = 0;
8321             bool charstart = TRUE;
8322             STRLEN skip = 0;
8323
8324             while (charcount < recsize) {
8325                 /* count accumulated characters */
8326                 while (bufp < bend) {
8327                     if (charstart) {
8328                         skip = UTF8SKIP(bufp);
8329                     }
8330                     if (bufp + skip > bend) {
8331                         /* partial at the end */
8332                         charstart = FALSE;
8333                         break;
8334                     }
8335                     else {
8336                         ++charcount;
8337                         bufp += skip;
8338                         charstart = TRUE;
8339                     }
8340                 }
8341
8342                 if (charcount < recsize) {
8343                     STRLEN readsize;
8344                     STRLEN bufp_offset = bufp - buffer;
8345                     SSize_t morebytesread;
8346
8347                     /* originally I read enough to fill any incomplete
8348                        character and the first byte of the next
8349                        character if needed, but if there's many
8350                        multi-byte encoded characters we're going to be
8351                        making a read call for every character beyond
8352                        the original read size.
8353
8354                        So instead, read the rest of the character if
8355                        any, and enough bytes to match at least the
8356                        start bytes for each character we're going to
8357                        read.
8358                     */
8359                     if (charstart)
8360                         readsize = recsize - charcount;
8361                     else 
8362                         readsize = skip - (bend - bufp) + recsize - charcount - 1;
8363                     buffer = SvGROW(sv, append + bytesread + readsize + 1) + append;
8364                     bend = buffer + bytesread;
8365                     morebytesread = PerlIO_read(fp, bend, readsize);
8366                     if (morebytesread <= 0) {
8367                         /* we're done, if we still have incomplete
8368                            characters the check code in sv_gets() will
8369                            warn about them.
8370
8371                            I'd originally considered doing
8372                            PerlIO_ungetc() on all but the lead
8373                            character of the incomplete character, but
8374                            read() doesn't do that, so I don't.
8375                         */
8376                         break;
8377                     }
8378
8379                     /* prepare to scan some more */
8380                     bytesread += morebytesread;
8381                     bend = buffer + bytesread;
8382                     bufp = buffer + bufp_offset;
8383                 }
8384             }
8385         }
8386     }
8387
8388     if (bytesread < 0)
8389         bytesread = 0;
8390     SvCUR_set(sv, bytesread + append);
8391     buffer[bytesread] = '\0';
8392     return (SvCUR(sv) - append) ? SvPVX(sv) : NULL;
8393 }
8394
8395 /*
8396 =for apidoc sv_gets
8397
8398 Get a line from the filehandle and store it into the SV, optionally
8399 appending to the currently-stored string.  If C<append> is not 0, the
8400 line is appended to the SV instead of overwriting it.  C<append> should
8401 be set to the byte offset that the appended string should start at
8402 in the SV (typically, C<SvCUR(sv)> is a suitable choice).
8403
8404 =cut
8405 */
8406
8407 char *
8408 Perl_sv_gets(pTHX_ SV *const sv, PerlIO *const fp, I32 append)
8409 {
8410     const char *rsptr;
8411     STRLEN rslen;
8412     STDCHAR rslast;
8413     STDCHAR *bp;
8414     SSize_t cnt;
8415     int i = 0;
8416     int rspara = 0;
8417
8418     PERL_ARGS_ASSERT_SV_GETS;
8419
8420     if (SvTHINKFIRST(sv))
8421         sv_force_normal_flags(sv, append ? 0 : SV_COW_DROP_PV);
8422     /* XXX. If you make this PVIV, then copy on write can copy scalars read
8423        from <>.
8424        However, perlbench says it's slower, because the existing swipe code
8425        is faster than copy on write.
8426        Swings and roundabouts.  */
8427     SvUPGRADE(sv, SVt_PV);
8428
8429     if (append) {
8430         /* line is going to be appended to the existing buffer in the sv */
8431         if (PerlIO_isutf8(fp)) {
8432             if (!SvUTF8(sv)) {
8433                 sv_utf8_upgrade_nomg(sv);
8434                 sv_pos_u2b(sv,&append,0);
8435             }
8436         } else if (SvUTF8(sv)) {
8437             return S_sv_gets_append_to_utf8(aTHX_ sv, fp, append);
8438         }
8439     }
8440
8441     SvPOK_only(sv);
8442     if (!append) {
8443         /* not appending - "clear" the string by setting SvCUR to 0,
8444          * the pv is still avaiable. */
8445         SvCUR_set(sv,0);
8446     }
8447     if (PerlIO_isutf8(fp))
8448         SvUTF8_on(sv);
8449
8450     if (IN_PERL_COMPILETIME) {
8451         /* we always read code in line mode */
8452         rsptr = "\n";
8453         rslen = 1;
8454     }
8455     else if (RsSNARF(PL_rs)) {
8456         /* If it is a regular disk file use size from stat() as estimate
8457            of amount we are going to read -- may result in mallocing
8458            more memory than we really need if the layers below reduce
8459            the size we read (e.g. CRLF or a gzip layer).
8460          */
8461         Stat_t st;
8462         int fd = PerlIO_fileno(fp);
8463         if (fd >= 0 && (PerlLIO_fstat(fd, &st) == 0) && S_ISREG(st.st_mode))  {
8464             const Off_t offset = PerlIO_tell(fp);
8465             if (offset != (Off_t) -1 && st.st_size + append > offset) {
8466 #ifdef PERL_COPY_ON_WRITE
8467                 /* Add an extra byte for the sake of copy-on-write's
8468                  * buffer reference count. */
8469                 (void) SvGROW(sv, (STRLEN)((st.st_size - offset) + append + 2));
8470 #else
8471                 (void) SvGROW(sv, (STRLEN)((st.st_size - offset) + append + 1));
8472 #endif
8473             }
8474         }
8475         rsptr = NULL;
8476         rslen = 0;
8477     }
8478     else if (RsRECORD(PL_rs)) {
8479         return S_sv_gets_read_record(aTHX_ sv, fp, append);
8480     }
8481     else if (RsPARA(PL_rs)) {
8482         rsptr = "\n\n";
8483         rslen = 2;
8484         rspara = 1;
8485     }
8486     else {
8487         /* Get $/ i.e. PL_rs into same encoding as stream wants */
8488         if (PerlIO_isutf8(fp)) {
8489             rsptr = SvPVutf8(PL_rs, rslen);
8490         }
8491         else {
8492             if (SvUTF8(PL_rs)) {
8493                 if (!sv_utf8_downgrade(PL_rs, TRUE)) {
8494                     Perl_croak(aTHX_ "Wide character in $/");
8495                 }
8496             }
8497             /* extract the raw pointer to the record separator */
8498             rsptr = SvPV_const(PL_rs, rslen);
8499         }
8500     }
8501
8502     /* rslast is the last character in the record separator
8503      * note we don't use rslast except when rslen is true, so the
8504      * null assign is a placeholder. */
8505     rslast = rslen ? rsptr[rslen - 1] : '\0';
8506
8507     if (rspara) {               /* have to do this both before and after */
8508         do {                    /* to make sure file boundaries work right */
8509             if (PerlIO_eof(fp))
8510                 return 0;
8511             i = PerlIO_getc(fp);
8512             if (i != '\n') {
8513                 if (i == -1)
8514                     return 0;
8515                 PerlIO_ungetc(fp,i);
8516                 break;
8517             }
8518         } while (i != EOF);
8519     }
8520
8521     /* See if we know enough about I/O mechanism to cheat it ! */
8522
8523     /* This used to be #ifdef test - it is made run-time test for ease
8524        of abstracting out stdio interface. One call should be cheap
8525        enough here - and may even be a macro allowing compile
8526        time optimization.
8527      */
8528
8529     if (PerlIO_fast_gets(fp)) {
8530     /*
8531      * We can do buffer based IO operations on this filehandle.
8532      *
8533      * This means we can bypass a lot of subcalls and process
8534      * the buffer directly, it also means we know the upper bound
8535      * on the amount of data we might read of the current buffer
8536      * into our sv. Knowing this allows us to preallocate the pv
8537      * to be able to hold that maximum, which allows us to simplify
8538      * a lot of logic. */
8539
8540     /*
8541      * We're going to steal some values from the stdio struct
8542      * and put EVERYTHING in the innermost loop into registers.
8543      */
8544     STDCHAR *ptr;       /* pointer into fp's read-ahead buffer */
8545     STRLEN bpx;         /* length of the data in the target sv
8546                            used to fix pointers after a SvGROW */
8547     I32 shortbuffered;  /* If the pv buffer is shorter than the amount
8548                            of data left in the read-ahead buffer.
8549                            If 0 then the pv buffer can hold the full
8550                            amount left, otherwise this is the amount it
8551                            can hold. */
8552
8553     /* Here is some breathtakingly efficient cheating */
8554
8555     /* When you read the following logic resist the urge to think
8556      * of record separators that are 1 byte long. They are an
8557      * uninteresting special (simple) case.
8558      *
8559      * Instead think of record separators which are at least 2 bytes
8560      * long, and keep in mind that we need to deal with such
8561      * separators when they cross a read-ahead buffer boundary.
8562      *
8563      * Also consider that we need to gracefully deal with separators
8564      * that may be longer than a single read ahead buffer.
8565      *
8566      * Lastly do not forget we want to copy the delimiter as well. We
8567      * are copying all data in the file _up_to_and_including_ the separator
8568      * itself.
8569      *
8570      * Now that you have all that in mind here is what is happening below:
8571      *
8572      * 1. When we first enter the loop we do some memory book keeping to see
8573      * how much free space there is in the target SV. (This sub assumes that
8574      * it is operating on the same SV most of the time via $_ and that it is
8575      * going to be able to reuse the same pv buffer each call.) If there is
8576      * "enough" room then we set "shortbuffered" to how much space there is
8577      * and start reading forward.
8578      *
8579      * 2. When we scan forward we copy from the read-ahead buffer to the target
8580      * SV's pv buffer. While we go we watch for the end of the read-ahead buffer,
8581      * and the end of the of pv, as well as for the "rslast", which is the last
8582      * char of the separator.
8583      *
8584      * 3. When scanning forward if we see rslast then we jump backwards in *pv*
8585      * (which has a "complete" record up to the point we saw rslast) and check
8586      * it to see if it matches the separator. If it does we are done. If it doesn't
8587      * we continue on with the scan/copy.
8588      *
8589      * 4. If we run out of read-ahead buffer (cnt goes to 0) then we have to get
8590      * the IO system to read the next buffer. We do this by doing a getc(), which
8591      * returns a single char read (or EOF), and prefills the buffer, and also
8592      * allows us to find out how full the buffer is.  We use this information to
8593      * SvGROW() the sv to the size remaining in the buffer, after which we copy
8594      * the returned single char into the target sv, and then go back into scan
8595      * forward mode.
8596      *
8597      * 5. If we run out of write-buffer then we SvGROW() it by the size of the
8598      * remaining space in the read-buffer.
8599      *
8600      * Note that this code despite its twisty-turny nature is pretty darn slick.
8601      * It manages single byte separators, multi-byte cross boundary separators,
8602      * and cross-read-buffer separators cleanly and efficiently at the cost
8603      * of potentially greatly overallocating the target SV.
8604      *
8605      * Yves
8606      */
8607
8608
8609     /* get the number of bytes remaining in the read-ahead buffer
8610      * on first call on a given fp this will return 0.*/
8611     cnt = PerlIO_get_cnt(fp);
8612
8613     /* make sure we have the room */
8614     if ((I32)(SvLEN(sv) - append) <= cnt + 1) {
8615         /* Not room for all of it
8616            if we are looking for a separator and room for some
8617          */
8618         if (rslen && cnt > 80 && (I32)SvLEN(sv) > append) {
8619             /* just process what we have room for */
8620             shortbuffered = cnt - SvLEN(sv) + append + 1;
8621             cnt -= shortbuffered;
8622         }
8623         else {
8624             /* ensure that the target sv has enough room to hold
8625              * the rest of the read-ahead buffer */
8626             shortbuffered = 0;
8627             /* remember that cnt can be negative */
8628             SvGROW(sv, (STRLEN)(append + (cnt <= 0 ? 2 : (cnt + 1))));
8629         }
8630     }
8631     else {
8632         /* we have enough room to hold the full buffer, lets scream */
8633         shortbuffered = 0;
8634     }
8635
8636     /* extract the pointer to sv's string buffer, offset by append as necessary */
8637     bp = (STDCHAR*)SvPVX_const(sv) + append;  /* move these two too to registers */
8638     /* extract the point to the read-ahead buffer */
8639     ptr = (STDCHAR*)PerlIO_get_ptr(fp);
8640
8641     /* some trace debug output */
8642     DEBUG_P(PerlIO_printf(Perl_debug_log,
8643         "Screamer: entering, ptr=%" UVuf ", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
8644     DEBUG_P(PerlIO_printf(Perl_debug_log,
8645         "Screamer: entering: PerlIO * thinks ptr=%" UVuf ", cnt=%" IVdf ", base=%"
8646          UVuf "\n",
8647                PTR2UV(PerlIO_get_ptr(fp)), (IV)PerlIO_get_cnt(fp),
8648                PTR2UV(PerlIO_has_base(fp) ? PerlIO_get_base(fp) : 0)));
8649
8650     for (;;) {
8651       screamer:
8652         /* if there is stuff left in the read-ahead buffer */
8653         if (cnt > 0) {
8654             /* if there is a separator */
8655             if (rslen) {
8656                 /* find next rslast */
8657                 STDCHAR *p;
8658
8659                 /* shortcut common case of blank line */
8660                 cnt--;
8661                 if ((*bp++ = *ptr++) == rslast)
8662                     goto thats_all_folks;
8663
8664                 p = (STDCHAR *)memchr(ptr, rslast, cnt);
8665                 if (p) {
8666                     SSize_t got = p - ptr + 1;
8667                     Copy(ptr, bp, got, STDCHAR);
8668                     ptr += got;
8669                     bp  += got;
8670                     cnt -= got;
8671                     goto thats_all_folks;
8672                 }
8673                 Copy(ptr, bp, cnt, STDCHAR);
8674                 ptr += cnt;
8675                 bp  += cnt;
8676                 cnt = 0;
8677             }
8678             else {
8679                 /* no separator, slurp the full buffer */
8680                 Copy(ptr, bp, cnt, char);            /* this     |  eat */
8681                 bp += cnt;                           /* screams  |  dust */
8682                 ptr += cnt;                          /* louder   |  sed :-) */
8683                 cnt = 0;
8684                 assert (!shortbuffered);
8685                 goto cannot_be_shortbuffered;
8686             }
8687         }
8688         
8689         if (shortbuffered) {            /* oh well, must extend */
8690             /* we didnt have enough room to fit the line into the target buffer
8691              * so we must extend the target buffer and keep going */
8692             cnt = shortbuffered;
8693             shortbuffered = 0;
8694             bpx = bp - (STDCHAR*)SvPVX_const(sv); /* box up before relocation */
8695             SvCUR_set(sv, bpx);
8696             /* extned the target sv's buffer so it can hold the full read-ahead buffer */
8697             SvGROW(sv, SvLEN(sv) + append + cnt + 2);
8698             bp = (STDCHAR*)SvPVX_const(sv) + bpx; /* unbox after relocation */
8699             continue;
8700         }
8701
8702     cannot_be_shortbuffered:
8703         /* we need to refill the read-ahead buffer if possible */
8704
8705         DEBUG_P(PerlIO_printf(Perl_debug_log,
8706                              "Screamer: going to getc, ptr=%" UVuf ", cnt=%" IVdf "\n",
8707                               PTR2UV(ptr),(IV)cnt));
8708         PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt); /* deregisterize cnt and ptr */
8709
8710         DEBUG_Pv(PerlIO_printf(Perl_debug_log,
8711            "Screamer: pre: FILE * thinks ptr=%" UVuf ", cnt=%" IVdf ", base=%" UVuf "\n",
8712             PTR2UV(PerlIO_get_ptr(fp)), (IV)PerlIO_get_cnt(fp),
8713             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
8714
8715         /*
8716             call PerlIO_getc() to let it prefill the lookahead buffer
8717
8718             This used to call 'filbuf' in stdio form, but as that behaves like
8719             getc when cnt <= 0 we use PerlIO_getc here to avoid introducing
8720             another abstraction.
8721
8722             Note we have to deal with the char in 'i' if we are not at EOF
8723         */
8724         i   = PerlIO_getc(fp);          /* get more characters */
8725
8726         DEBUG_Pv(PerlIO_printf(Perl_debug_log,
8727            "Screamer: post: FILE * thinks ptr=%" UVuf ", cnt=%" IVdf ", base=%" UVuf "\n",
8728             PTR2UV(PerlIO_get_ptr(fp)), (IV)PerlIO_get_cnt(fp),
8729             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
8730
8731         /* find out how much is left in the read-ahead buffer, and rextract its pointer */
8732         cnt = PerlIO_get_cnt(fp);
8733         ptr = (STDCHAR*)PerlIO_get_ptr(fp);     /* reregisterize cnt and ptr */
8734         DEBUG_P(PerlIO_printf(Perl_debug_log,
8735             "Screamer: after getc, ptr=%" UVuf ", cnt=%" IVdf "\n",
8736             PTR2UV(ptr),(IV)cnt));
8737
8738         if (i == EOF)                   /* all done for ever? */
8739             goto thats_really_all_folks;
8740
8741         /* make sure we have enough space in the target sv */
8742         bpx = bp - (STDCHAR*)SvPVX_const(sv);   /* box up before relocation */
8743         SvCUR_set(sv, bpx);
8744         SvGROW(sv, bpx + cnt + 2);
8745         bp = (STDCHAR*)SvPVX_const(sv) + bpx;   /* unbox after relocation */
8746
8747         /* copy of the char we got from getc() */
8748         *bp++ = (STDCHAR)i;             /* store character from PerlIO_getc */
8749
8750         /* make sure we deal with the i being the last character of a separator */
8751         if (rslen && (STDCHAR)i == rslast)  /* all done for now? */
8752             goto thats_all_folks;
8753     }
8754
8755   thats_all_folks:
8756     /* check if we have actually found the separator - only really applies
8757      * when rslen > 1 */
8758     if ((rslen > 1 && (STRLEN)(bp - (STDCHAR*)SvPVX_const(sv)) < rslen) ||
8759           memNE((char*)bp - rslen, rsptr, rslen))
8760         goto screamer;                          /* go back to the fray */
8761   thats_really_all_folks:
8762     if (shortbuffered)
8763         cnt += shortbuffered;
8764         DEBUG_P(PerlIO_printf(Perl_debug_log,
8765              "Screamer: quitting, ptr=%" UVuf ", cnt=%" IVdf "\n",PTR2UV(ptr),(IV)cnt));
8766     PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt);  /* put these back or we're in trouble */
8767     DEBUG_P(PerlIO_printf(Perl_debug_log,
8768         "Screamer: end: FILE * thinks ptr=%" UVuf ", cnt=%" IVdf ", base=%" UVuf
8769         "\n",
8770         PTR2UV(PerlIO_get_ptr(fp)), (IV)PerlIO_get_cnt(fp),
8771         PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
8772     *bp = '\0';
8773     SvCUR_set(sv, bp - (STDCHAR*)SvPVX_const(sv));      /* set length */
8774     DEBUG_P(PerlIO_printf(Perl_debug_log,
8775         "Screamer: done, len=%ld, string=|%.*s|\n",
8776         (long)SvCUR(sv),(int)SvCUR(sv),SvPVX_const(sv)));
8777     }
8778    else
8779     {
8780        /*The big, slow, and stupid way. */
8781 #ifdef USE_HEAP_INSTEAD_OF_STACK        /* Even slower way. */
8782         STDCHAR *buf = NULL;
8783         Newx(buf, 8192, STDCHAR);
8784         assert(buf);
8785 #else
8786         STDCHAR buf[8192];
8787 #endif
8788
8789       screamer2:
8790         if (rslen) {
8791             const STDCHAR * const bpe = buf + sizeof(buf);
8792             bp = buf;
8793             while ((i = PerlIO_getc(fp)) != EOF && (*bp++ = (STDCHAR)i) != rslast && bp < bpe)
8794                 ; /* keep reading */
8795             cnt = bp - buf;
8796         }
8797         else {
8798             cnt = PerlIO_read(fp,(char*)buf, sizeof(buf));
8799             /* Accommodate broken VAXC compiler, which applies U8 cast to
8800              * both args of ?: operator, causing EOF to change into 255
8801              */
8802             if (cnt > 0)
8803                  i = (U8)buf[cnt - 1];
8804             else
8805                  i = EOF;
8806         }
8807
8808         if (cnt < 0)
8809             cnt = 0;  /* we do need to re-set the sv even when cnt <= 0 */
8810         if (append)
8811             sv_catpvn_nomg(sv, (char *) buf, cnt);
8812         else
8813             sv_setpvn(sv, (char *) buf, cnt);   /* "nomg" is implied */
8814
8815         if (i != EOF &&                 /* joy */
8816             (!rslen ||
8817              SvCUR(sv) < rslen ||
8818              memNE(SvPVX_const(sv) + SvCUR(sv) - rslen, rsptr, rslen)))
8819         {
8820             append = -1;
8821             /*
8822              * If we're reading from a TTY and we get a short read,
8823              * indicating that the user hit his EOF character, we need
8824              * to notice it now, because if we try to read from the TTY
8825              * again, the EOF condition will disappear.
8826              *
8827              * The comparison of cnt to sizeof(buf) is an optimization
8828              * that prevents unnecessary calls to feof().
8829              *
8830              * - jik 9/25/96
8831              */
8832             if (!(cnt < (I32)sizeof(buf) && PerlIO_eof(fp)))
8833                 goto screamer2;
8834         }
8835
8836 #ifdef USE_HEAP_INSTEAD_OF_STACK
8837         Safefree(buf);
8838 #endif
8839     }
8840
8841     if (rspara) {               /* have to do this both before and after */
8842         while (i != EOF) {      /* to make sure file boundaries work right */
8843             i = PerlIO_getc(fp);
8844             if (i != '\n') {
8845                 PerlIO_ungetc(fp,i);
8846                 break;
8847             }
8848         }
8849     }
8850
8851     return (SvCUR(sv) - append) ? SvPVX(sv) : NULL;
8852 }
8853
8854 /*
8855 =for apidoc sv_inc
8856
8857 Auto-increment of the value in the SV, doing string to numeric conversion
8858 if necessary.  Handles 'get' magic and operator overloading.
8859
8860 =cut
8861 */
8862
8863 void
8864 Perl_sv_inc(pTHX_ SV *const sv)
8865 {
8866     if (!sv)
8867         return;
8868     SvGETMAGIC(sv);
8869     sv_inc_nomg(sv);
8870 }
8871
8872 /*
8873 =for apidoc sv_inc_nomg
8874
8875 Auto-increment of the value in the SV, doing string to numeric conversion
8876 if necessary.  Handles operator overloading.  Skips handling 'get' magic.
8877
8878 =cut
8879 */
8880
8881 void
8882 Perl_sv_inc_nomg(pTHX_ SV *const sv)
8883 {
8884     char *d;
8885     int flags;
8886
8887     if (!sv)
8888         return;
8889     if (SvTHINKFIRST(sv)) {
8890         if (SvREADONLY(sv)) {
8891                 Perl_croak_no_modify();
8892         }
8893         if (SvROK(sv)) {
8894             IV i;
8895             if (SvAMAGIC(sv) && AMG_CALLunary(sv, inc_amg))
8896                 return;
8897             i = PTR2IV(SvRV(sv));
8898             sv_unref(sv);
8899             sv_setiv(sv, i);
8900         }
8901         else sv_force_normal_flags(sv, 0);
8902     }
8903     flags = SvFLAGS(sv);
8904     if ((flags & (SVp_NOK|SVp_IOK)) == SVp_NOK) {
8905         /* It's (privately or publicly) a float, but not tested as an
8906            integer, so test it to see. */
8907         (void) SvIV(sv);
8908         flags = SvFLAGS(sv);
8909     }
8910     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
8911         /* It's publicly an integer, or privately an integer-not-float */
8912 #ifdef PERL_PRESERVE_IVUV
8913       oops_its_int:
8914 #endif
8915         if (SvIsUV(sv)) {
8916             if (SvUVX(sv) == UV_MAX)
8917                 sv_setnv(sv, UV_MAX_P1);
8918             else
8919                 (void)SvIOK_only_UV(sv);
8920                 SvUV_set(sv, SvUVX(sv) + 1);
8921         } else {
8922             if (SvIVX(sv) == IV_MAX)
8923                 sv_setuv(sv, (UV)IV_MAX + 1);
8924             else {
8925                 (void)SvIOK_only(sv);
8926                 SvIV_set(sv, SvIVX(sv) + 1);
8927             }   
8928         }
8929         return;
8930     }
8931     if (flags & SVp_NOK) {
8932         const NV was = SvNVX(sv);
8933         if (LIKELY(!Perl_isinfnan(was)) &&
8934             NV_OVERFLOWS_INTEGERS_AT &&
8935             was >= NV_OVERFLOWS_INTEGERS_AT) {
8936             /* diag_listed_as: Lost precision when %s %f by 1 */
8937             Perl_ck_warner(aTHX_ packWARN(WARN_IMPRECISION),
8938                            "Lost precision when incrementing %" NVff " by 1",
8939                            was);
8940         }
8941         (void)SvNOK_only(sv);
8942         SvNV_set(sv, was + 1.0);
8943         return;
8944     }
8945
8946     /* treat AV/HV/CV/FM/IO and non-fake GVs as immutable */
8947     if (SvTYPE(sv) >= SVt_PVAV || (isGV_with_GP(sv) && !SvFAKE(sv)))
8948         Perl_croak_no_modify();
8949
8950     if (!(flags & SVp_POK) || !*SvPVX_const(sv)) {
8951         if ((flags & SVTYPEMASK) < SVt_PVIV)
8952             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV ? SVt_PVIV : SVt_IV));
8953         (void)SvIOK_only(sv);
8954         SvIV_set(sv, 1);
8955         return;
8956     }
8957     d = SvPVX(sv);
8958     while (isALPHA(*d)) d++;
8959     while (isDIGIT(*d)) d++;
8960     if (d < SvEND(sv)) {
8961         const int numtype = grok_number_flags(SvPVX_const(sv), SvCUR(sv), NULL, PERL_SCAN_TRAILING);
8962 #ifdef PERL_PRESERVE_IVUV
8963         /* Got to punt this as an integer if needs be, but we don't issue
8964            warnings. Probably ought to make the sv_iv_please() that does
8965            the conversion if possible, and silently.  */
8966         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
8967             /* Need to try really hard to see if it's an integer.
8968                9.22337203685478e+18 is an integer.
8969                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
8970                so $a="9.22337203685478e+18"; $a+0; $a++
8971                needs to be the same as $a="9.22337203685478e+18"; $a++
8972                or we go insane. */
8973         
8974             (void) sv_2iv(sv);
8975             if (SvIOK(sv))
8976                 goto oops_its_int;
8977
8978             /* sv_2iv *should* have made this an NV */
8979             if (flags & SVp_NOK) {
8980                 (void)SvNOK_only(sv);
8981                 SvNV_set(sv, SvNVX(sv) + 1.0);
8982                 return;
8983             }
8984             /* I don't think we can get here. Maybe I should assert this
8985                And if we do get here I suspect that sv_setnv will croak. NWC
8986                Fall through. */
8987             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_inc punt failed to convert '%s' to IOK or NOKp, UV=0x%" UVxf " NV=%" NVgf "\n",
8988                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
8989         }
8990 #endif /* PERL_PRESERVE_IVUV */
8991         if (!numtype && ckWARN(WARN_NUMERIC))
8992             not_incrementable(sv);
8993         sv_setnv(sv,Atof(SvPVX_const(sv)) + 1.0);
8994         return;
8995     }
8996     d--;
8997     while (d >= SvPVX_const(sv)) {
8998         if (isDIGIT(*d)) {
8999             if (++*d <= '9')
9000                 return;
9001             *(d--) = '0';
9002         }
9003         else {
9004 #ifdef EBCDIC
9005             /* MKS: The original code here died if letters weren't consecutive.
9006              * at least it didn't have to worry about non-C locales.  The
9007              * new code assumes that ('z'-'a')==('Z'-'A'), letters are
9008              * arranged in order (although not consecutively) and that only
9009              * [A-Za-z] are accepted by isALPHA in the C locale.
9010              */
9011             if (isALPHA_FOLD_NE(*d, 'z')) {
9012                 do { ++*d; } while (!isALPHA(*d));
9013                 return;
9014             }
9015             *(d--) -= 'z' - 'a';
9016 #else
9017             ++*d;
9018             if (isALPHA(*d))
9019                 return;
9020             *(d--) -= 'z' - 'a' + 1;
9021 #endif
9022         }
9023     }
9024     /* oh,oh, the number grew */
9025     SvGROW(sv, SvCUR(sv) + 2);
9026     SvCUR_set(sv, SvCUR(sv) + 1);
9027     for (d = SvPVX(sv) + SvCUR(sv); d > SvPVX_const(sv); d--)
9028         *d = d[-1];
9029     if (isDIGIT(d[1]))
9030         *d = '1';
9031     else
9032         *d = d[1];
9033 }
9034
9035 /*
9036 =for apidoc sv_dec
9037
9038 Auto-decrement of the value in the SV, doing string to numeric conversion
9039 if necessary.  Handles 'get' magic and operator overloading.
9040
9041 =cut
9042 */
9043
9044 void
9045 Perl_sv_dec(pTHX_ SV *const sv)
9046 {
9047     if (!sv)
9048         return;
9049     SvGETMAGIC(sv);
9050     sv_dec_nomg(sv);
9051 }
9052
9053 /*
9054 =for apidoc sv_dec_nomg
9055
9056 Auto-decrement of the value in the SV, doing string to numeric conversion
9057 if necessary.  Handles operator overloading.  Skips handling 'get' magic.
9058
9059 =cut
9060 */
9061
9062 void
9063 Perl_sv_dec_nomg(pTHX_ SV *const sv)
9064 {
9065     int flags;
9066
9067     if (!sv)
9068         return;
9069     if (SvTHINKFIRST(sv)) {
9070         if (SvREADONLY(sv)) {
9071                 Perl_croak_no_modify();
9072         }
9073         if (SvROK(sv)) {
9074             IV i;
9075             if (SvAMAGIC(sv) && AMG_CALLunary(sv, dec_amg))
9076                 return;
9077             i = PTR2IV(SvRV(sv));
9078             sv_unref(sv);
9079             sv_setiv(sv, i);
9080         }
9081         else sv_force_normal_flags(sv, 0);
9082     }
9083     /* Unlike sv_inc we don't have to worry about string-never-numbers
9084        and keeping them magic. But we mustn't warn on punting */
9085     flags = SvFLAGS(sv);
9086     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
9087         /* It's publicly an integer, or privately an integer-not-float */
9088 #ifdef PERL_PRESERVE_IVUV
9089       oops_its_int:
9090 #endif
9091         if (SvIsUV(sv)) {
9092             if (SvUVX(sv) == 0) {
9093                 (void)SvIOK_only(sv);
9094                 SvIV_set(sv, -1);
9095             }
9096             else {
9097                 (void)SvIOK_only_UV(sv);
9098                 SvUV_set(sv, SvUVX(sv) - 1);
9099             }   
9100         } else {
9101             if (SvIVX(sv) == IV_MIN) {
9102                 sv_setnv(sv, (NV)IV_MIN);
9103                 goto oops_its_num;
9104             }
9105             else {
9106                 (void)SvIOK_only(sv);
9107                 SvIV_set(sv, SvIVX(sv) - 1);
9108             }   
9109         }
9110         return;
9111     }
9112     if (flags & SVp_NOK) {
9113     oops_its_num:
9114         {
9115             const NV was = SvNVX(sv);
9116             if (LIKELY(!Perl_isinfnan(was)) &&
9117                 NV_OVERFLOWS_INTEGERS_AT &&
9118                 was <= -NV_OVERFLOWS_INTEGERS_AT) {
9119                 /* diag_listed_as: Lost precision when %s %f by 1 */
9120                 Perl_ck_warner(aTHX_ packWARN(WARN_IMPRECISION),
9121                                "Lost precision when decrementing %" NVff " by 1",
9122                                was);
9123             }
9124             (void)SvNOK_only(sv);
9125             SvNV_set(sv, was - 1.0);
9126             return;
9127         }
9128     }
9129
9130     /* treat AV/HV/CV/FM/IO and non-fake GVs as immutable */
9131     if (SvTYPE(sv) >= SVt_PVAV || (isGV_with_GP(sv) && !SvFAKE(sv)))
9132         Perl_croak_no_modify();
9133
9134     if (!(flags & SVp_POK)) {
9135         if ((flags & SVTYPEMASK) < SVt_PVIV)
9136             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV) ? SVt_PVIV : SVt_IV);
9137         SvIV_set(sv, -1);
9138         (void)SvIOK_only(sv);
9139         return;
9140     }
9141 #ifdef PERL_PRESERVE_IVUV
9142     {
9143         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), NULL);
9144         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
9145             /* Need to try really hard to see if it's an integer.
9146                9.22337203685478e+18 is an integer.
9147                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
9148                so $a="9.22337203685478e+18"; $a+0; $a--
9149                needs to be the same as $a="9.22337203685478e+18"; $a--
9150                or we go insane. */
9151         
9152             (void) sv_2iv(sv);
9153             if (SvIOK(sv))
9154                 goto oops_its_int;
9155
9156             /* sv_2iv *should* have made this an NV */
9157             if (flags & SVp_NOK) {
9158                 (void)SvNOK_only(sv);
9159                 SvNV_set(sv, SvNVX(sv) - 1.0);
9160                 return;
9161             }
9162             /* I don't think we can get here. Maybe I should assert this
9163                And if we do get here I suspect that sv_setnv will croak. NWC
9164                Fall through. */
9165             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_dec punt failed to convert '%s' to IOK or NOKp, UV=0x%" UVxf " NV=%" NVgf "\n",
9166                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
9167         }
9168     }
9169 #endif /* PERL_PRESERVE_IVUV */
9170     sv_setnv(sv,Atof(SvPVX_const(sv)) - 1.0);   /* punt */
9171 }
9172
9173 /* this define is used to eliminate a chunk of duplicated but shared logic
9174  * it has the suffix __SV_C to signal that it isnt API, and isnt meant to be
9175  * used anywhere but here - yves
9176  */
9177 #define PUSH_EXTEND_MORTAL__SV_C(AnSv) \
9178     STMT_START {      \
9179         SSize_t ix = ++PL_tmps_ix;              \
9180         if (UNLIKELY(ix >= PL_tmps_max))        \
9181             ix = tmps_grow_p(ix);                       \
9182         PL_tmps_stack[ix] = (AnSv); \
9183     } STMT_END
9184
9185 /*
9186 =for apidoc sv_mortalcopy
9187
9188 Creates a new SV which is a copy of the original SV (using C<sv_setsv>).
9189 The new SV is marked as mortal.  It will be destroyed "soon", either by an
9190 explicit call to C<FREETMPS>, or by an implicit call at places such as
9191 statement boundaries.  See also C<L</sv_newmortal>> and C<L</sv_2mortal>>.
9192
9193 =cut
9194 */
9195
9196 /* Make a string that will exist for the duration of the expression
9197  * evaluation.  Actually, it may have to last longer than that, but
9198  * hopefully we won't free it until it has been assigned to a
9199  * permanent location. */
9200
9201 SV *
9202 Perl_sv_mortalcopy_flags(pTHX_ SV *const oldstr, U32 flags)
9203 {
9204     SV *sv;
9205
9206     if (flags & SV_GMAGIC)
9207         SvGETMAGIC(oldstr); /* before new_SV, in case it dies */
9208     new_SV(sv);
9209     sv_setsv_flags(sv,oldstr,flags & ~SV_GMAGIC);
9210     PUSH_EXTEND_MORTAL__SV_C(sv);
9211     SvTEMP_on(sv);
9212     return sv;
9213 }
9214
9215 /*
9216 =for apidoc sv_newmortal
9217
9218 Creates a new null SV which is mortal.  The reference count of the SV is
9219 set to 1.  It will be destroyed "soon", either by an explicit call to
9220 C<FREETMPS>, or by an implicit call at places such as statement boundaries.
9221 See also C<L</sv_mortalcopy>> and C<L</sv_2mortal>>.
9222
9223 =cut
9224 */
9225
9226 SV *
9227 Perl_sv_newmortal(pTHX)
9228 {
9229     SV *sv;
9230
9231     new_SV(sv);
9232     SvFLAGS(sv) = SVs_TEMP;
9233     PUSH_EXTEND_MORTAL__SV_C(sv);
9234     return sv;
9235 }
9236
9237
9238 /*
9239 =for apidoc newSVpvn_flags
9240
9241 Creates a new SV and copies a string (which may contain C<NUL> (C<\0>)
9242 characters) into it.  The reference count for the
9243 SV is set to 1.  Note that if C<len> is zero, Perl will create a zero length
9244 string.  You are responsible for ensuring that the source string is at least
9245 C<len> bytes long.  If the C<s> argument is NULL the new SV will be undefined.
9246 Currently the only flag bits accepted are C<SVf_UTF8> and C<SVs_TEMP>.
9247 If C<SVs_TEMP> is set, then C<sv_2mortal()> is called on the result before
9248 returning.  If C<SVf_UTF8> is set, C<s>
9249 is considered to be in UTF-8 and the
9250 C<SVf_UTF8> flag will be set on the new SV.
9251 C<newSVpvn_utf8()> is a convenience wrapper for this function, defined as
9252
9253     #define newSVpvn_utf8(s, len, u)                    \
9254         newSVpvn_flags((s), (len), (u) ? SVf_UTF8 : 0)
9255
9256 =cut
9257 */
9258
9259 SV *
9260 Perl_newSVpvn_flags(pTHX_ const char *const s, const STRLEN len, const U32 flags)
9261 {
9262     SV *sv;
9263
9264     /* All the flags we don't support must be zero.
9265        And we're new code so I'm going to assert this from the start.  */
9266     assert(!(flags & ~(SVf_UTF8|SVs_TEMP)));
9267     new_SV(sv);
9268     sv_setpvn(sv,s,len);
9269
9270     /* This code used to do a sv_2mortal(), however we now unroll the call to
9271      * sv_2mortal() and do what it does ourselves here.  Since we have asserted
9272      * that flags can only have the SVf_UTF8 and/or SVs_TEMP flags set above we
9273      * can use it to enable the sv flags directly (bypassing SvTEMP_on), which
9274      * in turn means we dont need to mask out the SVf_UTF8 flag below, which
9275      * means that we eliminate quite a few steps than it looks - Yves
9276      * (explaining patch by gfx) */
9277
9278     SvFLAGS(sv) |= flags;
9279
9280     if(flags & SVs_TEMP){
9281         PUSH_EXTEND_MORTAL__SV_C(sv);
9282     }
9283
9284     return sv;
9285 }
9286
9287 /*
9288 =for apidoc sv_2mortal
9289
9290 Marks an existing SV as mortal.  The SV will be destroyed "soon", either
9291 by an explicit call to C<FREETMPS>, or by an implicit call at places such as
9292 statement boundaries.  C<SvTEMP()> is turned on which means that the SV's
9293 string buffer can be "stolen" if this SV is copied.  See also
9294 C<L</sv_newmortal>> and C<L</sv_mortalcopy>>.
9295
9296 =cut
9297 */
9298
9299 SV *
9300 Perl_sv_2mortal(pTHX_ SV *const sv)
9301 {
9302     dVAR;
9303     if (!sv)
9304         return sv;
9305     if (SvIMMORTAL(sv))
9306         return sv;
9307     PUSH_EXTEND_MORTAL__SV_C(sv);
9308     SvTEMP_on(sv);
9309     return sv;
9310 }
9311
9312 /*
9313 =for apidoc newSVpv
9314
9315 Creates a new SV and copies a string (which may contain C<NUL> (C<\0>)
9316 characters) into it.  The reference count for the
9317 SV is set to 1.  If C<len> is zero, Perl will compute the length using
9318 C<strlen()>, (which means if you use this option, that C<s> can't have embedded
9319 C<NUL> characters and has to have a terminating C<NUL> byte).
9320
9321 For efficiency, consider using C<newSVpvn> instead.
9322
9323 =cut
9324 */
9325
9326 SV *
9327 Perl_newSVpv(pTHX_ const char *const s, const STRLEN len)
9328 {
9329     SV *sv;
9330
9331     new_SV(sv);
9332     sv_setpvn(sv, s, len || s == NULL ? len : strlen(s));
9333     return sv;
9334 }
9335
9336 /*
9337 =for apidoc newSVpvn
9338
9339 Creates a new SV and copies a string into it, which may contain C<NUL> characters
9340 (C<\0>) and other binary data.  The reference count for the SV is set to 1.
9341 Note that if C<len> is zero, Perl will create a zero length (Perl) string.  You
9342 are responsible for ensuring that the source buffer is at least
9343 C<len> bytes long.  If the C<buffer> argument is NULL the new SV will be
9344 undefined.
9345
9346 =cut
9347 */
9348
9349 SV *
9350 Perl_newSVpvn(pTHX_ const char *const buffer, const STRLEN len)
9351 {
9352     SV *sv;
9353     new_SV(sv);
9354     sv_setpvn(sv,buffer,len);
9355     return sv;
9356 }
9357
9358 /*
9359 =for apidoc newSVhek
9360
9361 Creates a new SV from the hash key structure.  It will generate scalars that
9362 point to the shared string table where possible.  Returns a new (undefined)
9363 SV if C<hek> is NULL.
9364
9365 =cut
9366 */
9367
9368 SV *
9369 Perl_newSVhek(pTHX_ const HEK *const hek)
9370 {
9371     if (!hek) {
9372         SV *sv;
9373
9374         new_SV(sv);
9375         return sv;
9376     }
9377
9378     if (HEK_LEN(hek) == HEf_SVKEY) {
9379         return newSVsv(*(SV**)HEK_KEY(hek));
9380     } else {
9381         const int flags = HEK_FLAGS(hek);
9382         if (flags & HVhek_WASUTF8) {
9383             /* Trouble :-)
9384                Andreas would like keys he put in as utf8 to come back as utf8
9385             */
9386             STRLEN utf8_len = HEK_LEN(hek);
9387             SV * const sv = newSV_type(SVt_PV);
9388             char *as_utf8 = (char *)bytes_to_utf8 ((U8*)HEK_KEY(hek), &utf8_len);
9389             /* bytes_to_utf8() allocates a new string, which we can repurpose: */
9390             sv_usepvn_flags(sv, as_utf8, utf8_len, SV_HAS_TRAILING_NUL);
9391             SvUTF8_on (sv);
9392             return sv;
9393         } else if (flags & HVhek_UNSHARED) {
9394             /* A hash that isn't using shared hash keys has to have
9395                the flag in every key so that we know not to try to call
9396                share_hek_hek on it.  */
9397
9398             SV * const sv = newSVpvn (HEK_KEY(hek), HEK_LEN(hek));
9399             if (HEK_UTF8(hek))
9400                 SvUTF8_on (sv);
9401             return sv;
9402         }
9403         /* This will be overwhelminly the most common case.  */
9404         {
9405             /* Inline most of newSVpvn_share(), because share_hek_hek() is far
9406                more efficient than sharepvn().  */
9407             SV *sv;
9408
9409             new_SV(sv);
9410             sv_upgrade(sv, SVt_PV);
9411             SvPV_set(sv, (char *)HEK_KEY(share_hek_hek(hek)));
9412             SvCUR_set(sv, HEK_LEN(hek));
9413             SvLEN_set(sv, 0);
9414             SvIsCOW_on(sv);
9415             SvPOK_on(sv);
9416             if (HEK_UTF8(hek))
9417                 SvUTF8_on(sv);
9418             return sv;
9419         }
9420     }
9421 }
9422
9423 /*
9424 =for apidoc newSVpvn_share
9425
9426 Creates a new SV with its C<SvPVX_const> pointing to a shared string in the string
9427 table.  If the string does not already exist in the table, it is
9428 created first.  Turns on the C<SvIsCOW> flag (or C<READONLY>
9429 and C<FAKE> in 5.16 and earlier).  If the C<hash> parameter
9430 is non-zero, that value is used; otherwise the hash is computed.
9431 The string's hash can later be retrieved from the SV
9432 with the C<SvSHARED_HASH()> macro.  The idea here is
9433 that as the string table is used for shared hash keys these strings will have
9434 C<SvPVX_const == HeKEY> and hash lookup will avoid string compare.
9435
9436 =cut
9437 */
9438
9439 SV *
9440 Perl_newSVpvn_share(pTHX_ const char *src, I32 len, U32 hash)
9441 {
9442     dVAR;
9443     SV *sv;
9444     bool is_utf8 = FALSE;
9445     const char *const orig_src = src;
9446
9447     if (len < 0) {
9448         STRLEN tmplen = -len;
9449         is_utf8 = TRUE;
9450         /* See the note in hv.c:hv_fetch() --jhi */
9451         src = (char*)bytes_from_utf8((const U8*)src, &tmplen, &is_utf8);
9452         len = tmplen;
9453     }
9454     if (!hash)
9455         PERL_HASH(hash, src, len);
9456     new_SV(sv);
9457     /* The logic for this is inlined in S_mro_get_linear_isa_dfs(), so if it
9458        changes here, update it there too.  */
9459     sv_upgrade(sv, SVt_PV);
9460     SvPV_set(sv, sharepvn(src, is_utf8?-len:len, hash));
9461     SvCUR_set(sv, len);
9462     SvLEN_set(sv, 0);
9463     SvIsCOW_on(sv);
9464     SvPOK_on(sv);
9465     if (is_utf8)
9466         SvUTF8_on(sv);
9467     if (src != orig_src)
9468         Safefree(src);
9469     return sv;
9470 }
9471
9472 /*
9473 =for apidoc newSVpv_share
9474
9475 Like C<newSVpvn_share>, but takes a C<NUL>-terminated string instead of a
9476 string/length pair.
9477
9478 =cut
9479 */
9480
9481 SV *
9482 Perl_newSVpv_share(pTHX_ const char *src, U32 hash)
9483 {
9484     return newSVpvn_share(src, strlen(src), hash);
9485 }
9486
9487 #if defined(PERL_IMPLICIT_CONTEXT)
9488
9489 /* pTHX_ magic can't cope with varargs, so this is a no-context
9490  * version of the main function, (which may itself be aliased to us).
9491  * Don't access this version directly.
9492  */
9493
9494 SV *
9495 Perl_newSVpvf_nocontext(const char *const pat, ...)
9496 {
9497     dTHX;
9498     SV *sv;
9499     va_list args;
9500
9501     PERL_ARGS_ASSERT_NEWSVPVF_NOCONTEXT;
9502
9503     va_start(args, pat);
9504     sv = vnewSVpvf(pat, &args);
9505     va_end(args);
9506     return sv;
9507 }
9508 #endif
9509
9510 /*
9511 =for apidoc newSVpvf
9512
9513 Creates a new SV and initializes it with the string formatted like
9514 C<sv_catpvf>.
9515
9516 =cut
9517 */
9518
9519 SV *
9520 Perl_newSVpvf(pTHX_ const char *const pat, ...)
9521 {
9522     SV *sv;
9523     va_list args;
9524
9525     PERL_ARGS_ASSERT_NEWSVPVF;
9526
9527     va_start(args, pat);
9528     sv = vnewSVpvf(pat, &args);
9529     va_end(args);
9530     return sv;
9531 }
9532
9533 /* backend for newSVpvf() and newSVpvf_nocontext() */
9534
9535 SV *
9536 Perl_vnewSVpvf(pTHX_ const char *const pat, va_list *const args)
9537 {
9538     SV *sv;
9539
9540     PERL_ARGS_ASSERT_VNEWSVPVF;
9541
9542     new_SV(sv);
9543     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
9544     return sv;
9545 }
9546
9547 /*
9548 =for apidoc newSVnv
9549
9550 Creates a new SV and copies a floating point value into it.
9551 The reference count for the SV is set to 1.
9552
9553 =cut
9554 */
9555
9556 SV *
9557 Perl_newSVnv(pTHX_ const NV n)
9558 {
9559     SV *sv;
9560
9561     new_SV(sv);
9562     sv_setnv(sv,n);
9563     return sv;
9564 }
9565
9566 /*
9567 =for apidoc newSViv
9568
9569 Creates a new SV and copies an integer into it.  The reference count for the
9570 SV is set to 1.
9571
9572 =cut
9573 */
9574
9575 SV *
9576 Perl_newSViv(pTHX_ const IV i)
9577 {
9578     SV *sv;
9579
9580     new_SV(sv);
9581
9582     /* Inlining ONLY the small relevant subset of sv_setiv here
9583      * for performance. Makes a significant difference. */
9584
9585     /* We're starting from SVt_FIRST, so provided that's
9586      * actual 0, we don't have to unset any SV type flags
9587      * to promote to SVt_IV. */
9588     STATIC_ASSERT_STMT(SVt_FIRST == 0);
9589
9590     SET_SVANY_FOR_BODYLESS_IV(sv);
9591     SvFLAGS(sv) |= SVt_IV;
9592     (void)SvIOK_on(sv);
9593
9594     SvIV_set(sv, i);
9595     SvTAINT(sv);
9596
9597     return sv;
9598 }
9599
9600 /*
9601 =for apidoc newSVuv
9602
9603 Creates a new SV and copies an unsigned integer into it.
9604 The reference count for the SV is set to 1.
9605
9606 =cut
9607 */
9608
9609 SV *
9610 Perl_newSVuv(pTHX_ const UV u)
9611 {
9612     SV *sv;
9613
9614     /* Inlining ONLY the small relevant subset of sv_setuv here
9615      * for performance. Makes a significant difference. */
9616
9617     /* Using ivs is more efficient than using uvs - see sv_setuv */
9618     if (u <= (UV)IV_MAX) {
9619         return newSViv((IV)u);
9620     }
9621
9622     new_SV(sv);
9623
9624     /* We're starting from SVt_FIRST, so provided that's
9625      * actual 0, we don't have to unset any SV type flags
9626      * to promote to SVt_IV. */
9627     STATIC_ASSERT_STMT(SVt_FIRST == 0);
9628
9629     SET_SVANY_FOR_BODYLESS_IV(sv);
9630     SvFLAGS(sv) |= SVt_IV;
9631     (void)SvIOK_on(sv);
9632     (void)SvIsUV_on(sv);
9633
9634     SvUV_set(sv, u);
9635     SvTAINT(sv);
9636
9637     return sv;
9638 }
9639
9640 /*
9641 =for apidoc newSV_type
9642
9643 Creates a new SV, of the type specified.  The reference count for the new SV
9644 is set to 1.
9645
9646 =cut
9647 */
9648
9649 SV *
9650 Perl_newSV_type(pTHX_ const svtype type)
9651 {
9652     SV *sv;
9653
9654     new_SV(sv);
9655     ASSUME(SvTYPE(sv) == SVt_FIRST);
9656     if(type != SVt_FIRST)
9657         sv_upgrade(sv, type);
9658     return sv;
9659 }
9660
9661 /*
9662 =for apidoc newRV_noinc
9663
9664 Creates an RV wrapper for an SV.  The reference count for the original
9665 SV is B<not> incremented.
9666
9667 =cut
9668 */
9669
9670 SV *
9671 Perl_newRV_noinc(pTHX_ SV *const tmpRef)
9672 {
9673     SV *sv;
9674
9675     PERL_ARGS_ASSERT_NEWRV_NOINC;
9676
9677     new_SV(sv);
9678
9679     /* We're starting from SVt_FIRST, so provided that's
9680      * actual 0, we don't have to unset any SV type flags
9681      * to promote to SVt_IV. */
9682     STATIC_ASSERT_STMT(SVt_FIRST == 0);
9683
9684     SET_SVANY_FOR_BODYLESS_IV(sv);
9685     SvFLAGS(sv) |= SVt_IV;
9686     SvROK_on(sv);
9687     SvIV_set(sv, 0);
9688
9689     SvTEMP_off(tmpRef);
9690     SvRV_set(sv, tmpRef);
9691
9692     return sv;
9693 }
9694
9695 /* newRV_inc is the official function name to use now.
9696  * newRV_inc is in fact #defined to newRV in sv.h
9697  */
9698
9699 SV *
9700 Perl_newRV(pTHX_ SV *const sv)
9701 {
9702     PERL_ARGS_ASSERT_NEWRV;
9703
9704     return newRV_noinc(SvREFCNT_inc_simple_NN(sv));
9705 }
9706
9707 /*
9708 =for apidoc newSVsv
9709
9710 Creates a new SV which is an exact duplicate of the original SV.
9711 (Uses C<sv_setsv>.)
9712
9713 =cut
9714 */
9715
9716 SV *
9717 Perl_newSVsv(pTHX_ SV *const old)
9718 {
9719     SV *sv;
9720
9721     if (!old)
9722         return NULL;
9723     if (SvTYPE(old) == (svtype)SVTYPEMASK) {
9724         Perl_ck_warner_d(aTHX_ packWARN(WARN_INTERNAL), "semi-panic: attempt to dup freed string");
9725         return NULL;
9726     }
9727     /* Do this here, otherwise we leak the new SV if this croaks. */
9728     SvGETMAGIC(old);
9729     new_SV(sv);
9730     /* SV_NOSTEAL prevents TEMP buffers being, well, stolen, and saves games
9731        with SvTEMP_off and SvTEMP_on round a call to sv_setsv.  */
9732     sv_setsv_flags(sv, old, SV_NOSTEAL);
9733     return sv;
9734 }
9735
9736 /*
9737 =for apidoc sv_reset
9738
9739 Underlying implementation for the C<reset> Perl function.
9740 Note that the perl-level function is vaguely deprecated.
9741
9742 =cut
9743 */
9744
9745 void
9746 Perl_sv_reset(pTHX_ const char *s, HV *const stash)
9747 {
9748     PERL_ARGS_ASSERT_SV_RESET;
9749
9750     sv_resetpvn(*s ? s : NULL, strlen(s), stash);
9751 }
9752
9753 void
9754 Perl_sv_resetpvn(pTHX_ const char *s, STRLEN len, HV * const stash)
9755 {
9756     char todo[PERL_UCHAR_MAX+1];
9757     const char *send;
9758
9759     if (!stash || SvTYPE(stash) != SVt_PVHV)
9760         return;
9761
9762     if (!s) {           /* reset ?? searches */
9763         MAGIC * const mg = mg_find((const SV *)stash, PERL_MAGIC_symtab);
9764         if (mg) {
9765             const U32 count = mg->mg_len / sizeof(PMOP**);
9766             PMOP **pmp = (PMOP**) mg->mg_ptr;
9767             PMOP *const *const end = pmp + count;
9768
9769             while (pmp < end) {
9770 #ifdef USE_ITHREADS
9771                 SvREADONLY_off(PL_regex_pad[(*pmp)->op_pmoffset]);
9772 #else
9773                 (*pmp)->op_pmflags &= ~PMf_USED;
9774 #endif
9775                 ++pmp;
9776             }
9777         }
9778         return;
9779     }
9780
9781     /* reset variables */
9782
9783     if (!HvARRAY(stash))
9784         return;
9785
9786     Zero(todo, 256, char);
9787     send = s + len;
9788     while (s < send) {
9789         I32 max;
9790         I32 i = (unsigned char)*s;
9791         if (s[1] == '-') {
9792             s += 2;
9793         }
9794         max = (unsigned char)*s++;
9795         for ( ; i <= max; i++) {
9796             todo[i] = 1;
9797         }
9798         for (i = 0; i <= (I32) HvMAX(stash); i++) {
9799             HE *entry;
9800             for (entry = HvARRAY(stash)[i];
9801                  entry;
9802                  entry = HeNEXT(entry))
9803             {
9804                 GV *gv;
9805                 SV *sv;
9806
9807                 if (!todo[(U8)*HeKEY(entry)])
9808                     continue;
9809                 gv = MUTABLE_GV(HeVAL(entry));
9810                 if (!isGV(gv))
9811                     continue;
9812                 sv = GvSV(gv);
9813                 if (sv && !SvREADONLY(sv)) {
9814                     SV_CHECK_THINKFIRST_COW_DROP(sv);
9815                     if (!isGV(sv)) SvOK_off(sv);
9816                 }
9817                 if (GvAV(gv)) {
9818                     av_clear(GvAV(gv));
9819                 }
9820                 if (GvHV(gv) && !HvNAME_get(GvHV(gv))) {
9821                     hv_clear(GvHV(gv));
9822                 }
9823             }
9824         }
9825     }
9826 }
9827
9828 /*
9829 =for apidoc sv_2io
9830
9831 Using various gambits, try to get an IO from an SV: the IO slot if its a
9832 GV; or the recursive result if we're an RV; or the IO slot of the symbol
9833 named after the PV if we're a string.
9834
9835 'Get' magic is ignored on the C<sv> passed in, but will be called on
9836 C<SvRV(sv)> if C<sv> is an RV.
9837
9838 =cut
9839 */
9840
9841 IO*
9842 Perl_sv_2io(pTHX_ SV *const sv)
9843 {
9844     IO* io;
9845     GV* gv;
9846
9847     PERL_ARGS_ASSERT_SV_2IO;
9848
9849     switch (SvTYPE(sv)) {
9850     case SVt_PVIO:
9851         io = MUTABLE_IO(sv);
9852         break;
9853     case SVt_PVGV:
9854     case SVt_PVLV:
9855         if (isGV_with_GP(sv)) {
9856             gv = MUTABLE_GV(sv);
9857             io = GvIO(gv);
9858             if (!io)
9859                 Perl_croak(aTHX_ "Bad filehandle: %" HEKf,
9860                                     HEKfARG(GvNAME_HEK(gv)));
9861             break;
9862         }
9863         /* FALLTHROUGH */
9864     default:
9865         if (!SvOK(sv))
9866             Perl_croak(aTHX_ PL_no_usym, "filehandle");
9867         if (SvROK(sv)) {
9868             SvGETMAGIC(SvRV(sv));
9869             return sv_2io(SvRV(sv));
9870         }
9871         gv = gv_fetchsv_nomg(sv, 0, SVt_PVIO);
9872         if (gv)
9873             io = GvIO(gv);
9874         else
9875             io = 0;
9876         if (!io) {
9877             SV *newsv = sv;
9878             if (SvGMAGICAL(sv)) {
9879                 newsv = sv_newmortal();
9880                 sv_setsv_nomg(newsv, sv);
9881             }
9882             Perl_croak(aTHX_ "Bad filehandle: %" SVf, SVfARG(newsv));
9883         }
9884         break;
9885     }
9886     return io;
9887 }
9888
9889 /*
9890 =for apidoc sv_2cv
9891
9892 Using various gambits, try to get a CV from an SV; in addition, try if
9893 possible to set C<*st> and C<*gvp> to the stash and GV associated with it.
9894 The flags in C<lref> are passed to C<gv_fetchsv>.
9895
9896 =cut
9897 */
9898
9899 CV *
9900 Perl_sv_2cv(pTHX_ SV *sv, HV **const st, GV **const gvp, const I32 lref)
9901 {
9902     GV *gv = NULL;
9903     CV *cv = NULL;
9904
9905     PERL_ARGS_ASSERT_SV_2CV;
9906
9907     if (!sv) {
9908         *st = NULL;
9909         *gvp = NULL;
9910         return NULL;
9911     }
9912     switch (SvTYPE(sv)) {
9913     case SVt_PVCV:
9914         *st = CvSTASH(sv);
9915         *gvp = NULL;
9916         return MUTABLE_CV(sv);
9917     case SVt_PVHV:
9918     case SVt_PVAV:
9919         *st = NULL;
9920         *gvp = NULL;
9921         return NULL;
9922     default:
9923         SvGETMAGIC(sv);
9924         if (SvROK(sv)) {
9925             if (SvAMAGIC(sv))
9926                 sv = amagic_deref_call(sv, to_cv_amg);
9927
9928             sv = SvRV(sv);
9929             if (SvTYPE(sv) == SVt_PVCV) {
9930                 cv = MUTABLE_CV(sv);
9931                 *gvp = NULL;
9932                 *st = CvSTASH(cv);
9933                 return cv;
9934             }
9935             else if(SvGETMAGIC(sv), isGV_with_GP(sv))
9936                 gv = MUTABLE_GV(sv);
9937             else
9938                 Perl_croak(aTHX_ "Not a subroutine reference");
9939         }
9940         else if (isGV_with_GP(sv)) {
9941             gv = MUTABLE_GV(sv);
9942         }
9943         else {
9944             gv = gv_fetchsv_nomg(sv, lref, SVt_PVCV);
9945         }
9946         *gvp = gv;
9947         if (!gv) {
9948             *st = NULL;
9949             return NULL;
9950         }
9951         /* Some flags to gv_fetchsv mean don't really create the GV  */
9952         if (!isGV_with_GP(gv)) {
9953             *st = NULL;
9954             return NULL;
9955         }
9956         *st = GvESTASH(gv);
9957         if (lref & ~GV_ADDMG && !GvCVu(gv)) {
9958             /* XXX this is probably not what they think they're getting.
9959              * It has the same effect as "sub name;", i.e. just a forward
9960              * declaration! */
9961             newSTUB(gv,0);
9962         }
9963         return GvCVu(gv);
9964     }
9965 }
9966
9967 /*
9968 =for apidoc sv_true
9969
9970 Returns true if the SV has a true value by Perl's rules.
9971 Use the C<SvTRUE> macro instead, which may call C<sv_true()> or may
9972 instead use an in-line version.
9973
9974 =cut
9975 */
9976
9977 I32
9978 Perl_sv_true(pTHX_ SV *const sv)
9979 {
9980     if (!sv)
9981         return 0;
9982     if (SvPOK(sv)) {
9983         const XPV* const tXpv = (XPV*)SvANY(sv);
9984         if (tXpv &&
9985                 (tXpv->xpv_cur > 1 ||
9986                 (tXpv->xpv_cur && *sv->sv_u.svu_pv != '0')))
9987             return 1;
9988         else
9989             return 0;
9990     }
9991     else {
9992         if (SvIOK(sv))
9993             return SvIVX(sv) != 0;
9994         else {
9995             if (SvNOK(sv))
9996                 return SvNVX(sv) != 0.0;
9997             else
9998                 return sv_2bool(sv);
9999         }
10000     }
10001 }
10002
10003 /*
10004 =for apidoc sv_pvn_force
10005
10006 Get a sensible string out of the SV somehow.
10007 A private implementation of the C<SvPV_force> macro for compilers which
10008 can't cope with complex macro expressions.  Always use the macro instead.
10009
10010 =for apidoc sv_pvn_force_flags
10011
10012 Get a sensible string out of the SV somehow.
10013 If C<flags> has the C<SV_GMAGIC> bit set, will C<mg_get> on C<sv> if
10014 appropriate, else not.  C<sv_pvn_force> and C<sv_pvn_force_nomg> are
10015 implemented in terms of this function.
10016 You normally want to use the various wrapper macros instead: see
10017 C<L</SvPV_force>> and C<L</SvPV_force_nomg>>.
10018
10019 =cut
10020 */
10021
10022 char *
10023 Perl_sv_pvn_force_flags(pTHX_ SV *const sv, STRLEN *const lp, const I32 flags)
10024 {
10025     PERL_ARGS_ASSERT_SV_PVN_FORCE_FLAGS;
10026
10027     if (flags & SV_GMAGIC) SvGETMAGIC(sv);
10028     if (SvTHINKFIRST(sv) && (!SvROK(sv) || SvREADONLY(sv)))
10029         sv_force_normal_flags(sv, 0);
10030
10031     if (SvPOK(sv)) {
10032         if (lp)
10033             *lp = SvCUR(sv);
10034     }
10035     else {
10036         char *s;
10037         STRLEN len;
10038  
10039         if (SvTYPE(sv) > SVt_PVLV
10040             || isGV_with_GP(sv))
10041             /* diag_listed_as: Can't coerce %s to %s in %s */
10042             Perl_croak(aTHX_ "Can't coerce %s to string in %s", sv_reftype(sv,0),
10043                 OP_DESC(PL_op));
10044         s = sv_2pv_flags(sv, &len, flags &~ SV_GMAGIC);
10045         if (!s) {
10046           s = (char *)"";
10047         }
10048         if (lp)
10049             *lp = len;
10050
10051         if (SvTYPE(sv) < SVt_PV ||
10052             s != SvPVX_const(sv)) {     /* Almost, but not quite, sv_setpvn() */
10053             if (SvROK(sv))
10054                 sv_unref(sv);
10055             SvUPGRADE(sv, SVt_PV);              /* Never FALSE */
10056             SvGROW(sv, len + 1);
10057             Move(s,SvPVX(sv),len,char);
10058             SvCUR_set(sv, len);
10059             SvPVX(sv)[len] = '\0';
10060         }
10061         if (!SvPOK(sv)) {
10062             SvPOK_on(sv);               /* validate pointer */
10063             SvTAINT(sv);
10064             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%" UVxf " 2pv(%s)\n",
10065                                   PTR2UV(sv),SvPVX_const(sv)));
10066         }
10067     }
10068     (void)SvPOK_only_UTF8(sv);
10069     return SvPVX_mutable(sv);
10070 }
10071
10072 /*
10073 =for apidoc sv_pvbyten_force
10074
10075 The backend for the C<SvPVbytex_force> macro.  Always use the macro
10076 instead.
10077
10078 =cut
10079 */
10080
10081 char *
10082 Perl_sv_pvbyten_force(pTHX_ SV *const sv, STRLEN *const lp)
10083 {
10084     PERL_ARGS_ASSERT_SV_PVBYTEN_FORCE;
10085
10086     sv_pvn_force(sv,lp);
10087     sv_utf8_downgrade(sv,0);
10088     *lp = SvCUR(sv);
10089     return SvPVX(sv);
10090 }
10091
10092 /*
10093 =for apidoc sv_pvutf8n_force
10094
10095 The backend for the C<SvPVutf8x_force> macro.  Always use the macro
10096 instead.
10097
10098 =cut
10099 */
10100
10101 char *
10102 Perl_sv_pvutf8n_force(pTHX_ SV *const sv, STRLEN *const lp)
10103 {
10104     PERL_ARGS_ASSERT_SV_PVUTF8N_FORCE;
10105
10106     sv_pvn_force(sv,0);
10107     sv_utf8_upgrade_nomg(sv);
10108     *lp = SvCUR(sv);
10109     return SvPVX(sv);
10110 }
10111
10112 /*
10113 =for apidoc sv_reftype
10114
10115 Returns a string describing what the SV is a reference to.
10116
10117 If ob is true and the SV is blessed, the string is the class name,
10118 otherwise it is the type of the SV, "SCALAR", "ARRAY" etc.
10119
10120 =cut
10121 */
10122
10123 const char *
10124 Perl_sv_reftype(pTHX_ const SV *const sv, const int ob)
10125 {
10126     PERL_ARGS_ASSERT_SV_REFTYPE;
10127     if (ob && SvOBJECT(sv)) {
10128         return SvPV_nolen_const(sv_ref(NULL, sv, ob));
10129     }
10130     else {
10131         /* WARNING - There is code, for instance in mg.c, that assumes that
10132          * the only reason that sv_reftype(sv,0) would return a string starting
10133          * with 'L' or 'S' is that it is a LVALUE or a SCALAR.
10134          * Yes this a dodgy way to do type checking, but it saves practically reimplementing
10135          * this routine inside other subs, and it saves time.
10136          * Do not change this assumption without searching for "dodgy type check" in
10137          * the code.
10138          * - Yves */
10139         switch (SvTYPE(sv)) {
10140         case SVt_NULL:
10141         case SVt_IV:
10142         case SVt_NV:
10143         case SVt_PV:
10144         case SVt_PVIV:
10145         case SVt_PVNV:
10146         case SVt_PVMG:
10147                                 if (SvVOK(sv))
10148                                     return "VSTRING";
10149                                 if (SvROK(sv))
10150                                     return "REF";
10151                                 else
10152                                     return "SCALAR";
10153
10154         case SVt_PVLV:          return (char *)  (SvROK(sv) ? "REF"
10155                                 /* tied lvalues should appear to be
10156                                  * scalars for backwards compatibility */
10157                                 : (isALPHA_FOLD_EQ(LvTYPE(sv), 't'))
10158                                     ? "SCALAR" : "LVALUE");
10159         case SVt_PVAV:          return "ARRAY";
10160         case SVt_PVHV:          return "HASH";
10161         case SVt_PVCV:          return "CODE";
10162         case SVt_PVGV:          return (char *) (isGV_with_GP(sv)
10163                                     ? "GLOB" : "SCALAR");
10164         case SVt_PVFM:          return "FORMAT";
10165         case SVt_PVIO:          return "IO";
10166         case SVt_INVLIST:       return "INVLIST";
10167         case SVt_REGEXP:        return "REGEXP";
10168         default:                return "UNKNOWN";
10169         }
10170     }
10171 }
10172
10173 /*
10174 =for apidoc sv_ref
10175
10176 Returns a SV describing what the SV passed in is a reference to.
10177
10178 dst can be a SV to be set to the description or NULL, in which case a
10179 mortal SV is returned.
10180
10181 If ob is true and the SV is blessed, the description is the class
10182 name, otherwise it is the type of the SV, "SCALAR", "ARRAY" etc.
10183
10184 =cut
10185 */
10186
10187 SV *
10188 Perl_sv_ref(pTHX_ SV *dst, const SV *const sv, const int ob)
10189 {
10190     PERL_ARGS_ASSERT_SV_REF;
10191
10192     if (!dst)
10193         dst = sv_newmortal();
10194
10195     if (ob && SvOBJECT(sv)) {
10196         HvNAME_get(SvSTASH(sv))
10197                     ? sv_sethek(dst, HvNAME_HEK(SvSTASH(sv)))
10198                     : sv_setpvs(dst, "__ANON__");
10199     }
10200     else {
10201         const char * reftype = sv_reftype(sv, 0);
10202         sv_setpv(dst, reftype);
10203     }
10204     return dst;
10205 }
10206
10207 /*
10208 =for apidoc sv_isobject
10209
10210 Returns a boolean indicating whether the SV is an RV pointing to a blessed
10211 object.  If the SV is not an RV, or if the object is not blessed, then this
10212 will return false.
10213
10214 =cut
10215 */
10216
10217 int
10218 Perl_sv_isobject(pTHX_ SV *sv)
10219 {
10220     if (!sv)
10221         return 0;
10222     SvGETMAGIC(sv);
10223     if (!SvROK(sv))
10224         return 0;
10225     sv = SvRV(sv);
10226     if (!SvOBJECT(sv))
10227         return 0;
10228     return 1;
10229 }
10230
10231 /*
10232 =for apidoc sv_isa
10233
10234 Returns a boolean indicating whether the SV is blessed into the specified
10235 class.  This does not check for subtypes; use C<sv_derived_from> to verify
10236 an inheritance relationship.
10237
10238 =cut
10239 */
10240
10241 int
10242 Perl_sv_isa(pTHX_ SV *sv, const char *const name)
10243 {
10244     const char *hvname;
10245
10246     PERL_ARGS_ASSERT_SV_ISA;
10247
10248     if (!sv)
10249         return 0;
10250     SvGETMAGIC(sv);
10251     if (!SvROK(sv))
10252         return 0;
10253     sv = SvRV(sv);
10254     if (!SvOBJECT(sv))
10255         return 0;
10256     hvname = HvNAME_get(SvSTASH(sv));
10257     if (!hvname)
10258         return 0;
10259
10260     return strEQ(hvname, name);
10261 }
10262
10263 /*
10264 =for apidoc newSVrv
10265
10266 Creates a new SV for the existing RV, C<rv>, to point to.  If C<rv> is not an
10267 RV then it will be upgraded to one.  If C<classname> is non-null then the new
10268 SV will be blessed in the specified package.  The new SV is returned and its
10269 reference count is 1.  The reference count 1 is owned by C<rv>.
10270
10271 =cut
10272 */
10273
10274 SV*
10275 Perl_newSVrv(pTHX_ SV *const rv, const char *const classname)
10276 {
10277     SV *sv;
10278
10279     PERL_ARGS_ASSERT_NEWSVRV;
10280
10281     new_SV(sv);
10282
10283     SV_CHECK_THINKFIRST_COW_DROP(rv);
10284
10285     if (UNLIKELY( SvTYPE(rv) >= SVt_PVMG )) {
10286         const U32 refcnt = SvREFCNT(rv);
10287         SvREFCNT(rv) = 0;
10288         sv_clear(rv);
10289         SvFLAGS(rv) = 0;
10290         SvREFCNT(rv) = refcnt;
10291
10292         sv_upgrade(rv, SVt_IV);
10293     } else if (SvROK(rv)) {
10294         SvREFCNT_dec(SvRV(rv));
10295     } else {
10296         prepare_SV_for_RV(rv);
10297     }
10298
10299     SvOK_off(rv);
10300     SvRV_set(rv, sv);
10301     SvROK_on(rv);
10302
10303     if (classname) {
10304         HV* const stash = gv_stashpv(classname, GV_ADD);
10305         (void)sv_bless(rv, stash);
10306     }
10307     return sv;
10308 }
10309
10310 SV *
10311 Perl_newSVavdefelem(pTHX_ AV *av, SSize_t ix, bool extendible)
10312 {
10313     SV * const lv = newSV_type(SVt_PVLV);
10314     PERL_ARGS_ASSERT_NEWSVAVDEFELEM;
10315     LvTYPE(lv) = 'y';
10316     sv_magic(lv, NULL, PERL_MAGIC_defelem, NULL, 0);
10317     LvTARG(lv) = SvREFCNT_inc_simple_NN(av);
10318     LvSTARGOFF(lv) = ix;
10319     LvTARGLEN(lv) = extendible ? 1 : (STRLEN)UV_MAX;
10320     return lv;
10321 }
10322
10323 /*
10324 =for apidoc sv_setref_pv
10325
10326 Copies a pointer into a new SV, optionally blessing the SV.  The C<rv>
10327 argument will be upgraded to an RV.  That RV will be modified to point to
10328 the new SV.  If the C<pv> argument is C<NULL>, then C<PL_sv_undef> will be placed
10329 into the SV.  The C<classname> argument indicates the package for the
10330 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
10331 will have a reference count of 1, and the RV will be returned.
10332
10333 Do not use with other Perl types such as HV, AV, SV, CV, because those
10334 objects will become corrupted by the pointer copy process.
10335
10336 Note that C<sv_setref_pvn> copies the string while this copies the pointer.
10337
10338 =cut
10339 */
10340
10341 SV*
10342 Perl_sv_setref_pv(pTHX_ SV *const rv, const char *const classname, void *const pv)
10343 {
10344     PERL_ARGS_ASSERT_SV_SETREF_PV;
10345
10346     if (!pv) {
10347         sv_set_undef(rv);
10348         SvSETMAGIC(rv);
10349     }
10350     else
10351         sv_setiv(newSVrv(rv,classname), PTR2IV(pv));
10352     return rv;
10353 }
10354
10355 /*
10356 =for apidoc sv_setref_iv
10357
10358 Copies an integer into a new SV, optionally blessing the SV.  The C<rv>
10359 argument will be upgraded to an RV.  That RV will be modified to point to
10360 the new SV.  The C<classname> argument indicates the package for the
10361 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
10362 will have a reference count of 1, and the RV will be returned.
10363
10364 =cut
10365 */
10366
10367 SV*
10368 Perl_sv_setref_iv(pTHX_ SV *const rv, const char *const classname, const IV iv)
10369 {
10370     PERL_ARGS_ASSERT_SV_SETREF_IV;
10371
10372     sv_setiv(newSVrv(rv,classname), iv);
10373     return rv;
10374 }
10375
10376 /*
10377 =for apidoc sv_setref_uv
10378
10379 Copies an unsigned integer into a new SV, optionally blessing the SV.  The C<rv>
10380 argument will be upgraded to an RV.  That RV will be modified to point to
10381 the new SV.  The C<classname> argument indicates the package for the
10382 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
10383 will have a reference count of 1, and the RV will be returned.
10384
10385 =cut
10386 */
10387
10388 SV*
10389 Perl_sv_setref_uv(pTHX_ SV *const rv, const char *const classname, const UV uv)
10390 {
10391     PERL_ARGS_ASSERT_SV_SETREF_UV;
10392
10393     sv_setuv(newSVrv(rv,classname), uv);
10394     return rv;
10395 }
10396
10397 /*
10398 =for apidoc sv_setref_nv
10399
10400 Copies a double into a new SV, optionally blessing the SV.  The C<rv>
10401 argument will be upgraded to an RV.  That RV will be modified to point to
10402 the new SV.  The C<classname> argument indicates the package for the
10403 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
10404 will have a reference count of 1, and the RV will be returned.
10405
10406 =cut
10407 */
10408
10409 SV*
10410 Perl_sv_setref_nv(pTHX_ SV *const rv, const char *const classname, const NV nv)
10411 {
10412     PERL_ARGS_ASSERT_SV_SETREF_NV;
10413
10414     sv_setnv(newSVrv(rv,classname), nv);
10415     return rv;
10416 }
10417
10418 /*
10419 =for apidoc sv_setref_pvn
10420
10421 Copies a string into a new SV, optionally blessing the SV.  The length of the
10422 string must be specified with C<n>.  The C<rv> argument will be upgraded to
10423 an RV.  That RV will be modified to point to the new SV.  The C<classname>
10424 argument indicates the package for the blessing.  Set C<classname> to
10425 C<NULL> to avoid the blessing.  The new SV will have a reference count
10426 of 1, and the RV will be returned.
10427
10428 Note that C<sv_setref_pv> copies the pointer while this copies the string.
10429
10430 =cut
10431 */
10432
10433 SV*
10434 Perl_sv_setref_pvn(pTHX_ SV *const rv, const char *const classname,
10435                    const char *const pv, const STRLEN n)
10436 {
10437     PERL_ARGS_ASSERT_SV_SETREF_PVN;
10438
10439     sv_setpvn(newSVrv(rv,classname), pv, n);
10440     return rv;
10441 }
10442
10443 /*
10444 =for apidoc sv_bless
10445
10446 Blesses an SV into a specified package.  The SV must be an RV.  The package
10447 must be designated by its stash (see C<L</gv_stashpv>>).  The reference count
10448 of the SV is unaffected.
10449
10450 =cut
10451 */
10452
10453 SV*
10454 Perl_sv_bless(pTHX_ SV *const sv, HV *const stash)
10455 {
10456     SV *tmpRef;
10457     HV *oldstash = NULL;
10458
10459     PERL_ARGS_ASSERT_SV_BLESS;
10460
10461     SvGETMAGIC(sv);
10462     if (!SvROK(sv))
10463         Perl_croak(aTHX_ "Can't bless non-reference value");
10464     tmpRef = SvRV(sv);
10465     if (SvFLAGS(tmpRef) & (SVs_OBJECT|SVf_READONLY|SVf_PROTECT)) {
10466         if (SvREADONLY(tmpRef))
10467             Perl_croak_no_modify();
10468         if (SvOBJECT(tmpRef)) {
10469             oldstash = SvSTASH(tmpRef);
10470         }
10471     }
10472     SvOBJECT_on(tmpRef);
10473     SvUPGRADE(tmpRef, SVt_PVMG);
10474     SvSTASH_set(tmpRef, MUTABLE_HV(SvREFCNT_inc_simple(stash)));
10475     SvREFCNT_dec(oldstash);
10476
10477     if(SvSMAGICAL(tmpRef))
10478         if(mg_find(tmpRef, PERL_MAGIC_ext) || mg_find(tmpRef, PERL_MAGIC_uvar))
10479             mg_set(tmpRef);
10480
10481
10482
10483     return sv;
10484 }
10485
10486 /* Downgrades a PVGV to a PVMG. If it's actually a PVLV, we leave the type
10487  * as it is after unglobbing it.
10488  */
10489
10490 PERL_STATIC_INLINE void
10491 S_sv_unglob(pTHX_ SV *const sv, U32 flags)
10492 {
10493     void *xpvmg;
10494     HV *stash;
10495     SV * const temp = flags & SV_COW_DROP_PV ? NULL : sv_newmortal();
10496
10497     PERL_ARGS_ASSERT_SV_UNGLOB;
10498
10499     assert(SvTYPE(sv) == SVt_PVGV || SvTYPE(sv) == SVt_PVLV);
10500     SvFAKE_off(sv);
10501     if (!(flags & SV_COW_DROP_PV))
10502         gv_efullname3(temp, MUTABLE_GV(sv), "*");
10503
10504     SvREFCNT_inc_simple_void_NN(sv_2mortal(sv));
10505     if (GvGP(sv)) {
10506         if(GvCVu((const GV *)sv) && (stash = GvSTASH(MUTABLE_GV(sv)))
10507            && HvNAME_get(stash))
10508             mro_method_changed_in(stash);
10509         gp_free(MUTABLE_GV(sv));
10510     }
10511     if (GvSTASH(sv)) {
10512         sv_del_backref(MUTABLE_SV(GvSTASH(sv)), sv);
10513         GvSTASH(sv) = NULL;
10514     }
10515     GvMULTI_off(sv);
10516     if (GvNAME_HEK(sv)) {
10517         unshare_hek(GvNAME_HEK(sv));
10518     }
10519     isGV_with_GP_off(sv);
10520
10521     if(SvTYPE(sv) == SVt_PVGV) {
10522         /* need to keep SvANY(sv) in the right arena */
10523         xpvmg = new_XPVMG();
10524         StructCopy(SvANY(sv), xpvmg, XPVMG);
10525         del_XPVGV(SvANY(sv));
10526         SvANY(sv) = xpvmg;
10527
10528         SvFLAGS(sv) &= ~SVTYPEMASK;
10529         SvFLAGS(sv) |= SVt_PVMG;
10530     }
10531
10532     /* Intentionally not calling any local SET magic, as this isn't so much a
10533        set operation as merely an internal storage change.  */
10534     if (flags & SV_COW_DROP_PV) SvOK_off(sv);
10535     else sv_setsv_flags(sv, temp, 0);
10536
10537     if ((const GV *)sv == PL_last_in_gv)
10538         PL_last_in_gv = NULL;
10539     else if ((const GV *)sv == PL_statgv)
10540         PL_statgv = NULL;
10541 }
10542
10543 /*
10544 =for apidoc sv_unref_flags
10545
10546 Unsets the RV status of the SV, and decrements the reference count of
10547 whatever was being referenced by the RV.  This can almost be thought of
10548 as a reversal of C<newSVrv>.  The C<cflags> argument can contain
10549 C<SV_IMMEDIATE_UNREF> to force the reference count to be decremented
10550 (otherwise the decrementing is conditional on the reference count being
10551 different from one or the reference being a readonly SV).
10552 See C<L</SvROK_off>>.
10553
10554 =cut
10555 */
10556
10557 void
10558 Perl_sv_unref_flags(pTHX_ SV *const ref, const U32 flags)
10559 {
10560     SV* const target = SvRV(ref);
10561
10562     PERL_ARGS_ASSERT_SV_UNREF_FLAGS;
10563
10564     if (SvWEAKREF(ref)) {
10565         sv_del_backref(target, ref);
10566         SvWEAKREF_off(ref);
10567         SvRV_set(ref, NULL);
10568         return;
10569     }
10570     SvRV_set(ref, NULL);
10571     SvROK_off(ref);
10572     /* You can't have a || SvREADONLY(target) here, as $a = $$a, where $a was
10573        assigned to as BEGIN {$a = \"Foo"} will fail.  */
10574     if (SvREFCNT(target) != 1 || (flags & SV_IMMEDIATE_UNREF))
10575         SvREFCNT_dec_NN(target);
10576     else /* XXX Hack, but hard to make $a=$a->[1] work otherwise */
10577         sv_2mortal(target);     /* Schedule for freeing later */
10578 }
10579
10580 /*
10581 =for apidoc sv_untaint
10582
10583 Untaint an SV.  Use C<SvTAINTED_off> instead.
10584
10585 =cut
10586 */
10587
10588 void
10589 Perl_sv_untaint(pTHX_ SV *const sv)
10590 {
10591     PERL_ARGS_ASSERT_SV_UNTAINT;
10592     PERL_UNUSED_CONTEXT;
10593
10594     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
10595         MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
10596         if (mg)
10597             mg->mg_len &= ~1;
10598     }
10599 }
10600
10601 /*
10602 =for apidoc sv_tainted
10603
10604 Test an SV for taintedness.  Use C<SvTAINTED> instead.
10605
10606 =cut
10607 */
10608
10609 bool
10610 Perl_sv_tainted(pTHX_ SV *const sv)
10611 {
10612     PERL_ARGS_ASSERT_SV_TAINTED;
10613     PERL_UNUSED_CONTEXT;
10614
10615     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
10616         const MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
10617         if (mg && (mg->mg_len & 1) )
10618             return TRUE;
10619     }
10620     return FALSE;
10621 }
10622
10623 #ifndef NO_MATHOMS  /* Can't move these to mathoms.c because call uiv_2buf(),
10624                        private to this file */
10625
10626 /*
10627 =for apidoc sv_setpviv
10628
10629 Copies an integer into the given SV, also updating its string value.
10630 Does not handle 'set' magic.  See C<L</sv_setpviv_mg>>.
10631
10632 =cut
10633 */
10634
10635 void
10636 Perl_sv_setpviv(pTHX_ SV *const sv, const IV iv)
10637 {
10638     char buf[TYPE_CHARS(UV)];
10639     char *ebuf;
10640     char * const ptr = uiv_2buf(buf, iv, 0, 0, &ebuf);
10641
10642     PERL_ARGS_ASSERT_SV_SETPVIV;
10643
10644     sv_setpvn(sv, ptr, ebuf - ptr);
10645 }
10646
10647 /*
10648 =for apidoc sv_setpviv_mg
10649
10650 Like C<sv_setpviv>, but also handles 'set' magic.
10651
10652 =cut
10653 */
10654
10655 void
10656 Perl_sv_setpviv_mg(pTHX_ SV *const sv, const IV iv)
10657 {
10658     PERL_ARGS_ASSERT_SV_SETPVIV_MG;
10659
10660     sv_setpviv(sv, iv);
10661     SvSETMAGIC(sv);
10662 }
10663
10664 #endif  /* NO_MATHOMS */
10665
10666 #if defined(PERL_IMPLICIT_CONTEXT)
10667
10668 /* pTHX_ magic can't cope with varargs, so this is a no-context
10669  * version of the main function, (which may itself be aliased to us).
10670  * Don't access this version directly.
10671  */
10672
10673 void
10674 Perl_sv_setpvf_nocontext(SV *const sv, const char *const pat, ...)
10675 {
10676     dTHX;
10677     va_list args;
10678
10679     PERL_ARGS_ASSERT_SV_SETPVF_NOCONTEXT;
10680
10681     va_start(args, pat);
10682     sv_vsetpvf(sv, pat, &args);
10683     va_end(args);
10684 }
10685
10686 /* pTHX_ magic can't cope with varargs, so this is a no-context
10687  * version of the main function, (which may itself be aliased to us).
10688  * Don't access this version directly.
10689  */
10690
10691 void
10692 Perl_sv_setpvf_mg_nocontext(SV *const sv, const char *const pat, ...)
10693 {
10694     dTHX;
10695     va_list args;
10696
10697     PERL_ARGS_ASSERT_SV_SETPVF_MG_NOCONTEXT;
10698
10699     va_start(args, pat);
10700     sv_vsetpvf_mg(sv, pat, &args);
10701     va_end(args);
10702 }
10703 #endif
10704
10705 /*
10706 =for apidoc sv_setpvf
10707
10708 Works like C<sv_catpvf> but copies the text into the SV instead of
10709 appending it.  Does not handle 'set' magic.  See C<L</sv_setpvf_mg>>.
10710
10711 =cut
10712 */
10713
10714 void
10715 Perl_sv_setpvf(pTHX_ SV *const sv, const char *const pat, ...)
10716 {
10717     va_list args;
10718
10719     PERL_ARGS_ASSERT_SV_SETPVF;
10720
10721     va_start(args, pat);
10722     sv_vsetpvf(sv, pat, &args);
10723     va_end(args);
10724 }
10725
10726 /*
10727 =for apidoc sv_vsetpvf
10728
10729 Works like C<sv_vcatpvf> but copies the text into the SV instead of
10730 appending it.  Does not handle 'set' magic.  See C<L</sv_vsetpvf_mg>>.
10731
10732 Usually used via its frontend C<sv_setpvf>.
10733
10734 =cut
10735 */
10736
10737 void
10738 Perl_sv_vsetpvf(pTHX_ SV *const sv, const char *const pat, va_list *const args)
10739 {
10740     PERL_ARGS_ASSERT_SV_VSETPVF;
10741
10742     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
10743 }
10744
10745 /*
10746 =for apidoc sv_setpvf_mg
10747
10748 Like C<sv_setpvf>, but also handles 'set' magic.
10749
10750 =cut
10751 */
10752
10753 void
10754 Perl_sv_setpvf_mg(pTHX_ SV *const sv, const char *const pat, ...)
10755 {
10756     va_list args;
10757
10758     PERL_ARGS_ASSERT_SV_SETPVF_MG;
10759
10760     va_start(args, pat);
10761     sv_vsetpvf_mg(sv, pat, &args);
10762     va_end(args);
10763 }
10764
10765 /*
10766 =for apidoc sv_vsetpvf_mg
10767
10768 Like C<sv_vsetpvf>, but also handles 'set' magic.
10769
10770 Usually used via its frontend C<sv_setpvf_mg>.
10771
10772 =cut
10773 */
10774
10775 void
10776 Perl_sv_vsetpvf_mg(pTHX_ SV *const sv, const char *const pat, va_list *const args)
10777 {
10778     PERL_ARGS_ASSERT_SV_VSETPVF_MG;
10779
10780     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
10781     SvSETMAGIC(sv);
10782 }
10783
10784 #if defined(PERL_IMPLICIT_CONTEXT)
10785
10786 /* pTHX_ magic can't cope with varargs, so this is a no-context
10787  * version of the main function, (which may itself be aliased to us).
10788  * Don't access this version directly.
10789  */
10790
10791 void
10792 Perl_sv_catpvf_nocontext(SV *const sv, const char *const pat, ...)
10793 {
10794     dTHX;
10795     va_list args;
10796
10797     PERL_ARGS_ASSERT_SV_CATPVF_NOCONTEXT;
10798
10799     va_start(args, pat);
10800     sv_vcatpvfn_flags(sv, pat, strlen(pat), &args, NULL, 0, NULL, SV_GMAGIC|SV_SMAGIC);
10801     va_end(args);
10802 }
10803
10804 /* pTHX_ magic can't cope with varargs, so this is a no-context
10805  * version of the main function, (which may itself be aliased to us).
10806  * Don't access this version directly.
10807  */
10808
10809 void
10810 Perl_sv_catpvf_mg_nocontext(SV *const sv, const char *const pat, ...)
10811 {
10812     dTHX;
10813     va_list args;
10814
10815     PERL_ARGS_ASSERT_SV_CATPVF_MG_NOCONTEXT;
10816
10817     va_start(args, pat);
10818     sv_vcatpvfn_flags(sv, pat, strlen(pat), &args, NULL, 0, NULL, SV_GMAGIC|SV_SMAGIC);
10819     SvSETMAGIC(sv);
10820     va_end(args);
10821 }
10822 #endif
10823
10824 /*
10825 =for apidoc sv_catpvf
10826
10827 Processes its arguments like C<sv_catpvfn>, and appends the formatted
10828 output to an SV.  As with C<sv_catpvfn> called with a non-null C-style
10829 variable argument list, argument reordering is not supported.
10830 If the appended data contains "wide" characters
10831 (including, but not limited to, SVs with a UTF-8 PV formatted with C<%s>,
10832 and characters >255 formatted with C<%c>), the original SV might get
10833 upgraded to UTF-8.  Handles 'get' magic, but not 'set' magic.  See
10834 C<L</sv_catpvf_mg>>.  If the original SV was UTF-8, the pattern should be
10835 valid UTF-8; if the original SV was bytes, the pattern should be too.
10836
10837 =cut */
10838
10839 void
10840 Perl_sv_catpvf(pTHX_ SV *const sv, const char *const pat, ...)
10841 {
10842     va_list args;
10843
10844     PERL_ARGS_ASSERT_SV_CATPVF;
10845
10846     va_start(args, pat);
10847     sv_vcatpvfn_flags(sv, pat, strlen(pat), &args, NULL, 0, NULL, SV_GMAGIC|SV_SMAGIC);
10848     va_end(args);
10849 }
10850
10851 /*
10852 =for apidoc sv_vcatpvf
10853
10854 Processes its arguments like C<sv_catpvfn> called with a non-null C-style
10855 variable argument list, and appends the formatted output
10856 to an SV.  Does not handle 'set' magic.  See C<L</sv_vcatpvf_mg>>.
10857
10858 Usually used via its frontend C<sv_catpvf>.
10859
10860 =cut
10861 */
10862
10863 void
10864 Perl_sv_vcatpvf(pTHX_ SV *const sv, const char *const pat, va_list *const args)
10865 {
10866     PERL_ARGS_ASSERT_SV_VCATPVF;
10867
10868     sv_vcatpvfn_flags(sv, pat, strlen(pat), args, NULL, 0, NULL, SV_GMAGIC|SV_SMAGIC);
10869 }
10870
10871 /*
10872 =for apidoc sv_catpvf_mg
10873
10874 Like C<sv_catpvf>, but also handles 'set' magic.
10875
10876 =cut
10877 */
10878
10879 void
10880 Perl_sv_catpvf_mg(pTHX_ SV *const sv, const char *const pat, ...)
10881 {
10882     va_list args;
10883
10884     PERL_ARGS_ASSERT_SV_CATPVF_MG;
10885
10886     va_start(args, pat);
10887     sv_vcatpvfn_flags(sv, pat, strlen(pat), &args, NULL, 0, NULL, SV_GMAGIC|SV_SMAGIC);
10888     SvSETMAGIC(sv);
10889     va_end(args);
10890 }
10891
10892 /*
10893 =for apidoc sv_vcatpvf_mg
10894
10895 Like C<sv_vcatpvf>, but also handles 'set' magic.
10896
10897 Usually used via its frontend C<sv_catpvf_mg>.
10898
10899 =cut
10900 */
10901
10902 void
10903 Perl_sv_vcatpvf_mg(pTHX_ SV *const sv, const char *const pat, va_list *const args)
10904 {
10905     PERL_ARGS_ASSERT_SV_VCATPVF_MG;
10906
10907     sv_vcatpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
10908     SvSETMAGIC(sv);
10909 }
10910
10911 /*
10912 =for apidoc sv_vsetpvfn
10913
10914 Works like C<sv_vcatpvfn> but copies the text into the SV instead of
10915 appending it.
10916
10917 Usually used via one of its frontends C<sv_vsetpvf> and C<sv_vsetpvf_mg>.
10918
10919 =cut
10920 */
10921
10922 void
10923 Perl_sv_vsetpvfn(pTHX_ SV *const sv, const char *const pat, const STRLEN patlen,
10924                  va_list *const args, SV **const svargs, const I32 svmax, bool *const maybe_tainted)
10925 {
10926     PERL_ARGS_ASSERT_SV_VSETPVFN;
10927
10928     SvPVCLEAR(sv);
10929     sv_vcatpvfn_flags(sv, pat, patlen, args, svargs, svmax, maybe_tainted, 0);
10930 }
10931
10932
10933 /*
10934  * Warn of missing argument to sprintf. The value used in place of such
10935  * arguments should be &PL_sv_no; an undefined value would yield
10936  * inappropriate "use of uninit" warnings [perl #71000].
10937  */
10938 STATIC void
10939 S_warn_vcatpvfn_missing_argument(pTHX) {
10940     if (ckWARN(WARN_MISSING)) {
10941         Perl_warner(aTHX_ packWARN(WARN_MISSING), "Missing argument in %s",
10942                 PL_op ? OP_DESC(PL_op) : "sv_vcatpvfn()");
10943     }
10944 }
10945
10946
10947 STATIC I32
10948 S_expect_number(pTHX_ char **const pattern)
10949 {
10950     I32 var = 0;
10951
10952     PERL_ARGS_ASSERT_EXPECT_NUMBER;
10953
10954     switch (**pattern) {
10955     case '1': case '2': case '3':
10956     case '4': case '5': case '6':
10957     case '7': case '8': case '9':
10958         var = *(*pattern)++ - '0';
10959         while (isDIGIT(**pattern)) {
10960             const I32 tmp = var * 10 + (*(*pattern)++ - '0');
10961             if (tmp < var)
10962                 Perl_croak(aTHX_ "Integer overflow in format string for %s", (PL_op ? OP_DESC(PL_op) : "sv_vcatpvfn"));
10963             var = tmp;
10964         }
10965     }
10966     return var;
10967 }
10968
10969 STATIC char *
10970 S_F0convert(NV nv, char *const endbuf, STRLEN *const len)
10971 {
10972     const int neg = nv < 0;
10973     UV uv;
10974
10975     PERL_ARGS_ASSERT_F0CONVERT;
10976
10977     if (UNLIKELY(Perl_isinfnan(nv))) {
10978         STRLEN n = S_infnan_2pv(nv, endbuf - *len, *len, 0);
10979         *len = n;
10980         return endbuf - n;
10981     }
10982     if (neg)
10983         nv = -nv;
10984     if (nv < UV_MAX) {
10985         char *p = endbuf;
10986         nv += 0.5;
10987         uv = (UV)nv;
10988         if (uv & 1 && uv == nv)
10989             uv--;                       /* Round to even */
10990         do {
10991             const unsigned dig = uv % 10;
10992             *--p = '0' + dig;
10993         } while (uv /= 10);
10994         if (neg)
10995             *--p = '-';
10996         *len = endbuf - p;
10997         return p;
10998     }
10999     return NULL;
11000 }
11001
11002
11003 /*
11004 =for apidoc sv_vcatpvfn
11005
11006 =for apidoc sv_vcatpvfn_flags
11007
11008 Processes its arguments like C<vsprintf> and appends the formatted output
11009 to an SV.  Uses an array of SVs if the C-style variable argument list is
11010 missing (C<NULL>). Argument reordering (using format specifiers like C<%2$d>
11011 or C<%*2$d>) is supported only when using an array of SVs; using a C-style
11012 C<va_list> argument list with a format string that uses argument reordering
11013 will yield an exception.
11014
11015 When running with taint checks enabled, indicates via
11016 C<maybe_tainted> if results are untrustworthy (often due to the use of
11017 locales).
11018
11019 If called as C<sv_vcatpvfn> or flags has the C<SV_GMAGIC> bit set, calls get magic.
11020
11021 Usually used via one of its frontends C<sv_vcatpvf> and C<sv_vcatpvf_mg>.
11022
11023 =cut
11024 */
11025
11026 #define VECTORIZE_ARGS  vecsv = va_arg(*args, SV*);\
11027                         vecstr = (U8*)SvPV_const(vecsv,veclen);\
11028                         vec_utf8 = DO_UTF8(vecsv);
11029
11030 /* XXX maybe_tainted is never assigned to, so the doc above is lying. */
11031
11032 void
11033 Perl_sv_vcatpvfn(pTHX_ SV *const sv, const char *const pat, const STRLEN patlen,
11034                  va_list *const args, SV **const svargs, const I32 svmax, bool *const maybe_tainted)
11035 {
11036     PERL_ARGS_ASSERT_SV_VCATPVFN;
11037
11038     sv_vcatpvfn_flags(sv, pat, patlen, args, svargs, svmax, maybe_tainted, SV_GMAGIC|SV_SMAGIC);
11039 }
11040
11041 #ifdef LONGDOUBLE_DOUBLEDOUBLE
11042 /* The first double can be as large as 2**1023, or '1' x '0' x 1023.
11043  * The second double can be as small as 2**-1074, or '0' x 1073 . '1'.
11044  * The sum of them can be '1' . '0' x 2096 . '1', with implied radix point
11045  * after the first 1023 zero bits.
11046  *
11047  * XXX The 2098 is quite large (262.25 bytes) and therefore some sort
11048  * of dynamically growing buffer might be better, start at just 16 bytes
11049  * (for example) and grow only when necessary.  Or maybe just by looking
11050  * at the exponents of the two doubles? */
11051 #  define DOUBLEDOUBLE_MAXBITS 2098
11052 #endif
11053
11054 /* vhex will contain the values (0..15) of the hex digits ("nybbles"
11055  * of 4 bits); 1 for the implicit 1, and the mantissa bits, four bits
11056  * per xdigit.  For the double-double case, this can be rather many.
11057  * The non-double-double-long-double overshoots since all bits of NV
11058  * are not mantissa bits, there are also exponent bits. */
11059 #ifdef LONGDOUBLE_DOUBLEDOUBLE
11060 #  define VHEX_SIZE (3+DOUBLEDOUBLE_MAXBITS/4)
11061 #else
11062 #  define VHEX_SIZE (1+(NVSIZE * 8)/4)
11063 #endif
11064
11065 /* If we do not have a known long double format, (including not using
11066  * long doubles, or long doubles being equal to doubles) then we will
11067  * fall back to the ldexp/frexp route, with which we can retrieve at
11068  * most as many bits as our widest unsigned integer type is.  We try
11069  * to get a 64-bit unsigned integer even if we are not using a 64-bit UV.
11070  *
11071  * (If you want to test the case of UVSIZE == 4, NVSIZE == 8,
11072  *  set the MANTISSATYPE to int and the MANTISSASIZE to 4.)
11073  */
11074 #if defined(HAS_QUAD) && defined(Uquad_t)
11075 #  define MANTISSATYPE Uquad_t
11076 #  define MANTISSASIZE 8
11077 #else
11078 #  define MANTISSATYPE UV
11079 #  define MANTISSASIZE UVSIZE
11080 #endif
11081
11082 #if defined(DOUBLE_LITTLE_ENDIAN) || defined(LONGDOUBLE_LITTLE_ENDIAN)
11083 #  define HEXTRACT_LITTLE_ENDIAN
11084 #elif defined(DOUBLE_BIG_ENDIAN) || defined(LONGDOUBLE_BIG_ENDIAN)
11085 #  define HEXTRACT_BIG_ENDIAN
11086 #else
11087 #  define HEXTRACT_MIX_ENDIAN
11088 #endif
11089
11090 /* S_hextract() is a helper for Perl_sv_vcatpvfn_flags, for extracting
11091  * the hexadecimal values (for %a/%A).  The nv is the NV where the value
11092  * are being extracted from (either directly from the long double in-memory
11093  * presentation, or from the uquad computed via frexp+ldexp).  frexp also
11094  * is used to update the exponent.  The subnormal is set to true
11095  * for IEEE 754 subnormals/denormals (including the x86 80-bit format).
11096  * The vhex is the pointer to the beginning of the output buffer of VHEX_SIZE.
11097  *
11098  * The tricky part is that S_hextract() needs to be called twice:
11099  * the first time with vend as NULL, and the second time with vend as
11100  * the pointer returned by the first call.  What happens is that on
11101  * the first round the output size is computed, and the intended
11102  * extraction sanity checked.  On the second round the actual output
11103  * (the extraction of the hexadecimal values) takes place.
11104  * Sanity failures cause fatal failures during both rounds. */
11105 STATIC U8*
11106 S_hextract(pTHX_ const NV nv, int* exponent, bool *subnormal,
11107            U8* vhex, U8* vend)
11108 {
11109     U8* v = vhex;
11110     int ix;
11111     int ixmin = 0, ixmax = 0;
11112
11113     /* XXX Inf/NaN are not handled here, since it is
11114      * assumed they are to be output as "Inf" and "NaN". */
11115
11116     /* These macros are just to reduce typos, they have multiple
11117      * repetitions below, but usually only one (or sometimes two)
11118      * of them is really being used. */
11119     /* HEXTRACT_OUTPUT() extracts the high nybble first. */
11120 #define HEXTRACT_OUTPUT_HI(ix) (*v++ = nvp[ix] >> 4)
11121 #define HEXTRACT_OUTPUT_LO(ix) (*v++ = nvp[ix] & 0xF)
11122 #define HEXTRACT_OUTPUT(ix) \
11123     STMT_START { \
11124       HEXTRACT_OUTPUT_HI(ix); HEXTRACT_OUTPUT_LO(ix); \
11125    } STMT_END
11126 #define HEXTRACT_COUNT(ix, c) \
11127     STMT_START { \
11128       v += c; if (ix < ixmin) ixmin = ix; else if (ix > ixmax) ixmax = ix; \
11129    } STMT_END
11130 #define HEXTRACT_BYTE(ix) \
11131     STMT_START { \
11132       if (vend) HEXTRACT_OUTPUT(ix); else HEXTRACT_COUNT(ix, 2); \
11133    } STMT_END
11134 #define HEXTRACT_LO_NYBBLE(ix) \
11135     STMT_START { \
11136       if (vend) HEXTRACT_OUTPUT_LO(ix); else HEXTRACT_COUNT(ix, 1); \
11137    } STMT_END
11138     /* HEXTRACT_TOP_NYBBLE is just convenience disguise,
11139      * to make it look less odd when the top bits of a NV
11140      * are extracted using HEXTRACT_LO_NYBBLE: the highest
11141      * order bits can be in the "low nybble" of a byte. */
11142 #define HEXTRACT_TOP_NYBBLE(ix) HEXTRACT_LO_NYBBLE(ix)
11143 #define HEXTRACT_BYTES_LE(a, b) \
11144     for (ix = a; ix >= b; ix--) { HEXTRACT_BYTE(ix); }
11145 #define HEXTRACT_BYTES_BE(a, b) \
11146     for (ix = a; ix <= b; ix++) { HEXTRACT_BYTE(ix); }
11147 #define HEXTRACT_GET_SUBNORMAL(nv) *subnormal = Perl_fp_class_denorm(nv)
11148 #define HEXTRACT_IMPLICIT_BIT(nv) \
11149     STMT_START { \
11150         if (!*subnormal) { \
11151             if (vend) *v++ = ((nv) == 0.0) ? 0 : 1; else v++; \
11152         } \
11153    } STMT_END
11154
11155 /* Most formats do.  Those which don't should undef this.
11156  *
11157  * But also note that IEEE 754 subnormals do not have it, or,
11158  * expressed alternatively, their implicit bit is zero. */
11159 #define HEXTRACT_HAS_IMPLICIT_BIT
11160
11161 /* Many formats do.  Those which don't should undef this. */
11162 #define HEXTRACT_HAS_TOP_NYBBLE
11163
11164     /* HEXTRACTSIZE is the maximum number of xdigits. */
11165 #if defined(USE_LONG_DOUBLE) && defined(LONGDOUBLE_DOUBLEDOUBLE)
11166 #  define HEXTRACTSIZE (2+DOUBLEDOUBLE_MAXBITS/4)
11167 #else
11168 #  define HEXTRACTSIZE 2 * NVSIZE
11169 #endif
11170
11171     const U8* vmaxend = vhex + HEXTRACTSIZE;
11172     PERL_UNUSED_VAR(ix); /* might happen */
11173     (void)Perl_frexp(PERL_ABS(nv), exponent);
11174     *subnormal = FALSE;
11175     if (vend && (vend <= vhex || vend > vmaxend)) {
11176         /* diag_listed_as: Hexadecimal float: internal error (%s) */
11177         Perl_croak(aTHX_ "Hexadecimal float: internal error (entry)");
11178     }
11179     {
11180         /* First check if using long doubles. */
11181 #if defined(USE_LONG_DOUBLE) && (NVSIZE > DOUBLESIZE)
11182 #  if LONG_DOUBLEKIND == LONG_DOUBLE_IS_IEEE_754_128_BIT_LITTLE_ENDIAN
11183         /* Used in e.g. VMS and HP-UX IA-64, e.g. -0.1L:
11184          * 9a 99 99 99 99 99 99 99 99 99 99 99 99 99 fb bf */
11185         /* The bytes 13..0 are the mantissa/fraction,
11186          * the 15,14 are the sign+exponent. */
11187         const U8* nvp = (const U8*)(&nv);
11188         HEXTRACT_GET_SUBNORMAL(nv);
11189         HEXTRACT_IMPLICIT_BIT(nv);
11190 #   undef HEXTRACT_HAS_TOP_NYBBLE
11191         HEXTRACT_BYTES_LE(13, 0);
11192 #  elif LONG_DOUBLEKIND == LONG_DOUBLE_IS_IEEE_754_128_BIT_BIG_ENDIAN
11193         /* Used in e.g. Solaris Sparc and HP-UX PA-RISC, e.g. -0.1L:
11194          * bf fb 99 99 99 99 99 99 99 99 99 99 99 99 99 9a */
11195         /* The bytes 2..15 are the mantissa/fraction,
11196          * the 0,1 are the sign+exponent. */
11197         const U8* nvp = (const U8*)(&nv);
11198         HEXTRACT_GET_SUBNORMAL(nv);
11199         HEXTRACT_IMPLICIT_BIT(nv);
11200 #   undef HEXTRACT_HAS_TOP_NYBBLE
11201         HEXTRACT_BYTES_BE(2, 15);
11202 #  elif LONG_DOUBLEKIND == LONG_DOUBLE_IS_X86_80_BIT_LITTLE_ENDIAN
11203         /* x86 80-bit "extended precision", 64 bits of mantissa / fraction /
11204          * significand, 15 bits of exponent, 1 bit of sign.  No implicit bit.
11205          * NVSIZE can be either 12 (ILP32, Solaris x86) or 16 (LP64, Linux
11206          * and OS X), meaning that 2 or 6 bytes are empty padding. */
11207         /* The bytes 0..1 are the sign+exponent,
11208          * the bytes 2..9 are the mantissa/fraction. */
11209         const U8* nvp = (const U8*)(&nv);
11210 #    undef HEXTRACT_HAS_IMPLICIT_BIT
11211 #    undef HEXTRACT_HAS_TOP_NYBBLE
11212         HEXTRACT_GET_SUBNORMAL(nv);
11213         HEXTRACT_BYTES_LE(7, 0);
11214 #  elif LONG_DOUBLEKIND == LONG_DOUBLE_IS_X86_80_BIT_BIG_ENDIAN
11215         /* Does this format ever happen? (Wikipedia says the Motorola
11216          * 6888x math coprocessors used format _like_ this but padded
11217          * to 96 bits with 16 unused bits between the exponent and the
11218          * mantissa.) */
11219         const U8* nvp = (const U8*)(&nv);
11220 #    undef HEXTRACT_HAS_IMPLICIT_BIT
11221 #    undef HEXTRACT_HAS_TOP_NYBBLE
11222         HEXTRACT_GET_SUBNORMAL(nv);
11223         HEXTRACT_BYTES_BE(0, 7);
11224 #  else
11225 #    define HEXTRACT_FALLBACK
11226         /* Double-double format: two doubles next to each other.
11227          * The first double is the high-order one, exactly like
11228          * it would be for a "lone" double.  The second double
11229          * is shifted down using the exponent so that that there
11230          * are no common bits.  The tricky part is that the value
11231          * of the double-double is the SUM of the two doubles and
11232          * the second one can be also NEGATIVE.
11233          *
11234          * Because of this tricky construction the bytewise extraction we
11235          * use for the other long double formats doesn't work, we must
11236          * extract the values bit by bit.
11237          *
11238          * The little-endian double-double is used .. somewhere?
11239          *
11240          * The big endian double-double is used in e.g. PPC/Power (AIX)
11241          * and MIPS (SGI).
11242          *
11243          * The mantissa bits are in two separate stretches, e.g. for -0.1L:
11244          * 9a 99 99 99 99 99 59 bc 9a 99 99 99 99 99 b9 3f (LE)
11245          * 3f b9 99 99 99 99 99 9a bc 59 99 99 99 99 99 9a (BE)
11246          */
11247 #  endif
11248 #else /* #if defined(USE_LONG_DOUBLE) && (NVSIZE > DOUBLESIZE) */
11249         /* Using normal doubles, not long doubles.
11250          *
11251          * We generate 4-bit xdigits (nybble/nibble) instead of 8-bit
11252          * bytes, since we might need to handle printf precision, and
11253          * also need to insert the radix. */
11254 #  if NVSIZE == 8
11255 #    ifdef HEXTRACT_LITTLE_ENDIAN
11256         /* 0 1 2 3 4 5 6 7 (MSB = 7, LSB = 0, 6+7 = exponent+sign) */
11257         const U8* nvp = (const U8*)(&nv);
11258         HEXTRACT_GET_SUBNORMAL(nv);
11259         HEXTRACT_IMPLICIT_BIT(nv);
11260         HEXTRACT_TOP_NYBBLE(6);
11261         HEXTRACT_BYTES_LE(5, 0);
11262 #    elif defined(HEXTRACT_BIG_ENDIAN)
11263         /* 7 6 5 4 3 2 1 0 (MSB = 7, LSB = 0, 6+7 = exponent+sign) */
11264         const U8* nvp = (const U8*)(&nv);
11265         HEXTRACT_GET_SUBNORMAL(nv);
11266         HEXTRACT_IMPLICIT_BIT(nv);
11267         HEXTRACT_TOP_NYBBLE(1);
11268         HEXTRACT_BYTES_BE(2, 7);
11269 #    elif DOUBLEKIND == DOUBLE_IS_IEEE_754_64_BIT_MIXED_ENDIAN_LE_BE
11270         /* 4 5 6 7 0 1 2 3 (MSB = 7, LSB = 0, 6:7 = nybble:exponent:sign) */
11271         const U8* nvp = (const U8*)(&nv);
11272         HEXTRACT_GET_SUBNORMAL(nv);
11273         HEXTRACT_IMPLICIT_BIT(nv);
11274         HEXTRACT_TOP_NYBBLE(2); /* 6 */
11275         HEXTRACT_BYTE(1); /* 5 */
11276         HEXTRACT_BYTE(0); /* 4 */
11277         HEXTRACT_BYTE(7); /* 3 */
11278         HEXTRACT_BYTE(6); /* 2 */
11279         HEXTRACT_BYTE(5); /* 1 */
11280         HEXTRACT_BYTE(4); /* 0 */
11281 #    elif DOUBLEKIND == DOUBLE_IS_IEEE_754_64_BIT_MIXED_ENDIAN_BE_LE
11282         /* 3 2 1 0 7 6 5 4 (MSB = 7, LSB = 0, 7:6 = sign:exponent:nybble) */
11283         const U8* nvp = (const U8*)(&nv);
11284         HEXTRACT_GET_SUBNORMAL(nv);
11285         HEXTRACT_IMPLICIT_BIT(nv);
11286         HEXTRACT_TOP_NYBBLE(5); /* 6 */
11287         HEXTRACT_BYTE(6); /* 5 */
11288         HEXTRACT_BYTE(7); /* 4 */
11289         HEXTRACT_BYTE(0); /* 3 */
11290         HEXTRACT_BYTE(1); /* 2 */
11291         HEXTRACT_BYTE(2); /* 1 */
11292         HEXTRACT_BYTE(3); /* 0 */
11293 #    else
11294 #      define HEXTRACT_FALLBACK
11295 #    endif
11296 #  else
11297 #    define HEXTRACT_FALLBACK
11298 #  endif
11299 #endif /* #if defined(USE_LONG_DOUBLE) && (NVSIZE > DOUBLESIZE) #else */
11300 #  ifdef HEXTRACT_FALLBACK
11301         HEXTRACT_GET_SUBNORMAL(nv);
11302 #    undef HEXTRACT_HAS_TOP_NYBBLE /* Meaningless, but consistent. */
11303         /* The fallback is used for the double-double format, and
11304          * for unknown long double formats, and for unknown double
11305          * formats, or in general unknown NV formats. */
11306         if (nv == (NV)0.0) {
11307             if (vend)
11308                 *v++ = 0;
11309             else
11310                 v++;
11311             *exponent = 0;
11312         }
11313         else {
11314             NV d = nv < 0 ? -nv : nv;
11315             NV e = (NV)1.0;
11316             U8 ha = 0x0; /* hexvalue accumulator */
11317             U8 hd = 0x8; /* hexvalue digit */
11318
11319             /* Shift d and e (and update exponent) so that e <= d < 2*e,
11320              * this is essentially manual frexp(). Multiplying by 0.5 and
11321              * doubling should be lossless in binary floating point. */
11322
11323             *exponent = 1;
11324
11325             while (e > d) {
11326                 e *= (NV)0.5;
11327                 (*exponent)--;
11328             }
11329             /* Now d >= e */
11330
11331             while (d >= e + e) {
11332                 e += e;
11333                 (*exponent)++;
11334             }
11335             /* Now e <= d < 2*e */
11336
11337             /* First extract the leading hexdigit (the implicit bit). */
11338             if (d >= e) {
11339                 d -= e;
11340                 if (vend)
11341                     *v++ = 1;
11342                 else
11343                     v++;
11344             }
11345             else {
11346                 if (vend)
11347                     *v++ = 0;
11348                 else
11349                     v++;
11350             }
11351             e *= (NV)0.5;
11352
11353             /* Then extract the remaining hexdigits. */
11354             while (d > (NV)0.0) {
11355                 if (d >= e) {
11356                     ha |= hd;
11357                     d -= e;
11358                 }
11359                 if (hd == 1) {
11360                     /* Output or count in groups of four bits,
11361                      * that is, when the hexdigit is down to one. */
11362                     if (vend)
11363                         *v++ = ha;
11364                     else
11365                         v++;
11366                     /* Reset the hexvalue. */
11367                     ha = 0x0;
11368                     hd = 0x8;
11369                 }
11370                 else
11371                     hd >>= 1;
11372                 e *= (NV)0.5;
11373             }
11374
11375             /* Flush possible pending hexvalue. */
11376             if (ha) {
11377                 if (vend)
11378                     *v++ = ha;
11379                 else
11380                     v++;
11381             }
11382         }
11383 #  endif
11384     }
11385     /* Croak for various reasons: if the output pointer escaped the
11386      * output buffer, if the extraction index escaped the extraction
11387      * buffer, or if the ending output pointer didn't match the
11388      * previously computed value. */
11389     if (v <= vhex || v - vhex >= VHEX_SIZE ||
11390         /* For double-double the ixmin and ixmax stay at zero,
11391          * which is convenient since the HEXTRACTSIZE is tricky
11392          * for double-double. */
11393         ixmin < 0 || ixmax >= NVSIZE ||
11394         (vend && v != vend)) {
11395         /* diag_listed_as: Hexadecimal float: internal error (%s) */
11396         Perl_croak(aTHX_ "Hexadecimal float: internal error (overflow)");
11397     }
11398     return v;
11399 }
11400
11401 /* Helper for sv_vcatpvfn_flags().  */
11402 #define FETCH_VCATPVFN_ARGUMENT(var, in_range, expr)   \
11403     STMT_START {                                       \
11404         if (in_range)                                  \
11405             (var) = (expr);                            \
11406         else {                                         \
11407             (var) = &PL_sv_no; /* [perl #71000] */     \
11408             arg_missing = TRUE;                        \
11409         }                                              \
11410     } STMT_END
11411
11412 void
11413 Perl_sv_vcatpvfn_flags(pTHX_ SV *const sv, const char *const pat, const STRLEN patlen,
11414                        va_list *const args, SV **const svargs, const I32 svmax, bool *const maybe_tainted,
11415                        const U32 flags)
11416 {
11417     char *p;
11418     char *q;
11419     const char *patend;
11420     STRLEN origlen;
11421     I32 svix = 0;
11422     static const char nullstr[] = "(null)";
11423     SV *argsv = NULL;
11424     bool has_utf8 = DO_UTF8(sv);    /* has the result utf8? */
11425     const bool pat_utf8 = has_utf8; /* the pattern is in utf8? */
11426     SV *nsv = NULL;
11427     /* Times 4: a decimal digit takes more than 3 binary digits.
11428      * NV_DIG: mantissa takes than many decimal digits.
11429      * Plus 32: Playing safe. */
11430     char ebuf[IV_DIG * 4 + NV_DIG + 32];
11431     bool no_redundant_warning = FALSE; /* did we use any explicit format parameter index? */
11432     bool hexfp = FALSE; /* hexadecimal floating point? */
11433
11434     DECLARATION_FOR_LC_NUMERIC_MANIPULATION;
11435
11436     PERL_ARGS_ASSERT_SV_VCATPVFN_FLAGS;
11437     PERL_UNUSED_ARG(maybe_tainted);
11438
11439     if (flags & SV_GMAGIC)
11440         SvGETMAGIC(sv);
11441
11442     /* no matter what, this is a string now */
11443     (void)SvPV_force_nomg(sv, origlen);
11444
11445     /* special-case "", "%s", and "%-p" (SVf - see below) */
11446     if (patlen == 0) {
11447         if (svmax && ckWARN(WARN_REDUNDANT))
11448             Perl_warner(aTHX_ packWARN(WARN_REDUNDANT), "Redundant argument in %s",
11449                         PL_op ? OP_DESC(PL_op) : "sv_vcatpvfn()");
11450         return;
11451     }
11452     if (patlen == 2 && pat[0] == '%' && pat[1] == 's') {
11453         if (svmax > 1 && ckWARN(WARN_REDUNDANT))
11454             Perl_warner(aTHX_ packWARN(WARN_REDUNDANT), "Redundant argument in %s",
11455                         PL_op ? OP_DESC(PL_op) : "sv_vcatpvfn()");
11456
11457         if (args) {
11458             const char * const s = va_arg(*args, char*);
11459             sv_catpv_nomg(sv, s ? s : nullstr);
11460         }
11461         else if (svix < svmax) {
11462             /* we want get magic on the source but not the target. sv_catsv can't do that, though */
11463             SvGETMAGIC(*svargs);
11464             sv_catsv_nomg(sv, *svargs);
11465         }
11466         else
11467             S_warn_vcatpvfn_missing_argument(aTHX);
11468         return;
11469     }
11470     if (args && patlen == 3 && pat[0] == '%' &&
11471                 pat[1] == '-' && pat[2] == 'p') {
11472         if (svmax > 1 && ckWARN(WARN_REDUNDANT))
11473             Perl_warner(aTHX_ packWARN(WARN_REDUNDANT), "Redundant argument in %s",
11474                         PL_op ? OP_DESC(PL_op) : "sv_vcatpvfn()");
11475         argsv = MUTABLE_SV(va_arg(*args, void*));
11476         sv_catsv_nomg(sv, argsv);
11477         return;
11478     }
11479
11480 #if !defined(USE_LONG_DOUBLE) && !defined(USE_QUADMATH)
11481     /* special-case "%.<number>[gf]" */
11482     if ( !args && patlen <= 5 && pat[0] == '%' && pat[1] == '.'
11483          && (pat[patlen-1] == 'g' || pat[patlen-1] == 'f') ) {
11484         unsigned digits = 0;
11485         const char *pp;
11486
11487         pp = pat + 2;
11488         while (*pp >= '0' && *pp <= '9')
11489             digits = 10 * digits + (*pp++ - '0');
11490
11491         /* XXX: Why do this `svix < svmax` test? Couldn't we just
11492            format the first argument and WARN_REDUNDANT if svmax > 1?
11493            Munged by Nicholas Clark in v5.13.0-209-g95ea86d */
11494         if (pp - pat == (int)patlen - 1 && svix < svmax) {
11495             const NV nv = SvNV(*svargs);
11496             if (LIKELY(!Perl_isinfnan(nv))) {
11497                 if (*pp == 'g') {
11498                     /* Add check for digits != 0 because it seems that some
11499                        gconverts are buggy in this case, and we don't yet have
11500                        a Configure test for this.  */
11501                     if (digits && digits < sizeof(ebuf) - NV_DIG - 10) {
11502                         /* 0, point, slack */
11503                         STORE_LC_NUMERIC_SET_TO_NEEDED();
11504                         SNPRINTF_G(nv, ebuf, size, digits);
11505                         sv_catpv_nomg(sv, ebuf);
11506                         if (*ebuf)      /* May return an empty string for digits==0 */
11507                             return;
11508                     }
11509                 } else if (!digits) {
11510                     STRLEN l;
11511
11512                     if ((p = F0convert(nv, ebuf + sizeof ebuf, &l))) {
11513                         sv_catpvn_nomg(sv, p, l);
11514                         return;
11515                     }
11516                 }
11517             }
11518         }
11519     }
11520 #endif /* !USE_LONG_DOUBLE */
11521
11522     if (!args && svix < svmax && DO_UTF8(*svargs))
11523         has_utf8 = TRUE;
11524
11525     patend = (char*)pat + patlen;
11526     for (p = (char*)pat; p < patend; p = q) {
11527         bool alt = FALSE;
11528         bool left = FALSE;
11529         bool vectorize = FALSE;
11530         bool vectorarg = FALSE;
11531         bool vec_utf8 = FALSE;
11532         char fill = ' ';
11533         char plus = 0;
11534         char intsize = 0;
11535         STRLEN width = 0;
11536         STRLEN zeros = 0;
11537         bool has_precis = FALSE;
11538         STRLEN precis = 0;
11539         const I32 osvix = svix;
11540         bool is_utf8 = FALSE;  /* is this item utf8?   */
11541         bool used_explicit_ix = FALSE;
11542         bool arg_missing = FALSE;
11543 #ifdef HAS_LDBL_SPRINTF_BUG
11544         /* This is to try to fix a bug with irix/nonstop-ux/powerux and
11545            with sfio - Allen <allens@cpan.org> */
11546         bool fix_ldbl_sprintf_bug = FALSE;
11547 #endif
11548
11549         char esignbuf[4];
11550         U8 utf8buf[UTF8_MAXBYTES+1];
11551         STRLEN esignlen = 0;
11552
11553         const char *eptr = NULL;
11554         const char *fmtstart;
11555         STRLEN elen = 0;
11556         SV *vecsv = NULL;
11557         const U8 *vecstr = NULL;
11558         STRLEN veclen = 0;
11559         char c = 0;
11560         int i;
11561         unsigned base = 0;
11562         IV iv = 0;
11563         UV uv = 0;
11564         /* We need a long double target in case HAS_LONG_DOUBLE,
11565          * even without USE_LONG_DOUBLE, so that we can printf with
11566          * long double formats, even without NV being long double.
11567          * But we call the target 'fv' instead of 'nv', since most of
11568          * the time it is not (most compilers these days recognize
11569          * "long double", even if only as a synonym for "double").
11570         */
11571 #if defined(HAS_LONG_DOUBLE) && LONG_DOUBLESIZE > DOUBLESIZE && \
11572         defined(PERL_PRIgldbl) && !defined(USE_QUADMATH)
11573         long double fv;
11574 #  ifdef Perl_isfinitel
11575 #    define FV_ISFINITE(x) Perl_isfinitel(x)
11576 #  endif
11577 #  define FV_GF PERL_PRIgldbl
11578 #    if defined(__VMS) && defined(__ia64) && defined(__IEEE_FLOAT)
11579        /* Work around breakage in OTS$CVT_FLOAT_T_X */
11580 #      define NV_TO_FV(nv,fv) STMT_START {                   \
11581                                            double _dv = nv;  \
11582                                            fv = Perl_isnan(_dv) ? LDBL_QNAN : _dv; \
11583                               } STMT_END
11584 #    else
11585 #      define NV_TO_FV(nv,fv) (fv)=(nv)
11586 #    endif
11587 #else
11588         NV fv;
11589 #  define FV_GF NVgf
11590 #  define NV_TO_FV(nv,fv) (fv)=(nv)
11591 #endif
11592 #ifndef FV_ISFINITE
11593 #  define FV_ISFINITE(x) Perl_isfinite((NV)(x))
11594 #endif
11595         NV nv;
11596         STRLEN have;
11597         STRLEN need;
11598         STRLEN gap;
11599         const char *dotstr = ".";
11600         STRLEN dotstrlen = 1;
11601         I32 efix = 0; /* explicit format parameter index */
11602         I32 ewix = 0; /* explicit width index */
11603         I32 epix = 0; /* explicit precision index */
11604         I32 evix = 0; /* explicit vector index */
11605         bool asterisk = FALSE;
11606         bool infnan = FALSE;
11607
11608         /* echo everything up to the next format specification */
11609         for (q = p; q < patend && *q != '%'; ++q) ;
11610         if (q > p) {
11611             if (has_utf8 && !pat_utf8)
11612                 sv_catpvn_nomg_utf8_upgrade(sv, p, q - p, nsv);
11613             else
11614                 sv_catpvn_nomg(sv, p, q - p);
11615             p = q;
11616         }
11617         if (q++ >= patend)
11618             break;
11619
11620         fmtstart = q;
11621
11622 /*
11623     We allow format specification elements in this order:
11624         \d+\$              explicit format parameter index
11625         [-+ 0#]+           flags
11626         v|\*(\d+\$)?v      vector with optional (optionally specified) arg
11627         0                  flag (as above): repeated to allow "v02"     
11628         \d+|\*(\d+\$)?     width using optional (optionally specified) arg
11629         \.(\d*|\*(\d+\$)?) precision using optional (optionally specified) arg
11630         [hlqLV]            size
11631     [%bcdefginopsuxDFOUX] format (mandatory)
11632 */
11633
11634         if (args) {
11635 /*  
11636         As of perl5.9.3, printf format checking is on by default.
11637         Internally, perl uses %p formats to provide an escape to
11638         some extended formatting.  This block deals with those
11639         extensions: if it does not match, (char*)q is reset and
11640         the normal format processing code is used.
11641
11642         Currently defined extensions are:
11643                 %p              include pointer address (standard)      
11644                 %-p     (SVf)   include an SV (previously %_)
11645                 %-<num>p        include an SV with precision <num>      
11646                 %2p             include a HEK
11647                 %3p             include a HEK with precision of 256
11648                 %4p             char* preceded by utf8 flag and length
11649                 %<num>p         (where num is 1 or > 4) reserved for future
11650                                 extensions
11651
11652         Robin Barker 2005-07-14 (but modified since)
11653
11654                 %1p     (VDf)   removed.  RMB 2007-10-19
11655 */
11656             char* r = q; 
11657             bool sv = FALSE;    
11658             STRLEN n = 0;
11659             if (*q == '-')
11660                 sv = *q++;
11661             else if (strnEQ(q, UTF8f, sizeof(UTF8f)-1)) { /* UTF8f */
11662                 /* The argument has already gone through cBOOL, so the cast
11663                    is safe. */
11664                 is_utf8 = (bool)va_arg(*args, int);
11665                 elen = va_arg(*args, UV);
11666                 /* if utf8 length is larger than 0x7ffff..., then it might
11667                  * have been a signed value that wrapped */
11668                 if (elen  > ((~(STRLEN)0) >> 1)) {
11669                     assert(0); /* in DEBUGGING build we want to crash */
11670                     elen= 0; /* otherwise we want to treat this as an empty string */
11671                 }
11672                 eptr = va_arg(*args, char *);
11673                 q += sizeof(UTF8f)-1;
11674                 goto string;
11675             }
11676             n = expect_number(&q);
11677             if (*q++ == 'p') {
11678                 if (sv) {                       /* SVf */
11679                     if (n) {
11680                         precis = n;
11681                         has_precis = TRUE;
11682                     }
11683                     argsv = MUTABLE_SV(va_arg(*args, void*));
11684                     eptr = SvPV_const(argsv, elen);
11685                     if (DO_UTF8(argsv))
11686                         is_utf8 = TRUE;
11687                     goto string;
11688                 }
11689                 else if (n==2 || n==3) {        /* HEKf */
11690                     HEK * const hek = va_arg(*args, HEK *);
11691                     eptr = HEK_KEY(hek);
11692                     elen = HEK_LEN(hek);
11693                     if (HEK_UTF8(hek)) is_utf8 = TRUE;
11694                     if (n==3) precis = 256, has_precis = TRUE;
11695                     goto string;
11696                 }
11697                 else if (n) {
11698                     Perl_ck_warner_d(aTHX_ packWARN(WARN_INTERNAL),
11699                                      "internal %%<num>p might conflict with future printf extensions");
11700                 }
11701             }
11702             q = r; 
11703         }
11704
11705         if ( (width = expect_number(&q)) ) {
11706             if (*q == '$') {
11707                 if (args)
11708                     Perl_croak_nocontext(
11709                         "Cannot yet reorder sv_catpvfn() arguments from va_list");
11710                 ++q;
11711                 efix = width;
11712                 used_explicit_ix = TRUE;
11713             } else {
11714                 goto gotwidth;
11715             }
11716         }
11717
11718         /* FLAGS */
11719
11720         while (*q) {
11721             switch (*q) {
11722             case ' ':
11723             case '+':
11724                 if (plus == '+' && *q == ' ') /* '+' over ' ' */
11725                     q++;
11726                 else
11727                     plus = *q++;
11728                 continue;
11729
11730             case '-':
11731                 left = TRUE;
11732                 q++;
11733                 continue;
11734
11735             case '0':
11736                 fill = *q++;
11737                 continue;
11738
11739             case '#':
11740                 alt = TRUE;
11741                 q++;
11742                 continue;
11743
11744             default:
11745                 break;
11746             }
11747             break;
11748         }
11749
11750       tryasterisk:
11751         if (*q == '*') {
11752             q++;
11753             if ( (ewix = expect_number(&q)) ) {
11754                 if (*q++ == '$') {
11755                     if (args)
11756                         Perl_croak_nocontext(
11757                             "Cannot yet reorder sv_catpvfn() arguments from va_list");
11758                     used_explicit_ix = TRUE;
11759                 } else
11760                     goto unknown;
11761             }
11762             asterisk = TRUE;
11763         }
11764         if (*q == 'v') {
11765             q++;
11766             if (vectorize)
11767                 goto unknown;
11768             if ((vectorarg = asterisk)) {
11769                 evix = ewix;
11770                 ewix = 0;
11771                 asterisk = FALSE;
11772             }
11773             vectorize = TRUE;
11774             goto tryasterisk;
11775         }
11776
11777         if (!asterisk)
11778         {
11779             if( *q == '0' )
11780                 fill = *q++;
11781             width = expect_number(&q);
11782         }
11783
11784         if (vectorize && vectorarg) {
11785             /* vectorizing, but not with the default "." */
11786             if (args)
11787                 vecsv = va_arg(*args, SV*);
11788             else if (evix) {
11789                 FETCH_VCATPVFN_ARGUMENT(
11790                     vecsv, evix > 0 && evix <= svmax, svargs[evix-1]);
11791             } else {
11792                 FETCH_VCATPVFN_ARGUMENT(
11793                     vecsv, svix < svmax, svargs[svix++]);
11794             }
11795             dotstr = SvPV_const(vecsv, dotstrlen);
11796             /* Keep the DO_UTF8 test *after* the SvPV call, else things go
11797                bad with tied or overloaded values that return UTF8.  */
11798             if (DO_UTF8(vecsv))
11799                 is_utf8 = TRUE;
11800             else if (has_utf8) {
11801                 vecsv = sv_mortalcopy(vecsv);
11802                 sv_utf8_upgrade(vecsv);
11803                 dotstr = SvPV_const(vecsv, dotstrlen);
11804                 is_utf8 = TRUE;
11805             }               
11806         }
11807
11808         if (asterisk) {
11809             if (args)
11810                 i = va_arg(*args, int);
11811             else
11812                 i = (ewix ? ewix <= svmax : svix < svmax) ?
11813                     SvIVx(svargs[ewix ? ewix-1 : svix++]) : 0;
11814             left |= (i < 0);
11815             width = (i < 0) ? -i : i;
11816         }
11817       gotwidth:
11818
11819         /* PRECISION */
11820
11821         if (*q == '.') {
11822             q++;
11823             if (*q == '*') {
11824                 q++;
11825                 if ( (epix = expect_number(&q)) ) {
11826                     if (*q++ == '$') {
11827                         if (args)
11828                             Perl_croak_nocontext(
11829                                 "Cannot yet reorder sv_catpvfn() arguments from va_list");
11830                         used_explicit_ix = TRUE;
11831                     } else
11832                         goto unknown;
11833                 }
11834                 if (args)
11835                     i = va_arg(*args, int);
11836                 else {
11837                     SV *precsv;
11838                     if (epix)
11839                         FETCH_VCATPVFN_ARGUMENT(
11840                             precsv, epix > 0 && epix <= svmax, svargs[epix-1]);
11841                     else
11842                         FETCH_VCATPVFN_ARGUMENT(
11843                             precsv, svix < svmax, svargs[svix++]);
11844                     i = precsv == &PL_sv_no ? 0 : SvIVx(precsv);
11845                 }
11846                 precis = i;
11847                 has_precis = !(i < 0);
11848             }
11849             else {
11850                 precis = 0;
11851                 while (isDIGIT(*q))
11852                     precis = precis * 10 + (*q++ - '0');
11853                 has_precis = TRUE;
11854             }
11855         }
11856
11857         if (vectorize) {
11858             if (args) {
11859                 VECTORIZE_ARGS
11860             }
11861             else if (efix ? (efix > 0 && efix <= svmax) : svix < svmax) {
11862                 vecsv = svargs[efix ? efix-1 : svix++];
11863                 vecstr = (U8*)SvPV_const(vecsv,veclen);
11864                 vec_utf8 = DO_UTF8(vecsv);
11865
11866                 /* if this is a version object, we need to convert
11867                  * back into v-string notation and then let the
11868                  * vectorize happen normally
11869                  */
11870                 if (sv_isobject(vecsv) && sv_derived_from(vecsv, "version")) {
11871                     if ( hv_existss(MUTABLE_HV(SvRV(vecsv)), "alpha") ) {
11872                         Perl_ck_warner_d(aTHX_ packWARN(WARN_PRINTF),
11873                         "vector argument not supported with alpha versions");
11874                         goto vdblank;
11875                     }
11876                     vecsv = sv_newmortal();
11877                     scan_vstring((char *)vecstr, (char *)vecstr + veclen,
11878                                  vecsv);
11879                     vecstr = (U8*)SvPV_const(vecsv, veclen);
11880                     vec_utf8 = DO_UTF8(vecsv);
11881                 }
11882             }
11883             else {
11884               vdblank:
11885                 vecstr = (U8*)"";
11886                 veclen = 0;
11887             }
11888         }
11889
11890         /* SIZE */
11891
11892         switch (*q) {
11893 #ifdef WIN32
11894         case 'I':                       /* Ix, I32x, and I64x */
11895 #  ifdef USE_64_BIT_INT
11896             if (q[1] == '6' && q[2] == '4') {
11897                 q += 3;
11898                 intsize = 'q';
11899                 break;
11900             }
11901 #  endif
11902             if (q[1] == '3' && q[2] == '2') {
11903                 q += 3;
11904                 break;
11905             }
11906 #  ifdef USE_64_BIT_INT
11907             intsize = 'q';
11908 #  endif
11909             q++;
11910             break;
11911 #endif
11912 #if (IVSIZE >= 8 || defined(HAS_LONG_DOUBLE)) || \
11913     (IVSIZE == 4 && !defined(HAS_LONG_DOUBLE))
11914         case 'L':                       /* Ld */
11915             /* FALLTHROUGH */
11916 #  ifdef USE_QUADMATH
11917         case 'Q':
11918             /* FALLTHROUGH */
11919 #  endif
11920 #  if IVSIZE >= 8
11921         case 'q':                       /* qd */
11922 #  endif
11923             intsize = 'q';
11924             q++;
11925             break;
11926 #endif
11927         case 'l':
11928             ++q;
11929 #if (IVSIZE >= 8 || defined(HAS_LONG_DOUBLE)) || \
11930     (IVSIZE == 4 && !defined(HAS_LONG_DOUBLE))
11931             if (*q == 'l') {    /* lld, llf */
11932                 intsize = 'q';
11933                 ++q;
11934             }
11935             else
11936 #endif
11937                 intsize = 'l';
11938             break;
11939         case 'h':
11940             if (*++q == 'h') {  /* hhd, hhu */
11941                 intsize = 'c';
11942                 ++q;
11943             }
11944             else
11945                 intsize = 'h';
11946             break;
11947         case 'V':
11948         case 'z':
11949         case 't':
11950 #ifdef I_STDINT
11951         case 'j':
11952 #endif
11953             intsize = *q++;
11954             break;
11955         }
11956
11957         /* CONVERSION */
11958
11959         if (*q == '%') {
11960             eptr = q++;
11961             elen = 1;
11962             if (vectorize) {
11963                 c = '%';
11964                 goto unknown;
11965             }
11966             goto string;
11967         }
11968
11969         if (!vectorize && !args) {
11970             if (efix) {
11971                 const I32 i = efix-1;
11972                 FETCH_VCATPVFN_ARGUMENT(argsv, i >= 0 && i < svmax, svargs[i]);
11973             } else {
11974                 FETCH_VCATPVFN_ARGUMENT(argsv, svix >= 0 && svix < svmax,
11975                                         svargs[svix++]);
11976             }
11977         }
11978
11979         if (argsv && strchr("BbcDdiOopuUXx",*q)) {
11980             /* XXX va_arg(*args) case? need peek, use va_copy? */
11981             SvGETMAGIC(argsv);
11982             if (UNLIKELY(SvAMAGIC(argsv)))
11983                 argsv = sv_2num(argsv);
11984             infnan = UNLIKELY(isinfnansv(argsv));
11985         }
11986
11987         switch (c = *q++) {
11988
11989             /* STRINGS */
11990
11991         case 'c':
11992             if (vectorize)
11993                 goto unknown;
11994             if (infnan)
11995                 Perl_croak(aTHX_ "Cannot printf %" NVgf " with '%c'",
11996                            /* no va_arg() case */
11997                            SvNV_nomg(argsv), (int)c);
11998             uv = (args) ? va_arg(*args, int) : SvIV_nomg(argsv);
11999             if ((uv > 255 ||
12000                  (!UVCHR_IS_INVARIANT(uv) && SvUTF8(sv)))
12001                 && !IN_BYTES) {
12002                 eptr = (char*)utf8buf;
12003                 elen = uvchr_to_utf8((U8*)eptr, uv) - utf8buf;
12004                 is_utf8 = TRUE;
12005             }
12006             else {
12007                 c = (char)uv;
12008                 eptr = &c;
12009                 elen = 1;
12010             }
12011             goto string;
12012
12013         case 's':
12014             if (vectorize)
12015                 goto unknown;
12016             if (args) {
12017                 eptr = va_arg(*args, char*);
12018                 if (eptr)
12019                     elen = strlen(eptr);
12020                 else {
12021                     eptr = (char *)nullstr;
12022                     elen = sizeof nullstr - 1;
12023                 }
12024             }
12025             else {
12026                 eptr = SvPV_const(argsv, elen);
12027                 if (DO_UTF8(argsv)) {
12028                     STRLEN old_precis = precis;
12029                     if (has_precis && precis < elen) {
12030                         STRLEN ulen = sv_or_pv_len_utf8(argsv, eptr, elen);
12031                         STRLEN p = precis > ulen ? ulen : precis;
12032                         precis = sv_or_pv_pos_u2b(argsv, eptr, p, 0);
12033                                                         /* sticks at end */
12034                     }
12035                     if (width) { /* fudge width (can't fudge elen) */
12036                         if (has_precis && precis < elen)
12037                             width += precis - old_precis;
12038                         else
12039                             width +=
12040                                 elen - sv_or_pv_len_utf8(argsv,eptr,elen);
12041                     }
12042                     is_utf8 = TRUE;
12043                 }
12044             }
12045
12046         string:
12047             if (has_precis && precis < elen)
12048                 elen = precis;
12049             break;
12050
12051             /* INTEGERS */
12052
12053         case 'p':
12054             if (infnan) {
12055                 goto floating_point;
12056             }
12057             if (alt || vectorize)
12058                 goto unknown;
12059             uv = PTR2UV(args ? va_arg(*args, void*) : argsv);
12060             base = 16;
12061             goto integer;
12062
12063         case 'D':
12064 #ifdef IV_IS_QUAD
12065             intsize = 'q';
12066 #else
12067             intsize = 'l';
12068 #endif
12069             /* FALLTHROUGH */
12070         case 'd':
12071         case 'i':
12072             if (infnan) {
12073                 goto floating_point;
12074             }
12075             if (vectorize) {
12076                 STRLEN ulen;
12077                 if (!veclen)
12078                     goto donevalidconversion;
12079                 if (vec_utf8)
12080                     uv = utf8n_to_uvchr(vecstr, veclen, &ulen,
12081                                         UTF8_ALLOW_ANYUV);
12082                 else {
12083                     uv = *vecstr;
12084                     ulen = 1;
12085                 }
12086                 vecstr += ulen;
12087                 veclen -= ulen;
12088                 if (plus)
12089                      esignbuf[esignlen++] = plus;
12090             }
12091             else if (args) {
12092                 switch (intsize) {
12093                 case 'c':       iv = (char)va_arg(*args, int); break;
12094                 case 'h':       iv = (short)va_arg(*args, int); break;
12095                 case 'l':       iv = va_arg(*args, long); break;
12096                 case 'V':       iv = va_arg(*args, IV); break;
12097                 case 'z':       iv = va_arg(*args, SSize_t); break;
12098 #ifdef HAS_PTRDIFF_T
12099                 case 't':       iv = va_arg(*args, ptrdiff_t); break;
12100 #endif
12101                 default:        iv = va_arg(*args, int); break;
12102 #ifdef I_STDINT
12103                 case 'j':       iv = va_arg(*args, intmax_t); break;
12104 #endif
12105                 case 'q':
12106 #if IVSIZE >= 8
12107                                 iv = va_arg(*args, Quad_t); break;
12108 #else
12109                                 goto unknown;
12110 #endif
12111                 }
12112             }
12113             else {
12114                 IV tiv = SvIV_nomg(argsv); /* work around GCC bug #13488 */
12115                 switch (intsize) {
12116                 case 'c':       iv = (char)tiv; break;
12117                 case 'h':       iv = (short)tiv; break;
12118                 case 'l':       iv = (long)tiv; break;
12119                 case 'V':
12120                 default:        iv = tiv; break;
12121                 case 'q':
12122 #if IVSIZE >= 8
12123                                 iv = (Quad_t)tiv; break;
12124 #else
12125                                 goto unknown;
12126 #endif
12127                 }
12128             }
12129             if ( !vectorize )   /* we already set uv above */
12130             {
12131                 if (iv >= 0) {
12132                     uv = iv;
12133                     if (plus)
12134                         esignbuf[esignlen++] = plus;
12135                 }
12136                 else {
12137                     uv = (iv == IV_MIN) ? (UV)iv : (UV)(-iv);
12138                     esignbuf[esignlen++] = '-';
12139                 }
12140             }
12141             base = 10;
12142             goto integer;
12143
12144         case 'U':
12145 #ifdef IV_IS_QUAD
12146             intsize = 'q';
12147 #else
12148             intsize = 'l';
12149 #endif
12150             /* FALLTHROUGH */
12151         case 'u':
12152             base = 10;
12153             goto uns_integer;
12154
12155         case 'B':
12156         case 'b':
12157             base = 2;
12158             goto uns_integer;
12159
12160         case 'O':
12161 #ifdef IV_IS_QUAD
12162             intsize = 'q';
12163 #else
12164             intsize = 'l';
12165 #endif
12166             /* FALLTHROUGH */
12167         case 'o':
12168             base = 8;
12169             goto uns_integer;
12170
12171         case 'X':
12172         case 'x':
12173             base = 16;
12174
12175         uns_integer:
12176             if (infnan) {
12177                 goto floating_point;
12178             }
12179             if (vectorize) {
12180                 STRLEN ulen;
12181         vector:
12182                 if (!veclen)
12183                     goto donevalidconversion;
12184                 if (vec_utf8)
12185                     uv = utf8n_to_uvchr(vecstr, veclen, &ulen,
12186                                         UTF8_ALLOW_ANYUV);
12187                 else {
12188                     uv = *vecstr;
12189                     ulen = 1;
12190                 }
12191                 vecstr += ulen;
12192                 veclen -= ulen;
12193             }
12194             else if (args) {
12195                 switch (intsize) {
12196                 case 'c':  uv = (unsigned char)va_arg(*args, unsigned); break;
12197                 case 'h':  uv = (unsigned short)va_arg(*args, unsigned); break;
12198                 case 'l':  uv = va_arg(*args, unsigned long); break;
12199                 case 'V':  uv = va_arg(*args, UV); break;
12200                 case 'z':  uv = va_arg(*args, Size_t); break;
12201 #ifdef HAS_PTRDIFF_T
12202                 case 't':  uv = va_arg(*args, ptrdiff_t); break; /* will sign extend, but there is no uptrdiff_t, so oh well */
12203 #endif
12204 #ifdef I_STDINT
12205                 case 'j':  uv = va_arg(*args, uintmax_t); break;
12206 #endif
12207                 default:   uv = va_arg(*args, unsigned); break;
12208                 case 'q':
12209 #if IVSIZE >= 8
12210                            uv = va_arg(*args, Uquad_t); break;
12211 #else
12212                            goto unknown;
12213 #endif
12214                 }
12215             }
12216             else {
12217                 UV tuv = SvUV_nomg(argsv); /* work around GCC bug #13488 */
12218                 switch (intsize) {
12219                 case 'c':       uv = (unsigned char)tuv; break;
12220                 case 'h':       uv = (unsigned short)tuv; break;
12221                 case 'l':       uv = (unsigned long)tuv; break;
12222                 case 'V':
12223                 default:        uv = tuv; break;
12224                 case 'q':
12225 #if IVSIZE >= 8
12226                                 uv = (Uquad_t)tuv; break;
12227 #else
12228                                 goto unknown;
12229 #endif
12230                 }
12231             }
12232
12233         integer:
12234             {
12235                 char *ptr = ebuf + sizeof ebuf;
12236                 bool tempalt = uv ? alt : FALSE; /* Vectors can't change alt */
12237                 unsigned dig;
12238                 zeros = 0;
12239
12240                 switch (base) {
12241                 case 16:
12242                     p = (char *)((c == 'X') ? PL_hexdigit + 16 : PL_hexdigit);
12243                     do {
12244                         dig = uv & 15;
12245                         *--ptr = p[dig];
12246                     } while (uv >>= 4);
12247                     if (tempalt) {
12248                         esignbuf[esignlen++] = '0';
12249                         esignbuf[esignlen++] = c;  /* 'x' or 'X' */
12250                     }
12251                     break;
12252                 case 8:
12253                     do {
12254                         dig = uv & 7;
12255                         *--ptr = '0' + dig;
12256                     } while (uv >>= 3);
12257                     if (alt && *ptr != '0')
12258                         *--ptr = '0';
12259                     break;
12260                 case 2:
12261                     do {
12262                         dig = uv & 1;
12263                         *--ptr = '0' + dig;
12264                     } while (uv >>= 1);
12265                     if (tempalt) {
12266                         esignbuf[esignlen++] = '0';
12267                         esignbuf[esignlen++] = c;
12268                     }
12269                     break;
12270                 default:                /* it had better be ten or less */
12271                     do {
12272                         dig = uv % base;
12273                         *--ptr = '0' + dig;
12274                     } while (uv /= base);
12275                     break;
12276                 }
12277                 elen = (ebuf + sizeof ebuf) - ptr;
12278                 eptr = ptr;
12279                 if (has_precis) {
12280                     if (precis > elen)
12281                         zeros = precis - elen;
12282                     else if (precis == 0 && elen == 1 && *eptr == '0'
12283                              && !(base == 8 && alt)) /* "%#.0o" prints "0" */
12284                         elen = 0;
12285
12286                 /* a precision nullifies the 0 flag. */
12287                     if (fill == '0')
12288                         fill = ' ';
12289                 }
12290             }
12291             break;
12292
12293             /* FLOATING POINT */
12294
12295         floating_point:
12296
12297         case 'F':
12298             c = 'f';            /* maybe %F isn't supported here */
12299             /* FALLTHROUGH */
12300         case 'e': case 'E':
12301         case 'f':
12302         case 'g': case 'G':
12303         case 'a': case 'A':
12304             if (vectorize)
12305                 goto unknown;
12306
12307             /* This is evil, but floating point is even more evil */
12308
12309             /* for SV-style calling, we can only get NV
12310                for C-style calling, we assume %f is double;
12311                for simplicity we allow any of %Lf, %llf, %qf for long double
12312             */
12313             switch (intsize) {
12314             case 'V':
12315 #if defined(USE_LONG_DOUBLE) || defined(USE_QUADMATH)
12316                 intsize = 'q';
12317 #endif
12318                 break;
12319 /* [perl #20339] - we should accept and ignore %lf rather than die */
12320             case 'l':
12321                 /* FALLTHROUGH */
12322             default:
12323 #if defined(USE_LONG_DOUBLE) || defined(USE_QUADMATH)
12324                 intsize = args ? 0 : 'q';
12325 #endif
12326                 break;
12327             case 'q':
12328 #if defined(HAS_LONG_DOUBLE)
12329                 break;
12330 #else
12331                 /* FALLTHROUGH */
12332 #endif
12333             case 'c':
12334             case 'h':
12335             case 'z':
12336             case 't':
12337             case 'j':
12338                 goto unknown;
12339             }
12340
12341             /* Now we need (long double) if intsize == 'q', else (double). */
12342             if (args) {
12343                 /* Note: do not pull NVs off the va_list with va_arg()
12344                  * (pull doubles instead) because if you have a build
12345                  * with long doubles, you would always be pulling long
12346                  * doubles, which would badly break anyone using only
12347                  * doubles (i.e. the majority of builds). In other
12348                  * words, you cannot mix doubles and long doubles.
12349                  * The only case where you can pull off long doubles
12350                  * is when the format specifier explicitly asks so with
12351                  * e.g. "%Lg". */
12352 #ifdef USE_QUADMATH
12353                 fv = intsize == 'q' ?
12354                     va_arg(*args, NV) : va_arg(*args, double);
12355                 nv = fv;
12356 #elif LONG_DOUBLESIZE > DOUBLESIZE
12357                 if (intsize == 'q') {
12358                     fv = va_arg(*args, long double);
12359                     nv = fv;
12360                 } else {
12361                     nv = va_arg(*args, double);
12362                     NV_TO_FV(nv, fv);
12363                 }
12364 #else
12365                 nv = va_arg(*args, double);
12366                 fv = nv;
12367 #endif
12368             }
12369             else
12370             {
12371                 if (!infnan) SvGETMAGIC(argsv);
12372                 nv = SvNV_nomg(argsv);
12373                 NV_TO_FV(nv, fv);
12374             }
12375
12376             need = 0;
12377             /* frexp() (or frexpl) has some unspecified behaviour for
12378              * nan/inf/-inf, so let's avoid calling that on non-finites. */
12379             if (isALPHA_FOLD_NE(c, 'e') && FV_ISFINITE(fv)) {
12380                 i = PERL_INT_MIN;
12381                 (void)Perl_frexp((NV)fv, &i);
12382                 if (i == PERL_INT_MIN)
12383                     Perl_die(aTHX_ "panic: frexp: %" FV_GF, fv);
12384                 /* Do not set hexfp earlier since we want to printf
12385                  * Inf/NaN for Inf/NaN, not their hexfp. */
12386                 hexfp = isALPHA_FOLD_EQ(c, 'a');
12387                 if (UNLIKELY(hexfp)) {
12388                     /* This seriously overshoots in most cases, but
12389                      * better the undershooting.  Firstly, all bytes
12390                      * of the NV are not mantissa, some of them are
12391                      * exponent.  Secondly, for the reasonably common
12392                      * long doubles case, the "80-bit extended", two
12393                      * or six bytes of the NV are unused. */
12394                     need +=
12395                         (fv < 0) ? 1 : 0 + /* possible unary minus */
12396                         2 + /* "0x" */
12397                         1 + /* the very unlikely carry */
12398                         1 + /* "1" */
12399                         1 + /* "." */
12400                         2 * NVSIZE + /* 2 hexdigits for each byte */
12401                         2 + /* "p+" */
12402                         6 + /* exponent: sign, plus up to 16383 (quad fp) */
12403                         1;   /* \0 */
12404 #ifdef LONGDOUBLE_DOUBLEDOUBLE
12405                     /* However, for the "double double", we need more.
12406                      * Since each double has their own exponent, the
12407                      * doubles may float (haha) rather far from each
12408                      * other, and the number of required bits is much
12409                      * larger, up to total of DOUBLEDOUBLE_MAXBITS bits.
12410                      * See the definition of DOUBLEDOUBLE_MAXBITS.
12411                      *
12412                      * Need 2 hexdigits for each byte. */
12413                     need += (DOUBLEDOUBLE_MAXBITS/8 + 1) * 2;
12414                     /* the size for the exponent already added */
12415 #endif
12416 #ifdef USE_LOCALE_NUMERIC
12417                         STORE_LC_NUMERIC_SET_TO_NEEDED();
12418                         if (PL_numeric_radix_sv && IN_LC(LC_NUMERIC))
12419                             need += SvLEN(PL_numeric_radix_sv);
12420                         RESTORE_LC_NUMERIC();
12421 #endif
12422                 }
12423                 else if (i > 0) {
12424                     need = BIT_DIGITS(i);
12425                 } /* if i < 0, the number of digits is hard to predict. */
12426             }
12427             need += has_precis ? precis : 6; /* known default */
12428
12429             if (need < width)
12430                 need = width;
12431
12432 #ifdef HAS_LDBL_SPRINTF_BUG
12433             /* This is to try to fix a bug with irix/nonstop-ux/powerux and
12434                with sfio - Allen <allens@cpan.org> */
12435
12436 #  ifdef DBL_MAX
12437 #    define MY_DBL_MAX DBL_MAX
12438 #  else /* XXX guessing! HUGE_VAL may be defined as infinity, so not using */
12439 #    if DOUBLESIZE >= 8
12440 #      define MY_DBL_MAX 1.7976931348623157E+308L
12441 #    else
12442 #      define MY_DBL_MAX 3.40282347E+38L
12443 #    endif
12444 #  endif
12445
12446 #  ifdef HAS_LDBL_SPRINTF_BUG_LESS1 /* only between -1L & 1L - Allen */
12447 #    define MY_DBL_MAX_BUG 1L
12448 #  else
12449 #    define MY_DBL_MAX_BUG MY_DBL_MAX
12450 #  endif
12451
12452 #  ifdef DBL_MIN
12453 #    define MY_DBL_MIN DBL_MIN
12454 #  else  /* XXX guessing! -Allen */
12455 #    if DOUBLESIZE >= 8
12456 #      define MY_DBL_MIN 2.2250738585072014E-308L
12457 #    else
12458 #      define MY_DBL_MIN 1.17549435E-38L
12459 #    endif
12460 #  endif
12461
12462             if ((intsize == 'q') && (c == 'f') &&
12463                 ((fv < MY_DBL_MAX_BUG) && (fv > -MY_DBL_MAX_BUG)) &&
12464                 (need < DBL_DIG)) {
12465                 /* it's going to be short enough that
12466                  * long double precision is not needed */
12467
12468                 if ((fv <= 0L) && (fv >= -0L))
12469                     fix_ldbl_sprintf_bug = TRUE; /* 0 is 0 - easiest */
12470                 else {
12471                     /* would use Perl_fp_class as a double-check but not
12472                      * functional on IRIX - see perl.h comments */
12473
12474                     if ((fv >= MY_DBL_MIN) || (fv <= -MY_DBL_MIN)) {
12475                         /* It's within the range that a double can represent */
12476 #if defined(DBL_MAX) && !defined(DBL_MIN)
12477                         if ((fv >= ((long double)1/DBL_MAX)) ||
12478                             (fv <= (-(long double)1/DBL_MAX)))
12479 #endif
12480                         fix_ldbl_sprintf_bug = TRUE;
12481                     }
12482                 }
12483                 if (fix_ldbl_sprintf_bug == TRUE) {
12484                     double temp;
12485
12486                     intsize = 0;
12487                     temp = (double)fv;
12488                     fv = (NV)temp;
12489                 }
12490             }
12491
12492 #  undef MY_DBL_MAX
12493 #  undef MY_DBL_MAX_BUG
12494 #  undef MY_DBL_MIN
12495
12496 #endif /* HAS_LDBL_SPRINTF_BUG */
12497
12498             need += 20; /* fudge factor */
12499             if (PL_efloatsize < need) {
12500                 Safefree(PL_efloatbuf);
12501                 PL_efloatsize = need + 20; /* more fudge */
12502                 Newx(PL_efloatbuf, PL_efloatsize, char);
12503                 PL_efloatbuf[0] = '\0';
12504             }
12505
12506             if ( !(width || left || plus || alt) && fill != '0'
12507                  && has_precis && intsize != 'q'        /* Shortcuts */
12508                  && LIKELY(!Perl_isinfnan((NV)fv)) ) {
12509                 /* See earlier comment about buggy Gconvert when digits,
12510                    aka precis is 0  */
12511                 if ( c == 'g' && precis ) {
12512                     STORE_LC_NUMERIC_SET_TO_NEEDED();
12513                     SNPRINTF_G(fv, PL_efloatbuf, PL_efloatsize, precis);
12514                     /* May return an empty string for digits==0 */
12515                     if (*PL_efloatbuf) {
12516                         elen = strlen(PL_efloatbuf);
12517                         goto float_converted;
12518                     }
12519                 } else if ( c == 'f' && !precis ) {
12520                     if ((eptr = F0convert(nv, ebuf + sizeof ebuf, &elen)))
12521                         break;
12522                 }
12523             }
12524
12525             if (UNLIKELY(hexfp)) {
12526                 /* Hexadecimal floating point. */
12527                 char* p = PL_efloatbuf;
12528                 U8 vhex[VHEX_SIZE];
12529                 U8* v = vhex; /* working pointer to vhex */
12530                 U8* vend; /* pointer to one beyond last digit of vhex */
12531                 U8* vfnz = NULL; /* first non-zero */
12532                 U8* vlnz = NULL; /* last non-zero */
12533                 U8* v0 = NULL; /* first output */
12534                 const bool lower = (c == 'a');
12535                 /* At output the values of vhex (up to vend) will
12536                  * be mapped through the xdig to get the actual
12537                  * human-readable xdigits. */
12538                 const char* xdig = PL_hexdigit;
12539                 int zerotail = 0; /* how many extra zeros to append */
12540                 int exponent = 0; /* exponent of the floating point input */
12541                 bool hexradix = FALSE; /* should we output the radix */
12542                 bool subnormal = FALSE; /* IEEE 754 subnormal/denormal */
12543                 bool negative = FALSE;
12544
12545                 /* XXX: NaN, Inf -- though they are printed as "NaN" and "Inf".
12546                  *
12547                  * For example with denormals, (assuming the vanilla
12548                  * 64-bit double): the exponent is zero. 1xp-1074 is
12549                  * the smallest denormal and the smallest double, it
12550                  * could be output also as 0x0.0000000000001p-1022 to
12551                  * match its internal structure. */
12552
12553                 vend = S_hextract(aTHX_ nv, &exponent, &subnormal, vhex, NULL);
12554                 S_hextract(aTHX_ nv, &exponent, &subnormal, vhex, vend);
12555
12556 #if NVSIZE > DOUBLESIZE
12557 #  ifdef HEXTRACT_HAS_IMPLICIT_BIT
12558                 /* In this case there is an implicit bit,
12559                  * and therefore the exponent is shifted by one. */
12560                 exponent--;
12561 #  else
12562 #   ifdef NV_X86_80_BIT
12563                 if (subnormal) {
12564                     /* The subnormals of the x86-80 have a base exponent of -16382,
12565                      * (while the physical exponent bits are zero) but the frexp()
12566                      * returned the scientific-style floating exponent.  We want
12567                      * to map the last one as:
12568                      * -16831..-16384 -> -16382 (the last normal is 0x1p-16382)
12569                      * -16835..-16388 -> -16384
12570                      * since we want to keep the first hexdigit
12571                      * as one of the [8421]. */
12572                     exponent = -4 * ( (exponent + 1) / -4) - 2;
12573                 } else {
12574                     exponent -= 4;
12575                 }
12576 #   endif
12577                 /* TBD: other non-implicit-bit platforms than the x86-80. */
12578 #  endif
12579 #endif
12580
12581                 negative = fv < 0 || Perl_signbit(nv);
12582                 if (negative)
12583                     *p++ = '-';
12584                 else if (plus)
12585                     *p++ = plus;
12586                 *p++ = '0';
12587                 if (lower) {
12588                     *p++ = 'x';
12589                 }
12590                 else {
12591                     *p++ = 'X';
12592                     xdig += 16; /* Use uppercase hex. */
12593                 }
12594
12595                 /* Find the first non-zero xdigit. */
12596                 for (v = vhex; v < vend; v++) {
12597                     if (*v) {
12598                         vfnz = v;
12599                         break;
12600                     }
12601                 }
12602
12603                 if (vfnz) {
12604                     /* Find the last non-zero xdigit. */
12605                     for (v = vend - 1; v >= vhex; v--) {
12606                         if (*v) {
12607                             vlnz = v;
12608                             break;
12609                         }
12610                     }
12611
12612 #if NVSIZE == DOUBLESIZE
12613                     if (fv != 0.0)
12614                         exponent--;
12615 #endif
12616
12617                     if (subnormal) {
12618 #ifndef NV_X86_80_BIT
12619                       if (vfnz[0] > 1) {
12620                         /* IEEE 754 subnormals (but not the x86 80-bit):
12621                          * we want "normalize" the subnormal,
12622                          * so we need to right shift the hex nybbles
12623                          * so that the output of the subnormal starts
12624                          * from the first true bit.  (Another, equally
12625                          * valid, policy would be to dump the subnormal
12626                          * nybbles as-is, to display the "physical" layout.) */
12627                         int i, n;
12628                         U8 *vshr;
12629                         /* Find the ceil(log2(v[0])) of
12630                          * the top non-zero nybble. */
12631                         for (i = vfnz[0], n = 0; i > 1; i >>= 1, n++) { }
12632                         assert(n < 4);
12633                         vlnz[1] = 0;
12634                         for (vshr = vlnz; vshr >= vfnz; vshr--) {
12635                           vshr[1] |= (vshr[0] & (0xF >> (4 - n))) << (4 - n);
12636                           vshr[0] >>= n;
12637                         }
12638                         if (vlnz[1]) {
12639                           vlnz++;
12640                         }
12641                       }
12642 #endif
12643                       v0 = vfnz;
12644                     } else {
12645                       v0 = vhex;
12646                     }
12647
12648                     if (has_precis) {
12649                         U8* ve = (subnormal ? vlnz + 1 : vend);
12650                         SSize_t vn = ve - (subnormal ? vfnz : vhex);
12651                         if ((SSize_t)(precis + 1) < vn) {
12652                             bool overflow = FALSE;
12653                             if (v0[precis + 1] < 0x8) {
12654                                 /* Round down, nothing to do. */
12655                             } else if (v0[precis + 1] > 0x8) {
12656                                 /* Round up. */
12657                                 v0[precis]++;
12658                                 overflow = v0[precis] > 0xF;
12659                                 v0[precis] &= 0xF;
12660                             } else { /* v0[precis] == 0x8 */
12661                                 /* Half-point: round towards the one
12662                                  * with the even least-significant digit:
12663                                  * 08 -> 0  88 -> 8
12664                                  * 18 -> 2  98 -> a
12665                                  * 28 -> 2  a8 -> a
12666                                  * 38 -> 4  b8 -> c
12667                                  * 48 -> 4  c8 -> c
12668                                  * 58 -> 6  d8 -> e
12669                                  * 68 -> 6  e8 -> e
12670                                  * 78 -> 8  f8 -> 10 */
12671                                 if ((v0[precis] & 0x1)) {
12672                                     v0[precis]++;
12673                                 }
12674                                 overflow = v0[precis] > 0xF;
12675                                 v0[precis] &= 0xF;
12676                             }
12677
12678                             if (overflow) {
12679                                 for (v = v0 + precis - 1; v >= v0; v--) {
12680                                     (*v)++;
12681                                     overflow = *v > 0xF;
12682                                     (*v) &= 0xF;
12683                                     if (!overflow) {
12684                                         break;
12685                                     }
12686                                 }
12687                                 if (v == v0 - 1 && overflow) {
12688                                     /* If the overflow goes all the
12689                                      * way to the front, we need to
12690                                      * insert 0x1 in front, and adjust
12691                                      * the exponent. */
12692                                     Move(v0, v0 + 1, vn, char);
12693                                     *v0 = 0x1;
12694                                     exponent += 4;
12695                                 }
12696                             }
12697
12698                             /* The new effective "last non zero". */
12699                             vlnz = v0 + precis;
12700                         }
12701                         else {
12702                             zerotail =
12703                               subnormal ? precis - vn + 1 :
12704                               precis - (vlnz - vhex);
12705                         }
12706                     }
12707
12708                     v = v0;
12709                     *p++ = xdig[*v++];
12710
12711                     /* If there are non-zero xdigits, the radix
12712                      * is output after the first one. */
12713                     if (vfnz < vlnz) {
12714                       hexradix = TRUE;
12715                     }
12716                 }
12717                 else {
12718                     *p++ = '0';
12719                     exponent = 0;
12720                     zerotail = precis;
12721                 }
12722
12723                 /* The radix is always output if precis, or if alt. */
12724                 if (precis > 0 || alt) {
12725                   hexradix = TRUE;
12726                 }
12727
12728                 if (hexradix) {
12729 #ifndef USE_LOCALE_NUMERIC
12730                         *p++ = '.';
12731 #else
12732                         STORE_LC_NUMERIC_SET_TO_NEEDED();
12733                         if (PL_numeric_radix_sv && IN_LC(LC_NUMERIC)) {
12734                             STRLEN n;
12735                             const char* r = SvPV(PL_numeric_radix_sv, n);
12736                             Copy(r, p, n, char);
12737                             p += n;
12738                         }
12739                         else {
12740                             *p++ = '.';
12741                         }
12742                         RESTORE_LC_NUMERIC();
12743 #endif
12744                 }
12745
12746                 if (vlnz) {
12747                     while (v <= vlnz)
12748                         *p++ = xdig[*v++];
12749                 }
12750
12751                 if (zerotail > 0) {
12752                   while (zerotail--) {
12753                     *p++ = '0';
12754                   }
12755                 }
12756
12757                 elen = p - PL_efloatbuf;
12758                 elen += my_snprintf(p, PL_efloatsize - elen,
12759                                     "%c%+d", lower ? 'p' : 'P',
12760                                     exponent);
12761
12762                 if (elen < width) {
12763                     if (left) {
12764                         /* Pad the back with spaces. */
12765                         memset(PL_efloatbuf + elen, ' ', width - elen);
12766                     }
12767                     else if (fill == '0') {
12768                         /* Insert the zeros after the "0x" and the
12769                          * the potential sign, but before the digits,
12770                          * otherwise we end up with "0000xH.HHH...",
12771                          * when we want "0x000H.HHH..."  */
12772                         STRLEN nzero = width - elen;
12773                         char* zerox = PL_efloatbuf + 2;
12774                         STRLEN nmove = elen - 2;
12775                         if (negative || plus) {
12776                             zerox++;
12777                             nmove--;
12778                         }
12779                         Move(zerox, zerox + nzero, nmove, char);
12780                         memset(zerox, fill, nzero);
12781                     }
12782                     else {
12783                         /* Move it to the right. */
12784                         Move(PL_efloatbuf, PL_efloatbuf + width - elen,
12785                              elen, char);
12786                         /* Pad the front with spaces. */
12787                         memset(PL_efloatbuf, ' ', width - elen);
12788                     }
12789                     elen = width;
12790                 }
12791             }
12792             else {
12793                 elen = S_infnan_2pv(nv, PL_efloatbuf, PL_efloatsize, plus);
12794                 if (elen) {
12795                     /* Not affecting infnan output: precision, alt, fill. */
12796                     if (elen < width) {
12797                         if (left) {
12798                             /* Pack the back with spaces. */
12799                             memset(PL_efloatbuf + elen, ' ', width - elen);
12800                         } else {
12801                             /* Move it to the right. */
12802                             Move(PL_efloatbuf, PL_efloatbuf + width - elen,
12803                                  elen, char);
12804                             /* Pad the front with spaces. */
12805                             memset(PL_efloatbuf, ' ', width - elen);
12806                         }
12807                         elen = width;
12808                     }
12809                 }
12810             }
12811
12812             if (elen == 0) {
12813                 char *ptr = ebuf + sizeof ebuf;
12814                 *--ptr = '\0';
12815                 *--ptr = c;
12816 #if defined(USE_QUADMATH)
12817                 if (intsize == 'q') {
12818                     /* "g" -> "Qg" */
12819                     *--ptr = 'Q';
12820                 }
12821                 /* FIXME: what to do if HAS_LONG_DOUBLE but not PERL_PRIfldbl? */
12822 #elif defined(HAS_LONG_DOUBLE) && defined(PERL_PRIfldbl)
12823                 /* Note that this is HAS_LONG_DOUBLE and PERL_PRIfldbl,
12824                  * not USE_LONG_DOUBLE and NVff.  In other words,
12825                  * this needs to work without USE_LONG_DOUBLE. */
12826                 if (intsize == 'q') {
12827                     /* Copy the one or more characters in a long double
12828                      * format before the 'base' ([efgEFG]) character to
12829                      * the format string. */
12830                     static char const ldblf[] = PERL_PRIfldbl;
12831                     char const *p = ldblf + sizeof(ldblf) - 3;
12832                     while (p >= ldblf) { *--ptr = *p--; }
12833                 }
12834 #endif
12835                 if (has_precis) {
12836                     base = precis;
12837                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
12838                     *--ptr = '.';
12839                 }
12840                 if (width) {
12841                     base = width;
12842                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
12843                 }
12844                 if (fill == '0')
12845                     *--ptr = fill;
12846                 if (left)
12847                     *--ptr = '-';
12848                 if (plus)
12849                     *--ptr = plus;
12850                 if (alt)
12851                     *--ptr = '#';
12852                 *--ptr = '%';
12853
12854                 /* No taint.  Otherwise we are in the strange situation
12855                  * where printf() taints but print($float) doesn't.
12856                  * --jhi */
12857
12858                 STORE_LC_NUMERIC_SET_TO_NEEDED();
12859
12860                 /* hopefully the above makes ptr a very constrained format
12861                  * that is safe to use, even though it's not literal */
12862                 GCC_DIAG_IGNORE(-Wformat-nonliteral);
12863 #ifdef USE_QUADMATH
12864                 {
12865                     const char* qfmt = quadmath_format_single(ptr);
12866                     if (!qfmt)
12867                         Perl_croak_nocontext("panic: quadmath invalid format \"%s\"", ptr);
12868                     elen = quadmath_snprintf(PL_efloatbuf, PL_efloatsize,
12869                                              qfmt, nv);
12870                     if ((IV)elen == -1)
12871                         Perl_croak_nocontext("panic: quadmath_snprintf failed, format \"%s\"", qfmt);
12872                     if (qfmt != ptr)
12873                         Safefree(qfmt);
12874                 }
12875 #elif defined(HAS_LONG_DOUBLE)
12876                 elen = ((intsize == 'q')
12877                         ? my_snprintf(PL_efloatbuf, PL_efloatsize, ptr, fv)
12878                         : my_snprintf(PL_efloatbuf, PL_efloatsize, ptr, (double)fv));
12879 #else
12880                 elen = my_sprintf(PL_efloatbuf, ptr, fv);
12881 #endif
12882                 GCC_DIAG_RESTORE;
12883             }
12884
12885         float_converted:
12886             eptr = PL_efloatbuf;
12887             assert((IV)elen > 0); /* here zero elen is bad */
12888
12889 #ifdef USE_LOCALE_NUMERIC
12890             /* If the decimal point character in the string is UTF-8, make the
12891              * output utf8 */
12892             if (PL_numeric_radix_sv && SvUTF8(PL_numeric_radix_sv)
12893                 && instr(eptr, SvPVX_const(PL_numeric_radix_sv)))
12894             {
12895                 is_utf8 = TRUE;
12896             }
12897 #endif
12898
12899             break;
12900
12901             /* SPECIAL */
12902
12903         case 'n':
12904             if (vectorize)
12905                 goto unknown;
12906             i = SvCUR(sv) - origlen;
12907             if (args) {
12908                 switch (intsize) {
12909                 case 'c':       *(va_arg(*args, char*)) = i; break;
12910                 case 'h':       *(va_arg(*args, short*)) = i; break;
12911                 default:        *(va_arg(*args, int*)) = i; break;
12912                 case 'l':       *(va_arg(*args, long*)) = i; break;
12913                 case 'V':       *(va_arg(*args, IV*)) = i; break;
12914                 case 'z':       *(va_arg(*args, SSize_t*)) = i; break;
12915 #ifdef HAS_PTRDIFF_T
12916                 case 't':       *(va_arg(*args, ptrdiff_t*)) = i; break;
12917 #endif
12918 #ifdef I_STDINT
12919                 case 'j':       *(va_arg(*args, intmax_t*)) = i; break;
12920 #endif
12921                 case 'q':
12922 #if IVSIZE >= 8
12923                                 *(va_arg(*args, Quad_t*)) = i; break;
12924 #else
12925                                 goto unknown;
12926 #endif
12927                 }
12928             }
12929             else
12930                 sv_setuv_mg(argsv, has_utf8 ? (UV)sv_len_utf8(sv) : (UV)i);
12931             goto donevalidconversion;
12932
12933             /* UNKNOWN */
12934
12935         default:
12936       unknown:
12937             if (!args
12938                 && (PL_op->op_type == OP_PRTF || PL_op->op_type == OP_SPRINTF)
12939                 && ckWARN(WARN_PRINTF))
12940             {
12941                 SV * const msg = sv_newmortal();
12942                 Perl_sv_setpvf(aTHX_ msg, "Invalid conversion in %sprintf: ",
12943                           (PL_op->op_type == OP_PRTF) ? "" : "s");
12944                 if (fmtstart < patend) {
12945                     const char * const fmtend = q < patend ? q : patend;
12946                     const char * f;
12947                     sv_catpvs(msg, "\"%");
12948                     for (f = fmtstart; f < fmtend; f++) {
12949                         if (isPRINT(*f)) {
12950                             sv_catpvn_nomg(msg, f, 1);
12951                         } else {
12952                             Perl_sv_catpvf(aTHX_ msg,
12953                                            "\\%03" UVof, (UV)*f & 0xFF);
12954                         }
12955                     }
12956                     sv_catpvs(msg, "\"");
12957                 } else {
12958                     sv_catpvs(msg, "end of string");
12959                 }
12960                 Perl_warner(aTHX_ packWARN(WARN_PRINTF), "%" SVf, SVfARG(msg)); /* yes, this is reentrant */
12961             }
12962
12963             /* output mangled stuff ... */
12964             if (c == '\0')
12965                 --q;
12966             eptr = p;
12967             elen = q - p;
12968
12969             /* ... right here, because formatting flags should not apply */
12970             SvGROW(sv, SvCUR(sv) + elen + 1);
12971             p = SvEND(sv);
12972             Copy(eptr, p, elen, char);
12973             p += elen;
12974             *p = '\0';
12975             SvCUR_set(sv, p - SvPVX_const(sv));
12976             svix = osvix;
12977             continue;   /* not "break" */
12978         }
12979
12980         if (is_utf8 != has_utf8) {
12981             if (is_utf8) {
12982                 if (SvCUR(sv))
12983                     sv_utf8_upgrade(sv);
12984             }
12985             else {
12986                 const STRLEN old_elen = elen;
12987                 SV * const nsv = newSVpvn_flags(eptr, elen, SVs_TEMP);
12988                 sv_utf8_upgrade(nsv);
12989                 eptr = SvPVX_const(nsv);
12990                 elen = SvCUR(nsv);
12991
12992                 if (width) { /* fudge width (can't fudge elen) */
12993                     width += elen - old_elen;
12994                 }
12995                 is_utf8 = TRUE;
12996             }
12997         }
12998
12999         /* signed value that's wrapped? */
13000         assert(elen  <= ((~(STRLEN)0) >> 1));
13001         have = esignlen + zeros + elen;
13002         if (have < zeros)
13003             croak_memory_wrap();
13004
13005         need = (have > width ? have : width);
13006         gap = need - have;
13007
13008         if (need >= (((STRLEN)~0) - SvCUR(sv) - dotstrlen - 1))
13009             croak_memory_wrap();
13010         SvGROW(sv, SvCUR(sv) + need + dotstrlen + 1);
13011         p = SvEND(sv);
13012         if (esignlen && fill == '0') {
13013             int i;
13014             for (i = 0; i < (int)esignlen; i++)
13015                 *p++ = esignbuf[i];
13016         }
13017         if (gap && !left) {
13018             memset(p, fill, gap);
13019             p += gap;
13020         }
13021         if (esignlen && fill != '0') {
13022             int i;
13023             for (i = 0; i < (int)esignlen; i++)
13024                 *p++ = esignbuf[i];
13025         }
13026         if (zeros) {
13027             int i;
13028             for (i = zeros; i; i--)
13029                 *p++ = '0';
13030         }
13031         if (elen) {
13032             Copy(eptr, p, elen, char);
13033             p += elen;
13034         }
13035         if (gap && left) {
13036             memset(p, ' ', gap);
13037             p += gap;
13038         }
13039         if (vectorize) {
13040             if (veclen) {
13041                 Copy(dotstr, p, dotstrlen, char);
13042                 p += dotstrlen;
13043             }
13044             else
13045                 vectorize = FALSE;              /* done iterating over vecstr */
13046         }
13047         if (is_utf8)
13048             has_utf8 = TRUE;
13049         if (has_utf8)
13050             SvUTF8_on(sv);
13051         *p = '\0';
13052         SvCUR_set(sv, p - SvPVX_const(sv));
13053         if (vectorize) {
13054             esignlen = 0;
13055             goto vector;
13056         }
13057
13058       donevalidconversion:
13059         if (used_explicit_ix)
13060             no_redundant_warning = TRUE;
13061         if (arg_missing)
13062             S_warn_vcatpvfn_missing_argument(aTHX);
13063     }
13064
13065     /* Now that we've consumed all our printf format arguments (svix)
13066      * do we have things left on the stack that we didn't use?
13067      */
13068     if (!no_redundant_warning && svmax >= svix + 1 && ckWARN(WARN_REDUNDANT)) {
13069         Perl_warner(aTHX_ packWARN(WARN_REDUNDANT), "Redundant argument in %s",
13070                 PL_op ? OP_DESC(PL_op) : "sv_vcatpvfn()");
13071     }
13072
13073     SvTAINT(sv);
13074
13075     RESTORE_LC_NUMERIC();   /* Done outside loop, so don't have to save/restore
13076                                each iteration. */
13077 }
13078
13079 /* =========================================================================
13080
13081 =head1 Cloning an interpreter
13082
13083 =cut
13084
13085 All the macros and functions in this section are for the private use of
13086 the main function, perl_clone().
13087
13088 The foo_dup() functions make an exact copy of an existing foo thingy.
13089 During the course of a cloning, a hash table is used to map old addresses
13090 to new addresses.  The table is created and manipulated with the
13091 ptr_table_* functions.
13092
13093  * =========================================================================*/
13094
13095
13096 #if defined(USE_ITHREADS)
13097
13098 /* XXX Remove this so it doesn't have to go thru the macro and return for nothing */
13099 #ifndef GpREFCNT_inc
13100 #  define GpREFCNT_inc(gp)      ((gp) ? (++(gp)->gp_refcnt, (gp)) : (GP*)NULL)
13101 #endif
13102
13103
13104 /* Certain cases in Perl_ss_dup have been merged, by relying on the fact
13105    that currently av_dup, gv_dup and hv_dup are the same as sv_dup.
13106    If this changes, please unmerge ss_dup.
13107    Likewise, sv_dup_inc_multiple() relies on this fact.  */
13108 #define sv_dup_inc_NN(s,t)      SvREFCNT_inc_NN(sv_dup_inc(s,t))
13109 #define av_dup(s,t)     MUTABLE_AV(sv_dup((const SV *)s,t))
13110 #define av_dup_inc(s,t) MUTABLE_AV(sv_dup_inc((const SV *)s,t))
13111 #define hv_dup(s,t)     MUTABLE_HV(sv_dup((const SV *)s,t))
13112 #define hv_dup_inc(s,t) MUTABLE_HV(sv_dup_inc((const SV *)s,t))
13113 #define cv_dup(s,t)     MUTABLE_CV(sv_dup((const SV *)s,t))
13114 #define cv_dup_inc(s,t) MUTABLE_CV(sv_dup_inc((const SV *)s,t))
13115 #define io_dup(s,t)     MUTABLE_IO(sv_dup((const SV *)s,t))
13116 #define io_dup_inc(s,t) MUTABLE_IO(sv_dup_inc((const SV *)s,t))
13117 #define gv_dup(s,t)     MUTABLE_GV(sv_dup((const SV *)s,t))
13118 #define gv_dup_inc(s,t) MUTABLE_GV(sv_dup_inc((const SV *)s,t))
13119 #define SAVEPV(p)       ((p) ? savepv(p) : NULL)
13120 #define SAVEPVN(p,n)    ((p) ? savepvn(p,n) : NULL)
13121
13122 /* clone a parser */
13123
13124 yy_parser *
13125 Perl_parser_dup(pTHX_ const yy_parser *const proto, CLONE_PARAMS *const param)
13126 {
13127     yy_parser *parser;
13128
13129     PERL_ARGS_ASSERT_PARSER_DUP;
13130
13131     if (!proto)
13132         return NULL;
13133
13134     /* look for it in the table first */
13135     parser = (yy_parser *)ptr_table_fetch(PL_ptr_table, proto);
13136     if (parser)
13137         return parser;
13138
13139     /* create anew and remember what it is */
13140     Newxz(parser, 1, yy_parser);
13141     ptr_table_store(PL_ptr_table, proto, parser);
13142
13143     /* XXX these not yet duped */
13144     parser->old_parser = NULL;
13145     parser->stack = NULL;
13146     parser->ps = NULL;
13147     parser->stack_max1 = 0;
13148     /* XXX parser->stack->state = 0; */
13149
13150     /* XXX eventually, just Copy() most of the parser struct ? */
13151
13152     parser->lex_brackets = proto->lex_brackets;
13153     parser->lex_casemods = proto->lex_casemods;
13154     parser->lex_brackstack = savepvn(proto->lex_brackstack,
13155                     (proto->lex_brackets < 120 ? 120 : proto->lex_brackets));
13156     parser->lex_casestack = savepvn(proto->lex_casestack,
13157                     (proto->lex_casemods < 12 ? 12 : proto->lex_casemods));
13158     parser->lex_defer   = proto->lex_defer;
13159     parser->lex_dojoin  = proto->lex_dojoin;
13160     parser->lex_formbrack = proto->lex_formbrack;
13161     parser->lex_inpat   = proto->lex_inpat;
13162     parser->lex_inwhat  = proto->lex_inwhat;
13163     parser->lex_op      = proto->lex_op;
13164     parser->lex_repl    = sv_dup_inc(proto->lex_repl, param);
13165     parser->lex_starts  = proto->lex_starts;
13166     parser->lex_stuff   = sv_dup_inc(proto->lex_stuff, param);
13167     parser->multi_close = proto->multi_close;
13168     parser->multi_open  = proto->multi_open;
13169     parser->multi_start = proto->multi_start;
13170     parser->multi_end   = proto->multi_end;
13171     parser->preambled   = proto->preambled;
13172     parser->lex_super_state = proto->lex_super_state;
13173     parser->lex_sub_inwhat  = proto->lex_sub_inwhat;
13174     parser->lex_sub_op  = proto->lex_sub_op;
13175     parser->lex_sub_repl= sv_dup_inc(proto->lex_sub_repl, param);
13176     parser->linestr     = sv_dup_inc(proto->linestr, param);
13177     parser->expect      = proto->expect;
13178     parser->copline     = proto->copline;
13179     parser->last_lop_op = proto->last_lop_op;
13180     parser->lex_state   = proto->lex_state;
13181     parser->rsfp        = fp_dup(proto->rsfp, '<', param);
13182     /* rsfp_filters entries have fake IoDIRP() */
13183     parser->rsfp_filters= av_dup_inc(proto->rsfp_filters, param);
13184     parser->in_my       = proto->in_my;
13185     parser->in_my_stash = hv_dup(proto->in_my_stash, param);
13186     parser->error_count = proto->error_count;
13187     parser->sig_elems   = proto->sig_elems;
13188     parser->sig_optelems= proto->sig_optelems;
13189     parser->sig_slurpy  = proto->sig_slurpy;
13190     parser->linestr     = sv_dup_inc(proto->linestr, param);
13191
13192     {
13193         char * const ols = SvPVX(proto->linestr);
13194         char * const ls  = SvPVX(parser->linestr);
13195
13196         parser->bufptr      = ls + (proto->bufptr >= ols ?
13197                                     proto->bufptr -  ols : 0);
13198         parser->oldbufptr   = ls + (proto->oldbufptr >= ols ?
13199                                     proto->oldbufptr -  ols : 0);
13200         parser->oldoldbufptr= ls + (proto->oldoldbufptr >= ols ?
13201                                     proto->oldoldbufptr -  ols : 0);
13202         parser->linestart   = ls + (proto->linestart >= ols ?
13203                                     proto->linestart -  ols : 0);
13204         parser->last_uni    = ls + (proto->last_uni >= ols ?
13205                                     proto->last_uni -  ols : 0);
13206         parser->last_lop    = ls + (proto->last_lop >= ols ?
13207                                     proto->last_lop -  ols : 0);
13208
13209         parser->bufend      = ls + SvCUR(parser->linestr);
13210     }
13211
13212     Copy(proto->tokenbuf, parser->tokenbuf, 256, char);
13213
13214
13215     Copy(proto->nextval, parser->nextval, 5, YYSTYPE);
13216     Copy(proto->nexttype, parser->nexttype, 5,  I32);
13217     parser->nexttoke    = proto->nexttoke;
13218
13219     /* XXX should clone saved_curcop here, but we aren't passed
13220      * proto_perl; so do it in perl_clone_using instead */
13221
13222     return parser;
13223 }
13224
13225
13226 /* duplicate a file handle */
13227
13228 PerlIO *
13229 Perl_fp_dup(pTHX_ PerlIO *const fp, const char type, CLONE_PARAMS *const param)
13230 {
13231     PerlIO *ret;
13232
13233     PERL_ARGS_ASSERT_FP_DUP;
13234     PERL_UNUSED_ARG(type);
13235
13236     if (!fp)
13237         return (PerlIO*)NULL;
13238
13239     /* look for it in the table first */
13240     ret = (PerlIO*)ptr_table_fetch(PL_ptr_table, fp);
13241     if (ret)
13242         return ret;
13243
13244     /* create anew and remember what it is */
13245 #ifdef __amigaos4__
13246     ret = PerlIO_fdupopen(aTHX_ fp, param, PERLIO_DUP_CLONE|PERLIO_DUP_FD);
13247 #else
13248     ret = PerlIO_fdupopen(aTHX_ fp, param, PERLIO_DUP_CLONE);
13249 #endif
13250     ptr_table_store(PL_ptr_table, fp, ret);
13251     return ret;
13252 }
13253
13254 /* duplicate a directory handle */
13255
13256 DIR *
13257 Perl_dirp_dup(pTHX_ DIR *const dp, CLONE_PARAMS *const param)
13258 {
13259     DIR *ret;
13260
13261 #if defined(HAS_FCHDIR) && defined(HAS_TELLDIR) && defined(HAS_SEEKDIR)
13262     DIR *pwd;
13263     const Direntry_t *dirent;
13264     char smallbuf[256]; /* XXX MAXPATHLEN, surely? */
13265     char *name = NULL;
13266     STRLEN len = 0;
13267     long pos;
13268 #endif
13269
13270     PERL_UNUSED_CONTEXT;
13271     PERL_ARGS_ASSERT_DIRP_DUP;
13272
13273     if (!dp)
13274         return (DIR*)NULL;
13275
13276     /* look for it in the table first */
13277     ret = (DIR*)ptr_table_fetch(PL_ptr_table, dp);
13278     if (ret)
13279         return ret;
13280
13281 #if defined(HAS_FCHDIR) && defined(HAS_TELLDIR) && defined(HAS_SEEKDIR)
13282
13283     PERL_UNUSED_ARG(param);
13284
13285     /* create anew */
13286
13287     /* open the current directory (so we can switch back) */
13288     if (!(pwd = PerlDir_open("."))) return (DIR *)NULL;
13289
13290     /* chdir to our dir handle and open the present working directory */
13291     if (fchdir(my_dirfd(dp)) < 0 || !(ret = PerlDir_open("."))) {
13292         PerlDir_close(pwd);
13293         return (DIR *)NULL;
13294     }
13295     /* Now we should have two dir handles pointing to the same dir. */
13296
13297     /* Be nice to the calling code and chdir back to where we were. */
13298     /* XXX If this fails, then what? */
13299     PERL_UNUSED_RESULT(fchdir(my_dirfd(pwd)));
13300
13301     /* We have no need of the pwd handle any more. */
13302     PerlDir_close(pwd);
13303
13304 #ifdef DIRNAMLEN
13305 # define d_namlen(d) (d)->d_namlen
13306 #else
13307 # define d_namlen(d) strlen((d)->d_name)
13308 #endif
13309     /* Iterate once through dp, to get the file name at the current posi-
13310        tion. Then step back. */
13311     pos = PerlDir_tell(dp);
13312     if ((dirent = PerlDir_read(dp))) {
13313         len = d_namlen(dirent);
13314         if (len > sizeof(dirent->d_name) && sizeof(dirent->d_name) > PTRSIZE) {
13315             /* If the len is somehow magically longer than the
13316              * maximum length of the directory entry, even though
13317              * we could fit it in a buffer, we could not copy it
13318              * from the dirent.  Bail out. */
13319             PerlDir_close(ret);
13320             return (DIR*)NULL;
13321         }
13322         if (len <= sizeof smallbuf) name = smallbuf;
13323         else Newx(name, len, char);
13324         Move(dirent->d_name, name, len, char);
13325     }
13326     PerlDir_seek(dp, pos);
13327
13328     /* Iterate through the new dir handle, till we find a file with the
13329        right name. */
13330     if (!dirent) /* just before the end */
13331         for(;;) {
13332             pos = PerlDir_tell(ret);
13333             if (PerlDir_read(ret)) continue; /* not there yet */
13334             PerlDir_seek(ret, pos); /* step back */
13335             break;
13336         }
13337     else {
13338         const long pos0 = PerlDir_tell(ret);
13339         for(;;) {
13340             pos = PerlDir_tell(ret);
13341             if ((dirent = PerlDir_read(ret))) {
13342                 if (len == (STRLEN)d_namlen(dirent)
13343                     && memEQ(name, dirent->d_name, len)) {
13344                     /* found it */
13345                     PerlDir_seek(ret, pos); /* step back */
13346                     break;
13347                 }
13348                 /* else we are not there yet; keep iterating */
13349             }
13350             else { /* This is not meant to happen. The best we can do is
13351                       reset the iterator to the beginning. */
13352                 PerlDir_seek(ret, pos0);
13353                 break;
13354             }
13355         }
13356     }
13357 #undef d_namlen
13358
13359     if (name && name != smallbuf)
13360         Safefree(name);
13361 #endif
13362
13363 #ifdef WIN32
13364     ret = win32_dirp_dup(dp, param);
13365 #endif
13366
13367     /* pop it in the pointer table */
13368     if (ret)
13369         ptr_table_store(PL_ptr_table, dp, ret);
13370
13371     return ret;
13372 }
13373
13374 /* duplicate a typeglob */
13375
13376 GP *
13377 Perl_gp_dup(pTHX_ GP *const gp, CLONE_PARAMS *const param)
13378 {
13379     GP *ret;
13380
13381     PERL_ARGS_ASSERT_GP_DUP;
13382
13383     if (!gp)
13384         return (GP*)NULL;
13385     /* look for it in the table first */
13386     ret = (GP*)ptr_table_fetch(PL_ptr_table, gp);
13387     if (ret)
13388         return ret;
13389
13390     /* create anew and remember what it is */
13391     Newxz(ret, 1, GP);
13392     ptr_table_store(PL_ptr_table, gp, ret);
13393
13394     /* clone */
13395     /* ret->gp_refcnt must be 0 before any other dups are called. We're relying
13396        on Newxz() to do this for us.  */
13397     ret->gp_sv          = sv_dup_inc(gp->gp_sv, param);
13398     ret->gp_io          = io_dup_inc(gp->gp_io, param);
13399     ret->gp_form        = cv_dup_inc(gp->gp_form, param);
13400     ret->gp_av          = av_dup_inc(gp->gp_av, param);
13401     ret->gp_hv          = hv_dup_inc(gp->gp_hv, param);
13402     ret->gp_egv = gv_dup(gp->gp_egv, param);/* GvEGV is not refcounted */
13403     ret->gp_cv          = cv_dup_inc(gp->gp_cv, param);
13404     ret->gp_cvgen       = gp->gp_cvgen;
13405     ret->gp_line        = gp->gp_line;
13406     ret->gp_file_hek    = hek_dup(gp->gp_file_hek, param);
13407     return ret;
13408 }
13409
13410 /* duplicate a chain of magic */
13411
13412 MAGIC *
13413 Perl_mg_dup(pTHX_ MAGIC *mg, CLONE_PARAMS *const param)
13414 {
13415     MAGIC *mgret = NULL;
13416     MAGIC **mgprev_p = &mgret;
13417
13418     PERL_ARGS_ASSERT_MG_DUP;
13419
13420     for (; mg; mg = mg->mg_moremagic) {
13421         MAGIC *nmg;
13422
13423         if ((param->flags & CLONEf_JOIN_IN)
13424                 && mg->mg_type == PERL_MAGIC_backref)
13425             /* when joining, we let the individual SVs add themselves to
13426              * backref as needed. */
13427             continue;
13428
13429         Newx(nmg, 1, MAGIC);
13430         *mgprev_p = nmg;
13431         mgprev_p = &(nmg->mg_moremagic);
13432
13433         /* There was a comment "XXX copy dynamic vtable?" but as we don't have
13434            dynamic vtables, I'm not sure why Sarathy wrote it. The comment dates
13435            from the original commit adding Perl_mg_dup() - revision 4538.
13436            Similarly there is the annotation "XXX random ptr?" next to the
13437            assignment to nmg->mg_ptr.  */
13438         *nmg = *mg;
13439
13440         /* FIXME for plugins
13441         if (nmg->mg_type == PERL_MAGIC_qr) {
13442             nmg->mg_obj = MUTABLE_SV(CALLREGDUPE((REGEXP*)nmg->mg_obj, param));
13443         }
13444         else
13445         */
13446         nmg->mg_obj = (nmg->mg_flags & MGf_REFCOUNTED)
13447                           ? nmg->mg_type == PERL_MAGIC_backref
13448                                 /* The backref AV has its reference
13449                                  * count deliberately bumped by 1 */
13450                                 ? SvREFCNT_inc(av_dup_inc((const AV *)
13451                                                     nmg->mg_obj, param))
13452                                 : sv_dup_inc(nmg->mg_obj, param)
13453                           : (nmg->mg_type == PERL_MAGIC_regdatum ||
13454                              nmg->mg_type == PERL_MAGIC_regdata)
13455                                   ? nmg->mg_obj
13456                                   : sv_dup(nmg->mg_obj, param);
13457
13458         if (nmg->mg_ptr && nmg->mg_type != PERL_MAGIC_regex_global) {
13459             if (nmg->mg_len > 0) {
13460                 nmg->mg_ptr     = SAVEPVN(nmg->mg_ptr, nmg->mg_len);
13461                 if (nmg->mg_type == PERL_MAGIC_overload_table &&
13462                         AMT_AMAGIC((AMT*)nmg->mg_ptr))
13463                 {
13464                     AMT * const namtp = (AMT*)nmg->mg_ptr;
13465                     sv_dup_inc_multiple((SV**)(namtp->table),
13466                                         (SV**)(namtp->table), NofAMmeth, param);
13467                 }
13468             }
13469             else if (nmg->mg_len == HEf_SVKEY)
13470                 nmg->mg_ptr = (char*)sv_dup_inc((const SV *)nmg->mg_ptr, param);
13471         }
13472         if ((nmg->mg_flags & MGf_DUP) && nmg->mg_virtual && nmg->mg_virtual->svt_dup) {
13473             nmg->mg_virtual->svt_dup(aTHX_ nmg, param);
13474         }
13475     }
13476     return mgret;
13477 }
13478
13479 #endif /* USE_ITHREADS */
13480
13481 struct ptr_tbl_arena {
13482     struct ptr_tbl_arena *next;
13483     struct ptr_tbl_ent array[1023/3]; /* as ptr_tbl_ent has 3 pointers.  */
13484 };
13485
13486 /* create a new pointer-mapping table */
13487
13488 PTR_TBL_t *
13489 Perl_ptr_table_new(pTHX)
13490 {
13491     PTR_TBL_t *tbl;
13492     PERL_UNUSED_CONTEXT;
13493
13494     Newx(tbl, 1, PTR_TBL_t);
13495     tbl->tbl_max        = 511;
13496     tbl->tbl_items      = 0;
13497     tbl->tbl_arena      = NULL;
13498     tbl->tbl_arena_next = NULL;
13499     tbl->tbl_arena_end  = NULL;
13500     Newxz(tbl->tbl_ary, tbl->tbl_max + 1, PTR_TBL_ENT_t*);
13501     return tbl;
13502 }
13503
13504 #define PTR_TABLE_HASH(ptr) \
13505   ((PTR2UV(ptr) >> 3) ^ (PTR2UV(ptr) >> (3 + 7)) ^ (PTR2UV(ptr) >> (3 + 17)))
13506
13507 /* map an existing pointer using a table */
13508
13509 STATIC PTR_TBL_ENT_t *
13510 S_ptr_table_find(PTR_TBL_t *const tbl, const void *const sv)
13511 {
13512     PTR_TBL_ENT_t *tblent;
13513     const UV hash = PTR_TABLE_HASH(sv);
13514
13515     PERL_ARGS_ASSERT_PTR_TABLE_FIND;
13516
13517     tblent = tbl->tbl_ary[hash & tbl->tbl_max];
13518     for (; tblent; tblent = tblent->next) {
13519         if (tblent->oldval == sv)
13520             return tblent;
13521     }
13522     return NULL;
13523 }
13524
13525 void *
13526 Perl_ptr_table_fetch(pTHX_ PTR_TBL_t *const tbl, const void *const sv)
13527 {
13528     PTR_TBL_ENT_t const *const tblent = ptr_table_find(tbl, sv);
13529
13530     PERL_ARGS_ASSERT_PTR_TABLE_FETCH;
13531     PERL_UNUSED_CONTEXT;
13532
13533     return tblent ? tblent->newval : NULL;
13534 }
13535
13536 /* add a new entry to a pointer-mapping table 'tbl'.  In hash terms, 'oldsv' is
13537  * the key; 'newsv' is the value.  The names "old" and "new" are specific to
13538  * the core's typical use of ptr_tables in thread cloning. */
13539
13540 void
13541 Perl_ptr_table_store(pTHX_ PTR_TBL_t *const tbl, const void *const oldsv, void *const newsv)
13542 {
13543     PTR_TBL_ENT_t *tblent = ptr_table_find(tbl, oldsv);
13544
13545     PERL_ARGS_ASSERT_PTR_TABLE_STORE;
13546     PERL_UNUSED_CONTEXT;
13547
13548     if (tblent) {
13549         tblent->newval = newsv;
13550     } else {
13551         const UV entry = PTR_TABLE_HASH(oldsv) & tbl->tbl_max;
13552
13553         if (tbl->tbl_arena_next == tbl->tbl_arena_end) {
13554             struct ptr_tbl_arena *new_arena;
13555
13556             Newx(new_arena, 1, struct ptr_tbl_arena);
13557             new_arena->next = tbl->tbl_arena;
13558             tbl->tbl_arena = new_arena;
13559             tbl->tbl_arena_next = new_arena->array;
13560             tbl->tbl_arena_end = C_ARRAY_END(new_arena->array);
13561         }
13562
13563         tblent = tbl->tbl_arena_next++;
13564
13565         tblent->oldval = oldsv;
13566         tblent->newval = newsv;
13567         tblent->next = tbl->tbl_ary[entry];
13568         tbl->tbl_ary[entry] = tblent;
13569         tbl->tbl_items++;
13570         if (tblent->next && tbl->tbl_items > tbl->tbl_max)
13571             ptr_table_split(tbl);
13572     }
13573 }
13574
13575 /* double the hash bucket size of an existing ptr table */
13576
13577 void
13578 Perl_ptr_table_split(pTHX_ PTR_TBL_t *const tbl)
13579 {
13580     PTR_TBL_ENT_t **ary = tbl->tbl_ary;
13581     const UV oldsize = tbl->tbl_max + 1;
13582     UV newsize = oldsize * 2;
13583     UV i;
13584
13585     PERL_ARGS_ASSERT_PTR_TABLE_SPLIT;
13586     PERL_UNUSED_CONTEXT;
13587
13588     Renew(ary, newsize, PTR_TBL_ENT_t*);
13589     Zero(&ary[oldsize], newsize-oldsize, PTR_TBL_ENT_t*);
13590     tbl->tbl_max = --newsize;
13591     tbl->tbl_ary = ary;
13592     for (i=0; i < oldsize; i++, ary++) {
13593         PTR_TBL_ENT_t **entp = ary;
13594         PTR_TBL_ENT_t *ent = *ary;
13595         PTR_TBL_ENT_t **curentp;
13596         if (!ent)
13597             continue;
13598         curentp = ary + oldsize;
13599         do {
13600             if ((newsize & PTR_TABLE_HASH(ent->oldval)) != i) {
13601                 *entp = ent->next;
13602                 ent->next = *curentp;
13603                 *curentp = ent;
13604             }
13605             else
13606                 entp = &ent->next;
13607             ent = *entp;
13608         } while (ent);
13609     }
13610 }
13611
13612 /* remove all the entries from a ptr table */
13613 /* Deprecated - will be removed post 5.14 */
13614
13615 void
13616 Perl_ptr_table_clear(pTHX_ PTR_TBL_t *const tbl)
13617 {
13618     PERL_UNUSED_CONTEXT;
13619     if (tbl && tbl->tbl_items) {
13620         struct ptr_tbl_arena *arena = tbl->tbl_arena;
13621
13622         Zero(tbl->tbl_ary, tbl->tbl_max + 1, struct ptr_tbl_ent *);
13623
13624         while (arena) {
13625             struct ptr_tbl_arena *next = arena->next;
13626
13627             Safefree(arena);
13628             arena = next;
13629         };
13630
13631         tbl->tbl_items = 0;
13632         tbl->tbl_arena = NULL;
13633         tbl->tbl_arena_next = NULL;
13634         tbl->tbl_arena_end = NULL;
13635     }
13636 }
13637
13638 /* clear and free a ptr table */
13639
13640 void
13641 Perl_ptr_table_free(pTHX_ PTR_TBL_t *const tbl)
13642 {
13643     struct ptr_tbl_arena *arena;
13644
13645     PERL_UNUSED_CONTEXT;
13646
13647     if (!tbl) {
13648         return;
13649     }
13650
13651     arena = tbl->tbl_arena;
13652
13653     while (arena) {
13654         struct ptr_tbl_arena *next = arena->next;
13655
13656         Safefree(arena);
13657         arena = next;
13658     }
13659
13660     Safefree(tbl->tbl_ary);
13661     Safefree(tbl);
13662 }
13663
13664 #if defined(USE_ITHREADS)
13665
13666 void
13667 Perl_rvpv_dup(pTHX_ SV *const dstr, const SV *const sstr, CLONE_PARAMS *const param)
13668 {
13669     PERL_ARGS_ASSERT_RVPV_DUP;
13670
13671     assert(!isREGEXP(sstr));
13672     if (SvROK(sstr)) {
13673         if (SvWEAKREF(sstr)) {
13674             SvRV_set(dstr, sv_dup(SvRV_const(sstr), param));
13675             if (param->flags & CLONEf_JOIN_IN) {
13676                 /* if joining, we add any back references individually rather
13677                  * than copying the whole backref array */
13678                 Perl_sv_add_backref(aTHX_ SvRV(dstr), dstr);
13679             }
13680         }
13681         else
13682             SvRV_set(dstr, sv_dup_inc(SvRV_const(sstr), param));
13683     }
13684     else if (SvPVX_const(sstr)) {
13685         /* Has something there */
13686         if (SvLEN(sstr)) {
13687             /* Normal PV - clone whole allocated space */
13688             SvPV_set(dstr, SAVEPVN(SvPVX_const(sstr), SvLEN(sstr)-1));
13689             /* sstr may not be that normal, but actually copy on write.
13690                But we are a true, independent SV, so:  */
13691             SvIsCOW_off(dstr);
13692         }
13693         else {
13694             /* Special case - not normally malloced for some reason */
13695             if (isGV_with_GP(sstr)) {
13696                 /* Don't need to do anything here.  */
13697             }
13698             else if ((SvIsCOW(sstr))) {
13699                 /* A "shared" PV - clone it as "shared" PV */
13700                 SvPV_set(dstr,
13701                          HEK_KEY(hek_dup(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)),
13702                                          param)));
13703             }
13704             else {
13705                 /* Some other special case - random pointer */
13706                 SvPV_set(dstr, (char *) SvPVX_const(sstr));             
13707             }
13708         }
13709     }
13710     else {
13711         /* Copy the NULL */
13712         SvPV_set(dstr, NULL);
13713     }
13714 }
13715
13716 /* duplicate a list of SVs. source and dest may point to the same memory.  */
13717 static SV **
13718 S_sv_dup_inc_multiple(pTHX_ SV *const *source, SV **dest,
13719                       SSize_t items, CLONE_PARAMS *const param)
13720 {
13721     PERL_ARGS_ASSERT_SV_DUP_INC_MULTIPLE;
13722
13723     while (items-- > 0) {
13724         *dest++ = sv_dup_inc(*source++, param);
13725     }
13726
13727     return dest;
13728 }
13729
13730 /* duplicate an SV of any type (including AV, HV etc) */
13731
13732 static SV *
13733 S_sv_dup_common(pTHX_ const SV *const sstr, CLONE_PARAMS *const param)
13734 {
13735     dVAR;
13736     SV *dstr;
13737
13738     PERL_ARGS_ASSERT_SV_DUP_COMMON;
13739
13740     if (SvTYPE(sstr) == (svtype)SVTYPEMASK) {
13741 #ifdef DEBUG_LEAKING_SCALARS_ABORT
13742         abort();
13743 #endif
13744         return NULL;
13745     }
13746     /* look for it in the table first */
13747     dstr = MUTABLE_SV(ptr_table_fetch(PL_ptr_table, sstr));
13748     if (dstr)
13749         return dstr;
13750
13751     if(param->flags & CLONEf_JOIN_IN) {
13752         /** We are joining here so we don't want do clone
13753             something that is bad **/
13754         if (SvTYPE(sstr) == SVt_PVHV) {
13755             const HEK * const hvname = HvNAME_HEK(sstr);
13756             if (hvname) {
13757                 /** don't clone stashes if they already exist **/
13758                 dstr = MUTABLE_SV(gv_stashpvn(HEK_KEY(hvname), HEK_LEN(hvname),
13759                                                 HEK_UTF8(hvname) ? SVf_UTF8 : 0));
13760                 ptr_table_store(PL_ptr_table, sstr, dstr);
13761                 return dstr;
13762             }
13763         }
13764         else if (SvTYPE(sstr) == SVt_PVGV && !SvFAKE(sstr)) {
13765             HV *stash = GvSTASH(sstr);
13766             const HEK * hvname;
13767             if (stash && (hvname = HvNAME_HEK(stash))) {
13768                 /** don't clone GVs if they already exist **/
13769                 SV **svp;
13770                 stash = gv_stashpvn(HEK_KEY(hvname), HEK_LEN(hvname),
13771                                     HEK_UTF8(hvname) ? SVf_UTF8 : 0);
13772                 svp = hv_fetch(
13773                         stash, GvNAME(sstr),
13774                         GvNAMEUTF8(sstr)
13775                             ? -GvNAMELEN(sstr)
13776                             :  GvNAMELEN(sstr),
13777                         0
13778                       );
13779                 if (svp && *svp && SvTYPE(*svp) == SVt_PVGV) {
13780                     ptr_table_store(PL_ptr_table, sstr, *svp);
13781                     return *svp;
13782                 }
13783             }
13784         }
13785     }
13786
13787     /* create anew and remember what it is */
13788     new_SV(dstr);
13789
13790 #ifdef DEBUG_LEAKING_SCALARS
13791     dstr->sv_debug_optype = sstr->sv_debug_optype;
13792     dstr->sv_debug_line = sstr->sv_debug_line;
13793     dstr->sv_debug_inpad = sstr->sv_debug_inpad;
13794     dstr->sv_debug_parent = (SV*)sstr;
13795     FREE_SV_DEBUG_FILE(dstr);
13796     dstr->sv_debug_file = savesharedpv(sstr->sv_debug_file);
13797 #endif
13798
13799     ptr_table_store(PL_ptr_table, sstr, dstr);
13800
13801     /* clone */
13802     SvFLAGS(dstr)       = SvFLAGS(sstr);
13803     SvFLAGS(dstr)       &= ~SVf_OOK;            /* don't propagate OOK hack */
13804     SvREFCNT(dstr)      = 0;                    /* must be before any other dups! */
13805
13806 #ifdef DEBUGGING
13807     if (SvANY(sstr) && PL_watch_pvx && SvPVX_const(sstr) == PL_watch_pvx)
13808         PerlIO_printf(Perl_debug_log, "watch at %p hit, found string \"%s\"\n",
13809                       (void*)PL_watch_pvx, SvPVX_const(sstr));
13810 #endif
13811
13812     /* don't clone objects whose class has asked us not to */
13813     if (SvOBJECT(sstr)
13814      && ! (SvFLAGS(SvSTASH(sstr)) & SVphv_CLONEABLE))
13815     {
13816         SvFLAGS(dstr) = 0;
13817         return dstr;
13818     }
13819
13820     switch (SvTYPE(sstr)) {
13821     case SVt_NULL:
13822         SvANY(dstr)     = NULL;
13823         break;
13824     case SVt_IV:
13825         SET_SVANY_FOR_BODYLESS_IV(dstr);
13826         if(SvROK(sstr)) {
13827             Perl_rvpv_dup(aTHX_ dstr, sstr, param);
13828         } else {
13829             SvIV_set(dstr, SvIVX(sstr));
13830         }
13831         break;
13832     case SVt_NV:
13833 #if NVSIZE <= IVSIZE
13834         SET_SVANY_FOR_BODYLESS_NV(dstr);
13835 #else
13836         SvANY(dstr)     = new_XNV();
13837 #endif
13838         SvNV_set(dstr, SvNVX(sstr));
13839         break;
13840     default:
13841         {
13842             /* These are all the types that need complex bodies allocating.  */
13843             void *new_body;
13844             const svtype sv_type = SvTYPE(sstr);
13845             const struct body_details *const sv_type_details
13846                 = bodies_by_type + sv_type;
13847
13848             switch (sv_type) {
13849             default:
13850                 Perl_croak(aTHX_ "Bizarre SvTYPE [%" IVdf "]", (IV)SvTYPE(sstr));
13851                 break;
13852
13853             case SVt_PVGV:
13854             case SVt_PVIO:
13855             case SVt_PVFM:
13856             case SVt_PVHV:
13857             case SVt_PVAV:
13858             case SVt_PVCV:
13859             case SVt_PVLV:
13860             case SVt_REGEXP:
13861             case SVt_PVMG:
13862             case SVt_PVNV:
13863             case SVt_PVIV:
13864             case SVt_INVLIST:
13865             case SVt_PV:
13866                 assert(sv_type_details->body_size);
13867                 if (sv_type_details->arena) {
13868                     new_body_inline(new_body, sv_type);
13869                     new_body
13870                         = (void*)((char*)new_body - sv_type_details->offset);
13871                 } else {
13872                     new_body = new_NOARENA(sv_type_details);
13873                 }
13874             }
13875             assert(new_body);
13876             SvANY(dstr) = new_body;
13877
13878 #ifndef PURIFY
13879             Copy(((char*)SvANY(sstr)) + sv_type_details->offset,
13880                  ((char*)SvANY(dstr)) + sv_type_details->offset,
13881                  sv_type_details->copy, char);
13882 #else
13883             Copy(((char*)SvANY(sstr)),
13884                  ((char*)SvANY(dstr)),
13885                  sv_type_details->body_size + sv_type_details->offset, char);
13886 #endif
13887
13888             if (sv_type != SVt_PVAV && sv_type != SVt_PVHV
13889                 && !isGV_with_GP(dstr)
13890                 && !isREGEXP(dstr)
13891                 && !(sv_type == SVt_PVIO && !(IoFLAGS(dstr) & IOf_FAKE_DIRP)))
13892                 Perl_rvpv_dup(aTHX_ dstr, sstr, param);
13893
13894             /* The Copy above means that all the source (unduplicated) pointers
13895                are now in the destination.  We can check the flags and the
13896                pointers in either, but it's possible that there's less cache
13897                missing by always going for the destination.
13898                FIXME - instrument and check that assumption  */
13899             if (sv_type >= SVt_PVMG) {
13900                 if (SvMAGIC(dstr))
13901                     SvMAGIC_set(dstr, mg_dup(SvMAGIC(dstr), param));
13902                 if (SvOBJECT(dstr) && SvSTASH(dstr))
13903                     SvSTASH_set(dstr, hv_dup_inc(SvSTASH(dstr), param));
13904                 else SvSTASH_set(dstr, 0); /* don't copy DESTROY cache */
13905             }
13906
13907             /* The cast silences a GCC warning about unhandled types.  */
13908             switch ((int)sv_type) {
13909             case SVt_PV:
13910                 break;
13911             case SVt_PVIV:
13912                 break;
13913             case SVt_PVNV:
13914                 break;
13915             case SVt_PVMG:
13916                 break;
13917             case SVt_REGEXP:
13918               duprex:
13919                 /* FIXME for plugins */
13920                 dstr->sv_u.svu_rx = ((REGEXP *)dstr)->sv_any;
13921                 re_dup_guts((REGEXP*) sstr, (REGEXP*) dstr, param);
13922                 break;
13923             case SVt_PVLV:
13924                 /* XXX LvTARGOFF sometimes holds PMOP* when DEBUGGING */
13925                 if (LvTYPE(dstr) == 't') /* for tie: unrefcnted fake (SV**) */
13926                     LvTARG(dstr) = dstr;
13927                 else if (LvTYPE(dstr) == 'T') /* for tie: fake HE */
13928                     LvTARG(dstr) = MUTABLE_SV(he_dup((HE*)LvTARG(dstr), 0, param));
13929                 else
13930                     LvTARG(dstr) = sv_dup_inc(LvTARG(dstr), param);
13931                 if (isREGEXP(sstr)) goto duprex;
13932             case SVt_PVGV:
13933                 /* non-GP case already handled above */
13934                 if(isGV_with_GP(sstr)) {
13935                     GvNAME_HEK(dstr) = hek_dup(GvNAME_HEK(dstr), param);
13936                     /* Don't call sv_add_backref here as it's going to be
13937                        created as part of the magic cloning of the symbol
13938                        table--unless this is during a join and the stash
13939                        is not actually being cloned.  */
13940                     /* Danger Will Robinson - GvGP(dstr) isn't initialised
13941                        at the point of this comment.  */
13942                     GvSTASH(dstr) = hv_dup(GvSTASH(dstr), param);
13943                     if (param->flags & CLONEf_JOIN_IN)
13944                         Perl_sv_add_backref(aTHX_ MUTABLE_SV(GvSTASH(dstr)), dstr);
13945                     GvGP_set(dstr, gp_dup(GvGP(sstr), param));
13946                     (void)GpREFCNT_inc(GvGP(dstr));
13947                 }
13948                 break;
13949             case SVt_PVIO:
13950                 /* PL_parser->rsfp_filters entries have fake IoDIRP() */
13951                 if(IoFLAGS(dstr) & IOf_FAKE_DIRP) {
13952                     /* I have no idea why fake dirp (rsfps)
13953                        should be treated differently but otherwise
13954                        we end up with leaks -- sky*/
13955                     IoTOP_GV(dstr)      = gv_dup_inc(IoTOP_GV(dstr), param);
13956                     IoFMT_GV(dstr)      = gv_dup_inc(IoFMT_GV(dstr), param);
13957                     IoBOTTOM_GV(dstr)   = gv_dup_inc(IoBOTTOM_GV(dstr), param);
13958                 } else {
13959                     IoTOP_GV(dstr)      = gv_dup(IoTOP_GV(dstr), param);
13960                     IoFMT_GV(dstr)      = gv_dup(IoFMT_GV(dstr), param);
13961                     IoBOTTOM_GV(dstr)   = gv_dup(IoBOTTOM_GV(dstr), param);
13962                     if (IoDIRP(dstr)) {
13963                         IoDIRP(dstr)    = dirp_dup(IoDIRP(dstr), param);
13964                     } else {
13965                         NOOP;
13966                         /* IoDIRP(dstr) is already a copy of IoDIRP(sstr)  */
13967                     }
13968                     IoIFP(dstr) = fp_dup(IoIFP(sstr), IoTYPE(dstr), param);
13969                 }
13970                 if (IoOFP(dstr) == IoIFP(sstr))
13971                     IoOFP(dstr) = IoIFP(dstr);
13972                 else
13973                     IoOFP(dstr) = fp_dup(IoOFP(dstr), IoTYPE(dstr), param);
13974                 IoTOP_NAME(dstr)        = SAVEPV(IoTOP_NAME(dstr));
13975                 IoFMT_NAME(dstr)        = SAVEPV(IoFMT_NAME(dstr));
13976                 IoBOTTOM_NAME(dstr)     = SAVEPV(IoBOTTOM_NAME(dstr));
13977                 break;
13978             case SVt_PVAV:
13979                 /* avoid cloning an empty array */
13980                 if (AvARRAY((const AV *)sstr) && AvFILLp((const AV *)sstr) >= 0) {
13981                     SV **dst_ary, **src_ary;
13982                     SSize_t items = AvFILLp((const AV *)sstr) + 1;
13983
13984                     src_ary = AvARRAY((const AV *)sstr);
13985                     Newxz(dst_ary, AvMAX((const AV *)sstr)+1, SV*);
13986                     ptr_table_store(PL_ptr_table, src_ary, dst_ary);
13987                     AvARRAY(MUTABLE_AV(dstr)) = dst_ary;
13988                     AvALLOC((const AV *)dstr) = dst_ary;
13989                     if (AvREAL((const AV *)sstr)) {
13990                         dst_ary = sv_dup_inc_multiple(src_ary, dst_ary, items,
13991                                                       param);
13992                     }
13993                     else {
13994                         while (items-- > 0)
13995                             *dst_ary++ = sv_dup(*src_ary++, param);
13996                     }
13997                     items = AvMAX((const AV *)sstr) - AvFILLp((const AV *)sstr);
13998                     while (items-- > 0) {
13999                         *dst_ary++ = NULL;
14000                     }
14001                 }
14002                 else {
14003                     AvARRAY(MUTABLE_AV(dstr))   = NULL;
14004                     AvALLOC((const AV *)dstr)   = (SV**)NULL;
14005                     AvMAX(  (const AV *)dstr)   = -1;
14006                     AvFILLp((const AV *)dstr)   = -1;
14007                 }
14008                 break;
14009             case SVt_PVHV:
14010                 if (HvARRAY((const HV *)sstr)) {
14011                     STRLEN i = 0;
14012                     const bool sharekeys = !!HvSHAREKEYS(sstr);
14013                     XPVHV * const dxhv = (XPVHV*)SvANY(dstr);
14014                     XPVHV * const sxhv = (XPVHV*)SvANY(sstr);
14015                     char *darray;
14016                     Newx(darray, PERL_HV_ARRAY_ALLOC_BYTES(dxhv->xhv_max+1)
14017                         + (SvOOK(sstr) ? sizeof(struct xpvhv_aux) : 0),
14018                         char);
14019                     HvARRAY(dstr) = (HE**)darray;
14020                     while (i <= sxhv->xhv_max) {
14021                         const HE * const source = HvARRAY(sstr)[i];
14022                         HvARRAY(dstr)[i] = source
14023                             ? he_dup(source, sharekeys, param) : 0;
14024                         ++i;
14025                     }
14026                     if (SvOOK(sstr)) {
14027                         const struct xpvhv_aux * const saux = HvAUX(sstr);
14028                         struct xpvhv_aux * const daux = HvAUX(dstr);
14029                         /* This flag isn't copied.  */
14030                         SvOOK_on(dstr);
14031
14032                         if (saux->xhv_name_count) {
14033                             HEK ** const sname = saux->xhv_name_u.xhvnameu_names;
14034                             const I32 count
14035                              = saux->xhv_name_count < 0
14036                                 ? -saux->xhv_name_count
14037                                 :  saux->xhv_name_count;
14038                             HEK **shekp = sname + count;
14039                             HEK **dhekp;
14040                             Newx(daux->xhv_name_u.xhvnameu_names, count, HEK *);
14041                             dhekp = daux->xhv_name_u.xhvnameu_names + count;
14042                             while (shekp-- > sname) {
14043                                 dhekp--;
14044                                 *dhekp = hek_dup(*shekp, param);
14045                             }
14046                         }
14047                         else {
14048                             daux->xhv_name_u.xhvnameu_name
14049                                 = hek_dup(saux->xhv_name_u.xhvnameu_name,
14050                                           param);
14051                         }
14052                         daux->xhv_name_count = saux->xhv_name_count;
14053
14054                         daux->xhv_aux_flags = saux->xhv_aux_flags;
14055 #ifdef PERL_HASH_RANDOMIZE_KEYS
14056                         daux->xhv_rand = saux->xhv_rand;
14057                         daux->xhv_last_rand = saux->xhv_last_rand;
14058 #endif
14059                         daux->xhv_riter = saux->xhv_riter;
14060                         daux->xhv_eiter = saux->xhv_eiter
14061                             ? he_dup(saux->xhv_eiter,
14062                                         cBOOL(HvSHAREKEYS(sstr)), param) : 0;
14063                         /* backref array needs refcnt=2; see sv_add_backref */
14064                         daux->xhv_backreferences =
14065                             (param->flags & CLONEf_JOIN_IN)
14066                                 /* when joining, we let the individual GVs and
14067                                  * CVs add themselves to backref as
14068                                  * needed. This avoids pulling in stuff
14069                                  * that isn't required, and simplifies the
14070                                  * case where stashes aren't cloned back
14071                                  * if they already exist in the parent
14072                                  * thread */
14073                             ? NULL
14074                             : saux->xhv_backreferences
14075                                 ? (SvTYPE(saux->xhv_backreferences) == SVt_PVAV)
14076                                     ? MUTABLE_AV(SvREFCNT_inc(
14077                                           sv_dup_inc((const SV *)
14078                                             saux->xhv_backreferences, param)))
14079                                     : MUTABLE_AV(sv_dup((const SV *)
14080                                             saux->xhv_backreferences, param))
14081                                 : 0;
14082
14083                         daux->xhv_mro_meta = saux->xhv_mro_meta
14084                             ? mro_meta_dup(saux->xhv_mro_meta, param)
14085                             : 0;
14086
14087                         /* Record stashes for possible cloning in Perl_clone(). */
14088                         if (HvNAME(sstr))
14089                             av_push(param->stashes, dstr);
14090                     }
14091                 }
14092                 else
14093                     HvARRAY(MUTABLE_HV(dstr)) = NULL;
14094                 break;
14095             case SVt_PVCV:
14096                 if (!(param->flags & CLONEf_COPY_STACKS)) {
14097                     CvDEPTH(dstr) = 0;
14098                 }
14099                 /* FALLTHROUGH */
14100             case SVt_PVFM:
14101                 /* NOTE: not refcounted */
14102                 SvANY(MUTABLE_CV(dstr))->xcv_stash =
14103                     hv_dup(CvSTASH(dstr), param);
14104                 if ((param->flags & CLONEf_JOIN_IN) && CvSTASH(dstr))
14105                     Perl_sv_add_backref(aTHX_ MUTABLE_SV(CvSTASH(dstr)), dstr);
14106                 if (!CvISXSUB(dstr)) {
14107                     OP_REFCNT_LOCK;
14108                     CvROOT(dstr) = OpREFCNT_inc(CvROOT(dstr));
14109                     OP_REFCNT_UNLOCK;
14110                     CvSLABBED_off(dstr);
14111                 } else if (CvCONST(dstr)) {
14112                     CvXSUBANY(dstr).any_ptr =
14113                         sv_dup_inc((const SV *)CvXSUBANY(dstr).any_ptr, param);
14114                 }
14115                 assert(!CvSLABBED(dstr));
14116                 if (CvDYNFILE(dstr)) CvFILE(dstr) = SAVEPV(CvFILE(dstr));
14117                 if (CvNAMED(dstr))
14118                     SvANY((CV *)dstr)->xcv_gv_u.xcv_hek =
14119                         hek_dup(CvNAME_HEK((CV *)sstr), param);
14120                 /* don't dup if copying back - CvGV isn't refcounted, so the
14121                  * duped GV may never be freed. A bit of a hack! DAPM */
14122                 else
14123                   SvANY(MUTABLE_CV(dstr))->xcv_gv_u.xcv_gv =
14124                     CvCVGV_RC(dstr)
14125                     ? gv_dup_inc(CvGV(sstr), param)
14126                     : (param->flags & CLONEf_JOIN_IN)
14127                         ? NULL
14128                         : gv_dup(CvGV(sstr), param);
14129
14130                 if (!CvISXSUB(sstr)) {
14131                     PADLIST * padlist = CvPADLIST(sstr);
14132                     if(padlist)
14133                         padlist = padlist_dup(padlist, param);
14134                     CvPADLIST_set(dstr, padlist);
14135                 } else
14136 /* unthreaded perl can't sv_dup so we dont support unthreaded's CvHSCXT */
14137                     PoisonPADLIST(dstr);
14138
14139                 CvOUTSIDE(dstr) =
14140                     CvWEAKOUTSIDE(sstr)
14141                     ? cv_dup(    CvOUTSIDE(dstr), param)
14142                     : cv_dup_inc(CvOUTSIDE(dstr), param);
14143                 break;
14144             }
14145         }
14146     }
14147
14148     return dstr;
14149  }
14150
14151 SV *
14152 Perl_sv_dup_inc(pTHX_ const SV *const sstr, CLONE_PARAMS *const param)
14153 {
14154     PERL_ARGS_ASSERT_SV_DUP_INC;
14155     return sstr ? SvREFCNT_inc(sv_dup_common(sstr, param)) : NULL;
14156 }
14157
14158 SV *
14159 Perl_sv_dup(pTHX_ const SV *const sstr, CLONE_PARAMS *const param)
14160 {
14161     SV *dstr = sstr ? sv_dup_common(sstr, param) : NULL;
14162     PERL_ARGS_ASSERT_SV_DUP;
14163
14164     /* Track every SV that (at least initially) had a reference count of 0.
14165        We need to do this by holding an actual reference to it in this array.
14166        If we attempt to cheat, turn AvREAL_off(), and store only pointers
14167        (akin to the stashes hash, and the perl stack), we come unstuck if
14168        a weak reference (or other SV legitimately SvREFCNT() == 0 for this
14169        thread) is manipulated in a CLONE method, because CLONE runs before the
14170        unreferenced array is walked to find SVs still with SvREFCNT() == 0
14171        (and fix things up by giving each a reference via the temps stack).
14172        Instead, during CLONE, if the 0-referenced SV has SvREFCNT_inc() and
14173        then SvREFCNT_dec(), it will be cleaned up (and added to the free list)
14174        before the walk of unreferenced happens and a reference to that is SV
14175        added to the temps stack. At which point we have the same SV considered
14176        to be in use, and free to be re-used. Not good.
14177     */
14178     if (dstr && !(param->flags & CLONEf_COPY_STACKS) && !SvREFCNT(dstr)) {
14179         assert(param->unreferenced);
14180         av_push(param->unreferenced, SvREFCNT_inc(dstr));
14181     }
14182
14183     return dstr;
14184 }
14185
14186 /* duplicate a context */
14187
14188 PERL_CONTEXT *
14189 Perl_cx_dup(pTHX_ PERL_CONTEXT *cxs, I32 ix, I32 max, CLONE_PARAMS* param)
14190 {
14191     PERL_CONTEXT *ncxs;
14192
14193     PERL_ARGS_ASSERT_CX_DUP;
14194
14195     if (!cxs)
14196         return (PERL_CONTEXT*)NULL;
14197
14198     /* look for it in the table first */
14199     ncxs = (PERL_CONTEXT*)ptr_table_fetch(PL_ptr_table, cxs);
14200     if (ncxs)
14201         return ncxs;
14202
14203     /* create anew and remember what it is */
14204     Newx(ncxs, max + 1, PERL_CONTEXT);
14205     ptr_table_store(PL_ptr_table, cxs, ncxs);
14206     Copy(cxs, ncxs, max + 1, PERL_CONTEXT);
14207
14208     while (ix >= 0) {
14209         PERL_CONTEXT * const ncx = &ncxs[ix];
14210         if (CxTYPE(ncx) == CXt_SUBST) {
14211             Perl_croak(aTHX_ "Cloning substitution context is unimplemented");
14212         }
14213         else {
14214             ncx->blk_oldcop = (COP*)any_dup(ncx->blk_oldcop, param->proto_perl);
14215             switch (CxTYPE(ncx)) {
14216             case CXt_SUB:
14217                 ncx->blk_sub.cv         = cv_dup_inc(ncx->blk_sub.cv, param);
14218                 if(CxHASARGS(ncx)){
14219                     ncx->blk_sub.savearray = av_dup_inc(ncx->blk_sub.savearray,param);
14220                 } else {
14221                     ncx->blk_sub.savearray = NULL;
14222                 }
14223                 ncx->blk_sub.prevcomppad = (PAD*)ptr_table_fetch(PL_ptr_table,
14224                                            ncx->blk_sub.prevcomppad);
14225                 break;
14226             case CXt_EVAL:
14227                 ncx->blk_eval.old_namesv = sv_dup_inc(ncx->blk_eval.old_namesv,
14228                                                       param);
14229                 /* XXX should this sv_dup_inc? Or only if CxEVAL_TXT_REFCNTED ???? */
14230                 ncx->blk_eval.cur_text  = sv_dup(ncx->blk_eval.cur_text, param);
14231                 ncx->blk_eval.cv = cv_dup(ncx->blk_eval.cv, param);
14232                 /* XXX what do do with cur_top_env ???? */
14233                 break;
14234             case CXt_LOOP_LAZYSV:
14235                 ncx->blk_loop.state_u.lazysv.end
14236                     = sv_dup_inc(ncx->blk_loop.state_u.lazysv.end, param);
14237                 /* Fallthrough: duplicate lazysv.cur by using the ary.ary
14238                    duplication code instead.
14239                    We are taking advantage of (1) av_dup_inc and sv_dup_inc
14240                    actually being the same function, and (2) order
14241                    equivalence of the two unions.
14242                    We can assert the later [but only at run time :-(]  */
14243                 assert ((void *) &ncx->blk_loop.state_u.ary.ary ==
14244                         (void *) &ncx->blk_loop.state_u.lazysv.cur);
14245                 /* FALLTHROUGH */
14246             case CXt_LOOP_ARY:
14247                 ncx->blk_loop.state_u.ary.ary
14248                     = av_dup_inc(ncx->blk_loop.state_u.ary.ary, param);
14249                 /* FALLTHROUGH */
14250             case CXt_LOOP_LIST:
14251             case CXt_LOOP_LAZYIV:
14252                 /* code common to all 'for' CXt_LOOP_* types */
14253                 ncx->blk_loop.itersave =
14254                                     sv_dup_inc(ncx->blk_loop.itersave, param);
14255                 if (CxPADLOOP(ncx)) {
14256                     PADOFFSET off = ncx->blk_loop.itervar_u.svp
14257                                     - &CX_CURPAD_SV(ncx->blk_loop, 0);
14258                     ncx->blk_loop.oldcomppad =
14259                                     (PAD*)ptr_table_fetch(PL_ptr_table,
14260                                                 ncx->blk_loop.oldcomppad);
14261                     ncx->blk_loop.itervar_u.svp =
14262                                     &CX_CURPAD_SV(ncx->blk_loop, off);
14263                 }
14264                 else {
14265                     /* this copies the GV if CXp_FOR_GV, or the SV for an
14266                      * alias (for \$x (...)) - relies on gv_dup being the
14267                      * same as sv_dup */
14268                     ncx->blk_loop.itervar_u.gv
14269                         = gv_dup((const GV *)ncx->blk_loop.itervar_u.gv,
14270                                     param);
14271                 }
14272                 break;
14273             case CXt_LOOP_PLAIN:
14274                 break;
14275             case CXt_FORMAT:
14276                 ncx->blk_format.prevcomppad =
14277                         (PAD*)ptr_table_fetch(PL_ptr_table,
14278                                            ncx->blk_format.prevcomppad);
14279                 ncx->blk_format.cv      = cv_dup_inc(ncx->blk_format.cv, param);
14280                 ncx->blk_format.gv      = gv_dup(ncx->blk_format.gv, param);
14281                 ncx->blk_format.dfoutgv = gv_dup_inc(ncx->blk_format.dfoutgv,
14282                                                      param);
14283                 break;
14284             case CXt_GIVEN:
14285                 ncx->blk_givwhen.defsv_save =
14286                                 sv_dup_inc(ncx->blk_givwhen.defsv_save, param);
14287                 break;
14288             case CXt_BLOCK:
14289             case CXt_NULL:
14290             case CXt_WHEN:
14291                 break;
14292             }
14293         }
14294         --ix;
14295     }
14296     return ncxs;
14297 }
14298
14299 /* duplicate a stack info structure */
14300
14301 PERL_SI *
14302 Perl_si_dup(pTHX_ PERL_SI *si, CLONE_PARAMS* param)
14303 {
14304     PERL_SI *nsi;
14305
14306     PERL_ARGS_ASSERT_SI_DUP;
14307
14308     if (!si)
14309         return (PERL_SI*)NULL;
14310
14311     /* look for it in the table first */
14312     nsi = (PERL_SI*)ptr_table_fetch(PL_ptr_table, si);
14313     if (nsi)
14314         return nsi;
14315
14316     /* create anew and remember what it is */
14317     Newxz(nsi, 1, PERL_SI);
14318     ptr_table_store(PL_ptr_table, si, nsi);
14319
14320     nsi->si_stack       = av_dup_inc(si->si_stack, param);
14321     nsi->si_cxix        = si->si_cxix;
14322     nsi->si_cxmax       = si->si_cxmax;
14323     nsi->si_cxstack     = cx_dup(si->si_cxstack, si->si_cxix, si->si_cxmax, param);
14324     nsi->si_type        = si->si_type;
14325     nsi->si_prev        = si_dup(si->si_prev, param);
14326     nsi->si_next        = si_dup(si->si_next, param);
14327     nsi->si_markoff     = si->si_markoff;
14328
14329     return nsi;
14330 }
14331
14332 #define POPINT(ss,ix)   ((ss)[--(ix)].any_i32)
14333 #define TOPINT(ss,ix)   ((ss)[ix].any_i32)
14334 #define POPLONG(ss,ix)  ((ss)[--(ix)].any_long)
14335 #define TOPLONG(ss,ix)  ((ss)[ix].any_long)
14336 #define POPIV(ss,ix)    ((ss)[--(ix)].any_iv)
14337 #define TOPIV(ss,ix)    ((ss)[ix].any_iv)
14338 #define POPUV(ss,ix)    ((ss)[--(ix)].any_uv)
14339 #define TOPUV(ss,ix)    ((ss)[ix].any_uv)
14340 #define POPBOOL(ss,ix)  ((ss)[--(ix)].any_bool)
14341 #define TOPBOOL(ss,ix)  ((ss)[ix].any_bool)
14342 #define POPPTR(ss,ix)   ((ss)[--(ix)].any_ptr)
14343 #define TOPPTR(ss,ix)   ((ss)[ix].any_ptr)
14344 #define POPDPTR(ss,ix)  ((ss)[--(ix)].any_dptr)
14345 #define TOPDPTR(ss,ix)  ((ss)[ix].any_dptr)
14346 #define POPDXPTR(ss,ix) ((ss)[--(ix)].any_dxptr)
14347 #define TOPDXPTR(ss,ix) ((ss)[ix].any_dxptr)
14348
14349 /* XXXXX todo */
14350 #define pv_dup_inc(p)   SAVEPV(p)
14351 #define pv_dup(p)       SAVEPV(p)
14352 #define svp_dup_inc(p,pp)       any_dup(p,pp)
14353
14354 /* map any object to the new equivent - either something in the
14355  * ptr table, or something in the interpreter structure
14356  */
14357
14358 void *
14359 Perl_any_dup(pTHX_ void *v, const PerlInterpreter *proto_perl)
14360 {
14361     void *ret;
14362
14363     PERL_ARGS_ASSERT_ANY_DUP;
14364
14365     if (!v)
14366         return (void*)NULL;
14367
14368     /* look for it in the table first */
14369     ret = ptr_table_fetch(PL_ptr_table, v);
14370     if (ret)
14371         return ret;
14372
14373     /* see if it is part of the interpreter structure */
14374     if (v >= (void*)proto_perl && v < (void*)(proto_perl+1))
14375         ret = (void*)(((char*)aTHX) + (((char*)v) - (char*)proto_perl));
14376     else {
14377         ret = v;
14378     }
14379
14380     return ret;
14381 }
14382
14383 /* duplicate the save stack */
14384
14385 ANY *
14386 Perl_ss_dup(pTHX_ PerlInterpreter *proto_perl, CLONE_PARAMS* param)
14387 {
14388     dVAR;
14389     ANY * const ss      = proto_perl->Isavestack;
14390     const I32 max       = proto_perl->Isavestack_max + SS_MAXPUSH;
14391     I32 ix              = proto_perl->Isavestack_ix;
14392     ANY *nss;
14393     const SV *sv;
14394     const GV *gv;
14395     const AV *av;
14396     const HV *hv;
14397     void* ptr;
14398     int intval;
14399     long longval;
14400     GP *gp;
14401     IV iv;
14402     I32 i;
14403     char *c = NULL;
14404     void (*dptr) (void*);
14405     void (*dxptr) (pTHX_ void*);
14406
14407     PERL_ARGS_ASSERT_SS_DUP;
14408
14409     Newxz(nss, max, ANY);
14410
14411     while (ix > 0) {
14412         const UV uv = POPUV(ss,ix);
14413         const U8 type = (U8)uv & SAVE_MASK;
14414
14415         TOPUV(nss,ix) = uv;
14416         switch (type) {
14417         case SAVEt_CLEARSV:
14418         case SAVEt_CLEARPADRANGE:
14419             break;
14420         case SAVEt_HELEM:               /* hash element */
14421         case SAVEt_SV:                  /* scalar reference */
14422             sv = (const SV *)POPPTR(ss,ix);
14423             TOPPTR(nss,ix) = SvREFCNT_inc(sv_dup_inc(sv, param));
14424             /* FALLTHROUGH */
14425         case SAVEt_ITEM:                        /* normal string */
14426         case SAVEt_GVSV:                        /* scalar slot in GV */
14427             sv = (const SV *)POPPTR(ss,ix);
14428             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
14429             if (type == SAVEt_SV)
14430                 break;
14431             /* FALLTHROUGH */
14432         case SAVEt_FREESV:
14433         case SAVEt_MORTALIZESV:
14434         case SAVEt_READONLY_OFF:
14435             sv = (const SV *)POPPTR(ss,ix);
14436             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
14437             break;
14438         case SAVEt_FREEPADNAME:
14439             ptr = POPPTR(ss,ix);
14440             TOPPTR(nss,ix) = padname_dup((PADNAME *)ptr, param);
14441             PadnameREFCNT((PADNAME *)TOPPTR(nss,ix))++;
14442             break;
14443         case SAVEt_SHARED_PVREF:                /* char* in shared space */
14444             c = (char*)POPPTR(ss,ix);
14445             TOPPTR(nss,ix) = savesharedpv(c);
14446             ptr = POPPTR(ss,ix);
14447             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14448             break;
14449         case SAVEt_GENERIC_SVREF:               /* generic sv */
14450         case SAVEt_SVREF:                       /* scalar reference */
14451             sv = (const SV *)POPPTR(ss,ix);
14452             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
14453             if (type == SAVEt_SVREF)
14454                 SvREFCNT_inc_simple_void((SV *)TOPPTR(nss,ix));
14455             ptr = POPPTR(ss,ix);
14456             TOPPTR(nss,ix) = svp_dup_inc((SV**)ptr, proto_perl);/* XXXXX */
14457             break;
14458         case SAVEt_GVSLOT:              /* any slot in GV */
14459             sv = (const SV *)POPPTR(ss,ix);
14460             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
14461             ptr = POPPTR(ss,ix);
14462             TOPPTR(nss,ix) = svp_dup_inc((SV**)ptr, proto_perl);/* XXXXX */
14463             sv = (const SV *)POPPTR(ss,ix);
14464             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
14465             break;
14466         case SAVEt_HV:                          /* hash reference */
14467         case SAVEt_AV:                          /* array reference */
14468             sv = (const SV *) POPPTR(ss,ix);
14469             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
14470             /* FALLTHROUGH */
14471         case SAVEt_COMPPAD:
14472         case SAVEt_NSTAB:
14473             sv = (const SV *) POPPTR(ss,ix);
14474             TOPPTR(nss,ix) = sv_dup(sv, param);
14475             break;
14476         case SAVEt_INT:                         /* int reference */
14477             ptr = POPPTR(ss,ix);
14478             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14479             intval = (int)POPINT(ss,ix);
14480             TOPINT(nss,ix) = intval;
14481             break;
14482         case SAVEt_LONG:                        /* long reference */
14483             ptr = POPPTR(ss,ix);
14484             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14485             longval = (long)POPLONG(ss,ix);
14486             TOPLONG(nss,ix) = longval;
14487             break;
14488         case SAVEt_I32:                         /* I32 reference */
14489             ptr = POPPTR(ss,ix);
14490             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14491             i = POPINT(ss,ix);
14492             TOPINT(nss,ix) = i;
14493             break;
14494         case SAVEt_IV:                          /* IV reference */
14495         case SAVEt_STRLEN:                      /* STRLEN/size_t ref */
14496             ptr = POPPTR(ss,ix);
14497             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14498             iv = POPIV(ss,ix);
14499             TOPIV(nss,ix) = iv;
14500             break;
14501         case SAVEt_TMPSFLOOR:
14502             iv = POPIV(ss,ix);
14503             TOPIV(nss,ix) = iv;
14504             break;
14505         case SAVEt_HPTR:                        /* HV* reference */
14506         case SAVEt_APTR:                        /* AV* reference */
14507         case SAVEt_SPTR:                        /* SV* reference */
14508             ptr = POPPTR(ss,ix);
14509             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14510             sv = (const SV *)POPPTR(ss,ix);
14511             TOPPTR(nss,ix) = sv_dup(sv, param);
14512             break;
14513         case SAVEt_VPTR:                        /* random* reference */
14514             ptr = POPPTR(ss,ix);
14515             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14516             /* FALLTHROUGH */
14517         case SAVEt_INT_SMALL:
14518         case SAVEt_I32_SMALL:
14519         case SAVEt_I16:                         /* I16 reference */
14520         case SAVEt_I8:                          /* I8 reference */
14521         case SAVEt_BOOL:
14522             ptr = POPPTR(ss,ix);
14523             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14524             break;
14525         case SAVEt_GENERIC_PVREF:               /* generic char* */
14526         case SAVEt_PPTR:                        /* char* reference */
14527             ptr = POPPTR(ss,ix);
14528             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14529             c = (char*)POPPTR(ss,ix);
14530             TOPPTR(nss,ix) = pv_dup(c);
14531             break;
14532         case SAVEt_GP:                          /* scalar reference */
14533             gp = (GP*)POPPTR(ss,ix);
14534             TOPPTR(nss,ix) = gp = gp_dup(gp, param);
14535             (void)GpREFCNT_inc(gp);
14536             gv = (const GV *)POPPTR(ss,ix);
14537             TOPPTR(nss,ix) = gv_dup_inc(gv, param);
14538             break;
14539         case SAVEt_FREEOP:
14540             ptr = POPPTR(ss,ix);
14541             if (ptr && (((OP*)ptr)->op_private & OPpREFCOUNTED)) {
14542                 /* these are assumed to be refcounted properly */
14543                 OP *o;
14544                 switch (((OP*)ptr)->op_type) {
14545                 case OP_LEAVESUB:
14546                 case OP_LEAVESUBLV:
14547                 case OP_LEAVEEVAL:
14548                 case OP_LEAVE:
14549                 case OP_SCOPE:
14550                 case OP_LEAVEWRITE:
14551                     TOPPTR(nss,ix) = ptr;
14552                     o = (OP*)ptr;
14553                     OP_REFCNT_LOCK;
14554                     (void) OpREFCNT_inc(o);
14555                     OP_REFCNT_UNLOCK;
14556                     break;
14557                 default:
14558                     TOPPTR(nss,ix) = NULL;
14559                     break;
14560                 }
14561             }
14562             else
14563                 TOPPTR(nss,ix) = NULL;
14564             break;
14565         case SAVEt_FREECOPHH:
14566             ptr = POPPTR(ss,ix);
14567             TOPPTR(nss,ix) = cophh_copy((COPHH *)ptr);
14568             break;
14569         case SAVEt_ADELETE:
14570             av = (const AV *)POPPTR(ss,ix);
14571             TOPPTR(nss,ix) = av_dup_inc(av, param);
14572             i = POPINT(ss,ix);
14573             TOPINT(nss,ix) = i;
14574             break;
14575         case SAVEt_DELETE:
14576             hv = (const HV *)POPPTR(ss,ix);
14577             TOPPTR(nss,ix) = hv_dup_inc(hv, param);
14578             i = POPINT(ss,ix);
14579             TOPINT(nss,ix) = i;
14580             /* FALLTHROUGH */
14581         case SAVEt_FREEPV:
14582             c = (char*)POPPTR(ss,ix);
14583             TOPPTR(nss,ix) = pv_dup_inc(c);
14584             break;
14585         case SAVEt_STACK_POS:           /* Position on Perl stack */
14586             i = POPINT(ss,ix);
14587             TOPINT(nss,ix) = i;
14588             break;
14589         case SAVEt_DESTRUCTOR:
14590             ptr = POPPTR(ss,ix);
14591             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
14592             dptr = POPDPTR(ss,ix);
14593             TOPDPTR(nss,ix) = DPTR2FPTR(void (*)(void*),
14594                                         any_dup(FPTR2DPTR(void *, dptr),
14595                                                 proto_perl));
14596             break;
14597         case SAVEt_DESTRUCTOR_X:
14598             ptr = POPPTR(ss,ix);
14599             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
14600             dxptr = POPDXPTR(ss,ix);
14601             TOPDXPTR(nss,ix) = DPTR2FPTR(void (*)(pTHX_ void*),
14602                                          any_dup(FPTR2DPTR(void *, dxptr),
14603                                                  proto_perl));
14604             break;
14605         case SAVEt_REGCONTEXT:
14606         case SAVEt_ALLOC:
14607             ix -= uv >> SAVE_TIGHT_SHIFT;
14608             break;
14609         case SAVEt_AELEM:               /* array element */
14610             sv = (const SV *)POPPTR(ss,ix);
14611             TOPPTR(nss,ix) = SvREFCNT_inc(sv_dup_inc(sv, param));
14612             i = POPINT(ss,ix);
14613             TOPINT(nss,ix) = i;
14614             av = (const AV *)POPPTR(ss,ix);
14615             TOPPTR(nss,ix) = av_dup_inc(av, param);
14616             break;
14617         case SAVEt_OP:
14618             ptr = POPPTR(ss,ix);
14619             TOPPTR(nss,ix) = ptr;
14620             break;
14621         case SAVEt_HINTS:
14622             ptr = POPPTR(ss,ix);
14623             ptr = cophh_copy((COPHH*)ptr);
14624             TOPPTR(nss,ix) = ptr;
14625             i = POPINT(ss,ix);
14626             TOPINT(nss,ix) = i;
14627             if (i & HINT_LOCALIZE_HH) {
14628                 hv = (const HV *)POPPTR(ss,ix);
14629                 TOPPTR(nss,ix) = hv_dup_inc(hv, param);
14630             }
14631             break;
14632         case SAVEt_PADSV_AND_MORTALIZE:
14633             longval = (long)POPLONG(ss,ix);
14634             TOPLONG(nss,ix) = longval;
14635             ptr = POPPTR(ss,ix);
14636             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14637             sv = (const SV *)POPPTR(ss,ix);
14638             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
14639             break;
14640         case SAVEt_SET_SVFLAGS:
14641             i = POPINT(ss,ix);
14642             TOPINT(nss,ix) = i;
14643             i = POPINT(ss,ix);
14644             TOPINT(nss,ix) = i;
14645             sv = (const SV *)POPPTR(ss,ix);
14646             TOPPTR(nss,ix) = sv_dup(sv, param);
14647             break;
14648         case SAVEt_COMPILE_WARNINGS:
14649             ptr = POPPTR(ss,ix);
14650             TOPPTR(nss,ix) = DUP_WARNINGS((STRLEN*)ptr);
14651             break;
14652         case SAVEt_PARSER:
14653             ptr = POPPTR(ss,ix);
14654             TOPPTR(nss,ix) = parser_dup((const yy_parser*)ptr, param);
14655             break;
14656         default:
14657             Perl_croak(aTHX_
14658                        "panic: ss_dup inconsistency (%" IVdf ")", (IV) type);
14659         }
14660     }
14661
14662     return nss;
14663 }
14664
14665
14666 /* if sv is a stash, call $class->CLONE_SKIP(), and set the SVphv_CLONEABLE
14667  * flag to the result. This is done for each stash before cloning starts,
14668  * so we know which stashes want their objects cloned */
14669
14670 static void
14671 do_mark_cloneable_stash(pTHX_ SV *const sv)
14672 {
14673     const HEK * const hvname = HvNAME_HEK((const HV *)sv);
14674     if (hvname) {
14675         GV* const cloner = gv_fetchmethod_autoload(MUTABLE_HV(sv), "CLONE_SKIP", 0);
14676         SvFLAGS(sv) |= SVphv_CLONEABLE; /* clone objects by default */
14677         if (cloner && GvCV(cloner)) {
14678             dSP;
14679             UV status;
14680
14681             ENTER;
14682             SAVETMPS;
14683             PUSHMARK(SP);
14684             mXPUSHs(newSVhek(hvname));
14685             PUTBACK;
14686             call_sv(MUTABLE_SV(GvCV(cloner)), G_SCALAR);
14687             SPAGAIN;
14688             status = POPu;
14689             PUTBACK;
14690             FREETMPS;
14691             LEAVE;
14692             if (status)
14693                 SvFLAGS(sv) &= ~SVphv_CLONEABLE;
14694         }
14695     }
14696 }
14697
14698
14699
14700 /*
14701 =for apidoc perl_clone
14702
14703 Create and return a new interpreter by cloning the current one.
14704
14705 C<perl_clone> takes these flags as parameters:
14706
14707 C<CLONEf_COPY_STACKS> - is used to, well, copy the stacks also,
14708 without it we only clone the data and zero the stacks,
14709 with it we copy the stacks and the new perl interpreter is
14710 ready to run at the exact same point as the previous one.
14711 The pseudo-fork code uses C<COPY_STACKS> while the
14712 threads->create doesn't.
14713
14714 C<CLONEf_KEEP_PTR_TABLE> -
14715 C<perl_clone> keeps a ptr_table with the pointer of the old
14716 variable as a key and the new variable as a value,
14717 this allows it to check if something has been cloned and not
14718 clone it again but rather just use the value and increase the
14719 refcount.  If C<KEEP_PTR_TABLE> is not set then C<perl_clone> will kill
14720 the ptr_table using the function
14721 C<ptr_table_free(PL_ptr_table); PL_ptr_table = NULL;>,
14722 reason to keep it around is if you want to dup some of your own
14723 variable who are outside the graph perl scans, an example of this
14724 code is in F<threads.xs> create.
14725
14726 C<CLONEf_CLONE_HOST> -
14727 This is a win32 thing, it is ignored on unix, it tells perls
14728 win32host code (which is c++) to clone itself, this is needed on
14729 win32 if you want to run two threads at the same time,
14730 if you just want to do some stuff in a separate perl interpreter
14731 and then throw it away and return to the original one,
14732 you don't need to do anything.
14733
14734 =cut
14735 */
14736
14737 /* XXX the above needs expanding by someone who actually understands it ! */
14738 EXTERN_C PerlInterpreter *
14739 perl_clone_host(PerlInterpreter* proto_perl, UV flags);
14740
14741 PerlInterpreter *
14742 perl_clone(PerlInterpreter *proto_perl, UV flags)
14743 {
14744    dVAR;
14745 #ifdef PERL_IMPLICIT_SYS
14746
14747     PERL_ARGS_ASSERT_PERL_CLONE;
14748
14749    /* perlhost.h so we need to call into it
14750    to clone the host, CPerlHost should have a c interface, sky */
14751
14752 #ifndef __amigaos4__
14753    if (flags & CLONEf_CLONE_HOST) {
14754        return perl_clone_host(proto_perl,flags);
14755    }
14756 #endif
14757    return perl_clone_using(proto_perl, flags,
14758                             proto_perl->IMem,
14759                             proto_perl->IMemShared,
14760                             proto_perl->IMemParse,
14761                             proto_perl->IEnv,
14762                             proto_perl->IStdIO,
14763                             proto_perl->ILIO,
14764                             proto_perl->IDir,
14765                             proto_perl->ISock,
14766                             proto_perl->IProc);
14767 }
14768
14769 PerlInterpreter *
14770 perl_clone_using(PerlInterpreter *proto_perl, UV flags,
14771                  struct IPerlMem* ipM, struct IPerlMem* ipMS,
14772                  struct IPerlMem* ipMP, struct IPerlEnv* ipE,
14773                  struct IPerlStdIO* ipStd, struct IPerlLIO* ipLIO,
14774                  struct IPerlDir* ipD, struct IPerlSock* ipS,
14775                  struct IPerlProc* ipP)
14776 {
14777     /* XXX many of the string copies here can be optimized if they're
14778      * constants; they need to be allocated as common memory and just
14779      * their pointers copied. */
14780
14781     IV i;
14782     CLONE_PARAMS clone_params;
14783     CLONE_PARAMS* const param = &clone_params;
14784
14785     PerlInterpreter * const my_perl = (PerlInterpreter*)(*ipM->pMalloc)(ipM, sizeof(PerlInterpreter));
14786
14787     PERL_ARGS_ASSERT_PERL_CLONE_USING;
14788 #else           /* !PERL_IMPLICIT_SYS */
14789     IV i;
14790     CLONE_PARAMS clone_params;
14791     CLONE_PARAMS* param = &clone_params;
14792     PerlInterpreter * const my_perl = (PerlInterpreter*)PerlMem_malloc(sizeof(PerlInterpreter));
14793
14794     PERL_ARGS_ASSERT_PERL_CLONE;
14795 #endif          /* PERL_IMPLICIT_SYS */
14796
14797     /* for each stash, determine whether its objects should be cloned */
14798     S_visit(proto_perl, do_mark_cloneable_stash, SVt_PVHV, SVTYPEMASK);
14799     PERL_SET_THX(my_perl);
14800
14801 #ifdef DEBUGGING
14802     PoisonNew(my_perl, 1, PerlInterpreter);
14803     PL_op = NULL;
14804     PL_curcop = NULL;
14805     PL_defstash = NULL; /* may be used by perl malloc() */
14806     PL_markstack = 0;
14807     PL_scopestack = 0;
14808     PL_scopestack_name = 0;
14809     PL_savestack = 0;
14810     PL_savestack_ix = 0;
14811     PL_savestack_max = -1;
14812     PL_sig_pending = 0;
14813     PL_parser = NULL;
14814     Zero(&PL_debug_pad, 1, struct perl_debug_pad);
14815     Zero(&PL_padname_undef, 1, PADNAME);
14816     Zero(&PL_padname_const, 1, PADNAME);
14817 #  ifdef DEBUG_LEAKING_SCALARS
14818     PL_sv_serial = (((UV)my_perl >> 2) & 0xfff) * 1000000;
14819 #  endif
14820 #  ifdef PERL_TRACE_OPS
14821     Zero(PL_op_exec_cnt, OP_max+2, UV);
14822 #  endif
14823 #else   /* !DEBUGGING */
14824     Zero(my_perl, 1, PerlInterpreter);
14825 #endif  /* DEBUGGING */
14826
14827 #ifdef PERL_IMPLICIT_SYS
14828     /* host pointers */
14829     PL_Mem              = ipM;
14830     PL_MemShared        = ipMS;
14831     PL_MemParse         = ipMP;
14832     PL_Env              = ipE;
14833     PL_StdIO            = ipStd;
14834     PL_LIO              = ipLIO;
14835     PL_Dir              = ipD;
14836     PL_Sock             = ipS;
14837     PL_Proc             = ipP;
14838 #endif          /* PERL_IMPLICIT_SYS */
14839
14840
14841     param->flags = flags;
14842     /* Nothing in the core code uses this, but we make it available to
14843        extensions (using mg_dup).  */
14844     param->proto_perl = proto_perl;
14845     /* Likely nothing will use this, but it is initialised to be consistent
14846        with Perl_clone_params_new().  */
14847     param->new_perl = my_perl;
14848     param->unreferenced = NULL;
14849
14850
14851     INIT_TRACK_MEMPOOL(my_perl->Imemory_debug_header, my_perl);
14852
14853     PL_body_arenas = NULL;
14854     Zero(&PL_body_roots, 1, PL_body_roots);
14855     
14856     PL_sv_count         = 0;
14857     PL_sv_root          = NULL;
14858     PL_sv_arenaroot     = NULL;
14859
14860     PL_debug            = proto_perl->Idebug;
14861
14862     /* dbargs array probably holds garbage */
14863     PL_dbargs           = NULL;
14864
14865     PL_compiling = proto_perl->Icompiling;
14866
14867     /* pseudo environmental stuff */
14868     PL_origargc         = proto_perl->Iorigargc;
14869     PL_origargv         = proto_perl->Iorigargv;
14870
14871 #ifndef NO_TAINT_SUPPORT
14872     /* Set tainting stuff before PerlIO_debug can possibly get called */
14873     PL_tainting         = proto_perl->Itainting;
14874     PL_taint_warn       = proto_perl->Itaint_warn;
14875 #else
14876     PL_tainting         = FALSE;
14877     PL_taint_warn       = FALSE;
14878 #endif
14879
14880     PL_minus_c          = proto_perl->Iminus_c;
14881
14882     PL_localpatches     = proto_perl->Ilocalpatches;
14883     PL_splitstr         = proto_perl->Isplitstr;
14884     PL_minus_n          = proto_perl->Iminus_n;
14885     PL_minus_p          = proto_perl->Iminus_p;
14886     PL_minus_l          = proto_perl->Iminus_l;
14887     PL_minus_a          = proto_perl->Iminus_a;
14888     PL_minus_E          = proto_perl->Iminus_E;
14889     PL_minus_F          = proto_perl->Iminus_F;
14890     PL_doswitches       = proto_perl->Idoswitches;
14891     PL_dowarn           = proto_perl->Idowarn;
14892 #ifdef PERL_SAWAMPERSAND
14893     PL_sawampersand     = proto_perl->Isawampersand;
14894 #endif
14895     PL_unsafe           = proto_perl->Iunsafe;
14896     PL_perldb           = proto_perl->Iperldb;
14897     PL_perl_destruct_level = proto_perl->Iperl_destruct_level;
14898     PL_exit_flags       = proto_perl->Iexit_flags;
14899
14900     /* XXX time(&PL_basetime) when asked for? */
14901     PL_basetime         = proto_perl->Ibasetime;
14902
14903     PL_maxsysfd         = proto_perl->Imaxsysfd;
14904     PL_statusvalue      = proto_perl->Istatusvalue;
14905 #ifdef __VMS
14906     PL_statusvalue_vms  = proto_perl->Istatusvalue_vms;
14907 #else
14908     PL_statusvalue_posix = proto_perl->Istatusvalue_posix;
14909 #endif
14910
14911     /* RE engine related */
14912     PL_regmatch_slab    = NULL;
14913     PL_reg_curpm        = NULL;
14914
14915     PL_sub_generation   = proto_perl->Isub_generation;
14916
14917     /* funky return mechanisms */
14918     PL_forkprocess      = proto_perl->Iforkprocess;
14919
14920     /* internal state */
14921     PL_main_start       = proto_perl->Imain_start;
14922     PL_eval_root        = proto_perl->Ieval_root;
14923     PL_eval_start       = proto_perl->Ieval_start;
14924
14925     PL_filemode         = proto_perl->Ifilemode;
14926     PL_lastfd           = proto_perl->Ilastfd;
14927     PL_oldname          = proto_perl->Ioldname;         /* XXX not quite right */
14928     PL_Argv             = NULL;
14929     PL_Cmd              = NULL;
14930     PL_gensym           = proto_perl->Igensym;
14931
14932     PL_laststatval      = proto_perl->Ilaststatval;
14933     PL_laststype        = proto_perl->Ilaststype;
14934     PL_mess_sv          = NULL;
14935
14936     PL_profiledata      = NULL;
14937
14938     PL_generation       = proto_perl->Igeneration;
14939
14940     PL_in_clean_objs    = proto_perl->Iin_clean_objs;
14941     PL_in_clean_all     = proto_perl->Iin_clean_all;
14942
14943     PL_delaymagic_uid   = proto_perl->Idelaymagic_uid;
14944     PL_delaymagic_euid  = proto_perl->Idelaymagic_euid;
14945     PL_delaymagic_gid   = proto_perl->Idelaymagic_gid;
14946     PL_delaymagic_egid  = proto_perl->Idelaymagic_egid;
14947     PL_nomemok          = proto_perl->Inomemok;
14948     PL_an               = proto_perl->Ian;
14949     PL_evalseq          = proto_perl->Ievalseq;
14950     PL_origenviron      = proto_perl->Iorigenviron;     /* XXX not quite right */
14951     PL_origalen         = proto_perl->Iorigalen;
14952
14953     PL_sighandlerp      = proto_perl->Isighandlerp;
14954
14955     PL_runops           = proto_perl->Irunops;
14956
14957     PL_subline          = proto_perl->Isubline;
14958
14959     PL_cv_has_eval      = proto_perl->Icv_has_eval;
14960
14961 #ifdef FCRYPT
14962     PL_cryptseen        = proto_perl->Icryptseen;
14963 #endif
14964
14965 #ifdef USE_LOCALE_COLLATE
14966     PL_collation_ix     = proto_perl->Icollation_ix;
14967     PL_collation_standard       = proto_perl->Icollation_standard;
14968     PL_collxfrm_base    = proto_perl->Icollxfrm_base;
14969     PL_collxfrm_mult    = proto_perl->Icollxfrm_mult;
14970     PL_strxfrm_max_cp   = proto_perl->Istrxfrm_max_cp;
14971 #endif /* USE_LOCALE_COLLATE */
14972
14973 #ifdef USE_LOCALE_NUMERIC
14974     PL_numeric_standard = proto_perl->Inumeric_standard;
14975     PL_numeric_local    = proto_perl->Inumeric_local;
14976 #endif /* !USE_LOCALE_NUMERIC */
14977
14978     /* Did the locale setup indicate UTF-8? */
14979     PL_utf8locale       = proto_perl->Iutf8locale;
14980     PL_in_utf8_CTYPE_locale = proto_perl->Iin_utf8_CTYPE_locale;
14981     PL_in_utf8_COLLATE_locale = proto_perl->Iin_utf8_COLLATE_locale;
14982     /* Unicode features (see perlrun/-C) */
14983     PL_unicode          = proto_perl->Iunicode;
14984
14985     /* Pre-5.8 signals control */
14986     PL_signals          = proto_perl->Isignals;
14987
14988     /* times() ticks per second */
14989     PL_clocktick        = proto_perl->Iclocktick;
14990
14991     /* Recursion stopper for PerlIO_find_layer */
14992     PL_in_load_module   = proto_perl->Iin_load_module;
14993
14994     /* sort() routine */
14995     PL_sort_RealCmp     = proto_perl->Isort_RealCmp;
14996
14997     /* Not really needed/useful since the reenrant_retint is "volatile",
14998      * but do it for consistency's sake. */
14999     PL_reentrant_retint = proto_perl->Ireentrant_retint;
15000
15001     /* Hooks to shared SVs and locks. */
15002     PL_sharehook        = proto_perl->Isharehook;
15003     PL_lockhook         = proto_perl->Ilockhook;
15004     PL_unlockhook       = proto_perl->Iunlockhook;
15005     PL_threadhook       = proto_perl->Ithreadhook;
15006     PL_destroyhook      = proto_perl->Idestroyhook;
15007     PL_signalhook       = proto_perl->Isignalhook;
15008
15009     PL_globhook         = proto_perl->Iglobhook;
15010
15011     /* swatch cache */
15012     PL_last_swash_hv    = NULL; /* reinits on demand */
15013     PL_last_swash_klen  = 0;
15014     PL_last_swash_key[0]= '\0';
15015     PL_last_swash_tmps  = (U8*)NULL;
15016     PL_last_swash_slen  = 0;
15017
15018     PL_srand_called     = proto_perl->Isrand_called;
15019     Copy(&(proto_perl->Irandom_state), &PL_random_state, 1, PL_RANDOM_STATE_TYPE);
15020
15021     if (flags & CLONEf_COPY_STACKS) {
15022         /* next allocation will be PL_tmps_stack[PL_tmps_ix+1] */
15023         PL_tmps_ix              = proto_perl->Itmps_ix;
15024         PL_tmps_max             = proto_perl->Itmps_max;
15025         PL_tmps_floor           = proto_perl->Itmps_floor;
15026
15027         /* next push_scope()/ENTER sets PL_scopestack[PL_scopestack_ix]
15028          * NOTE: unlike the others! */
15029         PL_scopestack_ix        = proto_perl->Iscopestack_ix;
15030         PL_scopestack_max       = proto_perl->Iscopestack_max;
15031
15032         /* next SSPUSHFOO() sets PL_savestack[PL_savestack_ix]
15033          * NOTE: unlike the others! */
15034         PL_savestack_ix         = proto_perl->Isavestack_ix;
15035         PL_savestack_max        = proto_perl->Isavestack_max;
15036     }
15037
15038     PL_start_env        = proto_perl->Istart_env;       /* XXXXXX */
15039     PL_top_env          = &PL_start_env;
15040
15041     PL_op               = proto_perl->Iop;
15042
15043     PL_Sv               = NULL;
15044     PL_Xpv              = (XPV*)NULL;
15045     my_perl->Ina        = proto_perl->Ina;
15046
15047     PL_statbuf          = proto_perl->Istatbuf;
15048     PL_statcache        = proto_perl->Istatcache;
15049
15050 #ifndef NO_TAINT_SUPPORT
15051     PL_tainted          = proto_perl->Itainted;
15052 #else
15053     PL_tainted          = FALSE;
15054 #endif
15055     PL_curpm            = proto_perl->Icurpm;   /* XXX No PMOP ref count */
15056
15057     PL_chopset          = proto_perl->Ichopset; /* XXX never deallocated */
15058
15059     PL_restartjmpenv    = proto_perl->Irestartjmpenv;
15060     PL_restartop        = proto_perl->Irestartop;
15061     PL_in_eval          = proto_perl->Iin_eval;
15062     PL_delaymagic       = proto_perl->Idelaymagic;
15063     PL_phase            = proto_perl->Iphase;
15064     PL_localizing       = proto_perl->Ilocalizing;
15065
15066     PL_hv_fetch_ent_mh  = NULL;
15067     PL_modcount         = proto_perl->Imodcount;
15068     PL_lastgotoprobe    = NULL;
15069     PL_dumpindent       = proto_perl->Idumpindent;
15070
15071     PL_efloatbuf        = NULL;         /* reinits on demand */
15072     PL_efloatsize       = 0;                    /* reinits on demand */
15073
15074     /* regex stuff */
15075
15076     PL_colorset         = 0;            /* reinits PL_colors[] */
15077     /*PL_colors[6]      = {0,0,0,0,0,0};*/
15078
15079     /* Pluggable optimizer */
15080     PL_peepp            = proto_perl->Ipeepp;
15081     PL_rpeepp           = proto_perl->Irpeepp;
15082     /* op_free() hook */
15083     PL_opfreehook       = proto_perl->Iopfreehook;
15084
15085 #ifdef USE_REENTRANT_API
15086     /* XXX: things like -Dm will segfault here in perlio, but doing
15087      *  PERL_SET_CONTEXT(proto_perl);
15088      * breaks too many other things
15089      */
15090     Perl_reentrant_init(aTHX);
15091 #endif
15092
15093     /* create SV map for pointer relocation */
15094     PL_ptr_table = ptr_table_new();
15095
15096     /* initialize these special pointers as early as possible */
15097     init_constants();
15098     ptr_table_store(PL_ptr_table, &proto_perl->Isv_undef, &PL_sv_undef);
15099     ptr_table_store(PL_ptr_table, &proto_perl->Isv_no, &PL_sv_no);
15100     ptr_table_store(PL_ptr_table, &proto_perl->Isv_yes, &PL_sv_yes);
15101     ptr_table_store(PL_ptr_table, &proto_perl->Ipadname_const,
15102                     &PL_padname_const);
15103
15104     /* create (a non-shared!) shared string table */
15105     PL_strtab           = newHV();
15106     HvSHAREKEYS_off(PL_strtab);
15107     hv_ksplit(PL_strtab, HvTOTALKEYS(proto_perl->Istrtab));
15108     ptr_table_store(PL_ptr_table, proto_perl->Istrtab, PL_strtab);
15109
15110     Zero(PL_sv_consts, SV_CONSTS_COUNT, SV*);
15111
15112     /* This PV will be free'd special way so must set it same way op.c does */
15113     PL_compiling.cop_file    = savesharedpv(PL_compiling.cop_file);
15114     ptr_table_store(PL_ptr_table, proto_perl->Icompiling.cop_file, PL_compiling.cop_file);
15115
15116     ptr_table_store(PL_ptr_table, &proto_perl->Icompiling, &PL_compiling);
15117     PL_compiling.cop_warnings = DUP_WARNINGS(PL_compiling.cop_warnings);
15118     CopHINTHASH_set(&PL_compiling, cophh_copy(CopHINTHASH_get(&PL_compiling)));
15119     PL_curcop           = (COP*)any_dup(proto_perl->Icurcop, proto_perl);
15120
15121     param->stashes      = newAV();  /* Setup array of objects to call clone on */
15122     /* This makes no difference to the implementation, as it always pushes
15123        and shifts pointers to other SVs without changing their reference
15124        count, with the array becoming empty before it is freed. However, it
15125        makes it conceptually clear what is going on, and will avoid some
15126        work inside av.c, filling slots between AvFILL() and AvMAX() with
15127        &PL_sv_undef, and SvREFCNT_dec()ing those.  */
15128     AvREAL_off(param->stashes);
15129
15130     if (!(flags & CLONEf_COPY_STACKS)) {
15131         param->unreferenced = newAV();
15132     }
15133
15134 #ifdef PERLIO_LAYERS
15135     /* Clone PerlIO tables as soon as we can handle general xx_dup() */
15136     PerlIO_clone(aTHX_ proto_perl, param);
15137 #endif
15138
15139     PL_envgv            = gv_dup_inc(proto_perl->Ienvgv, param);
15140     PL_incgv            = gv_dup_inc(proto_perl->Iincgv, param);
15141     PL_hintgv           = gv_dup_inc(proto_perl->Ihintgv, param);
15142     PL_origfilename     = SAVEPV(proto_perl->Iorigfilename);
15143     PL_xsubfilename     = proto_perl->Ixsubfilename;
15144     PL_diehook          = sv_dup_inc(proto_perl->Idiehook, param);
15145     PL_warnhook         = sv_dup_inc(proto_perl->Iwarnhook, param);
15146
15147     /* switches */
15148     PL_patchlevel       = sv_dup_inc(proto_perl->Ipatchlevel, param);
15149     PL_inplace          = SAVEPV(proto_perl->Iinplace);
15150     PL_e_script         = sv_dup_inc(proto_perl->Ie_script, param);
15151
15152     /* magical thingies */
15153
15154     SvPVCLEAR(PERL_DEBUG_PAD(0));        /* For regex debugging. */
15155     SvPVCLEAR(PERL_DEBUG_PAD(1));        /* ext/re needs these */
15156     SvPVCLEAR(PERL_DEBUG_PAD(2));        /* even without DEBUGGING. */
15157
15158    
15159     /* Clone the regex array */
15160     /* ORANGE FIXME for plugins, probably in the SV dup code.
15161        newSViv(PTR2IV(CALLREGDUPE(
15162        INT2PTR(REGEXP *, SvIVX(regex)), param))))
15163     */
15164     PL_regex_padav = av_dup_inc(proto_perl->Iregex_padav, param);
15165     PL_regex_pad = AvARRAY(PL_regex_padav);
15166
15167     PL_stashpadmax      = proto_perl->Istashpadmax;
15168     PL_stashpadix       = proto_perl->Istashpadix ;
15169     Newx(PL_stashpad, PL_stashpadmax, HV *);
15170     {
15171         PADOFFSET o = 0;
15172         for (; o < PL_stashpadmax; ++o)
15173             PL_stashpad[o] = hv_dup(proto_perl->Istashpad[o], param);
15174     }
15175
15176     /* shortcuts to various I/O objects */
15177     PL_ofsgv            = gv_dup_inc(proto_perl->Iofsgv, param);
15178     PL_stdingv          = gv_dup(proto_perl->Istdingv, param);
15179     PL_stderrgv         = gv_dup(proto_perl->Istderrgv, param);
15180     PL_defgv            = gv_dup(proto_perl->Idefgv, param);
15181     PL_argvgv           = gv_dup_inc(proto_perl->Iargvgv, param);
15182     PL_argvoutgv        = gv_dup(proto_perl->Iargvoutgv, param);
15183     PL_argvout_stack    = av_dup_inc(proto_perl->Iargvout_stack, param);
15184
15185     /* shortcuts to regexp stuff */
15186     PL_replgv           = gv_dup_inc(proto_perl->Ireplgv, param);
15187
15188     /* shortcuts to misc objects */
15189     PL_errgv            = gv_dup(proto_perl->Ierrgv, param);
15190
15191     /* shortcuts to debugging objects */
15192     PL_DBgv             = gv_dup_inc(proto_perl->IDBgv, param);
15193     PL_DBline           = gv_dup_inc(proto_perl->IDBline, param);
15194     PL_DBsub            = gv_dup_inc(proto_perl->IDBsub, param);
15195     PL_DBsingle         = sv_dup(proto_perl->IDBsingle, param);
15196     PL_DBtrace          = sv_dup(proto_perl->IDBtrace, param);
15197     PL_DBsignal         = sv_dup(proto_perl->IDBsignal, param);
15198     Copy(proto_perl->IDBcontrol, PL_DBcontrol, DBVARMG_COUNT, IV);
15199
15200     /* symbol tables */
15201     PL_defstash         = hv_dup_inc(proto_perl->Idefstash, param);
15202     PL_curstash         = hv_dup_inc(proto_perl->Icurstash, param);
15203     PL_debstash         = hv_dup(proto_perl->Idebstash, param);
15204     PL_globalstash      = hv_dup(proto_perl->Iglobalstash, param);
15205     PL_curstname        = sv_dup_inc(proto_perl->Icurstname, param);
15206
15207     PL_beginav          = av_dup_inc(proto_perl->Ibeginav, param);
15208     PL_beginav_save     = av_dup_inc(proto_perl->Ibeginav_save, param);
15209     PL_checkav_save     = av_dup_inc(proto_perl->Icheckav_save, param);
15210     PL_unitcheckav      = av_dup_inc(proto_perl->Iunitcheckav, param);
15211     PL_unitcheckav_save = av_dup_inc(proto_perl->Iunitcheckav_save, param);
15212     PL_endav            = av_dup_inc(proto_perl->Iendav, param);
15213     PL_checkav          = av_dup_inc(proto_perl->Icheckav, param);
15214     PL_initav           = av_dup_inc(proto_perl->Iinitav, param);
15215     PL_savebegin        = proto_perl->Isavebegin;
15216
15217     PL_isarev           = hv_dup_inc(proto_perl->Iisarev, param);
15218
15219     /* subprocess state */
15220     PL_fdpid            = av_dup_inc(proto_perl->Ifdpid, param);
15221
15222     if (proto_perl->Iop_mask)
15223         PL_op_mask      = SAVEPVN(proto_perl->Iop_mask, PL_maxo);
15224     else
15225         PL_op_mask      = NULL;
15226     /* PL_asserting        = proto_perl->Iasserting; */
15227
15228     /* current interpreter roots */
15229     PL_main_cv          = cv_dup_inc(proto_perl->Imain_cv, param);
15230     OP_REFCNT_LOCK;
15231     PL_main_root        = OpREFCNT_inc(proto_perl->Imain_root);
15232     OP_REFCNT_UNLOCK;
15233
15234     /* runtime control stuff */
15235     PL_curcopdb         = (COP*)any_dup(proto_perl->Icurcopdb, proto_perl);
15236
15237     PL_preambleav       = av_dup_inc(proto_perl->Ipreambleav, param);
15238
15239     PL_ors_sv           = sv_dup_inc(proto_perl->Iors_sv, param);
15240
15241     /* interpreter atexit processing */
15242     PL_exitlistlen      = proto_perl->Iexitlistlen;
15243     if (PL_exitlistlen) {
15244         Newx(PL_exitlist, PL_exitlistlen, PerlExitListEntry);
15245         Copy(proto_perl->Iexitlist, PL_exitlist, PL_exitlistlen, PerlExitListEntry);
15246     }
15247     else
15248         PL_exitlist     = (PerlExitListEntry*)NULL;
15249
15250     PL_my_cxt_size = proto_perl->Imy_cxt_size;
15251     if (PL_my_cxt_size) {
15252         Newx(PL_my_cxt_list, PL_my_cxt_size, void *);
15253         Copy(proto_perl->Imy_cxt_list, PL_my_cxt_list, PL_my_cxt_size, void *);
15254 #ifdef PERL_GLOBAL_STRUCT_PRIVATE
15255         Newx(PL_my_cxt_keys, PL_my_cxt_size, const char *);
15256         Copy(proto_perl->Imy_cxt_keys, PL_my_cxt_keys, PL_my_cxt_size, char *);
15257 #endif
15258     }
15259     else {
15260         PL_my_cxt_list  = (void**)NULL;
15261 #ifdef PERL_GLOBAL_STRUCT_PRIVATE
15262         PL_my_cxt_keys  = (const char**)NULL;
15263 #endif
15264     }
15265     PL_modglobal        = hv_dup_inc(proto_perl->Imodglobal, param);
15266     PL_custom_op_names  = hv_dup_inc(proto_perl->Icustom_op_names,param);
15267     PL_custom_op_descs  = hv_dup_inc(proto_perl->Icustom_op_descs,param);
15268     PL_custom_ops       = hv_dup_inc(proto_perl->Icustom_ops, param);
15269
15270     PL_compcv                   = cv_dup(proto_perl->Icompcv, param);
15271
15272     PAD_CLONE_VARS(proto_perl, param);
15273
15274 #ifdef HAVE_INTERP_INTERN
15275     sys_intern_dup(&proto_perl->Isys_intern, &PL_sys_intern);
15276 #endif
15277
15278     PL_DBcv             = cv_dup(proto_perl->IDBcv, param);
15279
15280 #ifdef PERL_USES_PL_PIDSTATUS
15281     PL_pidstatus        = newHV();                      /* XXX flag for cloning? */
15282 #endif
15283     PL_osname           = SAVEPV(proto_perl->Iosname);
15284     PL_parser           = parser_dup(proto_perl->Iparser, param);
15285
15286     /* XXX this only works if the saved cop has already been cloned */
15287     if (proto_perl->Iparser) {
15288         PL_parser->saved_curcop = (COP*)any_dup(
15289                                     proto_perl->Iparser->saved_curcop,
15290                                     proto_perl);
15291     }
15292
15293     PL_subname          = sv_dup_inc(proto_perl->Isubname, param);
15294
15295 #ifdef USE_LOCALE_CTYPE
15296     /* Should we warn if uses locale? */
15297     PL_warn_locale      = sv_dup_inc(proto_perl->Iwarn_locale, param);
15298 #endif
15299
15300 #ifdef USE_LOCALE_COLLATE
15301     PL_collation_name   = SAVEPV(proto_perl->Icollation_name);
15302 #endif /* USE_LOCALE_COLLATE */
15303
15304 #ifdef USE_LOCALE_NUMERIC
15305     PL_numeric_name     = SAVEPV(proto_perl->Inumeric_name);
15306     PL_numeric_radix_sv = sv_dup_inc(proto_perl->Inumeric_radix_sv, param);
15307 #endif /* !USE_LOCALE_NUMERIC */
15308
15309     /* Unicode inversion lists */
15310     PL_Latin1           = sv_dup_inc(proto_perl->ILatin1, param);
15311     PL_UpperLatin1      = sv_dup_inc(proto_perl->IUpperLatin1, param);
15312     PL_AboveLatin1      = sv_dup_inc(proto_perl->IAboveLatin1, param);
15313     PL_InBitmap         = sv_dup_inc(proto_perl->IInBitmap, param);
15314
15315     PL_NonL1NonFinalFold = sv_dup_inc(proto_perl->INonL1NonFinalFold, param);
15316     PL_HasMultiCharFold = sv_dup_inc(proto_perl->IHasMultiCharFold, param);
15317
15318     /* utf8 character class swashes */
15319     for (i = 0; i < POSIX_SWASH_COUNT; i++) {
15320         PL_utf8_swash_ptrs[i] = sv_dup_inc(proto_perl->Iutf8_swash_ptrs[i], param);
15321     }
15322     for (i = 0; i < POSIX_CC_COUNT; i++) {
15323         PL_XPosix_ptrs[i] = sv_dup_inc(proto_perl->IXPosix_ptrs[i], param);
15324     }
15325     PL_GCB_invlist = sv_dup_inc(proto_perl->IGCB_invlist, param);
15326     PL_SB_invlist = sv_dup_inc(proto_perl->ISB_invlist, param);
15327     PL_WB_invlist = sv_dup_inc(proto_perl->IWB_invlist, param);
15328     PL_utf8_mark        = sv_dup_inc(proto_perl->Iutf8_mark, param);
15329     PL_utf8_toupper     = sv_dup_inc(proto_perl->Iutf8_toupper, param);
15330     PL_utf8_totitle     = sv_dup_inc(proto_perl->Iutf8_totitle, param);
15331     PL_utf8_tolower     = sv_dup_inc(proto_perl->Iutf8_tolower, param);
15332     PL_utf8_tofold      = sv_dup_inc(proto_perl->Iutf8_tofold, param);
15333     PL_utf8_idstart     = sv_dup_inc(proto_perl->Iutf8_idstart, param);
15334     PL_utf8_xidstart    = sv_dup_inc(proto_perl->Iutf8_xidstart, param);
15335     PL_utf8_perl_idstart = sv_dup_inc(proto_perl->Iutf8_perl_idstart, param);
15336     PL_utf8_perl_idcont = sv_dup_inc(proto_perl->Iutf8_perl_idcont, param);
15337     PL_utf8_idcont      = sv_dup_inc(proto_perl->Iutf8_idcont, param);
15338     PL_utf8_xidcont     = sv_dup_inc(proto_perl->Iutf8_xidcont, param);
15339     PL_utf8_foldable    = sv_dup_inc(proto_perl->Iutf8_foldable, param);
15340     PL_utf8_charname_begin = sv_dup_inc(proto_perl->Iutf8_charname_begin, param);
15341     PL_utf8_charname_continue = sv_dup_inc(proto_perl->Iutf8_charname_continue, param);
15342
15343     if (proto_perl->Ipsig_pend) {
15344         Newxz(PL_psig_pend, SIG_SIZE, int);
15345     }
15346     else {
15347         PL_psig_pend    = (int*)NULL;
15348     }
15349
15350     if (proto_perl->Ipsig_name) {
15351         Newx(PL_psig_name, 2 * SIG_SIZE, SV*);
15352         sv_dup_inc_multiple(proto_perl->Ipsig_name, PL_psig_name, 2 * SIG_SIZE,
15353                             param);
15354         PL_psig_ptr = PL_psig_name + SIG_SIZE;
15355     }
15356     else {
15357         PL_psig_ptr     = (SV**)NULL;
15358         PL_psig_name    = (SV**)NULL;
15359     }
15360
15361     if (flags & CLONEf_COPY_STACKS) {
15362         Newx(PL_tmps_stack, PL_tmps_max, SV*);
15363         sv_dup_inc_multiple(proto_perl->Itmps_stack, PL_tmps_stack,
15364                             PL_tmps_ix+1, param);
15365
15366         /* next PUSHMARK() sets *(PL_markstack_ptr+1) */
15367         i = proto_perl->Imarkstack_max - proto_perl->Imarkstack;
15368         Newxz(PL_markstack, i, I32);
15369         PL_markstack_max        = PL_markstack + (proto_perl->Imarkstack_max
15370                                                   - proto_perl->Imarkstack);
15371         PL_markstack_ptr        = PL_markstack + (proto_perl->Imarkstack_ptr
15372                                                   - proto_perl->Imarkstack);
15373         Copy(proto_perl->Imarkstack, PL_markstack,
15374              PL_markstack_ptr - PL_markstack + 1, I32);
15375
15376         /* next push_scope()/ENTER sets PL_scopestack[PL_scopestack_ix]
15377          * NOTE: unlike the others! */
15378         Newxz(PL_scopestack, PL_scopestack_max, I32);
15379         Copy(proto_perl->Iscopestack, PL_scopestack, PL_scopestack_ix, I32);
15380
15381 #ifdef DEBUGGING
15382         Newxz(PL_scopestack_name, PL_scopestack_max, const char *);
15383         Copy(proto_perl->Iscopestack_name, PL_scopestack_name, PL_scopestack_ix, const char *);
15384 #endif
15385         /* reset stack AV to correct length before its duped via
15386          * PL_curstackinfo */
15387         AvFILLp(proto_perl->Icurstack) =
15388                             proto_perl->Istack_sp - proto_perl->Istack_base;
15389
15390         /* NOTE: si_dup() looks at PL_markstack */
15391         PL_curstackinfo         = si_dup(proto_perl->Icurstackinfo, param);
15392
15393         /* PL_curstack          = PL_curstackinfo->si_stack; */
15394         PL_curstack             = av_dup(proto_perl->Icurstack, param);
15395         PL_mainstack            = av_dup(proto_perl->Imainstack, param);
15396
15397         /* next PUSHs() etc. set *(PL_stack_sp+1) */
15398         PL_stack_base           = AvARRAY(PL_curstack);
15399         PL_stack_sp             = PL_stack_base + (proto_perl->Istack_sp
15400                                                    - proto_perl->Istack_base);
15401         PL_stack_max            = PL_stack_base + AvMAX(PL_curstack);
15402
15403         /*Newxz(PL_savestack, PL_savestack_max, ANY);*/
15404         PL_savestack            = ss_dup(proto_perl, param);
15405     }
15406     else {
15407         init_stacks();
15408         ENTER;                  /* perl_destruct() wants to LEAVE; */
15409     }
15410
15411     PL_statgv           = gv_dup(proto_perl->Istatgv, param);
15412     PL_statname         = sv_dup_inc(proto_perl->Istatname, param);
15413
15414     PL_rs               = sv_dup_inc(proto_perl->Irs, param);
15415     PL_last_in_gv       = gv_dup(proto_perl->Ilast_in_gv, param);
15416     PL_defoutgv         = gv_dup_inc(proto_perl->Idefoutgv, param);
15417     PL_toptarget        = sv_dup_inc(proto_perl->Itoptarget, param);
15418     PL_bodytarget       = sv_dup_inc(proto_perl->Ibodytarget, param);
15419     PL_formtarget       = sv_dup(proto_perl->Iformtarget, param);
15420
15421     PL_errors           = sv_dup_inc(proto_perl->Ierrors, param);
15422
15423     PL_sortcop          = (OP*)any_dup(proto_perl->Isortcop, proto_perl);
15424     PL_firstgv          = gv_dup_inc(proto_perl->Ifirstgv, param);
15425     PL_secondgv         = gv_dup_inc(proto_perl->Isecondgv, param);
15426
15427     PL_stashcache       = newHV();
15428
15429     PL_watchaddr        = (char **) ptr_table_fetch(PL_ptr_table,
15430                                             proto_perl->Iwatchaddr);
15431     PL_watchok          = PL_watchaddr ? * PL_watchaddr : NULL;
15432     if (PL_debug && PL_watchaddr) {
15433         PerlIO_printf(Perl_debug_log,
15434           "WATCHING: %" UVxf " cloned as %" UVxf " with value %" UVxf "\n",
15435           PTR2UV(proto_perl->Iwatchaddr), PTR2UV(PL_watchaddr),
15436           PTR2UV(PL_watchok));
15437     }
15438
15439     PL_registered_mros  = hv_dup_inc(proto_perl->Iregistered_mros, param);
15440     PL_blockhooks       = av_dup_inc(proto_perl->Iblockhooks, param);
15441     PL_utf8_foldclosures = hv_dup_inc(proto_perl->Iutf8_foldclosures, param);
15442
15443     /* Call the ->CLONE method, if it exists, for each of the stashes
15444        identified by sv_dup() above.
15445     */
15446     while(av_tindex(param->stashes) != -1) {
15447         HV* const stash = MUTABLE_HV(av_shift(param->stashes));
15448         GV* const cloner = gv_fetchmethod_autoload(stash, "CLONE", 0);
15449         if (cloner && GvCV(cloner)) {
15450             dSP;
15451             ENTER;
15452             SAVETMPS;
15453             PUSHMARK(SP);
15454             mXPUSHs(newSVhek(HvNAME_HEK(stash)));
15455             PUTBACK;
15456             call_sv(MUTABLE_SV(GvCV(cloner)), G_DISCARD);
15457             FREETMPS;
15458             LEAVE;
15459         }
15460     }
15461
15462     if (!(flags & CLONEf_KEEP_PTR_TABLE)) {
15463         ptr_table_free(PL_ptr_table);
15464         PL_ptr_table = NULL;
15465     }
15466
15467     if (!(flags & CLONEf_COPY_STACKS)) {
15468         unreferenced_to_tmp_stack(param->unreferenced);
15469     }
15470
15471     SvREFCNT_dec(param->stashes);
15472
15473     /* orphaned? eg threads->new inside BEGIN or use */
15474     if (PL_compcv && ! SvREFCNT(PL_compcv)) {
15475         SvREFCNT_inc_simple_void(PL_compcv);
15476         SAVEFREESV(PL_compcv);
15477     }
15478
15479     return my_perl;
15480 }
15481
15482 static void
15483 S_unreferenced_to_tmp_stack(pTHX_ AV *const unreferenced)
15484 {
15485     PERL_ARGS_ASSERT_UNREFERENCED_TO_TMP_STACK;
15486     
15487     if (AvFILLp(unreferenced) > -1) {
15488         SV **svp = AvARRAY(unreferenced);
15489         SV **const last = svp + AvFILLp(unreferenced);
15490         SSize_t count = 0;
15491
15492         do {
15493             if (SvREFCNT(*svp) == 1)
15494                 ++count;
15495         } while (++svp <= last);
15496
15497         EXTEND_MORTAL(count);
15498         svp = AvARRAY(unreferenced);
15499
15500         do {
15501             if (SvREFCNT(*svp) == 1) {
15502                 /* Our reference is the only one to this SV. This means that
15503                    in this thread, the scalar effectively has a 0 reference.
15504                    That doesn't work (cleanup never happens), so donate our
15505                    reference to it onto the save stack. */
15506                 PL_tmps_stack[++PL_tmps_ix] = *svp;
15507             } else {
15508                 /* As an optimisation, because we are already walking the
15509                    entire array, instead of above doing either
15510                    SvREFCNT_inc(*svp) or *svp = &PL_sv_undef, we can instead
15511                    release our reference to the scalar, so that at the end of
15512                    the array owns zero references to the scalars it happens to
15513                    point to. We are effectively converting the array from
15514                    AvREAL() on to AvREAL() off. This saves the av_clear()
15515                    (triggered by the SvREFCNT_dec(unreferenced) below) from
15516                    walking the array a second time.  */
15517                 SvREFCNT_dec(*svp);
15518             }
15519
15520         } while (++svp <= last);
15521         AvREAL_off(unreferenced);
15522     }
15523     SvREFCNT_dec_NN(unreferenced);
15524 }
15525
15526 void
15527 Perl_clone_params_del(CLONE_PARAMS *param)
15528 {
15529     /* This seemingly funky ordering keeps the build with PERL_GLOBAL_STRUCT
15530        happy: */
15531     PerlInterpreter *const to = param->new_perl;
15532     dTHXa(to);
15533     PerlInterpreter *const was = PERL_GET_THX;
15534
15535     PERL_ARGS_ASSERT_CLONE_PARAMS_DEL;
15536
15537     if (was != to) {
15538         PERL_SET_THX(to);
15539     }
15540
15541     SvREFCNT_dec(param->stashes);
15542     if (param->unreferenced)
15543         unreferenced_to_tmp_stack(param->unreferenced);
15544
15545     Safefree(param);
15546
15547     if (was != to) {
15548         PERL_SET_THX(was);
15549     }
15550 }
15551
15552 CLONE_PARAMS *
15553 Perl_clone_params_new(PerlInterpreter *const from, PerlInterpreter *const to)
15554 {
15555     dVAR;
15556     /* Need to play this game, as newAV() can call safesysmalloc(), and that
15557        does a dTHX; to get the context from thread local storage.
15558        FIXME - under PERL_CORE Newx(), Safefree() and friends should expand to
15559        a version that passes in my_perl.  */
15560     PerlInterpreter *const was = PERL_GET_THX;
15561     CLONE_PARAMS *param;
15562
15563     PERL_ARGS_ASSERT_CLONE_PARAMS_NEW;
15564
15565     if (was != to) {
15566         PERL_SET_THX(to);
15567     }
15568
15569     /* Given that we've set the context, we can do this unshared.  */
15570     Newx(param, 1, CLONE_PARAMS);
15571
15572     param->flags = 0;
15573     param->proto_perl = from;
15574     param->new_perl = to;
15575     param->stashes = (AV *)Perl_newSV_type(to, SVt_PVAV);
15576     AvREAL_off(param->stashes);
15577     param->unreferenced = (AV *)Perl_newSV_type(to, SVt_PVAV);
15578
15579     if (was != to) {
15580         PERL_SET_THX(was);
15581     }
15582     return param;
15583 }
15584
15585 #endif /* USE_ITHREADS */
15586
15587 void
15588 Perl_init_constants(pTHX)
15589 {
15590     SvREFCNT(&PL_sv_undef)      = SvREFCNT_IMMORTAL;
15591     SvFLAGS(&PL_sv_undef)       = SVf_READONLY|SVf_PROTECT|SVt_NULL;
15592     SvANY(&PL_sv_undef)         = NULL;
15593
15594     SvANY(&PL_sv_no)            = new_XPVNV();
15595     SvREFCNT(&PL_sv_no)         = SvREFCNT_IMMORTAL;
15596     SvFLAGS(&PL_sv_no)          = SVt_PVNV|SVf_READONLY|SVf_PROTECT
15597                                   |SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
15598                                   |SVp_POK|SVf_POK;
15599
15600     SvANY(&PL_sv_yes)           = new_XPVNV();
15601     SvREFCNT(&PL_sv_yes)        = SvREFCNT_IMMORTAL;
15602     SvFLAGS(&PL_sv_yes)         = SVt_PVNV|SVf_READONLY|SVf_PROTECT
15603                                   |SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
15604                                   |SVp_POK|SVf_POK;
15605
15606     SvPV_set(&PL_sv_no, (char*)PL_No);
15607     SvCUR_set(&PL_sv_no, 0);
15608     SvLEN_set(&PL_sv_no, 0);
15609     SvIV_set(&PL_sv_no, 0);
15610     SvNV_set(&PL_sv_no, 0);
15611
15612     SvPV_set(&PL_sv_yes, (char*)PL_Yes);
15613     SvCUR_set(&PL_sv_yes, 1);
15614     SvLEN_set(&PL_sv_yes, 0);
15615     SvIV_set(&PL_sv_yes, 1);
15616     SvNV_set(&PL_sv_yes, 1);
15617
15618     PadnamePV(&PL_padname_const) = (char *)PL_No;
15619 }
15620
15621 /*
15622 =head1 Unicode Support
15623
15624 =for apidoc sv_recode_to_utf8
15625
15626 C<encoding> is assumed to be an C<Encode> object, on entry the PV
15627 of C<sv> is assumed to be octets in that encoding, and C<sv>
15628 will be converted into Unicode (and UTF-8).
15629
15630 If C<sv> already is UTF-8 (or if it is not C<POK>), or if C<encoding>
15631 is not a reference, nothing is done to C<sv>.  If C<encoding> is not
15632 an C<Encode::XS> Encoding object, bad things will happen.
15633 (See F<cpan/Encode/encoding.pm> and L<Encode>.)
15634
15635 The PV of C<sv> is returned.
15636
15637 =cut */
15638
15639 char *
15640 Perl_sv_recode_to_utf8(pTHX_ SV *sv, SV *encoding)
15641 {
15642     PERL_ARGS_ASSERT_SV_RECODE_TO_UTF8;
15643
15644     if (SvPOK(sv) && !SvUTF8(sv) && !IN_BYTES && SvROK(encoding)) {
15645         SV *uni;
15646         STRLEN len;
15647         const char *s;
15648         dSP;
15649         SV *nsv = sv;
15650         ENTER;
15651         PUSHSTACK;
15652         SAVETMPS;
15653         if (SvPADTMP(nsv)) {
15654             nsv = sv_newmortal();
15655             SvSetSV_nosteal(nsv, sv);
15656         }
15657         save_re_context();
15658         PUSHMARK(sp);
15659         EXTEND(SP, 3);
15660         PUSHs(encoding);
15661         PUSHs(nsv);
15662 /*
15663   NI-S 2002/07/09
15664   Passing sv_yes is wrong - it needs to be or'ed set of constants
15665   for Encode::XS, while UTf-8 decode (currently) assumes a true value means
15666   remove converted chars from source.
15667
15668   Both will default the value - let them.
15669
15670         XPUSHs(&PL_sv_yes);
15671 */
15672         PUTBACK;
15673         call_method("decode", G_SCALAR);
15674         SPAGAIN;
15675         uni = POPs;
15676         PUTBACK;
15677         s = SvPV_const(uni, len);
15678         if (s != SvPVX_const(sv)) {
15679             SvGROW(sv, len + 1);
15680             Move(s, SvPVX(sv), len + 1, char);
15681             SvCUR_set(sv, len);
15682         }
15683         FREETMPS;
15684         POPSTACK;
15685         LEAVE;
15686         if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
15687             /* clear pos and any utf8 cache */
15688             MAGIC * mg = mg_find(sv, PERL_MAGIC_regex_global);
15689             if (mg)
15690                 mg->mg_len = -1;
15691             if ((mg = mg_find(sv, PERL_MAGIC_utf8)))
15692                 magic_setutf8(sv,mg); /* clear UTF8 cache */
15693         }
15694         SvUTF8_on(sv);
15695         return SvPVX(sv);
15696     }
15697     return SvPOKp(sv) ? SvPVX(sv) : NULL;
15698 }
15699
15700 /*
15701 =for apidoc sv_cat_decode
15702
15703 C<encoding> is assumed to be an C<Encode> object, the PV of C<ssv> is
15704 assumed to be octets in that encoding and decoding the input starts
15705 from the position which S<C<(PV + *offset)>> pointed to.  C<dsv> will be
15706 concatenated with the decoded UTF-8 string from C<ssv>.  Decoding will terminate
15707 when the string C<tstr> appears in decoding output or the input ends on
15708 the PV of C<ssv>.  The value which C<offset> points will be modified
15709 to the last input position on C<ssv>.
15710
15711 Returns TRUE if the terminator was found, else returns FALSE.
15712
15713 =cut */
15714
15715 bool
15716 Perl_sv_cat_decode(pTHX_ SV *dsv, SV *encoding,
15717                    SV *ssv, int *offset, char *tstr, int tlen)
15718 {
15719     bool ret = FALSE;
15720
15721     PERL_ARGS_ASSERT_SV_CAT_DECODE;
15722
15723     if (SvPOK(ssv) && SvPOK(dsv) && SvROK(encoding)) {
15724         SV *offsv;
15725         dSP;
15726         ENTER;
15727         SAVETMPS;
15728         save_re_context();
15729         PUSHMARK(sp);
15730         EXTEND(SP, 6);
15731         PUSHs(encoding);
15732         PUSHs(dsv);
15733         PUSHs(ssv);
15734         offsv = newSViv(*offset);
15735         mPUSHs(offsv);
15736         mPUSHp(tstr, tlen);
15737         PUTBACK;
15738         call_method("cat_decode", G_SCALAR);
15739         SPAGAIN;
15740         ret = SvTRUE(TOPs);
15741         *offset = SvIV(offsv);
15742         PUTBACK;
15743         FREETMPS;
15744         LEAVE;
15745     }
15746     else
15747         Perl_croak(aTHX_ "Invalid argument to sv_cat_decode");
15748     return ret;
15749
15750 }
15751
15752 /* ---------------------------------------------------------------------
15753  *
15754  * support functions for report_uninit()
15755  */
15756
15757 /* the maxiumum size of array or hash where we will scan looking
15758  * for the undefined element that triggered the warning */
15759
15760 #define FUV_MAX_SEARCH_SIZE 1000
15761
15762 /* Look for an entry in the hash whose value has the same SV as val;
15763  * If so, return a mortal copy of the key. */
15764
15765 STATIC SV*
15766 S_find_hash_subscript(pTHX_ const HV *const hv, const SV *const val)
15767 {
15768     dVAR;
15769     HE **array;
15770     I32 i;
15771
15772     PERL_ARGS_ASSERT_FIND_HASH_SUBSCRIPT;
15773
15774     if (!hv || SvMAGICAL(hv) || !HvARRAY(hv) ||
15775                         (HvTOTALKEYS(hv) > FUV_MAX_SEARCH_SIZE))
15776         return NULL;
15777
15778     array = HvARRAY(hv);
15779
15780     for (i=HvMAX(hv); i>=0; i--) {
15781         HE *entry;
15782         for (entry = array[i]; entry; entry = HeNEXT(entry)) {
15783             if (HeVAL(entry) != val)
15784                 continue;
15785             if (    HeVAL(entry) == &PL_sv_undef ||
15786                     HeVAL(entry) == &PL_sv_placeholder)
15787                 continue;
15788             if (!HeKEY(entry))
15789                 return NULL;
15790             if (HeKLEN(entry) == HEf_SVKEY)
15791                 return sv_mortalcopy(HeKEY_sv(entry));
15792             return sv_2mortal(newSVhek(HeKEY_hek(entry)));
15793         }
15794     }
15795     return NULL;
15796 }
15797
15798 /* Look for an entry in the array whose value has the same SV as val;
15799  * If so, return the index, otherwise return -1. */
15800
15801 STATIC SSize_t
15802 S_find_array_subscript(pTHX_ const AV *const av, const SV *const val)
15803 {
15804     PERL_ARGS_ASSERT_FIND_ARRAY_SUBSCRIPT;
15805
15806     if (!av || SvMAGICAL(av) || !AvARRAY(av) ||
15807                         (AvFILLp(av) > FUV_MAX_SEARCH_SIZE))
15808         return -1;
15809
15810     if (val != &PL_sv_undef) {
15811         SV ** const svp = AvARRAY(av);
15812         SSize_t i;
15813
15814         for (i=AvFILLp(av); i>=0; i--)
15815             if (svp[i] == val)
15816                 return i;
15817     }
15818     return -1;
15819 }
15820
15821 /* varname(): return the name of a variable, optionally with a subscript.
15822  * If gv is non-zero, use the name of that global, along with gvtype (one
15823  * of "$", "@", "%"); otherwise use the name of the lexical at pad offset
15824  * targ.  Depending on the value of the subscript_type flag, return:
15825  */
15826
15827 #define FUV_SUBSCRIPT_NONE      1       /* "@foo"          */
15828 #define FUV_SUBSCRIPT_ARRAY     2       /* "$foo[aindex]"  */
15829 #define FUV_SUBSCRIPT_HASH      3       /* "$foo{keyname}" */
15830 #define FUV_SUBSCRIPT_WITHIN    4       /* "within @foo"   */
15831
15832 SV*
15833 Perl_varname(pTHX_ const GV *const gv, const char gvtype, PADOFFSET targ,
15834         const SV *const keyname, SSize_t aindex, int subscript_type)
15835 {
15836
15837     SV * const name = sv_newmortal();
15838     if (gv && isGV(gv)) {
15839         char buffer[2];
15840         buffer[0] = gvtype;
15841         buffer[1] = 0;
15842
15843         /* as gv_fullname4(), but add literal '^' for $^FOO names  */
15844
15845         gv_fullname4(name, gv, buffer, 0);
15846
15847         if ((unsigned int)SvPVX(name)[1] <= 26) {
15848             buffer[0] = '^';
15849             buffer[1] = SvPVX(name)[1] + 'A' - 1;
15850
15851             /* Swap the 1 unprintable control character for the 2 byte pretty
15852                version - ie substr($name, 1, 1) = $buffer; */
15853             sv_insert(name, 1, 1, buffer, 2);
15854         }
15855     }
15856     else {
15857         CV * const cv = gv ? ((CV *)gv) : find_runcv(NULL);
15858         PADNAME *sv;
15859
15860         assert(!cv || SvTYPE(cv) == SVt_PVCV || SvTYPE(cv) == SVt_PVFM);
15861
15862         if (!cv || !CvPADLIST(cv))
15863             return NULL;
15864         sv = padnamelist_fetch(PadlistNAMES(CvPADLIST(cv)), targ);
15865         sv_setpvn(name, PadnamePV(sv), PadnameLEN(sv));
15866         SvUTF8_on(name);
15867     }
15868
15869     if (subscript_type == FUV_SUBSCRIPT_HASH) {
15870         SV * const sv = newSV(0);
15871         STRLEN len;
15872         const char * const pv = SvPV_nomg_const((SV*)keyname, len);
15873
15874         *SvPVX(name) = '$';
15875         Perl_sv_catpvf(aTHX_ name, "{%s}",
15876             pv_pretty(sv, pv, len, 32, NULL, NULL,
15877                     PERL_PV_PRETTY_DUMP | PERL_PV_ESCAPE_UNI_DETECT ));
15878         SvREFCNT_dec_NN(sv);
15879     }
15880     else if (subscript_type == FUV_SUBSCRIPT_ARRAY) {
15881         *SvPVX(name) = '$';
15882         Perl_sv_catpvf(aTHX_ name, "[%" IVdf "]", (IV)aindex);
15883     }
15884     else if (subscript_type == FUV_SUBSCRIPT_WITHIN) {
15885         /* We know that name has no magic, so can use 0 instead of SV_GMAGIC */
15886         Perl_sv_insert_flags(aTHX_ name, 0, 0,  STR_WITH_LEN("within "), 0);
15887     }
15888
15889     return name;
15890 }
15891
15892
15893 /*
15894 =for apidoc find_uninit_var
15895
15896 Find the name of the undefined variable (if any) that caused the operator
15897 to issue a "Use of uninitialized value" warning.
15898 If match is true, only return a name if its value matches C<uninit_sv>.
15899 So roughly speaking, if a unary operator (such as C<OP_COS>) generates a
15900 warning, then following the direct child of the op may yield an
15901 C<OP_PADSV> or C<OP_GV> that gives the name of the undefined variable.  On the
15902 other hand, with C<OP_ADD> there are two branches to follow, so we only print
15903 the variable name if we get an exact match.
15904 C<desc_p> points to a string pointer holding the description of the op.
15905 This may be updated if needed.
15906
15907 The name is returned as a mortal SV.
15908
15909 Assumes that C<PL_op> is the OP that originally triggered the error, and that
15910 C<PL_comppad>/C<PL_curpad> points to the currently executing pad.
15911
15912 =cut
15913 */
15914
15915 STATIC SV *
15916 S_find_uninit_var(pTHX_ const OP *const obase, const SV *const uninit_sv,
15917                   bool match, const char **desc_p)
15918 {
15919     dVAR;
15920     SV *sv;
15921     const GV *gv;
15922     const OP *o, *o2, *kid;
15923
15924     PERL_ARGS_ASSERT_FIND_UNINIT_VAR;
15925
15926     if (!obase || (match && (!uninit_sv || uninit_sv == &PL_sv_undef ||
15927                             uninit_sv == &PL_sv_placeholder)))
15928         return NULL;
15929
15930     switch (obase->op_type) {
15931
15932     case OP_UNDEF:
15933         /* undef should care if its args are undef - any warnings
15934          * will be from tied/magic vars */
15935         break;
15936
15937     case OP_RV2AV:
15938     case OP_RV2HV:
15939     case OP_PADAV:
15940     case OP_PADHV:
15941       {
15942         const bool pad  = (    obase->op_type == OP_PADAV
15943                             || obase->op_type == OP_PADHV
15944                             || obase->op_type == OP_PADRANGE
15945                           );
15946
15947         const bool hash = (    obase->op_type == OP_PADHV
15948                             || obase->op_type == OP_RV2HV
15949                             || (obase->op_type == OP_PADRANGE
15950                                 && SvTYPE(PAD_SVl(obase->op_targ)) == SVt_PVHV)
15951                           );
15952         SSize_t index = 0;
15953         SV *keysv = NULL;
15954         int subscript_type = FUV_SUBSCRIPT_WITHIN;
15955
15956         if (pad) { /* @lex, %lex */
15957             sv = PAD_SVl(obase->op_targ);
15958             gv = NULL;
15959         }
15960         else {
15961             if (cUNOPx(obase)->op_first->op_type == OP_GV) {
15962             /* @global, %global */
15963                 gv = cGVOPx_gv(cUNOPx(obase)->op_first);
15964                 if (!gv)
15965                     break;
15966                 sv = hash ? MUTABLE_SV(GvHV(gv)): MUTABLE_SV(GvAV(gv));
15967             }
15968             else if (obase == PL_op) /* @{expr}, %{expr} */
15969                 return find_uninit_var(cUNOPx(obase)->op_first,
15970                                                 uninit_sv, match, desc_p);
15971             else /* @{expr}, %{expr} as a sub-expression */
15972                 return NULL;
15973         }
15974
15975         /* attempt to find a match within the aggregate */
15976         if (hash) {
15977             keysv = find_hash_subscript((const HV*)sv, uninit_sv);
15978             if (keysv)
15979                 subscript_type = FUV_SUBSCRIPT_HASH;
15980         }
15981         else {
15982             index = find_array_subscript((const AV *)sv, uninit_sv);
15983             if (index >= 0)
15984                 subscript_type = FUV_SUBSCRIPT_ARRAY;
15985         }
15986
15987         if (match && subscript_type == FUV_SUBSCRIPT_WITHIN)
15988             break;
15989
15990         return varname(gv, (char)(hash ? '%' : '@'), obase->op_targ,
15991                                     keysv, index, subscript_type);
15992       }
15993
15994     case OP_RV2SV:
15995         if (cUNOPx(obase)->op_first->op_type == OP_GV) {
15996             /* $global */
15997             gv = cGVOPx_gv(cUNOPx(obase)->op_first);
15998             if (!gv || !GvSTASH(gv))
15999                 break;
16000             if (match && (GvSV(gv) != uninit_sv))
16001                 break;
16002             return varname(gv, '$', 0, NULL, 0, FUV_SUBSCRIPT_NONE);
16003         }
16004         /* ${expr} */
16005         return find_uninit_var(cUNOPx(obase)->op_first, uninit_sv, 1, desc_p);
16006
16007     case OP_PADSV:
16008         if (match && PAD_SVl(obase->op_targ) != uninit_sv)
16009             break;
16010         return varname(NULL, '$', obase->op_targ,
16011                                     NULL, 0, FUV_SUBSCRIPT_NONE);
16012
16013     case OP_GVSV:
16014         gv = cGVOPx_gv(obase);
16015         if (!gv || (match && GvSV(gv) != uninit_sv) || !GvSTASH(gv))
16016             break;
16017         return varname(gv, '$', 0, NULL, 0, FUV_SUBSCRIPT_NONE);
16018
16019     case OP_AELEMFAST_LEX:
16020         if (match) {
16021             SV **svp;
16022             AV *av = MUTABLE_AV(PAD_SV(obase->op_targ));
16023             if (!av || SvRMAGICAL(av))
16024                 break;
16025             svp = av_fetch(av, (I8)obase->op_private, FALSE);
16026             if (!svp || *svp != uninit_sv)
16027                 break;
16028         }
16029         return varname(NULL, '$', obase->op_targ,
16030                        NULL, (I8)obase->op_private, FUV_SUBSCRIPT_ARRAY);
16031     case OP_AELEMFAST:
16032         {
16033             gv = cGVOPx_gv(obase);
16034             if (!gv)
16035                 break;
16036             if (match) {
16037                 SV **svp;
16038                 AV *const av = GvAV(gv);
16039                 if (!av || SvRMAGICAL(av))
16040                     break;
16041                 svp = av_fetch(av, (I8)obase->op_private, FALSE);
16042                 if (!svp || *svp != uninit_sv)
16043                     break;
16044             }
16045             return varname(gv, '$', 0,
16046                     NULL, (I8)obase->op_private, FUV_SUBSCRIPT_ARRAY);
16047         }
16048         NOT_REACHED; /* NOTREACHED */
16049
16050     case OP_EXISTS:
16051         o = cUNOPx(obase)->op_first;
16052         if (!o || o->op_type != OP_NULL ||
16053                 ! (o->op_targ == OP_AELEM || o->op_targ == OP_HELEM))
16054             break;
16055         return find_uninit_var(cBINOPo->op_last, uninit_sv, match, desc_p);
16056
16057     case OP_AELEM:
16058     case OP_HELEM:
16059     {
16060         bool negate = FALSE;
16061
16062         if (PL_op == obase)
16063             /* $a[uninit_expr] or $h{uninit_expr} */
16064             return find_uninit_var(cBINOPx(obase)->op_last,
16065                                                 uninit_sv, match, desc_p);
16066
16067         gv = NULL;
16068         o = cBINOPx(obase)->op_first;
16069         kid = cBINOPx(obase)->op_last;
16070
16071         /* get the av or hv, and optionally the gv */
16072         sv = NULL;
16073         if  (o->op_type == OP_PADAV || o->op_type == OP_PADHV) {
16074             sv = PAD_SV(o->op_targ);
16075         }
16076         else if ((o->op_type == OP_RV2AV || o->op_type == OP_RV2HV)
16077                 && cUNOPo->op_first->op_type == OP_GV)
16078         {
16079             gv = cGVOPx_gv(cUNOPo->op_first);
16080             if (!gv)
16081                 break;
16082             sv = o->op_type
16083                 == OP_RV2HV ? MUTABLE_SV(GvHV(gv)) : MUTABLE_SV(GvAV(gv));
16084         }
16085         if (!sv)
16086             break;
16087
16088         if (kid && kid->op_type == OP_NEGATE) {
16089             negate = TRUE;
16090             kid = cUNOPx(kid)->op_first;
16091         }
16092
16093         if (kid && kid->op_type == OP_CONST && SvOK(cSVOPx_sv(kid))) {
16094             /* index is constant */
16095             SV* kidsv;
16096             if (negate) {
16097                 kidsv = newSVpvs_flags("-", SVs_TEMP);
16098                 sv_catsv(kidsv, cSVOPx_sv(kid));
16099             }
16100             else
16101                 kidsv = cSVOPx_sv(kid);
16102             if (match) {
16103                 if (SvMAGICAL(sv))
16104                     break;
16105                 if (obase->op_type == OP_HELEM) {
16106                     HE* he = hv_fetch_ent(MUTABLE_HV(sv), kidsv, 0, 0);
16107                     if (!he || HeVAL(he) != uninit_sv)
16108                         break;
16109                 }
16110                 else {
16111                     SV * const  opsv = cSVOPx_sv(kid);
16112                     const IV  opsviv = SvIV(opsv);
16113                     SV * const * const svp = av_fetch(MUTABLE_AV(sv),
16114                         negate ? - opsviv : opsviv,
16115                         FALSE);
16116                     if (!svp || *svp != uninit_sv)
16117                         break;
16118                 }
16119             }
16120             if (obase->op_type == OP_HELEM)
16121                 return varname(gv, '%', o->op_targ,
16122                             kidsv, 0, FUV_SUBSCRIPT_HASH);
16123             else
16124                 return varname(gv, '@', o->op_targ, NULL,
16125                     negate ? - SvIV(cSVOPx_sv(kid)) : SvIV(cSVOPx_sv(kid)),
16126                     FUV_SUBSCRIPT_ARRAY);
16127         }
16128         else  {
16129             /* index is an expression;
16130              * attempt to find a match within the aggregate */
16131             if (obase->op_type == OP_HELEM) {
16132                 SV * const keysv = find_hash_subscript((const HV*)sv, uninit_sv);
16133                 if (keysv)
16134                     return varname(gv, '%', o->op_targ,
16135                                                 keysv, 0, FUV_SUBSCRIPT_HASH);
16136             }
16137             else {
16138                 const SSize_t index
16139                     = find_array_subscript((const AV *)sv, uninit_sv);
16140                 if (index >= 0)
16141                     return varname(gv, '@', o->op_targ,
16142                                         NULL, index, FUV_SUBSCRIPT_ARRAY);
16143             }
16144             if (match)
16145                 break;
16146             return varname(gv,
16147                 (char)((o->op_type == OP_PADAV || o->op_type == OP_RV2AV)
16148                 ? '@' : '%'),
16149                 o->op_targ, NULL, 0, FUV_SUBSCRIPT_WITHIN);
16150         }
16151         NOT_REACHED; /* NOTREACHED */
16152     }
16153
16154     case OP_MULTIDEREF: {
16155         /* If we were executing OP_MULTIDEREF when the undef warning
16156          * triggered, then it must be one of the index values within
16157          * that triggered it. If not, then the only possibility is that
16158          * the value retrieved by the last aggregate index might be the
16159          * culprit. For the former, we set PL_multideref_pc each time before
16160          * using an index, so work though the item list until we reach
16161          * that point. For the latter, just work through the entire item
16162          * list; the last aggregate retrieved will be the candidate.
16163          * There is a third rare possibility: something triggered
16164          * magic while fetching an array/hash element. Just display
16165          * nothing in this case.
16166          */
16167
16168         /* the named aggregate, if any */
16169         PADOFFSET agg_targ = 0;
16170         GV       *agg_gv   = NULL;
16171         /* the last-seen index */
16172         UV        index_type;
16173         PADOFFSET index_targ;
16174         GV       *index_gv;
16175         IV        index_const_iv = 0; /* init for spurious compiler warn */
16176         SV       *index_const_sv;
16177         int       depth = 0;  /* how many array/hash lookups we've done */
16178
16179         UNOP_AUX_item *items = cUNOP_AUXx(obase)->op_aux;
16180         UNOP_AUX_item *last = NULL;
16181         UV actions = items->uv;
16182         bool is_hv;
16183
16184         if (PL_op == obase) {
16185             last = PL_multideref_pc;
16186             assert(last >= items && last <= items + items[-1].uv);
16187         }
16188
16189         assert(actions);
16190
16191         while (1) {
16192             is_hv = FALSE;
16193             switch (actions & MDEREF_ACTION_MASK) {
16194
16195             case MDEREF_reload:
16196                 actions = (++items)->uv;
16197                 continue;
16198
16199             case MDEREF_HV_padhv_helem:               /* $lex{...} */
16200                 is_hv = TRUE;
16201                 /* FALLTHROUGH */
16202             case MDEREF_AV_padav_aelem:               /* $lex[...] */
16203                 agg_targ = (++items)->pad_offset;
16204                 agg_gv = NULL;
16205                 break;
16206
16207             case MDEREF_HV_gvhv_helem:                /* $pkg{...} */
16208                 is_hv = TRUE;
16209                 /* FALLTHROUGH */
16210             case MDEREF_AV_gvav_aelem:                /* $pkg[...] */
16211                 agg_targ = 0;
16212                 agg_gv = (GV*)UNOP_AUX_item_sv(++items);
16213                 assert(isGV_with_GP(agg_gv));
16214                 break;
16215
16216             case MDEREF_HV_gvsv_vivify_rv2hv_helem:   /* $pkg->{...} */
16217             case MDEREF_HV_padsv_vivify_rv2hv_helem:  /* $lex->{...} */
16218                 ++items;
16219                 /* FALLTHROUGH */
16220             case MDEREF_HV_pop_rv2hv_helem:           /* expr->{...} */
16221             case MDEREF_HV_vivify_rv2hv_helem:        /* vivify, ->{...} */
16222                 agg_targ = 0;
16223                 agg_gv   = NULL;
16224                 is_hv    = TRUE;
16225                 break;
16226
16227             case MDEREF_AV_gvsv_vivify_rv2av_aelem:   /* $pkg->[...] */
16228             case MDEREF_AV_padsv_vivify_rv2av_aelem:  /* $lex->[...] */
16229                 ++items;
16230                 /* FALLTHROUGH */
16231             case MDEREF_AV_pop_rv2av_aelem:           /* expr->[...] */
16232             case MDEREF_AV_vivify_rv2av_aelem:        /* vivify, ->[...] */
16233                 agg_targ = 0;
16234                 agg_gv   = NULL;
16235             } /* switch */
16236
16237             index_targ     = 0;
16238             index_gv       = NULL;
16239             index_const_sv = NULL;
16240
16241             index_type = (actions & MDEREF_INDEX_MASK);
16242             switch (index_type) {
16243             case MDEREF_INDEX_none:
16244                 break;
16245             case MDEREF_INDEX_const:
16246                 if (is_hv)
16247                     index_const_sv = UNOP_AUX_item_sv(++items)
16248                 else
16249                     index_const_iv = (++items)->iv;
16250                 break;
16251             case MDEREF_INDEX_padsv:
16252                 index_targ = (++items)->pad_offset;
16253                 break;
16254             case MDEREF_INDEX_gvsv:
16255                 index_gv = (GV*)UNOP_AUX_item_sv(++items);
16256                 assert(isGV_with_GP(index_gv));
16257                 break;
16258             }
16259
16260             if (index_type != MDEREF_INDEX_none)
16261                 depth++;
16262
16263             if (   index_type == MDEREF_INDEX_none
16264                 || (actions & MDEREF_FLAG_last)
16265                 || (last && items >= last)
16266             )
16267                 break;
16268
16269             actions >>= MDEREF_SHIFT;
16270         } /* while */
16271
16272         if (PL_op == obase) {
16273             /* most likely index was undef */
16274
16275             *desc_p = (    (actions & MDEREF_FLAG_last)
16276                         && (obase->op_private
16277                                 & (OPpMULTIDEREF_EXISTS|OPpMULTIDEREF_DELETE)))
16278                         ?
16279                             (obase->op_private & OPpMULTIDEREF_EXISTS)
16280                                 ? "exists"
16281                                 : "delete"
16282                         : is_hv ? "hash element" : "array element";
16283             assert(index_type != MDEREF_INDEX_none);
16284             if (index_gv) {
16285                 if (GvSV(index_gv) == uninit_sv)
16286                     return varname(index_gv, '$', 0, NULL, 0,
16287                                                     FUV_SUBSCRIPT_NONE);
16288                 else
16289                     return NULL;
16290             }
16291             if (index_targ) {
16292                 if (PL_curpad[index_targ] == uninit_sv)
16293                     return varname(NULL, '$', index_targ,
16294                                     NULL, 0, FUV_SUBSCRIPT_NONE);
16295                 else
16296                     return NULL;
16297             }
16298             /* If we got to this point it was undef on a const subscript,
16299              * so magic probably involved, e.g. $ISA[0]. Give up. */
16300             return NULL;
16301         }
16302
16303         /* the SV returned by pp_multideref() was undef, if anything was */
16304
16305         if (depth != 1)
16306             break;
16307
16308         if (agg_targ)
16309             sv = PAD_SV(agg_targ);
16310         else if (agg_gv)
16311             sv = is_hv ? MUTABLE_SV(GvHV(agg_gv)) : MUTABLE_SV(GvAV(agg_gv));
16312         else
16313             break;
16314
16315         if (index_type == MDEREF_INDEX_const) {
16316             if (match) {
16317                 if (SvMAGICAL(sv))
16318                     break;
16319                 if (is_hv) {
16320                     HE* he = hv_fetch_ent(MUTABLE_HV(sv), index_const_sv, 0, 0);
16321                     if (!he || HeVAL(he) != uninit_sv)
16322                         break;
16323                 }
16324                 else {
16325                     SV * const * const svp =
16326                             av_fetch(MUTABLE_AV(sv), index_const_iv, FALSE);
16327                     if (!svp || *svp != uninit_sv)
16328                         break;
16329                 }
16330             }
16331             return is_hv
16332                 ? varname(agg_gv, '%', agg_targ,
16333                                 index_const_sv, 0,    FUV_SUBSCRIPT_HASH)
16334                 : varname(agg_gv, '@', agg_targ,
16335                                 NULL, index_const_iv, FUV_SUBSCRIPT_ARRAY);
16336         }
16337         else  {
16338             /* index is an var */
16339             if (is_hv) {
16340                 SV * const keysv = find_hash_subscript((const HV*)sv, uninit_sv);
16341                 if (keysv)
16342                     return varname(agg_gv, '%', agg_targ,
16343                                                 keysv, 0, FUV_SUBSCRIPT_HASH);
16344             }
16345             else {
16346                 const SSize_t index
16347                     = find_array_subscript((const AV *)sv, uninit_sv);
16348                 if (index >= 0)
16349                     return varname(agg_gv, '@', agg_targ,
16350                                         NULL, index, FUV_SUBSCRIPT_ARRAY);
16351             }
16352             if (match)
16353                 break;
16354             return varname(agg_gv,
16355                 is_hv ? '%' : '@',
16356                 agg_targ, NULL, 0, FUV_SUBSCRIPT_WITHIN);
16357         }
16358         NOT_REACHED; /* NOTREACHED */
16359     }
16360
16361     case OP_AASSIGN:
16362         /* only examine RHS */
16363         return find_uninit_var(cBINOPx(obase)->op_first, uninit_sv,
16364                                                                 match, desc_p);
16365
16366     case OP_OPEN:
16367         o = cUNOPx(obase)->op_first;
16368         if (   o->op_type == OP_PUSHMARK
16369            || (o->op_type == OP_NULL && o->op_targ == OP_PUSHMARK)
16370         )
16371             o = OpSIBLING(o);
16372
16373         if (!OpHAS_SIBLING(o)) {
16374             /* one-arg version of open is highly magical */
16375
16376             if (o->op_type == OP_GV) { /* open FOO; */
16377                 gv = cGVOPx_gv(o);
16378                 if (match && GvSV(gv) != uninit_sv)
16379                     break;
16380                 return varname(gv, '$', 0,
16381                             NULL, 0, FUV_SUBSCRIPT_NONE);
16382             }
16383             /* other possibilities not handled are:
16384              * open $x; or open my $x;  should return '${*$x}'
16385              * open expr;               should return '$'.expr ideally
16386              */
16387              break;
16388         }
16389         match = 1;
16390         goto do_op;
16391
16392     /* ops where $_ may be an implicit arg */
16393     case OP_TRANS:
16394     case OP_TRANSR:
16395     case OP_SUBST:
16396     case OP_MATCH:
16397         if ( !(obase->op_flags & OPf_STACKED)) {
16398             if (uninit_sv == DEFSV)
16399                 return newSVpvs_flags("$_", SVs_TEMP);
16400             else if (obase->op_targ
16401                   && uninit_sv == PAD_SVl(obase->op_targ))
16402                 return varname(NULL, '$', obase->op_targ, NULL, 0,
16403                                FUV_SUBSCRIPT_NONE);
16404         }
16405         goto do_op;
16406
16407     case OP_PRTF:
16408     case OP_PRINT:
16409     case OP_SAY:
16410         match = 1; /* print etc can return undef on defined args */
16411         /* skip filehandle as it can't produce 'undef' warning  */
16412         o = cUNOPx(obase)->op_first;
16413         if ((obase->op_flags & OPf_STACKED)
16414             &&
16415                (   o->op_type == OP_PUSHMARK
16416                || (o->op_type == OP_NULL && o->op_targ == OP_PUSHMARK)))
16417             o = OpSIBLING(OpSIBLING(o));
16418         goto do_op2;
16419
16420
16421     case OP_ENTEREVAL: /* could be eval $undef or $x='$undef'; eval $x */
16422     case OP_CUSTOM: /* XS or custom code could trigger random warnings */
16423
16424         /* the following ops are capable of returning PL_sv_undef even for
16425          * defined arg(s) */
16426
16427     case OP_BACKTICK:
16428     case OP_PIPE_OP:
16429     case OP_FILENO:
16430     case OP_BINMODE:
16431     case OP_TIED:
16432     case OP_GETC:
16433     case OP_SYSREAD:
16434     case OP_SEND:
16435     case OP_IOCTL:
16436     case OP_SOCKET:
16437     case OP_SOCKPAIR:
16438     case OP_BIND:
16439     case OP_CONNECT:
16440     case OP_LISTEN:
16441     case OP_ACCEPT:
16442     case OP_SHUTDOWN:
16443     case OP_SSOCKOPT:
16444     case OP_GETPEERNAME:
16445     case OP_FTRREAD:
16446     case OP_FTRWRITE:
16447     case OP_FTREXEC:
16448     case OP_FTROWNED:
16449     case OP_FTEREAD:
16450     case OP_FTEWRITE:
16451     case OP_FTEEXEC:
16452     case OP_FTEOWNED:
16453     case OP_FTIS:
16454     case OP_FTZERO:
16455     case OP_FTSIZE:
16456     case OP_FTFILE:
16457     case OP_FTDIR:
16458     case OP_FTLINK:
16459     case OP_FTPIPE:
16460     case OP_FTSOCK:
16461     case OP_FTBLK:
16462     case OP_FTCHR:
16463     case OP_FTTTY:
16464     case OP_FTSUID:
16465     case OP_FTSGID:
16466     case OP_FTSVTX:
16467     case OP_FTTEXT:
16468     case OP_FTBINARY:
16469     case OP_FTMTIME:
16470     case OP_FTATIME:
16471     case OP_FTCTIME:
16472     case OP_READLINK:
16473     case OP_OPEN_DIR:
16474     case OP_READDIR:
16475     case OP_TELLDIR:
16476     case OP_SEEKDIR:
16477     case OP_REWINDDIR:
16478     case OP_CLOSEDIR:
16479     case OP_GMTIME:
16480     case OP_ALARM:
16481     case OP_SEMGET:
16482     case OP_GETLOGIN:
16483     case OP_SUBSTR:
16484     case OP_AEACH:
16485     case OP_EACH:
16486     case OP_SORT:
16487     case OP_CALLER:
16488     case OP_DOFILE:
16489     case OP_PROTOTYPE:
16490     case OP_NCMP:
16491     case OP_SMARTMATCH:
16492     case OP_UNPACK:
16493     case OP_SYSOPEN:
16494     case OP_SYSSEEK:
16495         match = 1;
16496         goto do_op;
16497
16498     case OP_ENTERSUB:
16499     case OP_GOTO:
16500         /* XXX tmp hack: these two may call an XS sub, and currently
16501           XS subs don't have a SUB entry on the context stack, so CV and
16502           pad determination goes wrong, and BAD things happen. So, just
16503           don't try to determine the value under those circumstances.
16504           Need a better fix at dome point. DAPM 11/2007 */
16505         break;
16506
16507     case OP_FLIP:
16508     case OP_FLOP:
16509     {
16510         GV * const gv = gv_fetchpvs(".", GV_NOTQUAL, SVt_PV);
16511         if (gv && GvSV(gv) == uninit_sv)
16512             return newSVpvs_flags("$.", SVs_TEMP);
16513         goto do_op;
16514     }
16515
16516     case OP_POS:
16517         /* def-ness of rval pos() is independent of the def-ness of its arg */
16518         if ( !(obase->op_flags & OPf_MOD))
16519             break;
16520
16521     case OP_SCHOMP:
16522     case OP_CHOMP:
16523         if (SvROK(PL_rs) && uninit_sv == SvRV(PL_rs))
16524             return newSVpvs_flags("${$/}", SVs_TEMP);
16525         /* FALLTHROUGH */
16526
16527     default:
16528     do_op:
16529         if (!(obase->op_flags & OPf_KIDS))
16530             break;
16531         o = cUNOPx(obase)->op_first;
16532         
16533     do_op2:
16534         if (!o)
16535             break;
16536
16537         /* This loop checks all the kid ops, skipping any that cannot pos-
16538          * sibly be responsible for the uninitialized value; i.e., defined
16539          * constants and ops that return nothing.  If there is only one op
16540          * left that is not skipped, then we *know* it is responsible for
16541          * the uninitialized value.  If there is more than one op left, we
16542          * have to look for an exact match in the while() loop below.
16543          * Note that we skip padrange, because the individual pad ops that
16544          * it replaced are still in the tree, so we work on them instead.
16545          */
16546         o2 = NULL;
16547         for (kid=o; kid; kid = OpSIBLING(kid)) {
16548             const OPCODE type = kid->op_type;
16549             if ( (type == OP_CONST && SvOK(cSVOPx_sv(kid)))
16550               || (type == OP_NULL  && ! (kid->op_flags & OPf_KIDS))
16551               || (type == OP_PUSHMARK)
16552               || (type == OP_PADRANGE)
16553             )
16554             continue;
16555
16556             if (o2) { /* more than one found */
16557                 o2 = NULL;
16558                 break;
16559             }
16560             o2 = kid;
16561         }
16562         if (o2)
16563             return find_uninit_var(o2, uninit_sv, match, desc_p);
16564
16565         /* scan all args */
16566         while (o) {
16567             sv = find_uninit_var(o, uninit_sv, 1, desc_p);
16568             if (sv)
16569                 return sv;
16570             o = OpSIBLING(o);
16571         }
16572         break;
16573     }
16574     return NULL;
16575 }
16576
16577
16578 /*
16579 =for apidoc report_uninit
16580
16581 Print appropriate "Use of uninitialized variable" warning.
16582
16583 =cut
16584 */
16585
16586 void
16587 Perl_report_uninit(pTHX_ const SV *uninit_sv)
16588 {
16589     const char *desc = NULL;
16590     SV* varname = NULL;
16591
16592     if (PL_op) {
16593         desc = PL_op->op_type == OP_STRINGIFY && PL_op->op_folded
16594                 ? "join or string"
16595                 : OP_DESC(PL_op);
16596         if (uninit_sv && PL_curpad) {
16597             varname = find_uninit_var(PL_op, uninit_sv, 0, &desc);
16598             if (varname)
16599                 sv_insert(varname, 0, 0, " ", 1);
16600         }
16601     }
16602     else if (PL_curstackinfo->si_type == PERLSI_SORT && cxstack_ix == 0)
16603         /* we've reached the end of a sort block or sub,
16604          * and the uninit value is probably what that code returned */
16605         desc = "sort";
16606
16607     /* PL_warn_uninit_sv is constant */
16608     GCC_DIAG_IGNORE(-Wformat-nonliteral);
16609     if (desc)
16610         /* diag_listed_as: Use of uninitialized value%s */
16611         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit_sv,
16612                 SVfARG(varname ? varname : &PL_sv_no),
16613                 " in ", desc);
16614     else
16615         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit,
16616                 "", "", "");
16617     GCC_DIAG_RESTORE;
16618 }
16619
16620 /*
16621  * ex: set ts=8 sts=4 sw=4 et:
16622  */