This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
The Module-CoreList on CPAN is now 5.20141002
[perl5.git] / sv.c
1 /*    sv.c
2  *
3  *    Copyright (C) 1991, 1992, 1993, 1994, 1995, 1996, 1997, 1998, 1999, 2000,
4  *    2001, 2002, 2003, 2004, 2005, 2006, 2007, 2008, 2009 by Larry Wall
5  *    and others
6  *
7  *    You may distribute under the terms of either the GNU General Public
8  *    License or the Artistic License, as specified in the README file.
9  *
10  */
11
12 /*
13  * 'I wonder what the Entish is for "yes" and "no",' he thought.
14  *                                                      --Pippin
15  *
16  *     [p.480 of _The Lord of the Rings_, III/iv: "Treebeard"]
17  */
18
19 /*
20  *
21  *
22  * This file contains the code that creates, manipulates and destroys
23  * scalar values (SVs). The other types (AV, HV, GV, etc.) reuse the
24  * structure of an SV, so their creation and destruction is handled
25  * here; higher-level functions are in av.c, hv.c, and so on. Opcode
26  * level functions (eg. substr, split, join) for each of the types are
27  * in the pp*.c files.
28  */
29
30 #include "EXTERN.h"
31 #define PERL_IN_SV_C
32 #include "perl.h"
33 #include "regcomp.h"
34 #ifdef __VMS
35 # include <rms.h>
36 #endif
37
38 #ifdef __Lynx__
39 /* Missing proto on LynxOS */
40   char *gconvert(double, int, int,  char *);
41 #endif
42
43 #ifdef USE_QUADMATH
44 #  define SNPRINTF_G(nv, buffer, size, ndig) \
45     quadmath_snprintf(buffer, size, "%.*Qg", (int)ndig, (NV)(nv))
46 #else
47 #  define SNPRINTF_G(nv, buffer, size, ndig) \
48     PERL_UNUSED_RESULT(Gconvert((NV)(nv), (int)ndig, 0, buffer))
49 #endif
50
51 #ifdef PERL_NEW_COPY_ON_WRITE
52 #   ifndef SV_COW_THRESHOLD
53 #    define SV_COW_THRESHOLD                    0   /* COW iff len > K */
54 #   endif
55 #   ifndef SV_COWBUF_THRESHOLD
56 #    define SV_COWBUF_THRESHOLD                 1250 /* COW iff len > K */
57 #   endif
58 #   ifndef SV_COW_MAX_WASTE_THRESHOLD
59 #    define SV_COW_MAX_WASTE_THRESHOLD          80   /* COW iff (len - cur) < K */
60 #   endif
61 #   ifndef SV_COWBUF_WASTE_THRESHOLD
62 #    define SV_COWBUF_WASTE_THRESHOLD           80   /* COW iff (len - cur) < K */
63 #   endif
64 #   ifndef SV_COW_MAX_WASTE_FACTOR_THRESHOLD
65 #    define SV_COW_MAX_WASTE_FACTOR_THRESHOLD   2    /* COW iff len < (cur * K) */
66 #   endif
67 #   ifndef SV_COWBUF_WASTE_FACTOR_THRESHOLD
68 #    define SV_COWBUF_WASTE_FACTOR_THRESHOLD    2    /* COW iff len < (cur * K) */
69 #   endif
70 #endif
71 /* Work around compiler warnings about unsigned >= THRESHOLD when thres-
72    hold is 0. */
73 #if SV_COW_THRESHOLD
74 # define GE_COW_THRESHOLD(cur) ((cur) >= SV_COW_THRESHOLD)
75 #else
76 # define GE_COW_THRESHOLD(cur) 1
77 #endif
78 #if SV_COWBUF_THRESHOLD
79 # define GE_COWBUF_THRESHOLD(cur) ((cur) >= SV_COWBUF_THRESHOLD)
80 #else
81 # define GE_COWBUF_THRESHOLD(cur) 1
82 #endif
83 #if SV_COW_MAX_WASTE_THRESHOLD
84 # define GE_COW_MAX_WASTE_THRESHOLD(cur,len) (((len)-(cur)) < SV_COW_MAX_WASTE_THRESHOLD)
85 #else
86 # define GE_COW_MAX_WASTE_THRESHOLD(cur,len) 1
87 #endif
88 #if SV_COWBUF_WASTE_THRESHOLD
89 # define GE_COWBUF_WASTE_THRESHOLD(cur,len) (((len)-(cur)) < SV_COWBUF_WASTE_THRESHOLD)
90 #else
91 # define GE_COWBUF_WASTE_THRESHOLD(cur,len) 1
92 #endif
93 #if SV_COW_MAX_WASTE_FACTOR_THRESHOLD
94 # define GE_COW_MAX_WASTE_FACTOR_THRESHOLD(cur,len) ((len) < SV_COW_MAX_WASTE_FACTOR_THRESHOLD * (cur))
95 #else
96 # define GE_COW_MAX_WASTE_FACTOR_THRESHOLD(cur,len) 1
97 #endif
98 #if SV_COWBUF_WASTE_FACTOR_THRESHOLD
99 # define GE_COWBUF_WASTE_FACTOR_THRESHOLD(cur,len) ((len) < SV_COWBUF_WASTE_FACTOR_THRESHOLD * (cur))
100 #else
101 # define GE_COWBUF_WASTE_FACTOR_THRESHOLD(cur,len) 1
102 #endif
103
104 #define CHECK_COW_THRESHOLD(cur,len) (\
105     GE_COW_THRESHOLD((cur)) && \
106     GE_COW_MAX_WASTE_THRESHOLD((cur),(len)) && \
107     GE_COW_MAX_WASTE_FACTOR_THRESHOLD((cur),(len)) \
108 )
109 #define CHECK_COWBUF_THRESHOLD(cur,len) (\
110     GE_COWBUF_THRESHOLD((cur)) && \
111     GE_COWBUF_WASTE_THRESHOLD((cur),(len)) && \
112     GE_COWBUF_WASTE_FACTOR_THRESHOLD((cur),(len)) \
113 )
114
115 #ifdef PERL_UTF8_CACHE_ASSERT
116 /* if adding more checks watch out for the following tests:
117  *   t/op/index.t t/op/length.t t/op/pat.t t/op/substr.t
118  *   lib/utf8.t lib/Unicode/Collate/t/index.t
119  * --jhi
120  */
121 #   define ASSERT_UTF8_CACHE(cache) \
122     STMT_START { if (cache) { assert((cache)[0] <= (cache)[1]); \
123                               assert((cache)[2] <= (cache)[3]); \
124                               assert((cache)[3] <= (cache)[1]);} \
125                               } STMT_END
126 #else
127 #   define ASSERT_UTF8_CACHE(cache) NOOP
128 #endif
129
130 #ifdef PERL_OLD_COPY_ON_WRITE
131 #define SV_COW_NEXT_SV(sv)      INT2PTR(SV *,SvUVX(sv))
132 #define SV_COW_NEXT_SV_SET(current,next)        SvUV_set(current, PTR2UV(next))
133 #endif
134
135 /* ============================================================================
136
137 =head1 Allocation and deallocation of SVs.
138 An SV (or AV, HV, etc.) is allocated in two parts: the head (struct
139 sv, av, hv...) contains type and reference count information, and for
140 many types, a pointer to the body (struct xrv, xpv, xpviv...), which
141 contains fields specific to each type.  Some types store all they need
142 in the head, so don't have a body.
143
144 In all but the most memory-paranoid configurations (ex: PURIFY), heads
145 and bodies are allocated out of arenas, which by default are
146 approximately 4K chunks of memory parcelled up into N heads or bodies.
147 Sv-bodies are allocated by their sv-type, guaranteeing size
148 consistency needed to allocate safely from arrays.
149
150 For SV-heads, the first slot in each arena is reserved, and holds a
151 link to the next arena, some flags, and a note of the number of slots.
152 Snaked through each arena chain is a linked list of free items; when
153 this becomes empty, an extra arena is allocated and divided up into N
154 items which are threaded into the free list.
155
156 SV-bodies are similar, but they use arena-sets by default, which
157 separate the link and info from the arena itself, and reclaim the 1st
158 slot in the arena.  SV-bodies are further described later.
159
160 The following global variables are associated with arenas:
161
162  PL_sv_arenaroot     pointer to list of SV arenas
163  PL_sv_root          pointer to list of free SV structures
164
165  PL_body_arenas      head of linked-list of body arenas
166  PL_body_roots[]     array of pointers to list of free bodies of svtype
167                      arrays are indexed by the svtype needed
168
169 A few special SV heads are not allocated from an arena, but are
170 instead directly created in the interpreter structure, eg PL_sv_undef.
171 The size of arenas can be changed from the default by setting
172 PERL_ARENA_SIZE appropriately at compile time.
173
174 The SV arena serves the secondary purpose of allowing still-live SVs
175 to be located and destroyed during final cleanup.
176
177 At the lowest level, the macros new_SV() and del_SV() grab and free
178 an SV head.  (If debugging with -DD, del_SV() calls the function S_del_sv()
179 to return the SV to the free list with error checking.) new_SV() calls
180 more_sv() / sv_add_arena() to add an extra arena if the free list is empty.
181 SVs in the free list have their SvTYPE field set to all ones.
182
183 At the time of very final cleanup, sv_free_arenas() is called from
184 perl_destruct() to physically free all the arenas allocated since the
185 start of the interpreter.
186
187 The function visit() scans the SV arenas list, and calls a specified
188 function for each SV it finds which is still live - ie which has an SvTYPE
189 other than all 1's, and a non-zero SvREFCNT. visit() is used by the
190 following functions (specified as [function that calls visit()] / [function
191 called by visit() for each SV]):
192
193     sv_report_used() / do_report_used()
194                         dump all remaining SVs (debugging aid)
195
196     sv_clean_objs() / do_clean_objs(),do_clean_named_objs(),
197                       do_clean_named_io_objs(),do_curse()
198                         Attempt to free all objects pointed to by RVs,
199                         try to do the same for all objects indir-
200                         ectly referenced by typeglobs too, and
201                         then do a final sweep, cursing any
202                         objects that remain.  Called once from
203                         perl_destruct(), prior to calling sv_clean_all()
204                         below.
205
206     sv_clean_all() / do_clean_all()
207                         SvREFCNT_dec(sv) each remaining SV, possibly
208                         triggering an sv_free(). It also sets the
209                         SVf_BREAK flag on the SV to indicate that the
210                         refcnt has been artificially lowered, and thus
211                         stopping sv_free() from giving spurious warnings
212                         about SVs which unexpectedly have a refcnt
213                         of zero.  called repeatedly from perl_destruct()
214                         until there are no SVs left.
215
216 =head2 Arena allocator API Summary
217
218 Private API to rest of sv.c
219
220     new_SV(),  del_SV(),
221
222     new_XPVNV(), del_XPVGV(),
223     etc
224
225 Public API:
226
227     sv_report_used(), sv_clean_objs(), sv_clean_all(), sv_free_arenas()
228
229 =cut
230
231  * ========================================================================= */
232
233 /*
234  * "A time to plant, and a time to uproot what was planted..."
235  */
236
237 #ifdef PERL_MEM_LOG
238 #  define MEM_LOG_NEW_SV(sv, file, line, func)  \
239             Perl_mem_log_new_sv(sv, file, line, func)
240 #  define MEM_LOG_DEL_SV(sv, file, line, func)  \
241             Perl_mem_log_del_sv(sv, file, line, func)
242 #else
243 #  define MEM_LOG_NEW_SV(sv, file, line, func)  NOOP
244 #  define MEM_LOG_DEL_SV(sv, file, line, func)  NOOP
245 #endif
246
247 #ifdef DEBUG_LEAKING_SCALARS
248 #  define FREE_SV_DEBUG_FILE(sv) STMT_START { \
249         if ((sv)->sv_debug_file) PerlMemShared_free((sv)->sv_debug_file); \
250     } STMT_END
251 #  define DEBUG_SV_SERIAL(sv)                                               \
252     DEBUG_m(PerlIO_printf(Perl_debug_log, "0x%"UVxf": (%05ld) del_SV\n",    \
253             PTR2UV(sv), (long)(sv)->sv_debug_serial))
254 #else
255 #  define FREE_SV_DEBUG_FILE(sv)
256 #  define DEBUG_SV_SERIAL(sv)   NOOP
257 #endif
258
259 #ifdef PERL_POISON
260 #  define SvARENA_CHAIN(sv)     ((sv)->sv_u.svu_rv)
261 #  define SvARENA_CHAIN_SET(sv,val)     (sv)->sv_u.svu_rv = MUTABLE_SV((val))
262 /* Whilst I'd love to do this, it seems that things like to check on
263    unreferenced scalars
264 #  define POSION_SV_HEAD(sv)    PoisonNew(sv, 1, struct STRUCT_SV)
265 */
266 #  define POSION_SV_HEAD(sv)    PoisonNew(&SvANY(sv), 1, void *), \
267                                 PoisonNew(&SvREFCNT(sv), 1, U32)
268 #else
269 #  define SvARENA_CHAIN(sv)     SvANY(sv)
270 #  define SvARENA_CHAIN_SET(sv,val)     SvANY(sv) = (void *)(val)
271 #  define POSION_SV_HEAD(sv)
272 #endif
273
274 /* Mark an SV head as unused, and add to free list.
275  *
276  * If SVf_BREAK is set, skip adding it to the free list, as this SV had
277  * its refcount artificially decremented during global destruction, so
278  * there may be dangling pointers to it. The last thing we want in that
279  * case is for it to be reused. */
280
281 #define plant_SV(p) \
282     STMT_START {                                        \
283         const U32 old_flags = SvFLAGS(p);                       \
284         MEM_LOG_DEL_SV(p, __FILE__, __LINE__, FUNCTION__);  \
285         DEBUG_SV_SERIAL(p);                             \
286         FREE_SV_DEBUG_FILE(p);                          \
287         POSION_SV_HEAD(p);                              \
288         SvFLAGS(p) = SVTYPEMASK;                        \
289         if (!(old_flags & SVf_BREAK)) {         \
290             SvARENA_CHAIN_SET(p, PL_sv_root);   \
291             PL_sv_root = (p);                           \
292         }                                               \
293         --PL_sv_count;                                  \
294     } STMT_END
295
296 #define uproot_SV(p) \
297     STMT_START {                                        \
298         (p) = PL_sv_root;                               \
299         PL_sv_root = MUTABLE_SV(SvARENA_CHAIN(p));              \
300         ++PL_sv_count;                                  \
301     } STMT_END
302
303
304 /* make some more SVs by adding another arena */
305
306 STATIC SV*
307 S_more_sv(pTHX)
308 {
309     SV* sv;
310     char *chunk;                /* must use New here to match call to */
311     Newx(chunk,PERL_ARENA_SIZE,char);  /* Safefree() in sv_free_arenas() */
312     sv_add_arena(chunk, PERL_ARENA_SIZE, 0);
313     uproot_SV(sv);
314     return sv;
315 }
316
317 /* new_SV(): return a new, empty SV head */
318
319 #ifdef DEBUG_LEAKING_SCALARS
320 /* provide a real function for a debugger to play with */
321 STATIC SV*
322 S_new_SV(pTHX_ const char *file, int line, const char *func)
323 {
324     SV* sv;
325
326     if (PL_sv_root)
327         uproot_SV(sv);
328     else
329         sv = S_more_sv(aTHX);
330     SvANY(sv) = 0;
331     SvREFCNT(sv) = 1;
332     SvFLAGS(sv) = 0;
333     sv->sv_debug_optype = PL_op ? PL_op->op_type : 0;
334     sv->sv_debug_line = (U16) (PL_parser && PL_parser->copline != NOLINE
335                 ? PL_parser->copline
336                 :  PL_curcop
337                     ? CopLINE(PL_curcop)
338                     : 0
339             );
340     sv->sv_debug_inpad = 0;
341     sv->sv_debug_parent = NULL;
342     sv->sv_debug_file = PL_curcop ? savesharedpv(CopFILE(PL_curcop)): NULL;
343
344     sv->sv_debug_serial = PL_sv_serial++;
345
346     MEM_LOG_NEW_SV(sv, file, line, func);
347     DEBUG_m(PerlIO_printf(Perl_debug_log, "0x%"UVxf": (%05ld) new_SV (from %s:%d [%s])\n",
348             PTR2UV(sv), (long)sv->sv_debug_serial, file, line, func));
349
350     return sv;
351 }
352 #  define new_SV(p) (p)=S_new_SV(aTHX_ __FILE__, __LINE__, FUNCTION__)
353
354 #else
355 #  define new_SV(p) \
356     STMT_START {                                        \
357         if (PL_sv_root)                                 \
358             uproot_SV(p);                               \
359         else                                            \
360             (p) = S_more_sv(aTHX);                      \
361         SvANY(p) = 0;                                   \
362         SvREFCNT(p) = 1;                                \
363         SvFLAGS(p) = 0;                                 \
364         MEM_LOG_NEW_SV(p, __FILE__, __LINE__, FUNCTION__);  \
365     } STMT_END
366 #endif
367
368
369 /* del_SV(): return an empty SV head to the free list */
370
371 #ifdef DEBUGGING
372
373 #define del_SV(p) \
374     STMT_START {                                        \
375         if (DEBUG_D_TEST)                               \
376             del_sv(p);                                  \
377         else                                            \
378             plant_SV(p);                                \
379     } STMT_END
380
381 STATIC void
382 S_del_sv(pTHX_ SV *p)
383 {
384     PERL_ARGS_ASSERT_DEL_SV;
385
386     if (DEBUG_D_TEST) {
387         SV* sva;
388         bool ok = 0;
389         for (sva = PL_sv_arenaroot; sva; sva = MUTABLE_SV(SvANY(sva))) {
390             const SV * const sv = sva + 1;
391             const SV * const svend = &sva[SvREFCNT(sva)];
392             if (p >= sv && p < svend) {
393                 ok = 1;
394                 break;
395             }
396         }
397         if (!ok) {
398             Perl_ck_warner_d(aTHX_ packWARN(WARN_INTERNAL),
399                              "Attempt to free non-arena SV: 0x%"UVxf
400                              pTHX__FORMAT, PTR2UV(p) pTHX__VALUE);
401             return;
402         }
403     }
404     plant_SV(p);
405 }
406
407 #else /* ! DEBUGGING */
408
409 #define del_SV(p)   plant_SV(p)
410
411 #endif /* DEBUGGING */
412
413
414 /*
415 =head1 SV Manipulation Functions
416
417 =for apidoc sv_add_arena
418
419 Given a chunk of memory, link it to the head of the list of arenas,
420 and split it into a list of free SVs.
421
422 =cut
423 */
424
425 static void
426 S_sv_add_arena(pTHX_ char *const ptr, const U32 size, const U32 flags)
427 {
428     SV *const sva = MUTABLE_SV(ptr);
429     SV* sv;
430     SV* svend;
431
432     PERL_ARGS_ASSERT_SV_ADD_ARENA;
433
434     /* The first SV in an arena isn't an SV. */
435     SvANY(sva) = (void *) PL_sv_arenaroot;              /* ptr to next arena */
436     SvREFCNT(sva) = size / sizeof(SV);          /* number of SV slots */
437     SvFLAGS(sva) = flags;                       /* FAKE if not to be freed */
438
439     PL_sv_arenaroot = sva;
440     PL_sv_root = sva + 1;
441
442     svend = &sva[SvREFCNT(sva) - 1];
443     sv = sva + 1;
444     while (sv < svend) {
445         SvARENA_CHAIN_SET(sv, (sv + 1));
446 #ifdef DEBUGGING
447         SvREFCNT(sv) = 0;
448 #endif
449         /* Must always set typemask because it's always checked in on cleanup
450            when the arenas are walked looking for objects.  */
451         SvFLAGS(sv) = SVTYPEMASK;
452         sv++;
453     }
454     SvARENA_CHAIN_SET(sv, 0);
455 #ifdef DEBUGGING
456     SvREFCNT(sv) = 0;
457 #endif
458     SvFLAGS(sv) = SVTYPEMASK;
459 }
460
461 /* visit(): call the named function for each non-free SV in the arenas
462  * whose flags field matches the flags/mask args. */
463
464 STATIC I32
465 S_visit(pTHX_ SVFUNC_t f, const U32 flags, const U32 mask)
466 {
467     SV* sva;
468     I32 visited = 0;
469
470     PERL_ARGS_ASSERT_VISIT;
471
472     for (sva = PL_sv_arenaroot; sva; sva = MUTABLE_SV(SvANY(sva))) {
473         const SV * const svend = &sva[SvREFCNT(sva)];
474         SV* sv;
475         for (sv = sva + 1; sv < svend; ++sv) {
476             if (SvTYPE(sv) != (svtype)SVTYPEMASK
477                     && (sv->sv_flags & mask) == flags
478                     && SvREFCNT(sv))
479             {
480                 (*f)(aTHX_ sv);
481                 ++visited;
482             }
483         }
484     }
485     return visited;
486 }
487
488 #ifdef DEBUGGING
489
490 /* called by sv_report_used() for each live SV */
491
492 static void
493 do_report_used(pTHX_ SV *const sv)
494 {
495     if (SvTYPE(sv) != (svtype)SVTYPEMASK) {
496         PerlIO_printf(Perl_debug_log, "****\n");
497         sv_dump(sv);
498     }
499 }
500 #endif
501
502 /*
503 =for apidoc sv_report_used
504
505 Dump the contents of all SVs not yet freed (debugging aid).
506
507 =cut
508 */
509
510 void
511 Perl_sv_report_used(pTHX)
512 {
513 #ifdef DEBUGGING
514     visit(do_report_used, 0, 0);
515 #else
516     PERL_UNUSED_CONTEXT;
517 #endif
518 }
519
520 /* called by sv_clean_objs() for each live SV */
521
522 static void
523 do_clean_objs(pTHX_ SV *const ref)
524 {
525     assert (SvROK(ref));
526     {
527         SV * const target = SvRV(ref);
528         if (SvOBJECT(target)) {
529             DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning object ref:\n "), sv_dump(ref)));
530             if (SvWEAKREF(ref)) {
531                 sv_del_backref(target, ref);
532                 SvWEAKREF_off(ref);
533                 SvRV_set(ref, NULL);
534             } else {
535                 SvROK_off(ref);
536                 SvRV_set(ref, NULL);
537                 SvREFCNT_dec_NN(target);
538             }
539         }
540     }
541 }
542
543
544 /* clear any slots in a GV which hold objects - except IO;
545  * called by sv_clean_objs() for each live GV */
546
547 static void
548 do_clean_named_objs(pTHX_ SV *const sv)
549 {
550     SV *obj;
551     assert(SvTYPE(sv) == SVt_PVGV);
552     assert(isGV_with_GP(sv));
553     if (!GvGP(sv))
554         return;
555
556     /* freeing GP entries may indirectly free the current GV;
557      * hold onto it while we mess with the GP slots */
558     SvREFCNT_inc(sv);
559
560     if ( ((obj = GvSV(sv) )) && SvOBJECT(obj)) {
561         DEBUG_D((PerlIO_printf(Perl_debug_log,
562                 "Cleaning named glob SV object:\n "), sv_dump(obj)));
563         GvSV(sv) = NULL;
564         SvREFCNT_dec_NN(obj);
565     }
566     if ( ((obj = MUTABLE_SV(GvAV(sv)) )) && SvOBJECT(obj)) {
567         DEBUG_D((PerlIO_printf(Perl_debug_log,
568                 "Cleaning named glob AV object:\n "), sv_dump(obj)));
569         GvAV(sv) = NULL;
570         SvREFCNT_dec_NN(obj);
571     }
572     if ( ((obj = MUTABLE_SV(GvHV(sv)) )) && SvOBJECT(obj)) {
573         DEBUG_D((PerlIO_printf(Perl_debug_log,
574                 "Cleaning named glob HV object:\n "), sv_dump(obj)));
575         GvHV(sv) = NULL;
576         SvREFCNT_dec_NN(obj);
577     }
578     if ( ((obj = MUTABLE_SV(GvCV(sv)) )) && SvOBJECT(obj)) {
579         DEBUG_D((PerlIO_printf(Perl_debug_log,
580                 "Cleaning named glob CV object:\n "), sv_dump(obj)));
581         GvCV_set(sv, NULL);
582         SvREFCNT_dec_NN(obj);
583     }
584     SvREFCNT_dec_NN(sv); /* undo the inc above */
585 }
586
587 /* clear any IO slots in a GV which hold objects (except stderr, defout);
588  * called by sv_clean_objs() for each live GV */
589
590 static void
591 do_clean_named_io_objs(pTHX_ SV *const sv)
592 {
593     SV *obj;
594     assert(SvTYPE(sv) == SVt_PVGV);
595     assert(isGV_with_GP(sv));
596     if (!GvGP(sv) || sv == (SV*)PL_stderrgv || sv == (SV*)PL_defoutgv)
597         return;
598
599     SvREFCNT_inc(sv);
600     if ( ((obj = MUTABLE_SV(GvIO(sv)) )) && SvOBJECT(obj)) {
601         DEBUG_D((PerlIO_printf(Perl_debug_log,
602                 "Cleaning named glob IO object:\n "), sv_dump(obj)));
603         GvIOp(sv) = NULL;
604         SvREFCNT_dec_NN(obj);
605     }
606     SvREFCNT_dec_NN(sv); /* undo the inc above */
607 }
608
609 /* Void wrapper to pass to visit() */
610 static void
611 do_curse(pTHX_ SV * const sv) {
612     if ((PL_stderrgv && GvGP(PL_stderrgv) && (SV*)GvIO(PL_stderrgv) == sv)
613      || (PL_defoutgv && GvGP(PL_defoutgv) && (SV*)GvIO(PL_defoutgv) == sv))
614         return;
615     (void)curse(sv, 0);
616 }
617
618 /*
619 =for apidoc sv_clean_objs
620
621 Attempt to destroy all objects not yet freed.
622
623 =cut
624 */
625
626 void
627 Perl_sv_clean_objs(pTHX)
628 {
629     GV *olddef, *olderr;
630     PL_in_clean_objs = TRUE;
631     visit(do_clean_objs, SVf_ROK, SVf_ROK);
632     /* Some barnacles may yet remain, clinging to typeglobs.
633      * Run the non-IO destructors first: they may want to output
634      * error messages, close files etc */
635     visit(do_clean_named_objs, SVt_PVGV|SVpgv_GP, SVTYPEMASK|SVp_POK|SVpgv_GP);
636     visit(do_clean_named_io_objs, SVt_PVGV|SVpgv_GP, SVTYPEMASK|SVp_POK|SVpgv_GP);
637     /* And if there are some very tenacious barnacles clinging to arrays,
638        closures, or what have you.... */
639     visit(do_curse, SVs_OBJECT, SVs_OBJECT);
640     olddef = PL_defoutgv;
641     PL_defoutgv = NULL; /* disable skip of PL_defoutgv */
642     if (olddef && isGV_with_GP(olddef))
643         do_clean_named_io_objs(aTHX_ MUTABLE_SV(olddef));
644     olderr = PL_stderrgv;
645     PL_stderrgv = NULL; /* disable skip of PL_stderrgv */
646     if (olderr && isGV_with_GP(olderr))
647         do_clean_named_io_objs(aTHX_ MUTABLE_SV(olderr));
648     SvREFCNT_dec(olddef);
649     PL_in_clean_objs = FALSE;
650 }
651
652 /* called by sv_clean_all() for each live SV */
653
654 static void
655 do_clean_all(pTHX_ SV *const sv)
656 {
657     if (sv == (const SV *) PL_fdpid || sv == (const SV *)PL_strtab) {
658         /* don't clean pid table and strtab */
659         return;
660     }
661     DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning loops: SV at 0x%"UVxf"\n", PTR2UV(sv)) ));
662     SvFLAGS(sv) |= SVf_BREAK;
663     SvREFCNT_dec_NN(sv);
664 }
665
666 /*
667 =for apidoc sv_clean_all
668
669 Decrement the refcnt of each remaining SV, possibly triggering a
670 cleanup.  This function may have to be called multiple times to free
671 SVs which are in complex self-referential hierarchies.
672
673 =cut
674 */
675
676 I32
677 Perl_sv_clean_all(pTHX)
678 {
679     I32 cleaned;
680     PL_in_clean_all = TRUE;
681     cleaned = visit(do_clean_all, 0,0);
682     return cleaned;
683 }
684
685 /*
686   ARENASETS: a meta-arena implementation which separates arena-info
687   into struct arena_set, which contains an array of struct
688   arena_descs, each holding info for a single arena.  By separating
689   the meta-info from the arena, we recover the 1st slot, formerly
690   borrowed for list management.  The arena_set is about the size of an
691   arena, avoiding the needless malloc overhead of a naive linked-list.
692
693   The cost is 1 arena-set malloc per ~320 arena-mallocs, + the unused
694   memory in the last arena-set (1/2 on average).  In trade, we get
695   back the 1st slot in each arena (ie 1.7% of a CV-arena, less for
696   smaller types).  The recovery of the wasted space allows use of
697   small arenas for large, rare body types, by changing array* fields
698   in body_details_by_type[] below.
699 */
700 struct arena_desc {
701     char       *arena;          /* the raw storage, allocated aligned */
702     size_t      size;           /* its size ~4k typ */
703     svtype      utype;          /* bodytype stored in arena */
704 };
705
706 struct arena_set;
707
708 /* Get the maximum number of elements in set[] such that struct arena_set
709    will fit within PERL_ARENA_SIZE, which is probably just under 4K, and
710    therefore likely to be 1 aligned memory page.  */
711
712 #define ARENAS_PER_SET  ((PERL_ARENA_SIZE - sizeof(struct arena_set*) \
713                           - 2 * sizeof(int)) / sizeof (struct arena_desc))
714
715 struct arena_set {
716     struct arena_set* next;
717     unsigned int   set_size;    /* ie ARENAS_PER_SET */
718     unsigned int   curr;        /* index of next available arena-desc */
719     struct arena_desc set[ARENAS_PER_SET];
720 };
721
722 /*
723 =for apidoc sv_free_arenas
724
725 Deallocate the memory used by all arenas.  Note that all the individual SV
726 heads and bodies within the arenas must already have been freed.
727
728 =cut
729
730 */
731 void
732 Perl_sv_free_arenas(pTHX)
733 {
734     SV* sva;
735     SV* svanext;
736     unsigned int i;
737
738     /* Free arenas here, but be careful about fake ones.  (We assume
739        contiguity of the fake ones with the corresponding real ones.) */
740
741     for (sva = PL_sv_arenaroot; sva; sva = svanext) {
742         svanext = MUTABLE_SV(SvANY(sva));
743         while (svanext && SvFAKE(svanext))
744             svanext = MUTABLE_SV(SvANY(svanext));
745
746         if (!SvFAKE(sva))
747             Safefree(sva);
748     }
749
750     {
751         struct arena_set *aroot = (struct arena_set*) PL_body_arenas;
752
753         while (aroot) {
754             struct arena_set *current = aroot;
755             i = aroot->curr;
756             while (i--) {
757                 assert(aroot->set[i].arena);
758                 Safefree(aroot->set[i].arena);
759             }
760             aroot = aroot->next;
761             Safefree(current);
762         }
763     }
764     PL_body_arenas = 0;
765
766     i = PERL_ARENA_ROOTS_SIZE;
767     while (i--)
768         PL_body_roots[i] = 0;
769
770     PL_sv_arenaroot = 0;
771     PL_sv_root = 0;
772 }
773
774 /*
775   Here are mid-level routines that manage the allocation of bodies out
776   of the various arenas.  There are 5 kinds of arenas:
777
778   1. SV-head arenas, which are discussed and handled above
779   2. regular body arenas
780   3. arenas for reduced-size bodies
781   4. Hash-Entry arenas
782
783   Arena types 2 & 3 are chained by body-type off an array of
784   arena-root pointers, which is indexed by svtype.  Some of the
785   larger/less used body types are malloced singly, since a large
786   unused block of them is wasteful.  Also, several svtypes dont have
787   bodies; the data fits into the sv-head itself.  The arena-root
788   pointer thus has a few unused root-pointers (which may be hijacked
789   later for arena types 4,5)
790
791   3 differs from 2 as an optimization; some body types have several
792   unused fields in the front of the structure (which are kept in-place
793   for consistency).  These bodies can be allocated in smaller chunks,
794   because the leading fields arent accessed.  Pointers to such bodies
795   are decremented to point at the unused 'ghost' memory, knowing that
796   the pointers are used with offsets to the real memory.
797
798
799 =head1 SV-Body Allocation
800
801 =cut
802
803 Allocation of SV-bodies is similar to SV-heads, differing as follows;
804 the allocation mechanism is used for many body types, so is somewhat
805 more complicated, it uses arena-sets, and has no need for still-live
806 SV detection.
807
808 At the outermost level, (new|del)_X*V macros return bodies of the
809 appropriate type.  These macros call either (new|del)_body_type or
810 (new|del)_body_allocated macro pairs, depending on specifics of the
811 type.  Most body types use the former pair, the latter pair is used to
812 allocate body types with "ghost fields".
813
814 "ghost fields" are fields that are unused in certain types, and
815 consequently don't need to actually exist.  They are declared because
816 they're part of a "base type", which allows use of functions as
817 methods.  The simplest examples are AVs and HVs, 2 aggregate types
818 which don't use the fields which support SCALAR semantics.
819
820 For these types, the arenas are carved up into appropriately sized
821 chunks, we thus avoid wasted memory for those unaccessed members.
822 When bodies are allocated, we adjust the pointer back in memory by the
823 size of the part not allocated, so it's as if we allocated the full
824 structure.  (But things will all go boom if you write to the part that
825 is "not there", because you'll be overwriting the last members of the
826 preceding structure in memory.)
827
828 We calculate the correction using the STRUCT_OFFSET macro on the first
829 member present.  If the allocated structure is smaller (no initial NV
830 actually allocated) then the net effect is to subtract the size of the NV
831 from the pointer, to return a new pointer as if an initial NV were actually
832 allocated.  (We were using structures named *_allocated for this, but
833 this turned out to be a subtle bug, because a structure without an NV
834 could have a lower alignment constraint, but the compiler is allowed to
835 optimised accesses based on the alignment constraint of the actual pointer
836 to the full structure, for example, using a single 64 bit load instruction
837 because it "knows" that two adjacent 32 bit members will be 8-byte aligned.)
838
839 This is the same trick as was used for NV and IV bodies.  Ironically it
840 doesn't need to be used for NV bodies any more, because NV is now at
841 the start of the structure.  IV bodies, and also in some builds NV bodies,
842 don't need it either, because they are no longer allocated.
843
844 In turn, the new_body_* allocators call S_new_body(), which invokes
845 new_body_inline macro, which takes a lock, and takes a body off the
846 linked list at PL_body_roots[sv_type], calling Perl_more_bodies() if
847 necessary to refresh an empty list.  Then the lock is released, and
848 the body is returned.
849
850 Perl_more_bodies allocates a new arena, and carves it up into an array of N
851 bodies, which it strings into a linked list.  It looks up arena-size
852 and body-size from the body_details table described below, thus
853 supporting the multiple body-types.
854
855 If PURIFY is defined, or PERL_ARENA_SIZE=0, arenas are not used, and
856 the (new|del)_X*V macros are mapped directly to malloc/free.
857
858 For each sv-type, struct body_details bodies_by_type[] carries
859 parameters which control these aspects of SV handling:
860
861 Arena_size determines whether arenas are used for this body type, and if
862 so, how big they are.  PURIFY or PERL_ARENA_SIZE=0 set this field to
863 zero, forcing individual mallocs and frees.
864
865 Body_size determines how big a body is, and therefore how many fit into
866 each arena.  Offset carries the body-pointer adjustment needed for
867 "ghost fields", and is used in *_allocated macros.
868
869 But its main purpose is to parameterize info needed in
870 Perl_sv_upgrade().  The info here dramatically simplifies the function
871 vs the implementation in 5.8.8, making it table-driven.  All fields
872 are used for this, except for arena_size.
873
874 For the sv-types that have no bodies, arenas are not used, so those
875 PL_body_roots[sv_type] are unused, and can be overloaded.  In
876 something of a special case, SVt_NULL is borrowed for HE arenas;
877 PL_body_roots[HE_SVSLOT=SVt_NULL] is filled by S_more_he, but the
878 bodies_by_type[SVt_NULL] slot is not used, as the table is not
879 available in hv.c.
880
881 */
882
883 struct body_details {
884     U8 body_size;       /* Size to allocate  */
885     U8 copy;            /* Size of structure to copy (may be shorter)  */
886     U8 offset;          /* Size of unalloced ghost fields to first alloced field*/
887     PERL_BITFIELD8 type : 4;        /* We have space for a sanity check. */
888     PERL_BITFIELD8 cant_upgrade : 1;/* Cannot upgrade this type */
889     PERL_BITFIELD8 zero_nv : 1;     /* zero the NV when upgrading from this */
890     PERL_BITFIELD8 arena : 1;       /* Allocated from an arena */
891     U32 arena_size;                 /* Size of arena to allocate */
892 };
893
894 #define HADNV FALSE
895 #define NONV TRUE
896
897
898 #ifdef PURIFY
899 /* With -DPURFIY we allocate everything directly, and don't use arenas.
900    This seems a rather elegant way to simplify some of the code below.  */
901 #define HASARENA FALSE
902 #else
903 #define HASARENA TRUE
904 #endif
905 #define NOARENA FALSE
906
907 /* Size the arenas to exactly fit a given number of bodies.  A count
908    of 0 fits the max number bodies into a PERL_ARENA_SIZE.block,
909    simplifying the default.  If count > 0, the arena is sized to fit
910    only that many bodies, allowing arenas to be used for large, rare
911    bodies (XPVFM, XPVIO) without undue waste.  The arena size is
912    limited by PERL_ARENA_SIZE, so we can safely oversize the
913    declarations.
914  */
915 #define FIT_ARENA0(body_size)                           \
916     ((size_t)(PERL_ARENA_SIZE / body_size) * body_size)
917 #define FIT_ARENAn(count,body_size)                     \
918     ( count * body_size <= PERL_ARENA_SIZE)             \
919     ? count * body_size                                 \
920     : FIT_ARENA0 (body_size)
921 #define FIT_ARENA(count,body_size)                      \
922    (U32)(count                                          \
923     ? FIT_ARENAn (count, body_size)                     \
924     : FIT_ARENA0 (body_size))
925
926 /* Calculate the length to copy. Specifically work out the length less any
927    final padding the compiler needed to add.  See the comment in sv_upgrade
928    for why copying the padding proved to be a bug.  */
929
930 #define copy_length(type, last_member) \
931         STRUCT_OFFSET(type, last_member) \
932         + sizeof (((type*)SvANY((const SV *)0))->last_member)
933
934 static const struct body_details bodies_by_type[] = {
935     /* HEs use this offset for their arena.  */
936     { 0, 0, 0, SVt_NULL, FALSE, NONV, NOARENA, 0 },
937
938     /* IVs are in the head, so the allocation size is 0.  */
939     { 0,
940       sizeof(IV), /* This is used to copy out the IV body.  */
941       STRUCT_OFFSET(XPVIV, xiv_iv), SVt_IV, FALSE, NONV,
942       NOARENA /* IVS don't need an arena  */, 0
943     },
944
945 #if NVSIZE <= IVSIZE
946     { 0, sizeof(NV),
947       STRUCT_OFFSET(XPVNV, xnv_u),
948       SVt_NV, FALSE, HADNV, NOARENA, 0 },
949 #else
950     { sizeof(NV), sizeof(NV),
951       STRUCT_OFFSET(XPVNV, xnv_u),
952       SVt_NV, FALSE, HADNV, HASARENA, FIT_ARENA(0, sizeof(NV)) },
953 #endif
954
955     { sizeof(XPV) - STRUCT_OFFSET(XPV, xpv_cur),
956       copy_length(XPV, xpv_len) - STRUCT_OFFSET(XPV, xpv_cur),
957       + STRUCT_OFFSET(XPV, xpv_cur),
958       SVt_PV, FALSE, NONV, HASARENA,
959       FIT_ARENA(0, sizeof(XPV) - STRUCT_OFFSET(XPV, xpv_cur)) },
960
961     { sizeof(XINVLIST) - STRUCT_OFFSET(XPV, xpv_cur),
962       copy_length(XINVLIST, is_offset) - STRUCT_OFFSET(XPV, xpv_cur),
963       + STRUCT_OFFSET(XPV, xpv_cur),
964       SVt_INVLIST, TRUE, NONV, HASARENA,
965       FIT_ARENA(0, sizeof(XINVLIST) - STRUCT_OFFSET(XPV, xpv_cur)) },
966
967     { sizeof(XPVIV) - STRUCT_OFFSET(XPV, xpv_cur),
968       copy_length(XPVIV, xiv_u) - STRUCT_OFFSET(XPV, xpv_cur),
969       + STRUCT_OFFSET(XPV, xpv_cur),
970       SVt_PVIV, FALSE, NONV, HASARENA,
971       FIT_ARENA(0, sizeof(XPVIV) - STRUCT_OFFSET(XPV, xpv_cur)) },
972
973     { sizeof(XPVNV) - STRUCT_OFFSET(XPV, xpv_cur),
974       copy_length(XPVNV, xnv_u) - STRUCT_OFFSET(XPV, xpv_cur),
975       + STRUCT_OFFSET(XPV, xpv_cur),
976       SVt_PVNV, FALSE, HADNV, HASARENA,
977       FIT_ARENA(0, sizeof(XPVNV) - STRUCT_OFFSET(XPV, xpv_cur)) },
978
979     { sizeof(XPVMG), copy_length(XPVMG, xnv_u), 0, SVt_PVMG, FALSE, HADNV,
980       HASARENA, FIT_ARENA(0, sizeof(XPVMG)) },
981
982     { sizeof(regexp),
983       sizeof(regexp),
984       0,
985       SVt_REGEXP, TRUE, NONV, HASARENA,
986       FIT_ARENA(0, sizeof(regexp))
987     },
988
989     { sizeof(XPVGV), sizeof(XPVGV), 0, SVt_PVGV, TRUE, HADNV,
990       HASARENA, FIT_ARENA(0, sizeof(XPVGV)) },
991     
992     { sizeof(XPVLV), sizeof(XPVLV), 0, SVt_PVLV, TRUE, HADNV,
993       HASARENA, FIT_ARENA(0, sizeof(XPVLV)) },
994
995     { sizeof(XPVAV),
996       copy_length(XPVAV, xav_alloc),
997       0,
998       SVt_PVAV, TRUE, NONV, HASARENA,
999       FIT_ARENA(0, sizeof(XPVAV)) },
1000
1001     { sizeof(XPVHV),
1002       copy_length(XPVHV, xhv_max),
1003       0,
1004       SVt_PVHV, TRUE, NONV, HASARENA,
1005       FIT_ARENA(0, sizeof(XPVHV)) },
1006
1007     { sizeof(XPVCV),
1008       sizeof(XPVCV),
1009       0,
1010       SVt_PVCV, TRUE, NONV, HASARENA,
1011       FIT_ARENA(0, sizeof(XPVCV)) },
1012
1013     { sizeof(XPVFM),
1014       sizeof(XPVFM),
1015       0,
1016       SVt_PVFM, TRUE, NONV, NOARENA,
1017       FIT_ARENA(20, sizeof(XPVFM)) },
1018
1019     { sizeof(XPVIO),
1020       sizeof(XPVIO),
1021       0,
1022       SVt_PVIO, TRUE, NONV, HASARENA,
1023       FIT_ARENA(24, sizeof(XPVIO)) },
1024 };
1025
1026 #define new_body_allocated(sv_type)             \
1027     (void *)((char *)S_new_body(aTHX_ sv_type)  \
1028              - bodies_by_type[sv_type].offset)
1029
1030 /* return a thing to the free list */
1031
1032 #define del_body(thing, root)                           \
1033     STMT_START {                                        \
1034         void ** const thing_copy = (void **)thing;      \
1035         *thing_copy = *root;                            \
1036         *root = (void*)thing_copy;                      \
1037     } STMT_END
1038
1039 #ifdef PURIFY
1040 #if !(NVSIZE <= IVSIZE)
1041 #  define new_XNV()     safemalloc(sizeof(XPVNV))
1042 #endif
1043 #define new_XPVNV()     safemalloc(sizeof(XPVNV))
1044 #define new_XPVMG()     safemalloc(sizeof(XPVMG))
1045
1046 #define del_XPVGV(p)    safefree(p)
1047
1048 #else /* !PURIFY */
1049
1050 #if !(NVSIZE <= IVSIZE)
1051 #  define new_XNV()     new_body_allocated(SVt_NV)
1052 #endif
1053 #define new_XPVNV()     new_body_allocated(SVt_PVNV)
1054 #define new_XPVMG()     new_body_allocated(SVt_PVMG)
1055
1056 #define del_XPVGV(p)    del_body(p + bodies_by_type[SVt_PVGV].offset,   \
1057                                  &PL_body_roots[SVt_PVGV])
1058
1059 #endif /* PURIFY */
1060
1061 /* no arena for you! */
1062
1063 #define new_NOARENA(details) \
1064         safemalloc((details)->body_size + (details)->offset)
1065 #define new_NOARENAZ(details) \
1066         safecalloc((details)->body_size + (details)->offset, 1)
1067
1068 void *
1069 Perl_more_bodies (pTHX_ const svtype sv_type, const size_t body_size,
1070                   const size_t arena_size)
1071 {
1072     void ** const root = &PL_body_roots[sv_type];
1073     struct arena_desc *adesc;
1074     struct arena_set *aroot = (struct arena_set *) PL_body_arenas;
1075     unsigned int curr;
1076     char *start;
1077     const char *end;
1078     const size_t good_arena_size = Perl_malloc_good_size(arena_size);
1079 #if defined(DEBUGGING) && defined(PERL_GLOBAL_STRUCT)
1080     dVAR;
1081 #endif
1082 #if defined(DEBUGGING) && !defined(PERL_GLOBAL_STRUCT_PRIVATE)
1083     static bool done_sanity_check;
1084
1085     /* PERL_GLOBAL_STRUCT_PRIVATE cannot coexist with global
1086      * variables like done_sanity_check. */
1087     if (!done_sanity_check) {
1088         unsigned int i = SVt_LAST;
1089
1090         done_sanity_check = TRUE;
1091
1092         while (i--)
1093             assert (bodies_by_type[i].type == i);
1094     }
1095 #endif
1096
1097     assert(arena_size);
1098
1099     /* may need new arena-set to hold new arena */
1100     if (!aroot || aroot->curr >= aroot->set_size) {
1101         struct arena_set *newroot;
1102         Newxz(newroot, 1, struct arena_set);
1103         newroot->set_size = ARENAS_PER_SET;
1104         newroot->next = aroot;
1105         aroot = newroot;
1106         PL_body_arenas = (void *) newroot;
1107         DEBUG_m(PerlIO_printf(Perl_debug_log, "new arenaset %p\n", (void*)aroot));
1108     }
1109
1110     /* ok, now have arena-set with at least 1 empty/available arena-desc */
1111     curr = aroot->curr++;
1112     adesc = &(aroot->set[curr]);
1113     assert(!adesc->arena);
1114     
1115     Newx(adesc->arena, good_arena_size, char);
1116     adesc->size = good_arena_size;
1117     adesc->utype = sv_type;
1118     DEBUG_m(PerlIO_printf(Perl_debug_log, "arena %d added: %p size %"UVuf"\n", 
1119                           curr, (void*)adesc->arena, (UV)good_arena_size));
1120
1121     start = (char *) adesc->arena;
1122
1123     /* Get the address of the byte after the end of the last body we can fit.
1124        Remember, this is integer division:  */
1125     end = start + good_arena_size / body_size * body_size;
1126
1127     /* computed count doesn't reflect the 1st slot reservation */
1128 #if defined(MYMALLOC) || defined(HAS_MALLOC_GOOD_SIZE)
1129     DEBUG_m(PerlIO_printf(Perl_debug_log,
1130                           "arena %p end %p arena-size %d (from %d) type %d "
1131                           "size %d ct %d\n",
1132                           (void*)start, (void*)end, (int)good_arena_size,
1133                           (int)arena_size, sv_type, (int)body_size,
1134                           (int)good_arena_size / (int)body_size));
1135 #else
1136     DEBUG_m(PerlIO_printf(Perl_debug_log,
1137                           "arena %p end %p arena-size %d type %d size %d ct %d\n",
1138                           (void*)start, (void*)end,
1139                           (int)arena_size, sv_type, (int)body_size,
1140                           (int)good_arena_size / (int)body_size));
1141 #endif
1142     *root = (void *)start;
1143
1144     while (1) {
1145         /* Where the next body would start:  */
1146         char * const next = start + body_size;
1147
1148         if (next >= end) {
1149             /* This is the last body:  */
1150             assert(next == end);
1151
1152             *(void **)start = 0;
1153             return *root;
1154         }
1155
1156         *(void**) start = (void *)next;
1157         start = next;
1158     }
1159 }
1160
1161 /* grab a new thing from the free list, allocating more if necessary.
1162    The inline version is used for speed in hot routines, and the
1163    function using it serves the rest (unless PURIFY).
1164 */
1165 #define new_body_inline(xpv, sv_type) \
1166     STMT_START { \
1167         void ** const r3wt = &PL_body_roots[sv_type]; \
1168         xpv = (PTR_TBL_ENT_t*) (*((void **)(r3wt))      \
1169           ? *((void **)(r3wt)) : Perl_more_bodies(aTHX_ sv_type, \
1170                                              bodies_by_type[sv_type].body_size,\
1171                                              bodies_by_type[sv_type].arena_size)); \
1172         *(r3wt) = *(void**)(xpv); \
1173     } STMT_END
1174
1175 #ifndef PURIFY
1176
1177 STATIC void *
1178 S_new_body(pTHX_ const svtype sv_type)
1179 {
1180     void *xpv;
1181     new_body_inline(xpv, sv_type);
1182     return xpv;
1183 }
1184
1185 #endif
1186
1187 static const struct body_details fake_rv =
1188     { 0, 0, 0, SVt_IV, FALSE, NONV, NOARENA, 0 };
1189
1190 /*
1191 =for apidoc sv_upgrade
1192
1193 Upgrade an SV to a more complex form.  Generally adds a new body type to the
1194 SV, then copies across as much information as possible from the old body.
1195 It croaks if the SV is already in a more complex form than requested.  You
1196 generally want to use the C<SvUPGRADE> macro wrapper, which checks the type
1197 before calling C<sv_upgrade>, and hence does not croak.  See also
1198 C<svtype>.
1199
1200 =cut
1201 */
1202
1203 void
1204 Perl_sv_upgrade(pTHX_ SV *const sv, svtype new_type)
1205 {
1206     void*       old_body;
1207     void*       new_body;
1208     const svtype old_type = SvTYPE(sv);
1209     const struct body_details *new_type_details;
1210     const struct body_details *old_type_details
1211         = bodies_by_type + old_type;
1212     SV *referant = NULL;
1213
1214     PERL_ARGS_ASSERT_SV_UPGRADE;
1215
1216     if (old_type == new_type)
1217         return;
1218
1219     /* This clause was purposefully added ahead of the early return above to
1220        the shared string hackery for (sort {$a <=> $b} keys %hash), with the
1221        inference by Nick I-S that it would fix other troublesome cases. See
1222        changes 7162, 7163 (f130fd4589cf5fbb24149cd4db4137c8326f49c1 and parent)
1223
1224        Given that shared hash key scalars are no longer PVIV, but PV, there is
1225        no longer need to unshare so as to free up the IVX slot for its proper
1226        purpose. So it's safe to move the early return earlier.  */
1227
1228     if (new_type > SVt_PVMG && SvIsCOW(sv)) {
1229         sv_force_normal_flags(sv, 0);
1230     }
1231
1232     old_body = SvANY(sv);
1233
1234     /* Copying structures onto other structures that have been neatly zeroed
1235        has a subtle gotcha. Consider XPVMG
1236
1237        +------+------+------+------+------+-------+-------+
1238        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |
1239        +------+------+------+------+------+-------+-------+
1240        0      4      8     12     16     20      24      28
1241
1242        where NVs are aligned to 8 bytes, so that sizeof that structure is
1243        actually 32 bytes long, with 4 bytes of padding at the end:
1244
1245        +------+------+------+------+------+-------+-------+------+
1246        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH | ???  |
1247        +------+------+------+------+------+-------+-------+------+
1248        0      4      8     12     16     20      24      28     32
1249
1250        so what happens if you allocate memory for this structure:
1251
1252        +------+------+------+------+------+-------+-------+------+------+...
1253        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |  GP  | NAME |
1254        +------+------+------+------+------+-------+-------+------+------+...
1255        0      4      8     12     16     20      24      28     32     36
1256
1257        zero it, then copy sizeof(XPVMG) bytes on top of it? Not quite what you
1258        expect, because you copy the area marked ??? onto GP. Now, ??? may have
1259        started out as zero once, but it's quite possible that it isn't. So now,
1260        rather than a nicely zeroed GP, you have it pointing somewhere random.
1261        Bugs ensue.
1262
1263        (In fact, GP ends up pointing at a previous GP structure, because the
1264        principle cause of the padding in XPVMG getting garbage is a copy of
1265        sizeof(XPVMG) bytes from a XPVGV structure in sv_unglob. Right now
1266        this happens to be moot because XPVGV has been re-ordered, with GP
1267        no longer after STASH)
1268
1269        So we are careful and work out the size of used parts of all the
1270        structures.  */
1271
1272     switch (old_type) {
1273     case SVt_NULL:
1274         break;
1275     case SVt_IV:
1276         if (SvROK(sv)) {
1277             referant = SvRV(sv);
1278             old_type_details = &fake_rv;
1279             if (new_type == SVt_NV)
1280                 new_type = SVt_PVNV;
1281         } else {
1282             if (new_type < SVt_PVIV) {
1283                 new_type = (new_type == SVt_NV)
1284                     ? SVt_PVNV : SVt_PVIV;
1285             }
1286         }
1287         break;
1288     case SVt_NV:
1289         if (new_type < SVt_PVNV) {
1290             new_type = SVt_PVNV;
1291         }
1292         break;
1293     case SVt_PV:
1294         assert(new_type > SVt_PV);
1295         assert(SVt_IV < SVt_PV);
1296         assert(SVt_NV < SVt_PV);
1297         break;
1298     case SVt_PVIV:
1299         break;
1300     case SVt_PVNV:
1301         break;
1302     case SVt_PVMG:
1303         /* Because the XPVMG of PL_mess_sv isn't allocated from the arena,
1304            there's no way that it can be safely upgraded, because perl.c
1305            expects to Safefree(SvANY(PL_mess_sv))  */
1306         assert(sv != PL_mess_sv);
1307         /* This flag bit is used to mean other things in other scalar types.
1308            Given that it only has meaning inside the pad, it shouldn't be set
1309            on anything that can get upgraded.  */
1310         assert(!SvPAD_TYPED(sv));
1311         break;
1312     default:
1313         if (UNLIKELY(old_type_details->cant_upgrade))
1314             Perl_croak(aTHX_ "Can't upgrade %s (%" UVuf ") to %" UVuf,
1315                        sv_reftype(sv, 0), (UV) old_type, (UV) new_type);
1316     }
1317
1318     if (UNLIKELY(old_type > new_type))
1319         Perl_croak(aTHX_ "sv_upgrade from type %d down to type %d",
1320                 (int)old_type, (int)new_type);
1321
1322     new_type_details = bodies_by_type + new_type;
1323
1324     SvFLAGS(sv) &= ~SVTYPEMASK;
1325     SvFLAGS(sv) |= new_type;
1326
1327     /* This can't happen, as SVt_NULL is <= all values of new_type, so one of
1328        the return statements above will have triggered.  */
1329     assert (new_type != SVt_NULL);
1330     switch (new_type) {
1331     case SVt_IV:
1332         assert(old_type == SVt_NULL);
1333         SvANY(sv) = (XPVIV*)((char*)&(sv->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
1334         SvIV_set(sv, 0);
1335         return;
1336     case SVt_NV:
1337         assert(old_type == SVt_NULL);
1338 #if NVSIZE <= IVSIZE
1339         SvANY(sv) = (XPVNV*)((char*)&(sv->sv_u.svu_nv) - STRUCT_OFFSET(XPVNV, xnv_u.xnv_nv));
1340 #else
1341         SvANY(sv) = new_XNV();
1342 #endif
1343         SvNV_set(sv, 0);
1344         return;
1345     case SVt_PVHV:
1346     case SVt_PVAV:
1347         assert(new_type_details->body_size);
1348
1349 #ifndef PURIFY  
1350         assert(new_type_details->arena);
1351         assert(new_type_details->arena_size);
1352         /* This points to the start of the allocated area.  */
1353         new_body_inline(new_body, new_type);
1354         Zero(new_body, new_type_details->body_size, char);
1355         new_body = ((char *)new_body) - new_type_details->offset;
1356 #else
1357         /* We always allocated the full length item with PURIFY. To do this
1358            we fake things so that arena is false for all 16 types..  */
1359         new_body = new_NOARENAZ(new_type_details);
1360 #endif
1361         SvANY(sv) = new_body;
1362         if (new_type == SVt_PVAV) {
1363             AvMAX(sv)   = -1;
1364             AvFILLp(sv) = -1;
1365             AvREAL_only(sv);
1366             if (old_type_details->body_size) {
1367                 AvALLOC(sv) = 0;
1368             } else {
1369                 /* It will have been zeroed when the new body was allocated.
1370                    Lets not write to it, in case it confuses a write-back
1371                    cache.  */
1372             }
1373         } else {
1374             assert(!SvOK(sv));
1375             SvOK_off(sv);
1376 #ifndef NODEFAULT_SHAREKEYS
1377             HvSHAREKEYS_on(sv);         /* key-sharing on by default */
1378 #endif
1379             /* start with PERL_HASH_DEFAULT_HvMAX+1 buckets: */
1380             HvMAX(sv) = PERL_HASH_DEFAULT_HvMAX;
1381         }
1382
1383         /* SVt_NULL isn't the only thing upgraded to AV or HV.
1384            The target created by newSVrv also is, and it can have magic.
1385            However, it never has SvPVX set.
1386         */
1387         if (old_type == SVt_IV) {
1388             assert(!SvROK(sv));
1389         } else if (old_type >= SVt_PV) {
1390             assert(SvPVX_const(sv) == 0);
1391         }
1392
1393         if (old_type >= SVt_PVMG) {
1394             SvMAGIC_set(sv, ((XPVMG*)old_body)->xmg_u.xmg_magic);
1395             SvSTASH_set(sv, ((XPVMG*)old_body)->xmg_stash);
1396         } else {
1397             sv->sv_u.svu_array = NULL; /* or svu_hash  */
1398         }
1399         break;
1400
1401     case SVt_PVIV:
1402         /* XXX Is this still needed?  Was it ever needed?   Surely as there is
1403            no route from NV to PVIV, NOK can never be true  */
1404         assert(!SvNOKp(sv));
1405         assert(!SvNOK(sv));
1406     case SVt_PVIO:
1407     case SVt_PVFM:
1408     case SVt_PVGV:
1409     case SVt_PVCV:
1410     case SVt_PVLV:
1411     case SVt_INVLIST:
1412     case SVt_REGEXP:
1413     case SVt_PVMG:
1414     case SVt_PVNV:
1415     case SVt_PV:
1416
1417         assert(new_type_details->body_size);
1418         /* We always allocated the full length item with PURIFY. To do this
1419            we fake things so that arena is false for all 16 types..  */
1420         if(new_type_details->arena) {
1421             /* This points to the start of the allocated area.  */
1422             new_body_inline(new_body, new_type);
1423             Zero(new_body, new_type_details->body_size, char);
1424             new_body = ((char *)new_body) - new_type_details->offset;
1425         } else {
1426             new_body = new_NOARENAZ(new_type_details);
1427         }
1428         SvANY(sv) = new_body;
1429
1430         if (old_type_details->copy) {
1431             /* There is now the potential for an upgrade from something without
1432                an offset (PVNV or PVMG) to something with one (PVCV, PVFM)  */
1433             int offset = old_type_details->offset;
1434             int length = old_type_details->copy;
1435
1436             if (new_type_details->offset > old_type_details->offset) {
1437                 const int difference
1438                     = new_type_details->offset - old_type_details->offset;
1439                 offset += difference;
1440                 length -= difference;
1441             }
1442             assert (length >= 0);
1443                 
1444             Copy((char *)old_body + offset, (char *)new_body + offset, length,
1445                  char);
1446         }
1447
1448 #ifndef NV_ZERO_IS_ALLBITS_ZERO
1449         /* If NV 0.0 is stores as all bits 0 then Zero() already creates a
1450          * correct 0.0 for us.  Otherwise, if the old body didn't have an
1451          * NV slot, but the new one does, then we need to initialise the
1452          * freshly created NV slot with whatever the correct bit pattern is
1453          * for 0.0  */
1454         if (old_type_details->zero_nv && !new_type_details->zero_nv
1455             && !isGV_with_GP(sv))
1456             SvNV_set(sv, 0);
1457 #endif
1458
1459         if (UNLIKELY(new_type == SVt_PVIO)) {
1460             IO * const io = MUTABLE_IO(sv);
1461             GV *iogv = gv_fetchpvs("IO::File::", GV_ADD, SVt_PVHV);
1462
1463             SvOBJECT_on(io);
1464             /* Clear the stashcache because a new IO could overrule a package
1465                name */
1466             DEBUG_o(Perl_deb(aTHX_ "sv_upgrade clearing PL_stashcache\n"));
1467             hv_clear(PL_stashcache);
1468
1469             SvSTASH_set(io, MUTABLE_HV(SvREFCNT_inc(GvHV(iogv))));
1470             IoPAGE_LEN(sv) = 60;
1471         }
1472         if (UNLIKELY(new_type == SVt_REGEXP))
1473             sv->sv_u.svu_rx = (regexp *)new_body;
1474         else if (old_type < SVt_PV) {
1475             /* referant will be NULL unless the old type was SVt_IV emulating
1476                SVt_RV */
1477             sv->sv_u.svu_rv = referant;
1478         }
1479         break;
1480     default:
1481         Perl_croak(aTHX_ "panic: sv_upgrade to unknown type %lu",
1482                    (unsigned long)new_type);
1483     }
1484
1485     /* if this is zero, this is a body-less SVt_NULL, SVt_IV/SVt_RV,
1486        and sometimes SVt_NV */
1487     if (old_type_details->body_size) {
1488 #ifdef PURIFY
1489         safefree(old_body);
1490 #else
1491         /* Note that there is an assumption that all bodies of types that
1492            can be upgraded came from arenas. Only the more complex non-
1493            upgradable types are allowed to be directly malloc()ed.  */
1494         assert(old_type_details->arena);
1495         del_body((void*)((char*)old_body + old_type_details->offset),
1496                  &PL_body_roots[old_type]);
1497 #endif
1498     }
1499 }
1500
1501 /*
1502 =for apidoc sv_backoff
1503
1504 Remove any string offset.  You should normally use the C<SvOOK_off> macro
1505 wrapper instead.
1506
1507 =cut
1508 */
1509
1510 int
1511 Perl_sv_backoff(SV *const sv)
1512 {
1513     STRLEN delta;
1514     const char * const s = SvPVX_const(sv);
1515
1516     PERL_ARGS_ASSERT_SV_BACKOFF;
1517
1518     assert(SvOOK(sv));
1519     assert(SvTYPE(sv) != SVt_PVHV);
1520     assert(SvTYPE(sv) != SVt_PVAV);
1521
1522     SvOOK_offset(sv, delta);
1523     
1524     SvLEN_set(sv, SvLEN(sv) + delta);
1525     SvPV_set(sv, SvPVX(sv) - delta);
1526     Move(s, SvPVX(sv), SvCUR(sv)+1, char);
1527     SvFLAGS(sv) &= ~SVf_OOK;
1528     return 0;
1529 }
1530
1531 /*
1532 =for apidoc sv_grow
1533
1534 Expands the character buffer in the SV.  If necessary, uses C<sv_unref> and
1535 upgrades the SV to C<SVt_PV>.  Returns a pointer to the character buffer.
1536 Use the C<SvGROW> wrapper instead.
1537
1538 =cut
1539 */
1540
1541 static void S_sv_uncow(pTHX_ SV * const sv, const U32 flags);
1542
1543 char *
1544 Perl_sv_grow(pTHX_ SV *const sv, STRLEN newlen)
1545 {
1546     char *s;
1547
1548     PERL_ARGS_ASSERT_SV_GROW;
1549
1550     if (SvROK(sv))
1551         sv_unref(sv);
1552     if (SvTYPE(sv) < SVt_PV) {
1553         sv_upgrade(sv, SVt_PV);
1554         s = SvPVX_mutable(sv);
1555     }
1556     else if (SvOOK(sv)) {       /* pv is offset? */
1557         sv_backoff(sv);
1558         s = SvPVX_mutable(sv);
1559         if (newlen > SvLEN(sv))
1560             newlen += 10 * (newlen - SvCUR(sv)); /* avoid copy each time */
1561     }
1562     else
1563     {
1564         if (SvIsCOW(sv)) S_sv_uncow(aTHX_ sv, 0);
1565         s = SvPVX_mutable(sv);
1566     }
1567
1568 #ifdef PERL_NEW_COPY_ON_WRITE
1569     /* the new COW scheme uses SvPVX(sv)[SvLEN(sv)-1] (if spare)
1570      * to store the COW count. So in general, allocate one more byte than
1571      * asked for, to make it likely this byte is always spare: and thus
1572      * make more strings COW-able.
1573      * If the new size is a big power of two, don't bother: we assume the
1574      * caller wanted a nice 2^N sized block and will be annoyed at getting
1575      * 2^N+1 */
1576     if (newlen & 0xff)
1577         newlen++;
1578 #endif
1579
1580 #if defined(PERL_USE_MALLOC_SIZE) && defined(Perl_safesysmalloc_size)
1581 #define PERL_UNWARANTED_CHUMMINESS_WITH_MALLOC
1582 #endif
1583
1584     if (newlen > SvLEN(sv)) {           /* need more room? */
1585         STRLEN minlen = SvCUR(sv);
1586         minlen += (minlen >> PERL_STRLEN_EXPAND_SHIFT) + 10;
1587         if (newlen < minlen)
1588             newlen = minlen;
1589 #ifndef PERL_UNWARANTED_CHUMMINESS_WITH_MALLOC
1590
1591         /* Don't round up on the first allocation, as odds are pretty good that
1592          * the initial request is accurate as to what is really needed */
1593         if (SvLEN(sv)) {
1594             newlen = PERL_STRLEN_ROUNDUP(newlen);
1595         }
1596 #endif
1597         if (SvLEN(sv) && s) {
1598             s = (char*)saferealloc(s, newlen);
1599         }
1600         else {
1601             s = (char*)safemalloc(newlen);
1602             if (SvPVX_const(sv) && SvCUR(sv)) {
1603                 Move(SvPVX_const(sv), s, (newlen < SvCUR(sv)) ? newlen : SvCUR(sv), char);
1604             }
1605         }
1606         SvPV_set(sv, s);
1607 #ifdef PERL_UNWARANTED_CHUMMINESS_WITH_MALLOC
1608         /* Do this here, do it once, do it right, and then we will never get
1609            called back into sv_grow() unless there really is some growing
1610            needed.  */
1611         SvLEN_set(sv, Perl_safesysmalloc_size(s));
1612 #else
1613         SvLEN_set(sv, newlen);
1614 #endif
1615     }
1616     return s;
1617 }
1618
1619 /*
1620 =for apidoc sv_setiv
1621
1622 Copies an integer into the given SV, upgrading first if necessary.
1623 Does not handle 'set' magic.  See also C<sv_setiv_mg>.
1624
1625 =cut
1626 */
1627
1628 void
1629 Perl_sv_setiv(pTHX_ SV *const sv, const IV i)
1630 {
1631     PERL_ARGS_ASSERT_SV_SETIV;
1632
1633     SV_CHECK_THINKFIRST_COW_DROP(sv);
1634     switch (SvTYPE(sv)) {
1635     case SVt_NULL:
1636     case SVt_NV:
1637         sv_upgrade(sv, SVt_IV);
1638         break;
1639     case SVt_PV:
1640         sv_upgrade(sv, SVt_PVIV);
1641         break;
1642
1643     case SVt_PVGV:
1644         if (!isGV_with_GP(sv))
1645             break;
1646     case SVt_PVAV:
1647     case SVt_PVHV:
1648     case SVt_PVCV:
1649     case SVt_PVFM:
1650     case SVt_PVIO:
1651         /* diag_listed_as: Can't coerce %s to %s in %s */
1652         Perl_croak(aTHX_ "Can't coerce %s to integer in %s", sv_reftype(sv,0),
1653                    OP_DESC(PL_op));
1654     default: NOOP;
1655     }
1656     (void)SvIOK_only(sv);                       /* validate number */
1657     SvIV_set(sv, i);
1658     SvTAINT(sv);
1659 }
1660
1661 /*
1662 =for apidoc sv_setiv_mg
1663
1664 Like C<sv_setiv>, but also handles 'set' magic.
1665
1666 =cut
1667 */
1668
1669 void
1670 Perl_sv_setiv_mg(pTHX_ SV *const sv, const IV i)
1671 {
1672     PERL_ARGS_ASSERT_SV_SETIV_MG;
1673
1674     sv_setiv(sv,i);
1675     SvSETMAGIC(sv);
1676 }
1677
1678 /*
1679 =for apidoc sv_setuv
1680
1681 Copies an unsigned integer into the given SV, upgrading first if necessary.
1682 Does not handle 'set' magic.  See also C<sv_setuv_mg>.
1683
1684 =cut
1685 */
1686
1687 void
1688 Perl_sv_setuv(pTHX_ SV *const sv, const UV u)
1689 {
1690     PERL_ARGS_ASSERT_SV_SETUV;
1691
1692     /* With the if statement to ensure that integers are stored as IVs whenever
1693        possible:
1694        u=1.49  s=0.52  cu=72.49  cs=10.64  scripts=270  tests=20865
1695
1696        without
1697        u=1.35  s=0.47  cu=73.45  cs=11.43  scripts=270  tests=20865
1698
1699        If you wish to remove the following if statement, so that this routine
1700        (and its callers) always return UVs, please benchmark to see what the
1701        effect is. Modern CPUs may be different. Or may not :-)
1702     */
1703     if (u <= (UV)IV_MAX) {
1704        sv_setiv(sv, (IV)u);
1705        return;
1706     }
1707     sv_setiv(sv, 0);
1708     SvIsUV_on(sv);
1709     SvUV_set(sv, u);
1710 }
1711
1712 /*
1713 =for apidoc sv_setuv_mg
1714
1715 Like C<sv_setuv>, but also handles 'set' magic.
1716
1717 =cut
1718 */
1719
1720 void
1721 Perl_sv_setuv_mg(pTHX_ SV *const sv, const UV u)
1722 {
1723     PERL_ARGS_ASSERT_SV_SETUV_MG;
1724
1725     sv_setuv(sv,u);
1726     SvSETMAGIC(sv);
1727 }
1728
1729 /*
1730 =for apidoc sv_setnv
1731
1732 Copies a double into the given SV, upgrading first if necessary.
1733 Does not handle 'set' magic.  See also C<sv_setnv_mg>.
1734
1735 =cut
1736 */
1737
1738 void
1739 Perl_sv_setnv(pTHX_ SV *const sv, const NV num)
1740 {
1741     PERL_ARGS_ASSERT_SV_SETNV;
1742
1743     SV_CHECK_THINKFIRST_COW_DROP(sv);
1744     switch (SvTYPE(sv)) {
1745     case SVt_NULL:
1746     case SVt_IV:
1747         sv_upgrade(sv, SVt_NV);
1748         break;
1749     case SVt_PV:
1750     case SVt_PVIV:
1751         sv_upgrade(sv, SVt_PVNV);
1752         break;
1753
1754     case SVt_PVGV:
1755         if (!isGV_with_GP(sv))
1756             break;
1757     case SVt_PVAV:
1758     case SVt_PVHV:
1759     case SVt_PVCV:
1760     case SVt_PVFM:
1761     case SVt_PVIO:
1762         /* diag_listed_as: Can't coerce %s to %s in %s */
1763         Perl_croak(aTHX_ "Can't coerce %s to number in %s", sv_reftype(sv,0),
1764                    OP_DESC(PL_op));
1765     default: NOOP;
1766     }
1767     SvNV_set(sv, num);
1768     (void)SvNOK_only(sv);                       /* validate number */
1769     SvTAINT(sv);
1770 }
1771
1772 /*
1773 =for apidoc sv_setnv_mg
1774
1775 Like C<sv_setnv>, but also handles 'set' magic.
1776
1777 =cut
1778 */
1779
1780 void
1781 Perl_sv_setnv_mg(pTHX_ SV *const sv, const NV num)
1782 {
1783     PERL_ARGS_ASSERT_SV_SETNV_MG;
1784
1785     sv_setnv(sv,num);
1786     SvSETMAGIC(sv);
1787 }
1788
1789 /* Return a cleaned-up, printable version of sv, for non-numeric, or
1790  * not incrementable warning display.
1791  * Originally part of S_not_a_number().
1792  * The return value may be != tmpbuf.
1793  */
1794
1795 STATIC const char *
1796 S_sv_display(pTHX_ SV *const sv, char *tmpbuf, STRLEN tmpbuf_size) {
1797     const char *pv;
1798
1799      PERL_ARGS_ASSERT_SV_DISPLAY;
1800
1801      if (DO_UTF8(sv)) {
1802           SV *dsv = newSVpvs_flags("", SVs_TEMP);
1803           pv = sv_uni_display(dsv, sv, 10, UNI_DISPLAY_ISPRINT);
1804      } else {
1805           char *d = tmpbuf;
1806           const char * const limit = tmpbuf + tmpbuf_size - 8;
1807           /* each *s can expand to 4 chars + "...\0",
1808              i.e. need room for 8 chars */
1809         
1810           const char *s = SvPVX_const(sv);
1811           const char * const end = s + SvCUR(sv);
1812           for ( ; s < end && d < limit; s++ ) {
1813                int ch = *s & 0xFF;
1814                if (! isASCII(ch) && !isPRINT_LC(ch)) {
1815                     *d++ = 'M';
1816                     *d++ = '-';
1817
1818                     /* Map to ASCII "equivalent" of Latin1 */
1819                     ch = LATIN1_TO_NATIVE(NATIVE_TO_LATIN1(ch) & 127);
1820                }
1821                if (ch == '\n') {
1822                     *d++ = '\\';
1823                     *d++ = 'n';
1824                }
1825                else if (ch == '\r') {
1826                     *d++ = '\\';
1827                     *d++ = 'r';
1828                }
1829                else if (ch == '\f') {
1830                     *d++ = '\\';
1831                     *d++ = 'f';
1832                }
1833                else if (ch == '\\') {
1834                     *d++ = '\\';
1835                     *d++ = '\\';
1836                }
1837                else if (ch == '\0') {
1838                     *d++ = '\\';
1839                     *d++ = '0';
1840                }
1841                else if (isPRINT_LC(ch))
1842                     *d++ = ch;
1843                else {
1844                     *d++ = '^';
1845                     *d++ = toCTRL(ch);
1846                }
1847           }
1848           if (s < end) {
1849                *d++ = '.';
1850                *d++ = '.';
1851                *d++ = '.';
1852           }
1853           *d = '\0';
1854           pv = tmpbuf;
1855     }
1856
1857     return pv;
1858 }
1859
1860 /* Print an "isn't numeric" warning, using a cleaned-up,
1861  * printable version of the offending string
1862  */
1863
1864 STATIC void
1865 S_not_a_number(pTHX_ SV *const sv)
1866 {
1867      char tmpbuf[64];
1868      const char *pv;
1869
1870      PERL_ARGS_ASSERT_NOT_A_NUMBER;
1871
1872      pv = sv_display(sv, tmpbuf, sizeof(tmpbuf));
1873
1874     if (PL_op)
1875         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1876                     /* diag_listed_as: Argument "%s" isn't numeric%s */
1877                     "Argument \"%s\" isn't numeric in %s", pv,
1878                     OP_DESC(PL_op));
1879     else
1880         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1881                     /* diag_listed_as: Argument "%s" isn't numeric%s */
1882                     "Argument \"%s\" isn't numeric", pv);
1883 }
1884
1885 STATIC void
1886 S_not_incrementable(pTHX_ SV *const sv) {
1887      char tmpbuf[64];
1888      const char *pv;
1889
1890      PERL_ARGS_ASSERT_NOT_INCREMENTABLE;
1891
1892      pv = sv_display(sv, tmpbuf, sizeof(tmpbuf));
1893
1894      Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1895                  "Argument \"%s\" treated as 0 in increment (++)", pv);
1896 }
1897
1898 /*
1899 =for apidoc looks_like_number
1900
1901 Test if the content of an SV looks like a number (or is a number).
1902 C<Inf> and C<Infinity> are treated as numbers (so will not issue a
1903 non-numeric warning), even if your atof() doesn't grok them.  Get-magic is
1904 ignored.
1905
1906 =cut
1907 */
1908
1909 I32
1910 Perl_looks_like_number(pTHX_ SV *const sv)
1911 {
1912     const char *sbegin;
1913     STRLEN len;
1914
1915     PERL_ARGS_ASSERT_LOOKS_LIKE_NUMBER;
1916
1917     if (SvPOK(sv) || SvPOKp(sv)) {
1918         sbegin = SvPV_nomg_const(sv, len);
1919     }
1920     else
1921         return SvFLAGS(sv) & (SVf_NOK|SVp_NOK|SVf_IOK|SVp_IOK);
1922     return grok_number(sbegin, len, NULL);
1923 }
1924
1925 STATIC bool
1926 S_glob_2number(pTHX_ GV * const gv)
1927 {
1928     PERL_ARGS_ASSERT_GLOB_2NUMBER;
1929
1930     /* We know that all GVs stringify to something that is not-a-number,
1931         so no need to test that.  */
1932     if (ckWARN(WARN_NUMERIC))
1933     {
1934         SV *const buffer = sv_newmortal();
1935         gv_efullname3(buffer, gv, "*");
1936         not_a_number(buffer);
1937     }
1938     /* We just want something true to return, so that S_sv_2iuv_common
1939         can tail call us and return true.  */
1940     return TRUE;
1941 }
1942
1943 /* Actually, ISO C leaves conversion of UV to IV undefined, but
1944    until proven guilty, assume that things are not that bad... */
1945
1946 /*
1947    NV_PRESERVES_UV:
1948
1949    As 64 bit platforms often have an NV that doesn't preserve all bits of
1950    an IV (an assumption perl has been based on to date) it becomes necessary
1951    to remove the assumption that the NV always carries enough precision to
1952    recreate the IV whenever needed, and that the NV is the canonical form.
1953    Instead, IV/UV and NV need to be given equal rights. So as to not lose
1954    precision as a side effect of conversion (which would lead to insanity
1955    and the dragon(s) in t/op/numconvert.t getting very angry) the intent is
1956    1) to distinguish between IV/UV/NV slots that have a valid conversion cached
1957       where precision was lost, and IV/UV/NV slots that have a valid conversion
1958       which has lost no precision
1959    2) to ensure that if a numeric conversion to one form is requested that
1960       would lose precision, the precise conversion (or differently
1961       imprecise conversion) is also performed and cached, to prevent
1962       requests for different numeric formats on the same SV causing
1963       lossy conversion chains. (lossless conversion chains are perfectly
1964       acceptable (still))
1965
1966
1967    flags are used:
1968    SvIOKp is true if the IV slot contains a valid value
1969    SvIOK  is true only if the IV value is accurate (UV if SvIOK_UV true)
1970    SvNOKp is true if the NV slot contains a valid value
1971    SvNOK  is true only if the NV value is accurate
1972
1973    so
1974    while converting from PV to NV, check to see if converting that NV to an
1975    IV(or UV) would lose accuracy over a direct conversion from PV to
1976    IV(or UV). If it would, cache both conversions, return NV, but mark
1977    SV as IOK NOKp (ie not NOK).
1978
1979    While converting from PV to IV, check to see if converting that IV to an
1980    NV would lose accuracy over a direct conversion from PV to NV. If it
1981    would, cache both conversions, flag similarly.
1982
1983    Before, the SV value "3.2" could become NV=3.2 IV=3 NOK, IOK quite
1984    correctly because if IV & NV were set NV *always* overruled.
1985    Now, "3.2" will become NV=3.2 IV=3 NOK, IOKp, because the flag's meaning
1986    changes - now IV and NV together means that the two are interchangeable:
1987    SvIVX == (IV) SvNVX && SvNVX == (NV) SvIVX;
1988
1989    The benefit of this is that operations such as pp_add know that if
1990    SvIOK is true for both left and right operands, then integer addition
1991    can be used instead of floating point (for cases where the result won't
1992    overflow). Before, floating point was always used, which could lead to
1993    loss of precision compared with integer addition.
1994
1995    * making IV and NV equal status should make maths accurate on 64 bit
1996      platforms
1997    * may speed up maths somewhat if pp_add and friends start to use
1998      integers when possible instead of fp. (Hopefully the overhead in
1999      looking for SvIOK and checking for overflow will not outweigh the
2000      fp to integer speedup)
2001    * will slow down integer operations (callers of SvIV) on "inaccurate"
2002      values, as the change from SvIOK to SvIOKp will cause a call into
2003      sv_2iv each time rather than a macro access direct to the IV slot
2004    * should speed up number->string conversion on integers as IV is
2005      favoured when IV and NV are equally accurate
2006
2007    ####################################################################
2008    You had better be using SvIOK_notUV if you want an IV for arithmetic:
2009    SvIOK is true if (IV or UV), so you might be getting (IV)SvUV.
2010    On the other hand, SvUOK is true iff UV.
2011    ####################################################################
2012
2013    Your mileage will vary depending your CPU's relative fp to integer
2014    performance ratio.
2015 */
2016
2017 #ifndef NV_PRESERVES_UV
2018 #  define IS_NUMBER_UNDERFLOW_IV 1
2019 #  define IS_NUMBER_UNDERFLOW_UV 2
2020 #  define IS_NUMBER_IV_AND_UV    2
2021 #  define IS_NUMBER_OVERFLOW_IV  4
2022 #  define IS_NUMBER_OVERFLOW_UV  5
2023
2024 /* sv_2iuv_non_preserve(): private routine for use by sv_2iv() and sv_2uv() */
2025
2026 /* For sv_2nv these three cases are "SvNOK and don't bother casting"  */
2027 STATIC int
2028 S_sv_2iuv_non_preserve(pTHX_ SV *const sv
2029 #  ifdef DEBUGGING
2030                        , I32 numtype
2031 #  endif
2032                        )
2033 {
2034     PERL_ARGS_ASSERT_SV_2IUV_NON_PRESERVE;
2035     PERL_UNUSED_CONTEXT;
2036
2037     DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_2iuv_non '%s', IV=0x%"UVxf" NV=%"NVgf" inttype=%"UVXf"\n", SvPVX_const(sv), SvIVX(sv), SvNVX(sv), (UV)numtype));
2038     if (SvNVX(sv) < (NV)IV_MIN) {
2039         (void)SvIOKp_on(sv);
2040         (void)SvNOK_on(sv);
2041         SvIV_set(sv, IV_MIN);
2042         return IS_NUMBER_UNDERFLOW_IV;
2043     }
2044     if (SvNVX(sv) > (NV)UV_MAX) {
2045         (void)SvIOKp_on(sv);
2046         (void)SvNOK_on(sv);
2047         SvIsUV_on(sv);
2048         SvUV_set(sv, UV_MAX);
2049         return IS_NUMBER_OVERFLOW_UV;
2050     }
2051     (void)SvIOKp_on(sv);
2052     (void)SvNOK_on(sv);
2053     /* Can't use strtol etc to convert this string.  (See truth table in
2054        sv_2iv  */
2055     if (SvNVX(sv) <= (UV)IV_MAX) {
2056         SvIV_set(sv, I_V(SvNVX(sv)));
2057         if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
2058             SvIOK_on(sv); /* Integer is precise. NOK, IOK */
2059         } else {
2060             /* Integer is imprecise. NOK, IOKp */
2061         }
2062         return SvNVX(sv) < 0 ? IS_NUMBER_UNDERFLOW_UV : IS_NUMBER_IV_AND_UV;
2063     }
2064     SvIsUV_on(sv);
2065     SvUV_set(sv, U_V(SvNVX(sv)));
2066     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
2067         if (SvUVX(sv) == UV_MAX) {
2068             /* As we know that NVs don't preserve UVs, UV_MAX cannot
2069                possibly be preserved by NV. Hence, it must be overflow.
2070                NOK, IOKp */
2071             return IS_NUMBER_OVERFLOW_UV;
2072         }
2073         SvIOK_on(sv); /* Integer is precise. NOK, UOK */
2074     } else {
2075         /* Integer is imprecise. NOK, IOKp */
2076     }
2077     return IS_NUMBER_OVERFLOW_IV;
2078 }
2079 #endif /* !NV_PRESERVES_UV*/
2080
2081 /* If numtype is infnan, set the NV of the sv accordingly.
2082  * If numtype is anything else, try setting the NV using Atof(PV). */
2083 static void
2084 S_sv_setnv(pTHX_ SV* sv, int numtype)
2085 {
2086     bool pok = cBOOL(SvPOK(sv));
2087     bool nok = FALSE;
2088     if ((numtype & IS_NUMBER_INFINITY)) {
2089         SvNV_set(sv, (numtype & IS_NUMBER_NEG) ? -NV_INF : NV_INF);
2090         nok = TRUE;
2091     }
2092     else if ((numtype & IS_NUMBER_NAN)) {
2093         SvNV_set(sv, NV_NAN);
2094         nok = TRUE;
2095     }
2096     else if (pok) {
2097         SvNV_set(sv, Atof(SvPVX_const(sv)));
2098         /* Purposefully no true nok here, since we don't want to blow
2099          * away the possible IOK/UV of an existing sv. */
2100     }
2101     if (nok) {
2102         SvNOK_only(sv); /* No IV or UV please, this is pure infnan. */
2103         if (pok)
2104             SvPOK_on(sv); /* PV is okay, though. */
2105     }
2106 }
2107
2108 STATIC bool
2109 S_sv_2iuv_common(pTHX_ SV *const sv)
2110 {
2111     PERL_ARGS_ASSERT_SV_2IUV_COMMON;
2112
2113     if (SvNOKp(sv)) {
2114         /* erm. not sure. *should* never get NOKp (without NOK) from sv_2nv
2115          * without also getting a cached IV/UV from it at the same time
2116          * (ie PV->NV conversion should detect loss of accuracy and cache
2117          * IV or UV at same time to avoid this. */
2118         /* IV-over-UV optimisation - choose to cache IV if possible */
2119
2120         if (UNLIKELY(Perl_isinfnan(SvNVX(sv))))
2121             return FALSE;
2122
2123         if (SvTYPE(sv) == SVt_NV)
2124             sv_upgrade(sv, SVt_PVNV);
2125
2126         (void)SvIOKp_on(sv);    /* Must do this first, to clear any SvOOK */
2127         /* < not <= as for NV doesn't preserve UV, ((NV)IV_MAX+1) will almost
2128            certainly cast into the IV range at IV_MAX, whereas the correct
2129            answer is the UV IV_MAX +1. Hence < ensures that dodgy boundary
2130            cases go to UV */
2131         if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2132             SvIV_set(sv, I_V(SvNVX(sv)));
2133             if (SvNVX(sv) == (NV) SvIVX(sv)
2134 #ifndef NV_PRESERVES_UV
2135                 && (((UV)1 << NV_PRESERVES_UV_BITS) >
2136                     (UV)(SvIVX(sv) > 0 ? SvIVX(sv) : -SvIVX(sv)))
2137                 /* Don't flag it as "accurately an integer" if the number
2138                    came from a (by definition imprecise) NV operation, and
2139                    we're outside the range of NV integer precision */
2140 #endif
2141                 ) {
2142                 if (SvNOK(sv))
2143                     SvIOK_on(sv);  /* Can this go wrong with rounding? NWC */
2144                 else {
2145                     /* scalar has trailing garbage, eg "42a" */
2146                 }
2147                 DEBUG_c(PerlIO_printf(Perl_debug_log,
2148                                       "0x%"UVxf" iv(%"NVgf" => %"IVdf") (precise)\n",
2149                                       PTR2UV(sv),
2150                                       SvNVX(sv),
2151                                       SvIVX(sv)));
2152
2153             } else {
2154                 /* IV not precise.  No need to convert from PV, as NV
2155                    conversion would already have cached IV if it detected
2156                    that PV->IV would be better than PV->NV->IV
2157                    flags already correct - don't set public IOK.  */
2158                 DEBUG_c(PerlIO_printf(Perl_debug_log,
2159                                       "0x%"UVxf" iv(%"NVgf" => %"IVdf") (imprecise)\n",
2160                                       PTR2UV(sv),
2161                                       SvNVX(sv),
2162                                       SvIVX(sv)));
2163             }
2164             /* Can the above go wrong if SvIVX == IV_MIN and SvNVX < IV_MIN,
2165                but the cast (NV)IV_MIN rounds to a the value less (more
2166                negative) than IV_MIN which happens to be equal to SvNVX ??
2167                Analogous to 0xFFFFFFFFFFFFFFFF rounding up to NV (2**64) and
2168                NV rounding back to 0xFFFFFFFFFFFFFFFF, so UVX == UV(NVX) and
2169                (NV)UVX == NVX are both true, but the values differ. :-(
2170                Hopefully for 2s complement IV_MIN is something like
2171                0x8000000000000000 which will be exact. NWC */
2172         }
2173         else {
2174             SvUV_set(sv, U_V(SvNVX(sv)));
2175             if (
2176                 (SvNVX(sv) == (NV) SvUVX(sv))
2177 #ifndef  NV_PRESERVES_UV
2178                 /* Make sure it's not 0xFFFFFFFFFFFFFFFF */
2179                 /*&& (SvUVX(sv) != UV_MAX) irrelevant with code below */
2180                 && (((UV)1 << NV_PRESERVES_UV_BITS) > SvUVX(sv))
2181                 /* Don't flag it as "accurately an integer" if the number
2182                    came from a (by definition imprecise) NV operation, and
2183                    we're outside the range of NV integer precision */
2184 #endif
2185                 && SvNOK(sv)
2186                 )
2187                 SvIOK_on(sv);
2188             SvIsUV_on(sv);
2189             DEBUG_c(PerlIO_printf(Perl_debug_log,
2190                                   "0x%"UVxf" 2iv(%"UVuf" => %"IVdf") (as unsigned)\n",
2191                                   PTR2UV(sv),
2192                                   SvUVX(sv),
2193                                   SvUVX(sv)));
2194         }
2195     }
2196     else if (SvPOKp(sv)) {
2197         UV value;
2198         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2199         /* We want to avoid a possible problem when we cache an IV/ a UV which
2200            may be later translated to an NV, and the resulting NV is not
2201            the same as the direct translation of the initial string
2202            (eg 123.456 can shortcut to the IV 123 with atol(), but we must
2203            be careful to ensure that the value with the .456 is around if the
2204            NV value is requested in the future).
2205         
2206            This means that if we cache such an IV/a UV, we need to cache the
2207            NV as well.  Moreover, we trade speed for space, and do not
2208            cache the NV if we are sure it's not needed.
2209          */
2210
2211         /* SVt_PVNV is one higher than SVt_PVIV, hence this order  */
2212         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2213              == IS_NUMBER_IN_UV) {
2214             /* It's definitely an integer, only upgrade to PVIV */
2215             if (SvTYPE(sv) < SVt_PVIV)
2216                 sv_upgrade(sv, SVt_PVIV);
2217             (void)SvIOK_on(sv);
2218         } else if (SvTYPE(sv) < SVt_PVNV)
2219             sv_upgrade(sv, SVt_PVNV);
2220
2221         if ((numtype & (IS_NUMBER_INFINITY | IS_NUMBER_NAN))) {
2222             S_sv_setnv(aTHX_ sv, numtype);
2223             return FALSE;
2224         }
2225
2226         /* If NVs preserve UVs then we only use the UV value if we know that
2227            we aren't going to call atof() below. If NVs don't preserve UVs
2228            then the value returned may have more precision than atof() will
2229            return, even though value isn't perfectly accurate.  */
2230         if ((numtype & (IS_NUMBER_IN_UV
2231 #ifdef NV_PRESERVES_UV
2232                         | IS_NUMBER_NOT_INT
2233 #endif
2234             )) == IS_NUMBER_IN_UV) {
2235             /* This won't turn off the public IOK flag if it was set above  */
2236             (void)SvIOKp_on(sv);
2237
2238             if (!(numtype & IS_NUMBER_NEG)) {
2239                 /* positive */;
2240                 if (value <= (UV)IV_MAX) {
2241                     SvIV_set(sv, (IV)value);
2242                 } else {
2243                     /* it didn't overflow, and it was positive. */
2244                     SvUV_set(sv, value);
2245                     SvIsUV_on(sv);
2246                 }
2247             } else {
2248                 /* 2s complement assumption  */
2249                 if (value <= (UV)IV_MIN) {
2250                     SvIV_set(sv, -(IV)value);
2251                 } else {
2252                     /* Too negative for an IV.  This is a double upgrade, but
2253                        I'm assuming it will be rare.  */
2254                     if (SvTYPE(sv) < SVt_PVNV)
2255                         sv_upgrade(sv, SVt_PVNV);
2256                     SvNOK_on(sv);
2257                     SvIOK_off(sv);
2258                     SvIOKp_on(sv);
2259                     SvNV_set(sv, -(NV)value);
2260                     SvIV_set(sv, IV_MIN);
2261                 }
2262             }
2263         }
2264         /* For !NV_PRESERVES_UV and IS_NUMBER_IN_UV and IS_NUMBER_NOT_INT we
2265            will be in the previous block to set the IV slot, and the next
2266            block to set the NV slot.  So no else here.  */
2267         
2268         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2269             != IS_NUMBER_IN_UV) {
2270             /* It wasn't an (integer that doesn't overflow the UV). */
2271             S_sv_setnv(aTHX_ sv, numtype);
2272
2273             if (! numtype && ckWARN(WARN_NUMERIC))
2274                 not_a_number(sv);
2275
2276             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%" NVgf ")\n",
2277                                   PTR2UV(sv), SvNVX(sv)));
2278
2279 #ifdef NV_PRESERVES_UV
2280             (void)SvIOKp_on(sv);
2281             (void)SvNOK_on(sv);
2282             if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2283                 SvIV_set(sv, I_V(SvNVX(sv)));
2284                 if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
2285                     SvIOK_on(sv);
2286                 } else {
2287                     NOOP;  /* Integer is imprecise. NOK, IOKp */
2288                 }
2289                 /* UV will not work better than IV */
2290             } else {
2291                 if (SvNVX(sv) > (NV)UV_MAX) {
2292                     SvIsUV_on(sv);
2293                     /* Integer is inaccurate. NOK, IOKp, is UV */
2294                     SvUV_set(sv, UV_MAX);
2295                 } else {
2296                     SvUV_set(sv, U_V(SvNVX(sv)));
2297                     /* 0xFFFFFFFFFFFFFFFF not an issue in here, NVs
2298                        NV preservse UV so can do correct comparison.  */
2299                     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
2300                         SvIOK_on(sv);
2301                     } else {
2302                         NOOP;   /* Integer is imprecise. NOK, IOKp, is UV */
2303                     }
2304                 }
2305                 SvIsUV_on(sv);
2306             }
2307 #else /* NV_PRESERVES_UV */
2308             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2309                 == (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT)) {
2310                 /* The IV/UV slot will have been set from value returned by
2311                    grok_number above.  The NV slot has just been set using
2312                    Atof.  */
2313                 SvNOK_on(sv);
2314                 assert (SvIOKp(sv));
2315             } else {
2316                 if (((UV)1 << NV_PRESERVES_UV_BITS) >
2317                     U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2318                     /* Small enough to preserve all bits. */
2319                     (void)SvIOKp_on(sv);
2320                     SvNOK_on(sv);
2321                     SvIV_set(sv, I_V(SvNVX(sv)));
2322                     if ((NV)(SvIVX(sv)) == SvNVX(sv))
2323                         SvIOK_on(sv);
2324                     /* Assumption: first non-preserved integer is < IV_MAX,
2325                        this NV is in the preserved range, therefore: */
2326                     if (!(U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))
2327                           < (UV)IV_MAX)) {
2328                         Perl_croak(aTHX_ "sv_2iv assumed (U_V(fabs((double)SvNVX(sv))) < (UV)IV_MAX) but SvNVX(sv)=%"NVgf" U_V is 0x%"UVxf", IV_MAX is 0x%"UVxf"\n", SvNVX(sv), U_V(SvNVX(sv)), (UV)IV_MAX);
2329                     }
2330                 } else {
2331                     /* IN_UV NOT_INT
2332                          0      0       already failed to read UV.
2333                          0      1       already failed to read UV.
2334                          1      0       you won't get here in this case. IV/UV
2335                                         slot set, public IOK, Atof() unneeded.
2336                          1      1       already read UV.
2337                        so there's no point in sv_2iuv_non_preserve() attempting
2338                        to use atol, strtol, strtoul etc.  */
2339 #  ifdef DEBUGGING
2340                     sv_2iuv_non_preserve (sv, numtype);
2341 #  else
2342                     sv_2iuv_non_preserve (sv);
2343 #  endif
2344                 }
2345             }
2346 #endif /* NV_PRESERVES_UV */
2347         /* It might be more code efficient to go through the entire logic above
2348            and conditionally set with SvIOKp_on() rather than SvIOK(), but it
2349            gets complex and potentially buggy, so more programmer efficient
2350            to do it this way, by turning off the public flags:  */
2351         if (!numtype)
2352             SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK);
2353         }
2354     }
2355     else  {
2356         if (isGV_with_GP(sv))
2357             return glob_2number(MUTABLE_GV(sv));
2358
2359         if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
2360                 report_uninit(sv);
2361         if (SvTYPE(sv) < SVt_IV)
2362             /* Typically the caller expects that sv_any is not NULL now.  */
2363             sv_upgrade(sv, SVt_IV);
2364         /* Return 0 from the caller.  */
2365         return TRUE;
2366     }
2367     return FALSE;
2368 }
2369
2370 /*
2371 =for apidoc sv_2iv_flags
2372
2373 Return the integer value of an SV, doing any necessary string
2374 conversion.  If flags includes SV_GMAGIC, does an mg_get() first.
2375 Normally used via the C<SvIV(sv)> and C<SvIVx(sv)> macros.
2376
2377 =cut
2378 */
2379
2380 IV
2381 Perl_sv_2iv_flags(pTHX_ SV *const sv, const I32 flags)
2382 {
2383     PERL_ARGS_ASSERT_SV_2IV_FLAGS;
2384
2385     assert (SvTYPE(sv) != SVt_PVAV && SvTYPE(sv) != SVt_PVHV
2386          && SvTYPE(sv) != SVt_PVFM);
2387
2388     if (SvGMAGICAL(sv) && (flags & SV_GMAGIC))
2389         mg_get(sv);
2390
2391     if (SvNOK(sv) && UNLIKELY(Perl_isinfnan(SvNVX(sv))))
2392         return 0; /* So wrong but what can we do. */
2393
2394     if (SvROK(sv)) {
2395         if (SvAMAGIC(sv)) {
2396             SV * tmpstr;
2397             if (flags & SV_SKIP_OVERLOAD)
2398                 return 0;
2399             tmpstr = AMG_CALLunary(sv, numer_amg);
2400             if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2401                 return SvIV(tmpstr);
2402             }
2403         }
2404         return PTR2IV(SvRV(sv));
2405     }
2406
2407     if (SvVALID(sv) || isREGEXP(sv)) {
2408         /* FBMs use the space for SvIVX and SvNVX for other purposes, and use
2409            the same flag bit as SVf_IVisUV, so must not let them cache IVs.
2410            In practice they are extremely unlikely to actually get anywhere
2411            accessible by user Perl code - the only way that I'm aware of is when
2412            a constant subroutine which is used as the second argument to index.
2413
2414            Regexps have no SvIVX and SvNVX fields.
2415         */
2416         assert(isREGEXP(sv) || SvPOKp(sv));
2417         {
2418             UV value;
2419             const char * const ptr =
2420                 isREGEXP(sv) ? RX_WRAPPED((REGEXP*)sv) : SvPVX_const(sv);
2421             const int numtype = grok_number(ptr, SvCUR(sv), &value);
2422
2423             assert((numtype & (IS_NUMBER_INFINITY | IS_NUMBER_NAN)) == 0);
2424
2425             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2426                 == IS_NUMBER_IN_UV) {
2427                 /* It's definitely an integer */
2428                 if (numtype & IS_NUMBER_NEG) {
2429                     if (value < (UV)IV_MIN)
2430                         return -(IV)value;
2431                 } else {
2432                     if (value < (UV)IV_MAX)
2433                         return (IV)value;
2434                 }
2435             }
2436
2437             if (!numtype) {
2438                 if (ckWARN(WARN_NUMERIC))
2439                     not_a_number(sv);
2440             }
2441             return I_V(Atof(ptr));
2442         }
2443     }
2444
2445     if (SvTHINKFIRST(sv)) {
2446 #ifdef PERL_OLD_COPY_ON_WRITE
2447         if (SvIsCOW(sv)) {
2448             sv_force_normal_flags(sv, 0);
2449         }
2450 #endif
2451         if (SvREADONLY(sv) && !SvOK(sv)) {
2452             if (ckWARN(WARN_UNINITIALIZED))
2453                 report_uninit(sv);
2454             return 0;
2455         }
2456     }
2457
2458     if (!SvIOKp(sv)) {
2459         if (S_sv_2iuv_common(aTHX_ sv))
2460             return 0;
2461     }
2462
2463     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%"IVdf")\n",
2464         PTR2UV(sv),SvIVX(sv)));
2465     return SvIsUV(sv) ? (IV)SvUVX(sv) : SvIVX(sv);
2466 }
2467
2468 /*
2469 =for apidoc sv_2uv_flags
2470
2471 Return the unsigned integer value of an SV, doing any necessary string
2472 conversion.  If flags includes SV_GMAGIC, does an mg_get() first.
2473 Normally used via the C<SvUV(sv)> and C<SvUVx(sv)> macros.
2474
2475 =cut
2476 */
2477
2478 UV
2479 Perl_sv_2uv_flags(pTHX_ SV *const sv, const I32 flags)
2480 {
2481     PERL_ARGS_ASSERT_SV_2UV_FLAGS;
2482
2483     if (SvGMAGICAL(sv) && (flags & SV_GMAGIC))
2484         mg_get(sv);
2485
2486     if (SvNOK(sv) && UNLIKELY(Perl_isinfnan(SvNVX(sv))))
2487         return 0; /* So wrong but what can we do. */
2488
2489     if (SvROK(sv)) {
2490         if (SvAMAGIC(sv)) {
2491             SV *tmpstr;
2492             if (flags & SV_SKIP_OVERLOAD)
2493                 return 0;
2494             tmpstr = AMG_CALLunary(sv, numer_amg);
2495             if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2496                 return SvUV(tmpstr);
2497             }
2498         }
2499         return PTR2UV(SvRV(sv));
2500     }
2501
2502     if (SvVALID(sv) || isREGEXP(sv)) {
2503         /* FBMs use the space for SvIVX and SvNVX for other purposes, and use
2504            the same flag bit as SVf_IVisUV, so must not let them cache IVs.  
2505            Regexps have no SvIVX and SvNVX fields. */
2506         assert(isREGEXP(sv) || SvPOKp(sv));
2507         {
2508             UV value;
2509             const char * const ptr =
2510                 isREGEXP(sv) ? RX_WRAPPED((REGEXP*)sv) : SvPVX_const(sv);
2511             const int numtype = grok_number(ptr, SvCUR(sv), &value);
2512
2513             assert((numtype & (IS_NUMBER_INFINITY | IS_NUMBER_NAN)) == 0);
2514
2515             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2516                 == IS_NUMBER_IN_UV) {
2517                 /* It's definitely an integer */
2518                 if (!(numtype & IS_NUMBER_NEG))
2519                     return value;
2520             }
2521
2522             if (!numtype) {
2523                 if (ckWARN(WARN_NUMERIC))
2524                     not_a_number(sv);
2525             }
2526             return U_V(Atof(ptr));
2527         }
2528     }
2529
2530     if (SvTHINKFIRST(sv)) {
2531 #ifdef PERL_OLD_COPY_ON_WRITE
2532         if (SvIsCOW(sv)) {
2533             sv_force_normal_flags(sv, 0);
2534         }
2535 #endif
2536         if (SvREADONLY(sv) && !SvOK(sv)) {
2537             if (ckWARN(WARN_UNINITIALIZED))
2538                 report_uninit(sv);
2539             return 0;
2540         }
2541     }
2542
2543     if (!SvIOKp(sv)) {
2544         if (S_sv_2iuv_common(aTHX_ sv))
2545             return 0;
2546     }
2547
2548     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2uv(%"UVuf")\n",
2549                           PTR2UV(sv),SvUVX(sv)));
2550     return SvIsUV(sv) ? SvUVX(sv) : (UV)SvIVX(sv);
2551 }
2552
2553 /*
2554 =for apidoc sv_2nv_flags
2555
2556 Return the num value of an SV, doing any necessary string or integer
2557 conversion.  If flags includes SV_GMAGIC, does an mg_get() first.
2558 Normally used via the C<SvNV(sv)> and C<SvNVx(sv)> macros.
2559
2560 =cut
2561 */
2562
2563 NV
2564 Perl_sv_2nv_flags(pTHX_ SV *const sv, const I32 flags)
2565 {
2566     PERL_ARGS_ASSERT_SV_2NV_FLAGS;
2567
2568     assert (SvTYPE(sv) != SVt_PVAV && SvTYPE(sv) != SVt_PVHV
2569          && SvTYPE(sv) != SVt_PVFM);
2570     if (SvGMAGICAL(sv) || SvVALID(sv) || isREGEXP(sv)) {
2571         /* FBMs use the space for SvIVX and SvNVX for other purposes, and use
2572            the same flag bit as SVf_IVisUV, so must not let them cache NVs.
2573            Regexps have no SvIVX and SvNVX fields.  */
2574         const char *ptr;
2575         if (flags & SV_GMAGIC)
2576             mg_get(sv);
2577         if (SvNOKp(sv))
2578             return SvNVX(sv);
2579         if (SvPOKp(sv) && !SvIOKp(sv)) {
2580             ptr = SvPVX_const(sv);
2581           grokpv:
2582             if (!SvIOKp(sv) && ckWARN(WARN_NUMERIC) &&
2583                 !grok_number(ptr, SvCUR(sv), NULL))
2584                 not_a_number(sv);
2585             return Atof(ptr);
2586         }
2587         if (SvIOKp(sv)) {
2588             if (SvIsUV(sv))
2589                 return (NV)SvUVX(sv);
2590             else
2591                 return (NV)SvIVX(sv);
2592         }
2593         if (SvROK(sv)) {
2594             goto return_rok;
2595         }
2596         if (isREGEXP(sv)) {
2597             ptr = RX_WRAPPED((REGEXP *)sv);
2598             goto grokpv;
2599         }
2600         assert(SvTYPE(sv) >= SVt_PVMG);
2601         /* This falls through to the report_uninit near the end of the
2602            function. */
2603     } else if (SvTHINKFIRST(sv)) {
2604         if (SvROK(sv)) {
2605         return_rok:
2606             if (SvAMAGIC(sv)) {
2607                 SV *tmpstr;
2608                 if (flags & SV_SKIP_OVERLOAD)
2609                     return 0;
2610                 tmpstr = AMG_CALLunary(sv, numer_amg);
2611                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2612                     return SvNV(tmpstr);
2613                 }
2614             }
2615             return PTR2NV(SvRV(sv));
2616         }
2617 #ifdef PERL_OLD_COPY_ON_WRITE
2618         if (SvIsCOW(sv)) {
2619             sv_force_normal_flags(sv, 0);
2620         }
2621 #endif
2622         if (SvREADONLY(sv) && !SvOK(sv)) {
2623             if (ckWARN(WARN_UNINITIALIZED))
2624                 report_uninit(sv);
2625             return 0.0;
2626         }
2627     }
2628     if (SvTYPE(sv) < SVt_NV) {
2629         /* The logic to use SVt_PVNV if necessary is in sv_upgrade.  */
2630         sv_upgrade(sv, SVt_NV);
2631         DEBUG_c({
2632             STORE_NUMERIC_LOCAL_SET_STANDARD();
2633             PerlIO_printf(Perl_debug_log,
2634                           "0x%"UVxf" num(%" NVgf ")\n",
2635                           PTR2UV(sv), SvNVX(sv));
2636             RESTORE_NUMERIC_LOCAL();
2637         });
2638     }
2639     else if (SvTYPE(sv) < SVt_PVNV)
2640         sv_upgrade(sv, SVt_PVNV);
2641     if (SvNOKp(sv)) {
2642         return SvNVX(sv);
2643     }
2644     if (SvIOKp(sv)) {
2645         SvNV_set(sv, SvIsUV(sv) ? (NV)SvUVX(sv) : (NV)SvIVX(sv));
2646 #ifdef NV_PRESERVES_UV
2647         if (SvIOK(sv))
2648             SvNOK_on(sv);
2649         else
2650             SvNOKp_on(sv);
2651 #else
2652         /* Only set the public NV OK flag if this NV preserves the IV  */
2653         /* Check it's not 0xFFFFFFFFFFFFFFFF */
2654         if (SvIOK(sv) &&
2655             SvIsUV(sv) ? ((SvUVX(sv) != UV_MAX)&&(SvUVX(sv) == U_V(SvNVX(sv))))
2656                        : (SvIVX(sv) == I_V(SvNVX(sv))))
2657             SvNOK_on(sv);
2658         else
2659             SvNOKp_on(sv);
2660 #endif
2661     }
2662     else if (SvPOKp(sv)) {
2663         UV value;
2664         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2665         if (!SvIOKp(sv) && !numtype && ckWARN(WARN_NUMERIC))
2666             not_a_number(sv);
2667 #ifdef NV_PRESERVES_UV
2668         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2669             == IS_NUMBER_IN_UV) {
2670             /* It's definitely an integer */
2671             SvNV_set(sv, (numtype & IS_NUMBER_NEG) ? -(NV)value : (NV)value);
2672         } else {
2673             S_sv_setnv(aTHX_ sv, numtype);
2674         }
2675         if (numtype)
2676             SvNOK_on(sv);
2677         else
2678             SvNOKp_on(sv);
2679 #else
2680         if ((numtype & IS_NUMBER_INFINITY)) {
2681             SvNV_set(sv, (numtype & IS_NUMBER_NEG) ? -NV_INF : NV_INF);
2682             SvNOK_on(sv);
2683         } else if ((numtype & IS_NUMBER_NAN)) {
2684             SvNV_set(sv, NV_NAN);
2685             SvNOK_on(sv);
2686         } else {
2687             SvNV_set(sv, Atof(SvPVX_const(sv)));
2688             /* Only set the public NV OK flag if this NV preserves the value in
2689                the PV at least as well as an IV/UV would.
2690                Not sure how to do this 100% reliably. */
2691             /* if that shift count is out of range then Configure's test is
2692                wonky. We shouldn't be in here with NV_PRESERVES_UV_BITS ==
2693                UV_BITS */
2694             if (((UV)1 << NV_PRESERVES_UV_BITS) >
2695                 U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2696                 SvNOK_on(sv); /* Definitely small enough to preserve all bits */
2697             } else if (!(numtype & IS_NUMBER_IN_UV)) {
2698                 /* Can't use strtol etc to convert this string, so don't try.
2699                    sv_2iv and sv_2uv will use the NV to convert, not the PV.  */
2700                 SvNOK_on(sv);
2701             } else {
2702                 /* value has been set.  It may not be precise.  */
2703                 if ((numtype & IS_NUMBER_NEG) && (value > (UV)IV_MIN)) {
2704                     /* 2s complement assumption for (UV)IV_MIN  */
2705                     SvNOK_on(sv); /* Integer is too negative.  */
2706                 } else {
2707                     SvNOKp_on(sv);
2708                     SvIOKp_on(sv);
2709
2710                     if (numtype & IS_NUMBER_NEG) {
2711                         SvIV_set(sv, -(IV)value);
2712                     } else if (value <= (UV)IV_MAX) {
2713                         SvIV_set(sv, (IV)value);
2714                     } else {
2715                         SvUV_set(sv, value);
2716                         SvIsUV_on(sv);
2717                     }
2718
2719                     if (numtype & IS_NUMBER_NOT_INT) {
2720                         /* I believe that even if the original PV had decimals,
2721                            they are lost beyond the limit of the FP precision.
2722                            However, neither is canonical, so both only get p
2723                            flags.  NWC, 2000/11/25 */
2724                         /* Both already have p flags, so do nothing */
2725                     } else {
2726                         const NV nv = SvNVX(sv);
2727                         if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2728                             if (SvIVX(sv) == I_V(nv)) {
2729                                 SvNOK_on(sv);
2730                             } else {
2731                                 /* It had no "." so it must be integer.  */
2732                             }
2733                             SvIOK_on(sv);
2734                         } else {
2735                             /* between IV_MAX and NV(UV_MAX).
2736                                Could be slightly > UV_MAX */
2737
2738                             if (numtype & IS_NUMBER_NOT_INT) {
2739                                 /* UV and NV both imprecise.  */
2740                             } else {
2741                                 const UV nv_as_uv = U_V(nv);
2742
2743                                 if (value == nv_as_uv && SvUVX(sv) != UV_MAX) {
2744                                     SvNOK_on(sv);
2745                                 }
2746                                 SvIOK_on(sv);
2747                             }
2748                         }
2749                     }
2750                 }
2751             }
2752             /* It might be more code efficient to go through the entire logic above
2753                and conditionally set with SvNOKp_on() rather than SvNOK(), but it
2754                gets complex and potentially buggy, so more programmer efficient
2755            to do it this way, by turning off the public flags:  */
2756             if (!numtype)
2757                 SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK);
2758         }
2759 #endif /* NV_PRESERVES_UV */
2760     }
2761     else  {
2762         if (isGV_with_GP(sv)) {
2763             glob_2number(MUTABLE_GV(sv));
2764             return 0.0;
2765         }
2766
2767         if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
2768             report_uninit(sv);
2769         assert (SvTYPE(sv) >= SVt_NV);
2770         /* Typically the caller expects that sv_any is not NULL now.  */
2771         /* XXX Ilya implies that this is a bug in callers that assume this
2772            and ideally should be fixed.  */
2773         return 0.0;
2774     }
2775     DEBUG_c({
2776             STORE_NUMERIC_LOCAL_SET_STANDARD();
2777             PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2nv(%" NVgf ")\n",
2778                           PTR2UV(sv), SvNVX(sv));
2779             RESTORE_NUMERIC_LOCAL();
2780         });
2781     return SvNVX(sv);
2782 }
2783
2784 /*
2785 =for apidoc sv_2num
2786
2787 Return an SV with the numeric value of the source SV, doing any necessary
2788 reference or overload conversion.  You must use the C<SvNUM(sv)> macro to
2789 access this function.
2790
2791 =cut
2792 */
2793
2794 SV *
2795 Perl_sv_2num(pTHX_ SV *const sv)
2796 {
2797     PERL_ARGS_ASSERT_SV_2NUM;
2798
2799     if (!SvROK(sv))
2800         return sv;
2801     if (SvAMAGIC(sv)) {
2802         SV * const tmpsv = AMG_CALLunary(sv, numer_amg);
2803         TAINT_IF(tmpsv && SvTAINTED(tmpsv));
2804         if (tmpsv && (!SvROK(tmpsv) || (SvRV(tmpsv) != SvRV(sv))))
2805             return sv_2num(tmpsv);
2806     }
2807     return sv_2mortal(newSVuv(PTR2UV(SvRV(sv))));
2808 }
2809
2810 /* uiv_2buf(): private routine for use by sv_2pv_flags(): print an IV or
2811  * UV as a string towards the end of buf, and return pointers to start and
2812  * end of it.
2813  *
2814  * We assume that buf is at least TYPE_CHARS(UV) long.
2815  */
2816
2817 static char *
2818 S_uiv_2buf(char *const buf, const IV iv, UV uv, const int is_uv, char **const peob)
2819 {
2820     char *ptr = buf + TYPE_CHARS(UV);
2821     char * const ebuf = ptr;
2822     int sign;
2823
2824     PERL_ARGS_ASSERT_UIV_2BUF;
2825
2826     if (is_uv)
2827         sign = 0;
2828     else if (iv >= 0) {
2829         uv = iv;
2830         sign = 0;
2831     } else {
2832         uv = -iv;
2833         sign = 1;
2834     }
2835     do {
2836         *--ptr = '0' + (char)(uv % 10);
2837     } while (uv /= 10);
2838     if (sign)
2839         *--ptr = '-';
2840     *peob = ebuf;
2841     return ptr;
2842 }
2843
2844 /* Helper for sv_2pv_flags and sv_vcatpvfn_flags.  If the NV is an
2845  * infinity or a not-a-number, writes the appropriate strings to the
2846  * buffer, including a zero byte.  On success returns the written length,
2847  * excluding the zero byte, on failure (not an infinity, not a nan, or the
2848  * maxlen too small) returns zero.
2849  *
2850  * XXX for "Inf", "-Inf", and "NaN", we could have three read-only
2851  * shared string constants we point to, instead of generating a new
2852  * string for each instance. */
2853 STATIC size_t
2854 S_infnan_2pv(NV nv, char* buffer, size_t maxlen) {
2855     assert(maxlen >= 4);
2856     if (maxlen < 4) /* "Inf\0", "NaN\0" */
2857         return 0;
2858     else {
2859         char* s = buffer;
2860         if (Perl_isinf(nv)) {
2861             if (nv < 0) {
2862                 if (maxlen < 5) /* "-Inf\0"  */
2863                     return 0;
2864                 *s++ = '-';
2865             }
2866             *s++ = 'I';
2867             *s++ = 'n';
2868             *s++ = 'f';
2869         } else if (Perl_isnan(nv)) {
2870             *s++ = 'N';
2871             *s++ = 'a';
2872             *s++ = 'N';
2873             /* XXX optionally output the payload mantissa bits as
2874              * "(unsigned)" (to match the nan("...") C99 function,
2875              * or maybe as "(0xhhh...)"  would make more sense...
2876              * provide a format string so that the user can decide?
2877              * NOTE: would affect the maxlen and assert() logic.*/
2878         }
2879
2880         else
2881             return 0;
2882         assert((s == buffer + 3) || (s == buffer + 4));
2883         *s++ = 0;
2884         return s - buffer - 1; /* -1: excluding the zero byte */
2885     }
2886 }
2887
2888 /*
2889 =for apidoc sv_2pv_flags
2890
2891 Returns a pointer to the string value of an SV, and sets *lp to its length.
2892 If flags includes SV_GMAGIC, does an mg_get() first.  Coerces sv to a
2893 string if necessary.  Normally invoked via the C<SvPV_flags> macro.
2894 C<sv_2pv()> and C<sv_2pv_nomg> usually end up here too.
2895
2896 =cut
2897 */
2898
2899 char *
2900 Perl_sv_2pv_flags(pTHX_ SV *const sv, STRLEN *const lp, const I32 flags)
2901 {
2902     char *s;
2903
2904     PERL_ARGS_ASSERT_SV_2PV_FLAGS;
2905
2906     assert (SvTYPE(sv) != SVt_PVAV && SvTYPE(sv) != SVt_PVHV
2907          && SvTYPE(sv) != SVt_PVFM);
2908     if (SvGMAGICAL(sv) && (flags & SV_GMAGIC))
2909         mg_get(sv);
2910     if (SvROK(sv)) {
2911         if (SvAMAGIC(sv)) {
2912             SV *tmpstr;
2913             if (flags & SV_SKIP_OVERLOAD)
2914                 return NULL;
2915             tmpstr = AMG_CALLunary(sv, string_amg);
2916             TAINT_IF(tmpstr && SvTAINTED(tmpstr));
2917             if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2918                 /* Unwrap this:  */
2919                 /* char *pv = lp ? SvPV(tmpstr, *lp) : SvPV_nolen(tmpstr);
2920                  */
2921
2922                 char *pv;
2923                 if ((SvFLAGS(tmpstr) & (SVf_POK)) == SVf_POK) {
2924                     if (flags & SV_CONST_RETURN) {
2925                         pv = (char *) SvPVX_const(tmpstr);
2926                     } else {
2927                         pv = (flags & SV_MUTABLE_RETURN)
2928                             ? SvPVX_mutable(tmpstr) : SvPVX(tmpstr);
2929                     }
2930                     if (lp)
2931                         *lp = SvCUR(tmpstr);
2932                 } else {
2933                     pv = sv_2pv_flags(tmpstr, lp, flags);
2934                 }
2935                 if (SvUTF8(tmpstr))
2936                     SvUTF8_on(sv);
2937                 else
2938                     SvUTF8_off(sv);
2939                 return pv;
2940             }
2941         }
2942         {
2943             STRLEN len;
2944             char *retval;
2945             char *buffer;
2946             SV *const referent = SvRV(sv);
2947
2948             if (!referent) {
2949                 len = 7;
2950                 retval = buffer = savepvn("NULLREF", len);
2951             } else if (SvTYPE(referent) == SVt_REGEXP &&
2952                        (!(PL_curcop->cop_hints & HINT_NO_AMAGIC) ||
2953                         amagic_is_enabled(string_amg))) {
2954                 REGEXP * const re = (REGEXP *)MUTABLE_PTR(referent);
2955
2956                 assert(re);
2957                         
2958                 /* If the regex is UTF-8 we want the containing scalar to
2959                    have an UTF-8 flag too */
2960                 if (RX_UTF8(re))
2961                     SvUTF8_on(sv);
2962                 else
2963                     SvUTF8_off(sv);     
2964
2965                 if (lp)
2966                     *lp = RX_WRAPLEN(re);
2967  
2968                 return RX_WRAPPED(re);
2969             } else {
2970                 const char *const typestr = sv_reftype(referent, 0);
2971                 const STRLEN typelen = strlen(typestr);
2972                 UV addr = PTR2UV(referent);
2973                 const char *stashname = NULL;
2974                 STRLEN stashnamelen = 0; /* hush, gcc */
2975                 const char *buffer_end;
2976
2977                 if (SvOBJECT(referent)) {
2978                     const HEK *const name = HvNAME_HEK(SvSTASH(referent));
2979
2980                     if (name) {
2981                         stashname = HEK_KEY(name);
2982                         stashnamelen = HEK_LEN(name);
2983
2984                         if (HEK_UTF8(name)) {
2985                             SvUTF8_on(sv);
2986                         } else {
2987                             SvUTF8_off(sv);
2988                         }
2989                     } else {
2990                         stashname = "__ANON__";
2991                         stashnamelen = 8;
2992                     }
2993                     len = stashnamelen + 1 /* = */ + typelen + 3 /* (0x */
2994                         + 2 * sizeof(UV) + 2 /* )\0 */;
2995                 } else {
2996                     len = typelen + 3 /* (0x */
2997                         + 2 * sizeof(UV) + 2 /* )\0 */;
2998                 }
2999
3000                 Newx(buffer, len, char);
3001                 buffer_end = retval = buffer + len;
3002
3003                 /* Working backwards  */
3004                 *--retval = '\0';
3005                 *--retval = ')';
3006                 do {
3007                     *--retval = PL_hexdigit[addr & 15];
3008                 } while (addr >>= 4);
3009                 *--retval = 'x';
3010                 *--retval = '0';
3011                 *--retval = '(';
3012
3013                 retval -= typelen;
3014                 memcpy(retval, typestr, typelen);
3015
3016                 if (stashname) {
3017                     *--retval = '=';
3018                     retval -= stashnamelen;
3019                     memcpy(retval, stashname, stashnamelen);
3020                 }
3021                 /* retval may not necessarily have reached the start of the
3022                    buffer here.  */
3023                 assert (retval >= buffer);
3024
3025                 len = buffer_end - retval - 1; /* -1 for that \0  */
3026             }
3027             if (lp)
3028                 *lp = len;
3029             SAVEFREEPV(buffer);
3030             return retval;
3031         }
3032     }
3033
3034     if (SvPOKp(sv)) {
3035         if (lp)
3036             *lp = SvCUR(sv);
3037         if (flags & SV_MUTABLE_RETURN)
3038             return SvPVX_mutable(sv);
3039         if (flags & SV_CONST_RETURN)
3040             return (char *)SvPVX_const(sv);
3041         return SvPVX(sv);
3042     }
3043
3044     if (SvIOK(sv)) {
3045         /* I'm assuming that if both IV and NV are equally valid then
3046            converting the IV is going to be more efficient */
3047         const U32 isUIOK = SvIsUV(sv);
3048         char buf[TYPE_CHARS(UV)];
3049         char *ebuf, *ptr;
3050         STRLEN len;
3051
3052         if (SvTYPE(sv) < SVt_PVIV)
3053             sv_upgrade(sv, SVt_PVIV);
3054         ptr = uiv_2buf(buf, SvIVX(sv), SvUVX(sv), isUIOK, &ebuf);
3055         len = ebuf - ptr;
3056         /* inlined from sv_setpvn */
3057         s = SvGROW_mutable(sv, len + 1);
3058         Move(ptr, s, len, char);
3059         s += len;
3060         *s = '\0';
3061         SvPOK_on(sv);
3062     }
3063     else if (SvNOK(sv)) {
3064         if (SvTYPE(sv) < SVt_PVNV)
3065             sv_upgrade(sv, SVt_PVNV);
3066         if (SvNVX(sv) == 0.0
3067 #if defined(NAN_COMPARE_BROKEN) && defined(Perl_isnan)
3068             /* XXX Create SvNVXeq(sv, x)? Or just SvNVXzero(sv)? */
3069             && !Perl_isnan(SvNVX(sv))
3070 #endif
3071         ) {
3072             s = SvGROW_mutable(sv, 2);
3073             *s++ = '0';
3074             *s = '\0';
3075         } else {
3076             STRLEN len;
3077             STRLEN size = 5; /* "-Inf\0" */
3078
3079             s = SvGROW_mutable(sv, size);
3080             len = S_infnan_2pv(SvNVX(sv), s, size);
3081             if (len > 0) {
3082                 s += len;
3083                 SvPOK_on(sv);
3084             }
3085             else {
3086                 /* some Xenix systems wipe out errno here */
3087                 dSAVE_ERRNO;
3088
3089                 size =
3090                     1 + /* sign */
3091                     1 + /* "." */
3092                     NV_DIG +
3093                     1 + /* "e" */
3094                     1 + /* sign */
3095                     5 + /* exponent digits */
3096                     1 + /* \0 */
3097                     2; /* paranoia */
3098
3099                 s = SvGROW_mutable(sv, size);
3100 #ifndef USE_LOCALE_NUMERIC
3101                 SNPRINTF_G(SvNVX(sv), s, SvLEN(sv), NV_DIG);
3102
3103                 SvPOK_on(sv);
3104 #else
3105                 {
3106                     bool local_radix;
3107                     DECLARE_STORE_LC_NUMERIC_SET_TO_NEEDED();
3108
3109                     local_radix =
3110                         PL_numeric_local &&
3111                         PL_numeric_radix_sv &&
3112                         SvUTF8(PL_numeric_radix_sv);
3113                     if (local_radix && SvLEN(PL_numeric_radix_sv) > 1) {
3114                         size += SvLEN(PL_numeric_radix_sv) - 1;
3115                         s = SvGROW_mutable(sv, size);
3116                     }
3117
3118                     SNPRINTF_G(SvNVX(sv), s, SvLEN(sv), NV_DIG);
3119
3120                     /* If the radix character is UTF-8, and actually is in the
3121                      * output, turn on the UTF-8 flag for the scalar */
3122                     if (local_radix &&
3123                         instr(s, SvPVX_const(PL_numeric_radix_sv))) {
3124                         SvUTF8_on(sv);
3125                     }
3126
3127                     RESTORE_LC_NUMERIC();
3128                 }
3129
3130                 /* We don't call SvPOK_on(), because it may come to
3131                  * pass that the locale changes so that the
3132                  * stringification we just did is no longer correct.  We
3133                  * will have to re-stringify every time it is needed */
3134 #endif
3135                 RESTORE_ERRNO;
3136             }
3137             while (*s) s++;
3138         }
3139     }
3140     else if (isGV_with_GP(sv)) {
3141         GV *const gv = MUTABLE_GV(sv);
3142         SV *const buffer = sv_newmortal();
3143
3144         gv_efullname3(buffer, gv, "*");
3145
3146         assert(SvPOK(buffer));
3147         if (SvUTF8(buffer))
3148             SvUTF8_on(sv);
3149         if (lp)
3150             *lp = SvCUR(buffer);
3151         return SvPVX(buffer);
3152     }
3153     else if (isREGEXP(sv)) {
3154         if (lp) *lp = RX_WRAPLEN((REGEXP *)sv);
3155         return RX_WRAPPED((REGEXP *)sv);
3156     }
3157     else {
3158         if (lp)
3159             *lp = 0;
3160         if (flags & SV_UNDEF_RETURNS_NULL)
3161             return NULL;
3162         if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
3163             report_uninit(sv);
3164         /* Typically the caller expects that sv_any is not NULL now.  */
3165         if (!SvREADONLY(sv) && SvTYPE(sv) < SVt_PV)
3166             sv_upgrade(sv, SVt_PV);
3167         return (char *)"";
3168     }
3169
3170     {
3171         const STRLEN len = s - SvPVX_const(sv);
3172         if (lp) 
3173             *lp = len;
3174         SvCUR_set(sv, len);
3175     }
3176     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2pv(%s)\n",
3177                           PTR2UV(sv),SvPVX_const(sv)));
3178     if (flags & SV_CONST_RETURN)
3179         return (char *)SvPVX_const(sv);
3180     if (flags & SV_MUTABLE_RETURN)
3181         return SvPVX_mutable(sv);
3182     return SvPVX(sv);
3183 }
3184
3185 /*
3186 =for apidoc sv_copypv
3187
3188 Copies a stringified representation of the source SV into the
3189 destination SV.  Automatically performs any necessary mg_get and
3190 coercion of numeric values into strings.  Guaranteed to preserve
3191 UTF8 flag even from overloaded objects.  Similar in nature to
3192 sv_2pv[_flags] but operates directly on an SV instead of just the
3193 string.  Mostly uses sv_2pv_flags to do its work, except when that
3194 would lose the UTF-8'ness of the PV.
3195
3196 =for apidoc sv_copypv_nomg
3197
3198 Like sv_copypv, but doesn't invoke get magic first.
3199
3200 =for apidoc sv_copypv_flags
3201
3202 Implementation of sv_copypv and sv_copypv_nomg.  Calls get magic iff flags
3203 include SV_GMAGIC.
3204
3205 =cut
3206 */
3207
3208 void
3209 Perl_sv_copypv(pTHX_ SV *const dsv, SV *const ssv)
3210 {
3211     PERL_ARGS_ASSERT_SV_COPYPV;
3212
3213     sv_copypv_flags(dsv, ssv, 0);
3214 }
3215
3216 void
3217 Perl_sv_copypv_flags(pTHX_ SV *const dsv, SV *const ssv, const I32 flags)
3218 {
3219     STRLEN len;
3220     const char *s;
3221
3222     PERL_ARGS_ASSERT_SV_COPYPV_FLAGS;
3223
3224     s = SvPV_flags_const(ssv,len,(flags & SV_GMAGIC));
3225     sv_setpvn(dsv,s,len);
3226     if (SvUTF8(ssv))
3227         SvUTF8_on(dsv);
3228     else
3229         SvUTF8_off(dsv);
3230 }
3231
3232 /*
3233 =for apidoc sv_2pvbyte
3234
3235 Return a pointer to the byte-encoded representation of the SV, and set *lp
3236 to its length.  May cause the SV to be downgraded from UTF-8 as a
3237 side-effect.
3238
3239 Usually accessed via the C<SvPVbyte> macro.
3240
3241 =cut
3242 */
3243
3244 char *
3245 Perl_sv_2pvbyte(pTHX_ SV *sv, STRLEN *const lp)
3246 {
3247     PERL_ARGS_ASSERT_SV_2PVBYTE;
3248
3249     SvGETMAGIC(sv);
3250     if (((SvREADONLY(sv) || SvFAKE(sv)) && !SvIsCOW(sv))
3251      || isGV_with_GP(sv) || SvROK(sv)) {
3252         SV *sv2 = sv_newmortal();
3253         sv_copypv_nomg(sv2,sv);
3254         sv = sv2;
3255     }
3256     sv_utf8_downgrade(sv,0);
3257     return lp ? SvPV_nomg(sv,*lp) : SvPV_nomg_nolen(sv);
3258 }
3259
3260 /*
3261 =for apidoc sv_2pvutf8
3262
3263 Return a pointer to the UTF-8-encoded representation of the SV, and set *lp
3264 to its length.  May cause the SV to be upgraded to UTF-8 as a side-effect.
3265
3266 Usually accessed via the C<SvPVutf8> macro.
3267
3268 =cut
3269 */
3270
3271 char *
3272 Perl_sv_2pvutf8(pTHX_ SV *sv, STRLEN *const lp)
3273 {
3274     PERL_ARGS_ASSERT_SV_2PVUTF8;
3275
3276     if (((SvREADONLY(sv) || SvFAKE(sv)) && !SvIsCOW(sv))
3277      || isGV_with_GP(sv) || SvROK(sv))
3278         sv = sv_mortalcopy(sv);
3279     else
3280         SvGETMAGIC(sv);
3281     sv_utf8_upgrade_nomg(sv);
3282     return lp ? SvPV_nomg(sv,*lp) : SvPV_nomg_nolen(sv);
3283 }
3284
3285
3286 /*
3287 =for apidoc sv_2bool
3288
3289 This macro is only used by sv_true() or its macro equivalent, and only if
3290 the latter's argument is neither SvPOK, SvIOK nor SvNOK.
3291 It calls sv_2bool_flags with the SV_GMAGIC flag.
3292
3293 =for apidoc sv_2bool_flags
3294
3295 This function is only used by sv_true() and friends,  and only if
3296 the latter's argument is neither SvPOK, SvIOK nor SvNOK.  If the flags
3297 contain SV_GMAGIC, then it does an mg_get() first.
3298
3299
3300 =cut
3301 */
3302
3303 bool
3304 Perl_sv_2bool_flags(pTHX_ SV *sv, I32 flags)
3305 {
3306     PERL_ARGS_ASSERT_SV_2BOOL_FLAGS;
3307
3308     restart:
3309     if(flags & SV_GMAGIC) SvGETMAGIC(sv);
3310
3311     if (!SvOK(sv))
3312         return 0;
3313     if (SvROK(sv)) {
3314         if (SvAMAGIC(sv)) {
3315             SV * const tmpsv = AMG_CALLunary(sv, bool__amg);
3316             if (tmpsv && (!SvROK(tmpsv) || (SvRV(tmpsv) != SvRV(sv)))) {
3317                 bool svb;
3318                 sv = tmpsv;
3319                 if(SvGMAGICAL(sv)) {
3320                     flags = SV_GMAGIC;
3321                     goto restart; /* call sv_2bool */
3322                 }
3323                 /* expanded SvTRUE_common(sv, (flags = 0, goto restart)) */
3324                 else if(!SvOK(sv)) {
3325                     svb = 0;
3326                 }
3327                 else if(SvPOK(sv)) {
3328                     svb = SvPVXtrue(sv);
3329                 }
3330                 else if((SvFLAGS(sv) & (SVf_IOK|SVf_NOK))) {
3331                     svb = (SvIOK(sv) && SvIVX(sv) != 0)
3332                         || (SvNOK(sv) && SvNVX(sv) != 0.0);
3333                 }
3334                 else {
3335                     flags = 0;
3336                     goto restart; /* call sv_2bool_nomg */
3337                 }
3338                 return cBOOL(svb);
3339             }
3340         }
3341         return SvRV(sv) != 0;
3342     }
3343     if (isREGEXP(sv))
3344         return
3345           RX_WRAPLEN(sv) > 1 || (RX_WRAPLEN(sv) && *RX_WRAPPED(sv) != '0');
3346     return SvTRUE_common(sv, isGV_with_GP(sv) ? 1 : 0);
3347 }
3348
3349 /*
3350 =for apidoc sv_utf8_upgrade
3351
3352 Converts the PV of an SV to its UTF-8-encoded form.
3353 Forces the SV to string form if it is not already.
3354 Will C<mg_get> on C<sv> if appropriate.
3355 Always sets the SvUTF8 flag to avoid future validity checks even
3356 if the whole string is the same in UTF-8 as not.
3357 Returns the number of bytes in the converted string
3358
3359 This is not a general purpose byte encoding to Unicode interface:
3360 use the Encode extension for that.
3361
3362 =for apidoc sv_utf8_upgrade_nomg
3363
3364 Like sv_utf8_upgrade, but doesn't do magic on C<sv>.
3365
3366 =for apidoc sv_utf8_upgrade_flags
3367
3368 Converts the PV of an SV to its UTF-8-encoded form.
3369 Forces the SV to string form if it is not already.
3370 Always sets the SvUTF8 flag to avoid future validity checks even
3371 if all the bytes are invariant in UTF-8.
3372 If C<flags> has C<SV_GMAGIC> bit set,
3373 will C<mg_get> on C<sv> if appropriate, else not.
3374
3375 If C<flags> has SV_FORCE_UTF8_UPGRADE set, this function assumes that the PV
3376 will expand when converted to UTF-8, and skips the extra work of checking for
3377 that.  Typically this flag is used by a routine that has already parsed the
3378 string and found such characters, and passes this information on so that the
3379 work doesn't have to be repeated.
3380
3381 Returns the number of bytes in the converted string.
3382
3383 This is not a general purpose byte encoding to Unicode interface:
3384 use the Encode extension for that.
3385
3386 =for apidoc sv_utf8_upgrade_flags_grow
3387
3388 Like sv_utf8_upgrade_flags, but has an additional parameter C<extra>, which is
3389 the number of unused bytes the string of 'sv' is guaranteed to have free after
3390 it upon return.  This allows the caller to reserve extra space that it intends
3391 to fill, to avoid extra grows.
3392
3393 C<sv_utf8_upgrade>, C<sv_utf8_upgrade_nomg>, and C<sv_utf8_upgrade_flags>
3394 are implemented in terms of this function.
3395
3396 Returns the number of bytes in the converted string (not including the spares).
3397
3398 =cut
3399
3400 (One might think that the calling routine could pass in the position of the
3401 first variant character when it has set SV_FORCE_UTF8_UPGRADE, so it wouldn't
3402 have to be found again.  But that is not the case, because typically when the
3403 caller is likely to use this flag, it won't be calling this routine unless it
3404 finds something that won't fit into a byte.  Otherwise it tries to not upgrade
3405 and just use bytes.  But some things that do fit into a byte are variants in
3406 utf8, and the caller may not have been keeping track of these.)
3407
3408 If the routine itself changes the string, it adds a trailing C<NUL>.  Such a
3409 C<NUL> isn't guaranteed due to having other routines do the work in some input
3410 cases, or if the input is already flagged as being in utf8.
3411
3412 The speed of this could perhaps be improved for many cases if someone wanted to
3413 write a fast function that counts the number of variant characters in a string,
3414 especially if it could return the position of the first one.
3415
3416 */
3417
3418 STRLEN
3419 Perl_sv_utf8_upgrade_flags_grow(pTHX_ SV *const sv, const I32 flags, STRLEN extra)
3420 {
3421     PERL_ARGS_ASSERT_SV_UTF8_UPGRADE_FLAGS_GROW;
3422
3423     if (sv == &PL_sv_undef)
3424         return 0;
3425     if (!SvPOK_nog(sv)) {
3426         STRLEN len = 0;
3427         if (SvREADONLY(sv) && (SvPOKp(sv) || SvIOKp(sv) || SvNOKp(sv))) {
3428             (void) sv_2pv_flags(sv,&len, flags);
3429             if (SvUTF8(sv)) {
3430                 if (extra) SvGROW(sv, SvCUR(sv) + extra);
3431                 return len;
3432             }
3433         } else {
3434             (void) SvPV_force_flags(sv,len,flags & SV_GMAGIC);
3435         }
3436     }
3437
3438     if (SvUTF8(sv)) {
3439         if (extra) SvGROW(sv, SvCUR(sv) + extra);
3440         return SvCUR(sv);
3441     }
3442
3443     if (SvIsCOW(sv)) {
3444         S_sv_uncow(aTHX_ sv, 0);
3445     }
3446
3447     if (PL_encoding && !(flags & SV_UTF8_NO_ENCODING)) {
3448         sv_recode_to_utf8(sv, PL_encoding);
3449         if (extra) SvGROW(sv, SvCUR(sv) + extra);
3450         return SvCUR(sv);
3451     }
3452
3453     if (SvCUR(sv) == 0) {
3454         if (extra) SvGROW(sv, extra);
3455     } else { /* Assume Latin-1/EBCDIC */
3456         /* This function could be much more efficient if we
3457          * had a FLAG in SVs to signal if there are any variant
3458          * chars in the PV.  Given that there isn't such a flag
3459          * make the loop as fast as possible (although there are certainly ways
3460          * to speed this up, eg. through vectorization) */
3461         U8 * s = (U8 *) SvPVX_const(sv);
3462         U8 * e = (U8 *) SvEND(sv);
3463         U8 *t = s;
3464         STRLEN two_byte_count = 0;
3465         
3466         if (flags & SV_FORCE_UTF8_UPGRADE) goto must_be_utf8;
3467
3468         /* See if really will need to convert to utf8.  We mustn't rely on our
3469          * incoming SV being well formed and having a trailing '\0', as certain
3470          * code in pp_formline can send us partially built SVs. */
3471
3472         while (t < e) {
3473             const U8 ch = *t++;
3474             if (NATIVE_BYTE_IS_INVARIANT(ch)) continue;
3475
3476             t--;    /* t already incremented; re-point to first variant */
3477             two_byte_count = 1;
3478             goto must_be_utf8;
3479         }
3480
3481         /* utf8 conversion not needed because all are invariants.  Mark as
3482          * UTF-8 even if no variant - saves scanning loop */
3483         SvUTF8_on(sv);
3484         if (extra) SvGROW(sv, SvCUR(sv) + extra);
3485         return SvCUR(sv);
3486
3487 must_be_utf8:
3488
3489         /* Here, the string should be converted to utf8, either because of an
3490          * input flag (two_byte_count = 0), or because a character that
3491          * requires 2 bytes was found (two_byte_count = 1).  t points either to
3492          * the beginning of the string (if we didn't examine anything), or to
3493          * the first variant.  In either case, everything from s to t - 1 will
3494          * occupy only 1 byte each on output.
3495          *
3496          * There are two main ways to convert.  One is to create a new string
3497          * and go through the input starting from the beginning, appending each
3498          * converted value onto the new string as we go along.  It's probably
3499          * best to allocate enough space in the string for the worst possible
3500          * case rather than possibly running out of space and having to
3501          * reallocate and then copy what we've done so far.  Since everything
3502          * from s to t - 1 is invariant, the destination can be initialized
3503          * with these using a fast memory copy
3504          *
3505          * The other way is to figure out exactly how big the string should be
3506          * by parsing the entire input.  Then you don't have to make it big
3507          * enough to handle the worst possible case, and more importantly, if
3508          * the string you already have is large enough, you don't have to
3509          * allocate a new string, you can copy the last character in the input
3510          * string to the final position(s) that will be occupied by the
3511          * converted string and go backwards, stopping at t, since everything
3512          * before that is invariant.
3513          *
3514          * There are advantages and disadvantages to each method.
3515          *
3516          * In the first method, we can allocate a new string, do the memory
3517          * copy from the s to t - 1, and then proceed through the rest of the
3518          * string byte-by-byte.
3519          *
3520          * In the second method, we proceed through the rest of the input
3521          * string just calculating how big the converted string will be.  Then
3522          * there are two cases:
3523          *  1)  if the string has enough extra space to handle the converted
3524          *      value.  We go backwards through the string, converting until we
3525          *      get to the position we are at now, and then stop.  If this
3526          *      position is far enough along in the string, this method is
3527          *      faster than the other method.  If the memory copy were the same
3528          *      speed as the byte-by-byte loop, that position would be about
3529          *      half-way, as at the half-way mark, parsing to the end and back
3530          *      is one complete string's parse, the same amount as starting
3531          *      over and going all the way through.  Actually, it would be
3532          *      somewhat less than half-way, as it's faster to just count bytes
3533          *      than to also copy, and we don't have the overhead of allocating
3534          *      a new string, changing the scalar to use it, and freeing the
3535          *      existing one.  But if the memory copy is fast, the break-even
3536          *      point is somewhere after half way.  The counting loop could be
3537          *      sped up by vectorization, etc, to move the break-even point
3538          *      further towards the beginning.
3539          *  2)  if the string doesn't have enough space to handle the converted
3540          *      value.  A new string will have to be allocated, and one might
3541          *      as well, given that, start from the beginning doing the first
3542          *      method.  We've spent extra time parsing the string and in
3543          *      exchange all we've gotten is that we know precisely how big to
3544          *      make the new one.  Perl is more optimized for time than space,
3545          *      so this case is a loser.
3546          * So what I've decided to do is not use the 2nd method unless it is
3547          * guaranteed that a new string won't have to be allocated, assuming
3548          * the worst case.  I also decided not to put any more conditions on it
3549          * than this, for now.  It seems likely that, since the worst case is
3550          * twice as big as the unknown portion of the string (plus 1), we won't
3551          * be guaranteed enough space, causing us to go to the first method,
3552          * unless the string is short, or the first variant character is near
3553          * the end of it.  In either of these cases, it seems best to use the
3554          * 2nd method.  The only circumstance I can think of where this would
3555          * be really slower is if the string had once had much more data in it
3556          * than it does now, but there is still a substantial amount in it  */
3557
3558         {
3559             STRLEN invariant_head = t - s;
3560             STRLEN size = invariant_head + (e - t) * 2 + 1 + extra;
3561             if (SvLEN(sv) < size) {
3562
3563                 /* Here, have decided to allocate a new string */
3564
3565                 U8 *dst;
3566                 U8 *d;
3567
3568                 Newx(dst, size, U8);
3569
3570                 /* If no known invariants at the beginning of the input string,
3571                  * set so starts from there.  Otherwise, can use memory copy to
3572                  * get up to where we are now, and then start from here */
3573
3574                 if (invariant_head == 0) {
3575                     d = dst;
3576                 } else {
3577                     Copy(s, dst, invariant_head, char);
3578                     d = dst + invariant_head;
3579                 }
3580
3581                 while (t < e) {
3582                     append_utf8_from_native_byte(*t, &d);
3583                     t++;
3584                 }
3585                 *d = '\0';
3586                 SvPV_free(sv); /* No longer using pre-existing string */
3587                 SvPV_set(sv, (char*)dst);
3588                 SvCUR_set(sv, d - dst);
3589                 SvLEN_set(sv, size);
3590             } else {
3591
3592                 /* Here, have decided to get the exact size of the string.
3593                  * Currently this happens only when we know that there is
3594                  * guaranteed enough space to fit the converted string, so
3595                  * don't have to worry about growing.  If two_byte_count is 0,
3596                  * then t points to the first byte of the string which hasn't
3597                  * been examined yet.  Otherwise two_byte_count is 1, and t
3598                  * points to the first byte in the string that will expand to
3599                  * two.  Depending on this, start examining at t or 1 after t.
3600                  * */
3601
3602                 U8 *d = t + two_byte_count;
3603
3604
3605                 /* Count up the remaining bytes that expand to two */
3606
3607                 while (d < e) {
3608                     const U8 chr = *d++;
3609                     if (! NATIVE_BYTE_IS_INVARIANT(chr)) two_byte_count++;
3610                 }
3611
3612                 /* The string will expand by just the number of bytes that
3613                  * occupy two positions.  But we are one afterwards because of
3614                  * the increment just above.  This is the place to put the
3615                  * trailing NUL, and to set the length before we decrement */
3616
3617                 d += two_byte_count;
3618                 SvCUR_set(sv, d - s);
3619                 *d-- = '\0';
3620
3621
3622                 /* Having decremented d, it points to the position to put the
3623                  * very last byte of the expanded string.  Go backwards through
3624                  * the string, copying and expanding as we go, stopping when we
3625                  * get to the part that is invariant the rest of the way down */
3626
3627                 e--;
3628                 while (e >= t) {
3629                     if (NATIVE_BYTE_IS_INVARIANT(*e)) {
3630                         *d-- = *e;
3631                     } else {
3632                         *d-- = UTF8_EIGHT_BIT_LO(*e);
3633                         *d-- = UTF8_EIGHT_BIT_HI(*e);
3634                     }
3635                     e--;
3636                 }
3637             }
3638
3639             if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
3640                 /* Update pos. We do it at the end rather than during
3641                  * the upgrade, to avoid slowing down the common case
3642                  * (upgrade without pos).
3643                  * pos can be stored as either bytes or characters.  Since
3644                  * this was previously a byte string we can just turn off
3645                  * the bytes flag. */
3646                 MAGIC * mg = mg_find(sv, PERL_MAGIC_regex_global);
3647                 if (mg) {
3648                     mg->mg_flags &= ~MGf_BYTES;
3649                 }
3650                 if ((mg = mg_find(sv, PERL_MAGIC_utf8)))
3651                     magic_setutf8(sv,mg); /* clear UTF8 cache */
3652             }
3653         }
3654     }
3655
3656     /* Mark as UTF-8 even if no variant - saves scanning loop */
3657     SvUTF8_on(sv);
3658     return SvCUR(sv);
3659 }
3660
3661 /*
3662 =for apidoc sv_utf8_downgrade
3663
3664 Attempts to convert the PV of an SV from characters to bytes.
3665 If the PV contains a character that cannot fit
3666 in a byte, this conversion will fail;
3667 in this case, either returns false or, if C<fail_ok> is not
3668 true, croaks.
3669
3670 This is not a general purpose Unicode to byte encoding interface:
3671 use the Encode extension for that.
3672
3673 =cut
3674 */
3675
3676 bool
3677 Perl_sv_utf8_downgrade(pTHX_ SV *const sv, const bool fail_ok)
3678 {
3679     PERL_ARGS_ASSERT_SV_UTF8_DOWNGRADE;
3680
3681     if (SvPOKp(sv) && SvUTF8(sv)) {
3682         if (SvCUR(sv)) {
3683             U8 *s;
3684             STRLEN len;
3685             int mg_flags = SV_GMAGIC;
3686
3687             if (SvIsCOW(sv)) {
3688                 S_sv_uncow(aTHX_ sv, 0);
3689             }
3690             if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
3691                 /* update pos */
3692                 MAGIC * mg = mg_find(sv, PERL_MAGIC_regex_global);
3693                 if (mg && mg->mg_len > 0 && mg->mg_flags & MGf_BYTES) {
3694                         mg->mg_len = sv_pos_b2u_flags(sv, mg->mg_len,
3695                                                 SV_GMAGIC|SV_CONST_RETURN);
3696                         mg_flags = 0; /* sv_pos_b2u does get magic */
3697                 }
3698                 if ((mg = mg_find(sv, PERL_MAGIC_utf8)))
3699                     magic_setutf8(sv,mg); /* clear UTF8 cache */
3700
3701             }
3702             s = (U8 *) SvPV_flags(sv, len, mg_flags);
3703
3704             if (!utf8_to_bytes(s, &len)) {
3705                 if (fail_ok)
3706                     return FALSE;
3707                 else {
3708                     if (PL_op)
3709                         Perl_croak(aTHX_ "Wide character in %s",
3710                                    OP_DESC(PL_op));
3711                     else
3712                         Perl_croak(aTHX_ "Wide character");
3713                 }
3714             }
3715             SvCUR_set(sv, len);
3716         }
3717     }
3718     SvUTF8_off(sv);
3719     return TRUE;
3720 }
3721
3722 /*
3723 =for apidoc sv_utf8_encode
3724
3725 Converts the PV of an SV to UTF-8, but then turns the C<SvUTF8>
3726 flag off so that it looks like octets again.
3727
3728 =cut
3729 */
3730
3731 void
3732 Perl_sv_utf8_encode(pTHX_ SV *const sv)
3733 {
3734     PERL_ARGS_ASSERT_SV_UTF8_ENCODE;
3735
3736     if (SvREADONLY(sv)) {
3737         sv_force_normal_flags(sv, 0);
3738     }
3739     (void) sv_utf8_upgrade(sv);
3740     SvUTF8_off(sv);
3741 }
3742
3743 /*
3744 =for apidoc sv_utf8_decode
3745
3746 If the PV of the SV is an octet sequence in UTF-8
3747 and contains a multiple-byte character, the C<SvUTF8> flag is turned on
3748 so that it looks like a character.  If the PV contains only single-byte
3749 characters, the C<SvUTF8> flag stays off.
3750 Scans PV for validity and returns false if the PV is invalid UTF-8.
3751
3752 =cut
3753 */
3754
3755 bool
3756 Perl_sv_utf8_decode(pTHX_ SV *const sv)
3757 {
3758     PERL_ARGS_ASSERT_SV_UTF8_DECODE;
3759
3760     if (SvPOKp(sv)) {
3761         const U8 *start, *c;
3762         const U8 *e;
3763
3764         /* The octets may have got themselves encoded - get them back as
3765          * bytes
3766          */
3767         if (!sv_utf8_downgrade(sv, TRUE))
3768             return FALSE;
3769
3770         /* it is actually just a matter of turning the utf8 flag on, but
3771          * we want to make sure everything inside is valid utf8 first.
3772          */
3773         c = start = (const U8 *) SvPVX_const(sv);
3774         if (!is_utf8_string(c, SvCUR(sv)))
3775             return FALSE;
3776         e = (const U8 *) SvEND(sv);
3777         while (c < e) {
3778             const U8 ch = *c++;
3779             if (!UTF8_IS_INVARIANT(ch)) {
3780                 SvUTF8_on(sv);
3781                 break;
3782             }
3783         }
3784         if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
3785             /* XXX Is this dead code?  XS_utf8_decode calls SvSETMAGIC
3786                    after this, clearing pos.  Does anything on CPAN
3787                    need this? */
3788             /* adjust pos to the start of a UTF8 char sequence */
3789             MAGIC * mg = mg_find(sv, PERL_MAGIC_regex_global);
3790             if (mg) {
3791                 I32 pos = mg->mg_len;
3792                 if (pos > 0) {
3793                     for (c = start + pos; c > start; c--) {
3794                         if (UTF8_IS_START(*c))
3795                             break;
3796                     }
3797                     mg->mg_len  = c - start;
3798                 }
3799             }
3800             if ((mg = mg_find(sv, PERL_MAGIC_utf8)))
3801                 magic_setutf8(sv,mg); /* clear UTF8 cache */
3802         }
3803     }
3804     return TRUE;
3805 }
3806
3807 /*
3808 =for apidoc sv_setsv
3809
3810 Copies the contents of the source SV C<ssv> into the destination SV
3811 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3812 function if the source SV needs to be reused.  Does not handle 'set' magic on
3813 destination SV.  Calls 'get' magic on source SV.  Loosely speaking, it
3814 performs a copy-by-value, obliterating any previous content of the
3815 destination.
3816
3817 You probably want to use one of the assortment of wrappers, such as
3818 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3819 C<SvSetMagicSV_nosteal>.
3820
3821 =for apidoc sv_setsv_flags
3822
3823 Copies the contents of the source SV C<ssv> into the destination SV
3824 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3825 function if the source SV needs to be reused.  Does not handle 'set' magic.
3826 Loosely speaking, it performs a copy-by-value, obliterating any previous
3827 content of the destination.
3828 If the C<flags> parameter has the C<SV_GMAGIC> bit set, will C<mg_get> on
3829 C<ssv> if appropriate, else not.  If the C<flags>
3830 parameter has the C<SV_NOSTEAL> bit set then the
3831 buffers of temps will not be stolen.  <sv_setsv>
3832 and C<sv_setsv_nomg> are implemented in terms of this function.
3833
3834 You probably want to use one of the assortment of wrappers, such as
3835 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3836 C<SvSetMagicSV_nosteal>.
3837
3838 This is the primary function for copying scalars, and most other
3839 copy-ish functions and macros use this underneath.
3840
3841 =cut
3842 */
3843
3844 static void
3845 S_glob_assign_glob(pTHX_ SV *const dstr, SV *const sstr, const int dtype)
3846 {
3847     I32 mro_changes = 0; /* 1 = method, 2 = isa, 3 = recursive isa */
3848     HV *old_stash = NULL;
3849
3850     PERL_ARGS_ASSERT_GLOB_ASSIGN_GLOB;
3851
3852     if (dtype != SVt_PVGV && !isGV_with_GP(dstr)) {
3853         const char * const name = GvNAME(sstr);
3854         const STRLEN len = GvNAMELEN(sstr);
3855         {
3856             if (dtype >= SVt_PV) {
3857                 SvPV_free(dstr);
3858                 SvPV_set(dstr, 0);
3859                 SvLEN_set(dstr, 0);
3860                 SvCUR_set(dstr, 0);
3861             }
3862             SvUPGRADE(dstr, SVt_PVGV);
3863             (void)SvOK_off(dstr);
3864             isGV_with_GP_on(dstr);
3865         }
3866         GvSTASH(dstr) = GvSTASH(sstr);
3867         if (GvSTASH(dstr))
3868             Perl_sv_add_backref(aTHX_ MUTABLE_SV(GvSTASH(dstr)), dstr);
3869         gv_name_set(MUTABLE_GV(dstr), name, len,
3870                         GV_ADD | (GvNAMEUTF8(sstr) ? SVf_UTF8 : 0 ));
3871         SvFAKE_on(dstr);        /* can coerce to non-glob */
3872     }
3873
3874     if(GvGP(MUTABLE_GV(sstr))) {
3875         /* If source has method cache entry, clear it */
3876         if(GvCVGEN(sstr)) {
3877             SvREFCNT_dec(GvCV(sstr));
3878             GvCV_set(sstr, NULL);
3879             GvCVGEN(sstr) = 0;
3880         }
3881         /* If source has a real method, then a method is
3882            going to change */
3883         else if(
3884          GvCV((const GV *)sstr) && GvSTASH(dstr) && HvENAME(GvSTASH(dstr))
3885         ) {
3886             mro_changes = 1;
3887         }
3888     }
3889
3890     /* If dest already had a real method, that's a change as well */
3891     if(
3892         !mro_changes && GvGP(MUTABLE_GV(dstr)) && GvCVu((const GV *)dstr)
3893      && GvSTASH(dstr) && HvENAME(GvSTASH(dstr))
3894     ) {
3895         mro_changes = 1;
3896     }
3897
3898     /* We don't need to check the name of the destination if it was not a
3899        glob to begin with. */
3900     if(dtype == SVt_PVGV) {
3901         const char * const name = GvNAME((const GV *)dstr);
3902         if(
3903             strEQ(name,"ISA")
3904          /* The stash may have been detached from the symbol table, so
3905             check its name. */
3906          && GvSTASH(dstr) && HvENAME(GvSTASH(dstr))
3907         )
3908             mro_changes = 2;
3909         else {
3910             const STRLEN len = GvNAMELEN(dstr);
3911             if ((len > 1 && name[len-2] == ':' && name[len-1] == ':')
3912              || (len == 1 && name[0] == ':')) {
3913                 mro_changes = 3;
3914
3915                 /* Set aside the old stash, so we can reset isa caches on
3916                    its subclasses. */
3917                 if((old_stash = GvHV(dstr)))
3918                     /* Make sure we do not lose it early. */
3919                     SvREFCNT_inc_simple_void_NN(
3920                      sv_2mortal((SV *)old_stash)
3921                     );
3922             }
3923         }
3924
3925         SvREFCNT_inc_simple_void_NN(sv_2mortal(dstr));
3926     }
3927
3928     gp_free(MUTABLE_GV(dstr));
3929     GvINTRO_off(dstr);          /* one-shot flag */
3930     GvGP_set(dstr, gp_ref(GvGP(sstr)));
3931     if (SvTAINTED(sstr))
3932         SvTAINT(dstr);
3933     if (GvIMPORTED(dstr) != GVf_IMPORTED
3934         && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3935         {
3936             GvIMPORTED_on(dstr);
3937         }
3938     GvMULTI_on(dstr);
3939     if(mro_changes == 2) {
3940       if (GvAV((const GV *)sstr)) {
3941         MAGIC *mg;
3942         SV * const sref = (SV *)GvAV((const GV *)dstr);
3943         if (SvSMAGICAL(sref) && (mg = mg_find(sref, PERL_MAGIC_isa))) {
3944             if (SvTYPE(mg->mg_obj) != SVt_PVAV) {
3945                 AV * const ary = newAV();
3946                 av_push(ary, mg->mg_obj); /* takes the refcount */
3947                 mg->mg_obj = (SV *)ary;
3948             }
3949             av_push((AV *)mg->mg_obj, SvREFCNT_inc_simple_NN(dstr));
3950         }
3951         else sv_magic(sref, dstr, PERL_MAGIC_isa, NULL, 0);
3952       }
3953       mro_isa_changed_in(GvSTASH(dstr));
3954     }
3955     else if(mro_changes == 3) {
3956         HV * const stash = GvHV(dstr);
3957         if(old_stash ? (HV *)HvENAME_get(old_stash) : stash)
3958             mro_package_moved(
3959                 stash, old_stash,
3960                 (GV *)dstr, 0
3961             );
3962     }
3963     else if(mro_changes) mro_method_changed_in(GvSTASH(dstr));
3964     if (GvIO(dstr) && dtype == SVt_PVGV) {
3965         DEBUG_o(Perl_deb(aTHX_
3966                         "glob_assign_glob clearing PL_stashcache\n"));
3967         /* It's a cache. It will rebuild itself quite happily.
3968            It's a lot of effort to work out exactly which key (or keys)
3969            might be invalidated by the creation of the this file handle.
3970          */
3971         hv_clear(PL_stashcache);
3972     }
3973     return;
3974 }
3975
3976 static void
3977 S_glob_assign_ref(pTHX_ SV *const dstr, SV *const sstr)
3978 {
3979     SV * const sref = SvRV(sstr);
3980     SV *dref;
3981     const int intro = GvINTRO(dstr);
3982     SV **location;
3983     U8 import_flag = 0;
3984     const U32 stype = SvTYPE(sref);
3985
3986     PERL_ARGS_ASSERT_GLOB_ASSIGN_REF;
3987
3988     if (intro) {
3989         GvINTRO_off(dstr);      /* one-shot flag */
3990         GvLINE(dstr) = CopLINE(PL_curcop);
3991         GvEGV(dstr) = MUTABLE_GV(dstr);
3992     }
3993     GvMULTI_on(dstr);
3994     switch (stype) {
3995     case SVt_PVCV:
3996         location = (SV **) &(GvGP(dstr)->gp_cv); /* XXX bypassing GvCV_set */
3997         import_flag = GVf_IMPORTED_CV;
3998         goto common;
3999     case SVt_PVHV:
4000         location = (SV **) &GvHV(dstr);
4001         import_flag = GVf_IMPORTED_HV;
4002         goto common;
4003     case SVt_PVAV:
4004         location = (SV **) &GvAV(dstr);
4005         import_flag = GVf_IMPORTED_AV;
4006         goto common;
4007     case SVt_PVIO:
4008         location = (SV **) &GvIOp(dstr);
4009         goto common;
4010     case SVt_PVFM:
4011         location = (SV **) &GvFORM(dstr);
4012         goto common;
4013     default:
4014         location = &GvSV(dstr);
4015         import_flag = GVf_IMPORTED_SV;
4016     common:
4017         if (intro) {
4018             if (stype == SVt_PVCV) {
4019                 /*if (GvCVGEN(dstr) && (GvCV(dstr) != (const CV *)sref || GvCVGEN(dstr))) {*/
4020                 if (GvCVGEN(dstr)) {
4021                     SvREFCNT_dec(GvCV(dstr));
4022                     GvCV_set(dstr, NULL);
4023                     GvCVGEN(dstr) = 0; /* Switch off cacheness. */
4024                 }
4025             }
4026             /* SAVEt_GVSLOT takes more room on the savestack and has more
4027                overhead in leave_scope than SAVEt_GENERIC_SV.  But for CVs
4028                leave_scope needs access to the GV so it can reset method
4029                caches.  We must use SAVEt_GVSLOT whenever the type is
4030                SVt_PVCV, even if the stash is anonymous, as the stash may
4031                gain a name somehow before leave_scope. */
4032             if (stype == SVt_PVCV) {
4033                 /* There is no save_pushptrptrptr.  Creating it for this
4034                    one call site would be overkill.  So inline the ss add
4035                    routines here. */
4036                 dSS_ADD;
4037                 SS_ADD_PTR(dstr);
4038                 SS_ADD_PTR(location);
4039                 SS_ADD_PTR(SvREFCNT_inc(*location));
4040                 SS_ADD_UV(SAVEt_GVSLOT);
4041                 SS_ADD_END(4);
4042             }
4043             else SAVEGENERICSV(*location);
4044         }
4045         dref = *location;
4046         if (stype == SVt_PVCV && (*location != sref || GvCVGEN(dstr))) {
4047             CV* const cv = MUTABLE_CV(*location);
4048             if (cv) {
4049                 if (!GvCVGEN((const GV *)dstr) &&
4050                     (CvROOT(cv) || CvXSUB(cv)) &&
4051                     /* redundant check that avoids creating the extra SV
4052                        most of the time: */
4053                     (CvCONST(cv) || ckWARN(WARN_REDEFINE)))
4054                     {
4055                         SV * const new_const_sv =
4056                             CvCONST((const CV *)sref)
4057                                  ? cv_const_sv((const CV *)sref)
4058                                  : NULL;
4059                         report_redefined_cv(
4060                            sv_2mortal(Perl_newSVpvf(aTHX_
4061                                 "%"HEKf"::%"HEKf,
4062                                 HEKfARG(
4063                                  HvNAME_HEK(GvSTASH((const GV *)dstr))
4064                                 ),
4065                                 HEKfARG(GvENAME_HEK(MUTABLE_GV(dstr)))
4066                            )),
4067                            cv,
4068                            CvCONST((const CV *)sref) ? &new_const_sv : NULL
4069                         );
4070                     }
4071                 if (!intro)
4072                     cv_ckproto_len_flags(cv, (const GV *)dstr,
4073                                    SvPOK(sref) ? CvPROTO(sref) : NULL,
4074                                    SvPOK(sref) ? CvPROTOLEN(sref) : 0,
4075                                    SvPOK(sref) ? SvUTF8(sref) : 0);
4076             }
4077             GvCVGEN(dstr) = 0; /* Switch off cacheness. */
4078             GvASSUMECV_on(dstr);
4079             if(GvSTASH(dstr)) { /* sub foo { 1 } sub bar { 2 } *bar = \&foo */
4080                 if (intro && GvREFCNT(dstr) > 1) {
4081                     /* temporary remove extra savestack's ref */
4082                     --GvREFCNT(dstr);
4083                     gv_method_changed(dstr);
4084                     ++GvREFCNT(dstr);
4085                 }
4086                 else gv_method_changed(dstr);
4087             }
4088         }
4089         *location = SvREFCNT_inc_simple_NN(sref);
4090         if (import_flag && !(GvFLAGS(dstr) & import_flag)
4091             && CopSTASH_ne(PL_curcop, GvSTASH(dstr))) {
4092             GvFLAGS(dstr) |= import_flag;
4093         }
4094         if (import_flag == GVf_IMPORTED_SV) {
4095             if (intro) {
4096                 dSS_ADD;
4097                 SS_ADD_PTR(gp_ref(GvGP(dstr)));
4098                 SS_ADD_UV(SAVEt_GP_ALIASED_SV
4099                         | cBOOL(GvALIASED_SV(dstr)) << 8);
4100                 SS_ADD_END(2);
4101             }
4102             /* Turn off the flag if sref is not referenced elsewhere,
4103                even by weak refs.  (SvRMAGICAL is a pessimistic check for
4104                back refs.)  */
4105             if (SvREFCNT(sref) <= 2 && !SvRMAGICAL(sref))
4106                 GvALIASED_SV_off(dstr);
4107             else
4108                 GvALIASED_SV_on(dstr);
4109         }
4110         if (stype == SVt_PVHV) {
4111             const char * const name = GvNAME((GV*)dstr);
4112             const STRLEN len = GvNAMELEN(dstr);
4113             if (
4114                 (
4115                    (len > 1 && name[len-2] == ':' && name[len-1] == ':')
4116                 || (len == 1 && name[0] == ':')
4117                 )
4118              && (!dref || HvENAME_get(dref))
4119             ) {
4120                 mro_package_moved(
4121                     (HV *)sref, (HV *)dref,
4122                     (GV *)dstr, 0
4123                 );
4124             }
4125         }
4126         else if (
4127             stype == SVt_PVAV && sref != dref
4128          && strEQ(GvNAME((GV*)dstr), "ISA")
4129          /* The stash may have been detached from the symbol table, so
4130             check its name before doing anything. */
4131          && GvSTASH(dstr) && HvENAME(GvSTASH(dstr))
4132         ) {
4133             MAGIC *mg;
4134             MAGIC * const omg = dref && SvSMAGICAL(dref)
4135                                  ? mg_find(dref, PERL_MAGIC_isa)
4136                                  : NULL;
4137             if (SvSMAGICAL(sref) && (mg = mg_find(sref, PERL_MAGIC_isa))) {
4138                 if (SvTYPE(mg->mg_obj) != SVt_PVAV) {
4139                     AV * const ary = newAV();
4140                     av_push(ary, mg->mg_obj); /* takes the refcount */
4141                     mg->mg_obj = (SV *)ary;
4142                 }
4143                 if (omg) {
4144                     if (SvTYPE(omg->mg_obj) == SVt_PVAV) {
4145                         SV **svp = AvARRAY((AV *)omg->mg_obj);
4146                         I32 items = AvFILLp((AV *)omg->mg_obj) + 1;
4147                         while (items--)
4148                             av_push(
4149                              (AV *)mg->mg_obj,
4150                              SvREFCNT_inc_simple_NN(*svp++)
4151                             );
4152                     }
4153                     else
4154                         av_push(
4155                          (AV *)mg->mg_obj,
4156                          SvREFCNT_inc_simple_NN(omg->mg_obj)
4157                         );
4158                 }
4159                 else
4160                     av_push((AV *)mg->mg_obj,SvREFCNT_inc_simple_NN(dstr));
4161             }
4162             else
4163             {
4164                 sv_magic(
4165                  sref, omg ? omg->mg_obj : dstr, PERL_MAGIC_isa, NULL, 0
4166                 );
4167                 mg = mg_find(sref, PERL_MAGIC_isa);
4168             }
4169             /* Since the *ISA assignment could have affected more than
4170                one stash, don't call mro_isa_changed_in directly, but let
4171                magic_clearisa do it for us, as it already has the logic for
4172                dealing with globs vs arrays of globs. */
4173             assert(mg);
4174             Perl_magic_clearisa(aTHX_ NULL, mg);
4175         }
4176         else if (stype == SVt_PVIO) {
4177             DEBUG_o(Perl_deb(aTHX_ "glob_assign_ref clearing PL_stashcache\n"));
4178             /* It's a cache. It will rebuild itself quite happily.
4179                It's a lot of effort to work out exactly which key (or keys)
4180                might be invalidated by the creation of the this file handle.
4181             */
4182             hv_clear(PL_stashcache);
4183         }
4184         break;
4185     }
4186     if (!intro) SvREFCNT_dec(dref);
4187     if (SvTAINTED(sstr))
4188         SvTAINT(dstr);
4189     return;
4190 }
4191
4192
4193
4194
4195 #ifdef PERL_DEBUG_READONLY_COW
4196 # include <sys/mman.h>
4197
4198 # ifndef PERL_MEMORY_DEBUG_HEADER_SIZE
4199 #  define PERL_MEMORY_DEBUG_HEADER_SIZE 0
4200 # endif
4201
4202 void
4203 Perl_sv_buf_to_ro(pTHX_ SV *sv)
4204 {
4205     struct perl_memory_debug_header * const header =
4206         (struct perl_memory_debug_header *)(SvPVX(sv)-PERL_MEMORY_DEBUG_HEADER_SIZE);
4207     const MEM_SIZE len = header->size;
4208     PERL_ARGS_ASSERT_SV_BUF_TO_RO;
4209 # ifdef PERL_TRACK_MEMPOOL
4210     if (!header->readonly) header->readonly = 1;
4211 # endif
4212     if (mprotect(header, len, PROT_READ))
4213         Perl_warn(aTHX_ "mprotect RW for COW string %p %lu failed with %d",
4214                          header, len, errno);
4215 }
4216
4217 static void
4218 S_sv_buf_to_rw(pTHX_ SV *sv)
4219 {
4220     struct perl_memory_debug_header * const header =
4221         (struct perl_memory_debug_header *)(SvPVX(sv)-PERL_MEMORY_DEBUG_HEADER_SIZE);
4222     const MEM_SIZE len = header->size;
4223     PERL_ARGS_ASSERT_SV_BUF_TO_RW;
4224     if (mprotect(header, len, PROT_READ|PROT_WRITE))
4225         Perl_warn(aTHX_ "mprotect for COW string %p %lu failed with %d",
4226                          header, len, errno);
4227 # ifdef PERL_TRACK_MEMPOOL
4228     header->readonly = 0;
4229 # endif
4230 }
4231
4232 #else
4233 # define sv_buf_to_ro(sv)       NOOP
4234 # define sv_buf_to_rw(sv)       NOOP
4235 #endif
4236
4237 void
4238 Perl_sv_setsv_flags(pTHX_ SV *dstr, SV* sstr, const I32 flags)
4239 {
4240     U32 sflags;
4241     int dtype;
4242     svtype stype;
4243
4244     PERL_ARGS_ASSERT_SV_SETSV_FLAGS;
4245
4246     if (sstr == dstr)
4247         return;
4248
4249     if (SvIS_FREED(dstr)) {
4250         Perl_croak(aTHX_ "panic: attempt to copy value %" SVf
4251                    " to a freed scalar %p", SVfARG(sstr), (void *)dstr);
4252     }
4253     SV_CHECK_THINKFIRST_COW_DROP(dstr);
4254     if (!sstr)
4255         sstr = &PL_sv_undef;
4256     if (SvIS_FREED(sstr)) {
4257         Perl_croak(aTHX_ "panic: attempt to copy freed scalar %p to %p",
4258                    (void*)sstr, (void*)dstr);
4259     }
4260     stype = SvTYPE(sstr);
4261     dtype = SvTYPE(dstr);
4262
4263     /* There's a lot of redundancy below but we're going for speed here */
4264
4265     switch (stype) {
4266     case SVt_NULL:
4267       undef_sstr:
4268         if (dtype != SVt_PVGV && dtype != SVt_PVLV) {
4269             (void)SvOK_off(dstr);
4270             return;
4271         }
4272         break;
4273     case SVt_IV:
4274         if (SvIOK(sstr)) {
4275             switch (dtype) {
4276             case SVt_NULL:
4277                 sv_upgrade(dstr, SVt_IV);
4278                 break;
4279             case SVt_NV:
4280             case SVt_PV:
4281                 sv_upgrade(dstr, SVt_PVIV);
4282                 break;
4283             case SVt_PVGV:
4284             case SVt_PVLV:
4285                 goto end_of_first_switch;
4286             }
4287             (void)SvIOK_only(dstr);
4288             SvIV_set(dstr,  SvIVX(sstr));
4289             if (SvIsUV(sstr))
4290                 SvIsUV_on(dstr);
4291             /* SvTAINTED can only be true if the SV has taint magic, which in
4292                turn means that the SV type is PVMG (or greater). This is the
4293                case statement for SVt_IV, so this cannot be true (whatever gcov
4294                may say).  */
4295             assert(!SvTAINTED(sstr));
4296             return;
4297         }
4298         if (!SvROK(sstr))
4299             goto undef_sstr;
4300         if (dtype < SVt_PV && dtype != SVt_IV)
4301             sv_upgrade(dstr, SVt_IV);
4302         break;
4303
4304     case SVt_NV:
4305         if (SvNOK(sstr)) {
4306             switch (dtype) {
4307             case SVt_NULL:
4308             case SVt_IV:
4309                 sv_upgrade(dstr, SVt_NV);
4310                 break;
4311             case SVt_PV:
4312             case SVt_PVIV:
4313                 sv_upgrade(dstr, SVt_PVNV);
4314                 break;
4315             case SVt_PVGV:
4316             case SVt_PVLV:
4317                 goto end_of_first_switch;
4318             }
4319             SvNV_set(dstr, SvNVX(sstr));
4320             (void)SvNOK_only(dstr);
4321             /* SvTAINTED can only be true if the SV has taint magic, which in
4322                turn means that the SV type is PVMG (or greater). This is the
4323                case statement for SVt_NV, so this cannot be true (whatever gcov
4324                may say).  */
4325             assert(!SvTAINTED(sstr));
4326             return;
4327         }
4328         goto undef_sstr;
4329
4330     case SVt_PV:
4331         if (dtype < SVt_PV)
4332             sv_upgrade(dstr, SVt_PV);
4333         break;
4334     case SVt_PVIV:
4335         if (dtype < SVt_PVIV)
4336             sv_upgrade(dstr, SVt_PVIV);
4337         break;
4338     case SVt_PVNV:
4339         if (dtype < SVt_PVNV)
4340             sv_upgrade(dstr, SVt_PVNV);
4341         break;
4342     default:
4343         {
4344         const char * const type = sv_reftype(sstr,0);
4345         if (PL_op)
4346             /* diag_listed_as: Bizarre copy of %s */
4347             Perl_croak(aTHX_ "Bizarre copy of %s in %s", type, OP_DESC(PL_op));
4348         else
4349             Perl_croak(aTHX_ "Bizarre copy of %s", type);
4350         }
4351         NOT_REACHED; /* NOTREACHED */
4352
4353     case SVt_REGEXP:
4354       upgregexp:
4355         if (dtype < SVt_REGEXP)
4356         {
4357             if (dtype >= SVt_PV) {
4358                 SvPV_free(dstr);
4359                 SvPV_set(dstr, 0);
4360                 SvLEN_set(dstr, 0);
4361                 SvCUR_set(dstr, 0);
4362             }
4363             sv_upgrade(dstr, SVt_REGEXP);
4364         }
4365         break;
4366
4367         case SVt_INVLIST:
4368     case SVt_PVLV:
4369     case SVt_PVGV:
4370     case SVt_PVMG:
4371         if (SvGMAGICAL(sstr) && (flags & SV_GMAGIC)) {
4372             mg_get(sstr);
4373             if (SvTYPE(sstr) != stype)
4374                 stype = SvTYPE(sstr);
4375         }
4376         if (isGV_with_GP(sstr) && dtype <= SVt_PVLV) {
4377                     glob_assign_glob(dstr, sstr, dtype);
4378                     return;
4379         }
4380         if (stype == SVt_PVLV)
4381         {
4382             if (isREGEXP(sstr)) goto upgregexp;
4383             SvUPGRADE(dstr, SVt_PVNV);
4384         }
4385         else
4386             SvUPGRADE(dstr, (svtype)stype);
4387     }
4388  end_of_first_switch:
4389
4390     /* dstr may have been upgraded.  */
4391     dtype = SvTYPE(dstr);
4392     sflags = SvFLAGS(sstr);
4393
4394     if (dtype == SVt_PVCV) {
4395         /* Assigning to a subroutine sets the prototype.  */
4396         if (SvOK(sstr)) {
4397             STRLEN len;
4398             const char *const ptr = SvPV_const(sstr, len);
4399
4400             SvGROW(dstr, len + 1);
4401             Copy(ptr, SvPVX(dstr), len + 1, char);
4402             SvCUR_set(dstr, len);
4403             SvPOK_only(dstr);
4404             SvFLAGS(dstr) |= sflags & SVf_UTF8;
4405             CvAUTOLOAD_off(dstr);
4406         } else {
4407             SvOK_off(dstr);
4408         }
4409     }
4410     else if (dtype == SVt_PVAV || dtype == SVt_PVHV || dtype == SVt_PVFM) {
4411         const char * const type = sv_reftype(dstr,0);
4412         if (PL_op)
4413             /* diag_listed_as: Cannot copy to %s */
4414             Perl_croak(aTHX_ "Cannot copy to %s in %s", type, OP_DESC(PL_op));
4415         else
4416             Perl_croak(aTHX_ "Cannot copy to %s", type);
4417     } else if (sflags & SVf_ROK) {
4418         if (isGV_with_GP(dstr)
4419             && SvTYPE(SvRV(sstr)) == SVt_PVGV && isGV_with_GP(SvRV(sstr))) {
4420             sstr = SvRV(sstr);
4421             if (sstr == dstr) {
4422                 if (GvIMPORTED(dstr) != GVf_IMPORTED
4423                     && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
4424                 {
4425                     GvIMPORTED_on(dstr);
4426                 }
4427                 GvMULTI_on(dstr);
4428                 return;
4429             }
4430             glob_assign_glob(dstr, sstr, dtype);
4431             return;
4432         }
4433
4434         if (dtype >= SVt_PV) {
4435             if (isGV_with_GP(dstr)) {
4436                 glob_assign_ref(dstr, sstr);
4437                 return;
4438             }
4439             if (SvPVX_const(dstr)) {
4440                 SvPV_free(dstr);
4441                 SvLEN_set(dstr, 0);
4442                 SvCUR_set(dstr, 0);
4443             }
4444         }
4445         (void)SvOK_off(dstr);
4446         SvRV_set(dstr, SvREFCNT_inc(SvRV(sstr)));
4447         SvFLAGS(dstr) |= sflags & SVf_ROK;
4448         assert(!(sflags & SVp_NOK));
4449         assert(!(sflags & SVp_IOK));
4450         assert(!(sflags & SVf_NOK));
4451         assert(!(sflags & SVf_IOK));
4452     }
4453     else if (isGV_with_GP(dstr)) {
4454         if (!(sflags & SVf_OK)) {
4455             Perl_ck_warner(aTHX_ packWARN(WARN_MISC),
4456                            "Undefined value assigned to typeglob");
4457         }
4458         else {
4459             GV *gv = gv_fetchsv_nomg(sstr, GV_ADD, SVt_PVGV);
4460             if (dstr != (const SV *)gv) {
4461                 const char * const name = GvNAME((const GV *)dstr);
4462                 const STRLEN len = GvNAMELEN(dstr);
4463                 HV *old_stash = NULL;
4464                 bool reset_isa = FALSE;
4465                 if ((len > 1 && name[len-2] == ':' && name[len-1] == ':')
4466                  || (len == 1 && name[0] == ':')) {
4467                     /* Set aside the old stash, so we can reset isa caches
4468                        on its subclasses. */
4469                     if((old_stash = GvHV(dstr))) {
4470                         /* Make sure we do not lose it early. */
4471                         SvREFCNT_inc_simple_void_NN(
4472                          sv_2mortal((SV *)old_stash)
4473                         );
4474                     }
4475                     reset_isa = TRUE;
4476                 }
4477
4478                 if (GvGP(dstr)) {
4479                     SvREFCNT_inc_simple_void_NN(sv_2mortal(dstr));
4480                     gp_free(MUTABLE_GV(dstr));
4481                 }
4482                 GvGP_set(dstr, gp_ref(GvGP(gv)));
4483
4484                 if (reset_isa) {
4485                     HV * const stash = GvHV(dstr);
4486                     if(
4487                         old_stash ? (HV *)HvENAME_get(old_stash) : stash
4488                     )
4489                         mro_package_moved(
4490                          stash, old_stash,
4491                          (GV *)dstr, 0
4492                         );
4493                 }
4494             }
4495         }
4496     }
4497     else if ((dtype == SVt_REGEXP || dtype == SVt_PVLV)
4498           && (stype == SVt_REGEXP || isREGEXP(sstr))) {
4499         reg_temp_copy((REGEXP*)dstr, (REGEXP*)sstr);
4500     }
4501     else if (sflags & SVp_POK) {
4502         const STRLEN cur = SvCUR(sstr);
4503         const STRLEN len = SvLEN(sstr);
4504
4505         /*
4506          * We have three basic ways to copy the string:
4507          *
4508          *  1. Swipe
4509          *  2. Copy-on-write
4510          *  3. Actual copy
4511          * 
4512          * Which we choose is based on various factors.  The following
4513          * things are listed in order of speed, fastest to slowest:
4514          *  - Swipe
4515          *  - Copying a short string
4516          *  - Copy-on-write bookkeeping
4517          *  - malloc
4518          *  - Copying a long string
4519          * 
4520          * We swipe the string (steal the string buffer) if the SV on the
4521          * rhs is about to be freed anyway (TEMP and refcnt==1).  This is a
4522          * big win on long strings.  It should be a win on short strings if
4523          * SvPVX_const(dstr) has to be allocated.  If not, it should not 
4524          * slow things down, as SvPVX_const(sstr) would have been freed
4525          * soon anyway.
4526          * 
4527          * We also steal the buffer from a PADTMP (operator target) if it
4528          * is â€˜long enough’.  For short strings, a swipe does not help
4529          * here, as it causes more malloc calls the next time the target
4530          * is used.  Benchmarks show that even if SvPVX_const(dstr) has to
4531          * be allocated it is still not worth swiping PADTMPs for short
4532          * strings, as the savings here are small.
4533          * 
4534          * If swiping is not an option, then we see whether it is
4535          * worth using copy-on-write.  If the lhs already has a buf-
4536          * fer big enough and the string is short, we skip it and fall back
4537          * to method 3, since memcpy is faster for short strings than the
4538          * later bookkeeping overhead that copy-on-write entails.
4539
4540          * If the rhs is not a copy-on-write string yet, then we also
4541          * consider whether the buffer is too large relative to the string
4542          * it holds.  Some operations such as readline allocate a large
4543          * buffer in the expectation of reusing it.  But turning such into
4544          * a COW buffer is counter-productive because it increases memory
4545          * usage by making readline allocate a new large buffer the sec-
4546          * ond time round.  So, if the buffer is too large, again, we use
4547          * method 3 (copy).
4548          * 
4549          * Finally, if there is no buffer on the left, or the buffer is too 
4550          * small, then we use copy-on-write and make both SVs share the
4551          * string buffer.
4552          *
4553          */
4554
4555         /* Whichever path we take through the next code, we want this true,
4556            and doing it now facilitates the COW check.  */
4557         (void)SvPOK_only(dstr);
4558
4559         if (
4560                  (              /* Either ... */
4561                                 /* slated for free anyway (and not COW)? */
4562                     (sflags & (SVs_TEMP|SVf_IsCOW)) == SVs_TEMP
4563                                 /* or a swipable TARG */
4564                  || ((sflags &
4565                            (SVs_PADTMP|SVf_READONLY|SVf_PROTECT|SVf_IsCOW))
4566                        == SVs_PADTMP
4567                                 /* whose buffer is worth stealing */
4568                      && CHECK_COWBUF_THRESHOLD(cur,len)
4569                     )
4570                  ) &&
4571                  !(sflags & SVf_OOK) &&   /* and not involved in OOK hack? */
4572                  (!(flags & SV_NOSTEAL)) &&
4573                                         /* and we're allowed to steal temps */
4574                  SvREFCNT(sstr) == 1 &&   /* and no other references to it? */
4575                  len)             /* and really is a string */
4576         {       /* Passes the swipe test.  */
4577             if (SvPVX_const(dstr))      /* we know that dtype >= SVt_PV */
4578                 SvPV_free(dstr);
4579             SvPV_set(dstr, SvPVX_mutable(sstr));
4580             SvLEN_set(dstr, SvLEN(sstr));
4581             SvCUR_set(dstr, SvCUR(sstr));
4582
4583             SvTEMP_off(dstr);
4584             (void)SvOK_off(sstr);       /* NOTE: nukes most SvFLAGS on sstr */
4585             SvPV_set(sstr, NULL);
4586             SvLEN_set(sstr, 0);
4587             SvCUR_set(sstr, 0);
4588             SvTEMP_off(sstr);
4589         }
4590         else if (flags & SV_COW_SHARED_HASH_KEYS
4591               &&
4592 #ifdef PERL_OLD_COPY_ON_WRITE
4593                  (  sflags & SVf_IsCOW
4594                  || (   (sflags & CAN_COW_MASK) == CAN_COW_FLAGS
4595                      && (SvFLAGS(dstr) & CAN_COW_MASK) == CAN_COW_FLAGS
4596                      && SvTYPE(sstr) >= SVt_PVIV && len
4597                     )
4598                  )
4599 #elif defined(PERL_NEW_COPY_ON_WRITE)
4600                  (sflags & SVf_IsCOW
4601                    ? (!len ||
4602                        (  (CHECK_COWBUF_THRESHOLD(cur,len) || SvLEN(dstr) < cur+1)
4603                           /* If this is a regular (non-hek) COW, only so
4604                              many COW "copies" are possible. */
4605                        && CowREFCNT(sstr) != SV_COW_REFCNT_MAX  ))
4606                    : (  (sflags & CAN_COW_MASK) == CAN_COW_FLAGS
4607                      && !(SvFLAGS(dstr) & SVf_BREAK)
4608                      && CHECK_COW_THRESHOLD(cur,len) && cur+1 < len
4609                      && (CHECK_COWBUF_THRESHOLD(cur,len) || SvLEN(dstr) < cur+1)
4610                     ))
4611 #else
4612                  sflags & SVf_IsCOW
4613               && !(SvFLAGS(dstr) & SVf_BREAK)
4614 #endif
4615             ) {
4616             /* Either it's a shared hash key, or it's suitable for
4617                copy-on-write.  */
4618             if (DEBUG_C_TEST) {
4619                 PerlIO_printf(Perl_debug_log, "Copy on write: sstr --> dstr\n");
4620                 sv_dump(sstr);
4621                 sv_dump(dstr);
4622             }
4623 #ifdef PERL_ANY_COW
4624             if (!(sflags & SVf_IsCOW)) {
4625                     SvIsCOW_on(sstr);
4626 # ifdef PERL_OLD_COPY_ON_WRITE
4627                     /* Make the source SV into a loop of 1.
4628                        (about to become 2) */
4629                     SV_COW_NEXT_SV_SET(sstr, sstr);
4630 # else
4631                     CowREFCNT(sstr) = 0;
4632 # endif
4633             }
4634 #endif
4635             if (SvPVX_const(dstr)) {    /* we know that dtype >= SVt_PV */
4636                 SvPV_free(dstr);
4637             }
4638
4639 #ifdef PERL_ANY_COW
4640             if (len) {
4641 # ifdef PERL_OLD_COPY_ON_WRITE
4642                     assert (SvTYPE(dstr) >= SVt_PVIV);
4643                     /* SvIsCOW_normal */
4644                     /* splice us in between source and next-after-source.  */
4645                     SV_COW_NEXT_SV_SET(dstr, SV_COW_NEXT_SV(sstr));
4646                     SV_COW_NEXT_SV_SET(sstr, dstr);
4647 # else
4648                     if (sflags & SVf_IsCOW) {
4649                         sv_buf_to_rw(sstr);
4650                     }
4651                     CowREFCNT(sstr)++;
4652 # endif
4653                     SvPV_set(dstr, SvPVX_mutable(sstr));
4654                     sv_buf_to_ro(sstr);
4655             } else
4656 #endif
4657             {
4658                     /* SvIsCOW_shared_hash */
4659                     DEBUG_C(PerlIO_printf(Perl_debug_log,
4660                                           "Copy on write: Sharing hash\n"));
4661
4662                     assert (SvTYPE(dstr) >= SVt_PV);
4663                     SvPV_set(dstr,
4664                              HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)))));
4665             }
4666             SvLEN_set(dstr, len);
4667             SvCUR_set(dstr, cur);
4668             SvIsCOW_on(dstr);
4669         } else {
4670             /* Failed the swipe test, and we cannot do copy-on-write either.
4671                Have to copy the string.  */
4672             SvGROW(dstr, cur + 1);      /* inlined from sv_setpvn */
4673             Move(SvPVX_const(sstr),SvPVX(dstr),cur,char);
4674             SvCUR_set(dstr, cur);
4675             *SvEND(dstr) = '\0';
4676         }
4677         if (sflags & SVp_NOK) {
4678             SvNV_set(dstr, SvNVX(sstr));
4679         }
4680         if (sflags & SVp_IOK) {
4681             SvIV_set(dstr, SvIVX(sstr));
4682             /* Must do this otherwise some other overloaded use of 0x80000000
4683                gets confused. I guess SVpbm_VALID */
4684             if (sflags & SVf_IVisUV)
4685                 SvIsUV_on(dstr);
4686         }
4687         SvFLAGS(dstr) |= sflags & (SVf_IOK|SVp_IOK|SVf_NOK|SVp_NOK|SVf_UTF8);
4688         {
4689             const MAGIC * const smg = SvVSTRING_mg(sstr);
4690             if (smg) {
4691                 sv_magic(dstr, NULL, PERL_MAGIC_vstring,
4692                          smg->mg_ptr, smg->mg_len);
4693                 SvRMAGICAL_on(dstr);
4694             }
4695         }
4696     }
4697     else if (sflags & (SVp_IOK|SVp_NOK)) {
4698         (void)SvOK_off(dstr);
4699         SvFLAGS(dstr) |= sflags & (SVf_IOK|SVp_IOK|SVf_IVisUV|SVf_NOK|SVp_NOK);
4700         if (sflags & SVp_IOK) {
4701             /* XXXX Do we want to set IsUV for IV(ROK)?  Be extra safe... */
4702             SvIV_set(dstr, SvIVX(sstr));
4703         }
4704         if (sflags & SVp_NOK) {
4705             SvNV_set(dstr, SvNVX(sstr));
4706         }
4707     }
4708     else {
4709         if (isGV_with_GP(sstr)) {
4710             gv_efullname3(dstr, MUTABLE_GV(sstr), "*");
4711         }
4712         else
4713             (void)SvOK_off(dstr);
4714     }
4715     if (SvTAINTED(sstr))
4716         SvTAINT(dstr);
4717 }
4718
4719 /*
4720 =for apidoc sv_setsv_mg
4721
4722 Like C<sv_setsv>, but also handles 'set' magic.
4723
4724 =cut
4725 */
4726
4727 void
4728 Perl_sv_setsv_mg(pTHX_ SV *const dstr, SV *const sstr)
4729 {
4730     PERL_ARGS_ASSERT_SV_SETSV_MG;
4731
4732     sv_setsv(dstr,sstr);
4733     SvSETMAGIC(dstr);
4734 }
4735
4736 #ifdef PERL_ANY_COW
4737 # ifdef PERL_OLD_COPY_ON_WRITE
4738 #  define SVt_COW SVt_PVIV
4739 # else
4740 #  define SVt_COW SVt_PV
4741 # endif
4742 SV *
4743 Perl_sv_setsv_cow(pTHX_ SV *dstr, SV *sstr)
4744 {
4745     STRLEN cur = SvCUR(sstr);
4746     STRLEN len = SvLEN(sstr);
4747     char *new_pv;
4748 #if defined(PERL_DEBUG_READONLY_COW) && defined(PERL_NEW_COPY_ON_WRITE)
4749     const bool already = cBOOL(SvIsCOW(sstr));
4750 #endif
4751
4752     PERL_ARGS_ASSERT_SV_SETSV_COW;
4753
4754     if (DEBUG_C_TEST) {
4755         PerlIO_printf(Perl_debug_log, "Fast copy on write: %p -> %p\n",
4756                       (void*)sstr, (void*)dstr);
4757         sv_dump(sstr);
4758         if (dstr)
4759                     sv_dump(dstr);
4760     }
4761
4762     if (dstr) {
4763         if (SvTHINKFIRST(dstr))
4764             sv_force_normal_flags(dstr, SV_COW_DROP_PV);
4765         else if (SvPVX_const(dstr))
4766             Safefree(SvPVX_mutable(dstr));
4767     }
4768     else
4769         new_SV(dstr);
4770     SvUPGRADE(dstr, SVt_COW);
4771
4772     assert (SvPOK(sstr));
4773     assert (SvPOKp(sstr));
4774 # ifdef PERL_OLD_COPY_ON_WRITE
4775     assert (!SvIOK(sstr));
4776     assert (!SvIOKp(sstr));
4777     assert (!SvNOK(sstr));
4778     assert (!SvNOKp(sstr));
4779 # endif
4780
4781     if (SvIsCOW(sstr)) {
4782
4783         if (SvLEN(sstr) == 0) {
4784             /* source is a COW shared hash key.  */
4785             DEBUG_C(PerlIO_printf(Perl_debug_log,
4786                                   "Fast copy on write: Sharing hash\n"));
4787             new_pv = HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr))));
4788             goto common_exit;
4789         }
4790 # ifdef PERL_OLD_COPY_ON_WRITE
4791         SV_COW_NEXT_SV_SET(dstr, SV_COW_NEXT_SV(sstr));
4792 # else
4793         assert(SvCUR(sstr)+1 < SvLEN(sstr));
4794         assert(CowREFCNT(sstr) < SV_COW_REFCNT_MAX);
4795 # endif
4796     } else {
4797         assert ((SvFLAGS(sstr) & CAN_COW_MASK) == CAN_COW_FLAGS);
4798         SvUPGRADE(sstr, SVt_COW);
4799         SvIsCOW_on(sstr);
4800         DEBUG_C(PerlIO_printf(Perl_debug_log,
4801                               "Fast copy on write: Converting sstr to COW\n"));
4802 # ifdef PERL_OLD_COPY_ON_WRITE
4803         SV_COW_NEXT_SV_SET(dstr, sstr);
4804 # else
4805         CowREFCNT(sstr) = 0;    
4806 # endif
4807     }
4808 # ifdef PERL_OLD_COPY_ON_WRITE
4809     SV_COW_NEXT_SV_SET(sstr, dstr);
4810 # else
4811 #  ifdef PERL_DEBUG_READONLY_COW
4812     if (already) sv_buf_to_rw(sstr);
4813 #  endif
4814     CowREFCNT(sstr)++;  
4815 # endif
4816     new_pv = SvPVX_mutable(sstr);
4817     sv_buf_to_ro(sstr);
4818
4819   common_exit:
4820     SvPV_set(dstr, new_pv);
4821     SvFLAGS(dstr) = (SVt_COW|SVf_POK|SVp_POK|SVf_IsCOW);
4822     if (SvUTF8(sstr))
4823         SvUTF8_on(dstr);
4824     SvLEN_set(dstr, len);
4825     SvCUR_set(dstr, cur);
4826     if (DEBUG_C_TEST) {
4827         sv_dump(dstr);
4828     }
4829     return dstr;
4830 }
4831 #endif
4832
4833 /*
4834 =for apidoc sv_setpvn
4835
4836 Copies a string (possibly containing embedded C<NUL> characters) into an SV.
4837 The C<len> parameter indicates the number of
4838 bytes to be copied.  If the C<ptr> argument is NULL the SV will become
4839 undefined.  Does not handle 'set' magic.  See C<sv_setpvn_mg>.
4840
4841 =cut
4842 */
4843
4844 void
4845 Perl_sv_setpvn(pTHX_ SV *const sv, const char *const ptr, const STRLEN len)
4846 {
4847     char *dptr;
4848
4849     PERL_ARGS_ASSERT_SV_SETPVN;
4850
4851     SV_CHECK_THINKFIRST_COW_DROP(sv);
4852     if (!ptr) {
4853         (void)SvOK_off(sv);
4854         return;
4855     }
4856     else {
4857         /* len is STRLEN which is unsigned, need to copy to signed */
4858         const IV iv = len;
4859         if (iv < 0)
4860             Perl_croak(aTHX_ "panic: sv_setpvn called with negative strlen %"
4861                        IVdf, iv);
4862     }
4863     SvUPGRADE(sv, SVt_PV);
4864
4865     dptr = SvGROW(sv, len + 1);
4866     Move(ptr,dptr,len,char);
4867     dptr[len] = '\0';
4868     SvCUR_set(sv, len);
4869     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4870     SvTAINT(sv);
4871     if (SvTYPE(sv) == SVt_PVCV) CvAUTOLOAD_off(sv);
4872 }
4873
4874 /*
4875 =for apidoc sv_setpvn_mg
4876
4877 Like C<sv_setpvn>, but also handles 'set' magic.
4878
4879 =cut
4880 */
4881
4882 void
4883 Perl_sv_setpvn_mg(pTHX_ SV *const sv, const char *const ptr, const STRLEN len)
4884 {
4885     PERL_ARGS_ASSERT_SV_SETPVN_MG;
4886
4887     sv_setpvn(sv,ptr,len);
4888     SvSETMAGIC(sv);
4889 }
4890
4891 /*
4892 =for apidoc sv_setpv
4893
4894 Copies a string into an SV.  The string must be terminated with a C<NUL>
4895 character.
4896 Does not handle 'set' magic.  See C<sv_setpv_mg>.
4897
4898 =cut
4899 */
4900
4901 void
4902 Perl_sv_setpv(pTHX_ SV *const sv, const char *const ptr)
4903 {
4904     STRLEN len;
4905
4906     PERL_ARGS_ASSERT_SV_SETPV;
4907
4908     SV_CHECK_THINKFIRST_COW_DROP(sv);
4909     if (!ptr) {
4910         (void)SvOK_off(sv);
4911         return;
4912     }
4913     len = strlen(ptr);
4914     SvUPGRADE(sv, SVt_PV);
4915
4916     SvGROW(sv, len + 1);
4917     Move(ptr,SvPVX(sv),len+1,char);
4918     SvCUR_set(sv, len);
4919     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4920     SvTAINT(sv);
4921     if (SvTYPE(sv) == SVt_PVCV) CvAUTOLOAD_off(sv);
4922 }
4923
4924 /*
4925 =for apidoc sv_setpv_mg
4926
4927 Like C<sv_setpv>, but also handles 'set' magic.
4928
4929 =cut
4930 */
4931
4932 void
4933 Perl_sv_setpv_mg(pTHX_ SV *const sv, const char *const ptr)
4934 {
4935     PERL_ARGS_ASSERT_SV_SETPV_MG;
4936
4937     sv_setpv(sv,ptr);
4938     SvSETMAGIC(sv);
4939 }
4940
4941 void
4942 Perl_sv_sethek(pTHX_ SV *const sv, const HEK *const hek)
4943 {
4944     PERL_ARGS_ASSERT_SV_SETHEK;
4945
4946     if (!hek) {
4947         return;
4948     }
4949
4950     if (HEK_LEN(hek) == HEf_SVKEY) {
4951         sv_setsv(sv, *(SV**)HEK_KEY(hek));
4952         return;
4953     } else {
4954         const int flags = HEK_FLAGS(hek);
4955         if (flags & HVhek_WASUTF8) {
4956             STRLEN utf8_len = HEK_LEN(hek);
4957             char *as_utf8 = (char *)bytes_to_utf8((U8*)HEK_KEY(hek), &utf8_len);
4958             sv_usepvn_flags(sv, as_utf8, utf8_len, SV_HAS_TRAILING_NUL);
4959             SvUTF8_on(sv);
4960             return;
4961         } else if (flags & HVhek_UNSHARED) {
4962             sv_setpvn(sv, HEK_KEY(hek), HEK_LEN(hek));
4963             if (HEK_UTF8(hek))
4964                 SvUTF8_on(sv);
4965             else SvUTF8_off(sv);
4966             return;
4967         }
4968         {
4969             SV_CHECK_THINKFIRST_COW_DROP(sv);
4970             SvUPGRADE(sv, SVt_PV);
4971             SvPV_free(sv);
4972             SvPV_set(sv,(char *)HEK_KEY(share_hek_hek(hek)));
4973             SvCUR_set(sv, HEK_LEN(hek));
4974             SvLEN_set(sv, 0);
4975             SvIsCOW_on(sv);
4976             SvPOK_on(sv);
4977             if (HEK_UTF8(hek))
4978                 SvUTF8_on(sv);
4979             else SvUTF8_off(sv);
4980             return;
4981         }
4982     }
4983 }
4984
4985
4986 /*
4987 =for apidoc sv_usepvn_flags
4988
4989 Tells an SV to use C<ptr> to find its string value.  Normally the
4990 string is stored inside the SV, but sv_usepvn allows the SV to use an
4991 outside string.  The C<ptr> should point to memory that was allocated
4992 by L<Newx|perlclib/Memory Management and String Handling>.  It must be
4993 the start of a Newx-ed block of memory, and not a pointer to the
4994 middle of it (beware of L<OOK|perlguts/Offsets> and copy-on-write),
4995 and not be from a non-Newx memory allocator like C<malloc>.  The
4996 string length, C<len>, must be supplied.  By default this function
4997 will C<Renew> (i.e. realloc, move) the memory pointed to by C<ptr>,
4998 so that pointer should not be freed or used by the programmer after
4999 giving it to sv_usepvn, and neither should any pointers from "behind"
5000 that pointer (e.g. ptr + 1) be used.
5001
5002 If C<flags> & SV_SMAGIC is true, will call SvSETMAGIC.  If C<flags> &
5003 SV_HAS_TRAILING_NUL is true, then C<ptr[len]> must be C<NUL>, and the realloc
5004 will be skipped (i.e. the buffer is actually at least 1 byte longer than
5005 C<len>, and already meets the requirements for storing in C<SvPVX>).
5006
5007 =cut
5008 */
5009
5010 void
5011 Perl_sv_usepvn_flags(pTHX_ SV *const sv, char *ptr, const STRLEN len, const U32 flags)
5012 {
5013     STRLEN allocate;
5014
5015     PERL_ARGS_ASSERT_SV_USEPVN_FLAGS;
5016
5017     SV_CHECK_THINKFIRST_COW_DROP(sv);
5018     SvUPGRADE(sv, SVt_PV);
5019     if (!ptr) {
5020         (void)SvOK_off(sv);
5021         if (flags & SV_SMAGIC)
5022             SvSETMAGIC(sv);
5023         return;
5024     }
5025     if (SvPVX_const(sv))
5026         SvPV_free(sv);
5027
5028 #ifdef DEBUGGING
5029     if (flags & SV_HAS_TRAILING_NUL)
5030         assert(ptr[len] == '\0');
5031 #endif
5032
5033     allocate = (flags & SV_HAS_TRAILING_NUL)
5034         ? len + 1 :
5035 #ifdef Perl_safesysmalloc_size
5036         len + 1;
5037 #else 
5038         PERL_STRLEN_ROUNDUP(len + 1);
5039 #endif
5040     if (flags & SV_HAS_TRAILING_NUL) {
5041         /* It's long enough - do nothing.
5042            Specifically Perl_newCONSTSUB is relying on this.  */
5043     } else {
5044 #ifdef DEBUGGING
5045         /* Force a move to shake out bugs in callers.  */
5046         char *new_ptr = (char*)safemalloc(allocate);
5047         Copy(ptr, new_ptr, len, char);
5048         PoisonFree(ptr,len,char);
5049         Safefree(ptr);
5050         ptr = new_ptr;
5051 #else
5052         ptr = (char*) saferealloc (ptr, allocate);
5053 #endif
5054     }
5055 #ifdef Perl_safesysmalloc_size
5056     SvLEN_set(sv, Perl_safesysmalloc_size(ptr));
5057 #else
5058     SvLEN_set(sv, allocate);
5059 #endif
5060     SvCUR_set(sv, len);
5061     SvPV_set(sv, ptr);
5062     if (!(flags & SV_HAS_TRAILING_NUL)) {
5063         ptr[len] = '\0';
5064     }
5065     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
5066     SvTAINT(sv);
5067     if (flags & SV_SMAGIC)
5068         SvSETMAGIC(sv);
5069 }
5070
5071 #ifdef PERL_OLD_COPY_ON_WRITE
5072 /* Need to do this *after* making the SV normal, as we need the buffer
5073    pointer to remain valid until after we've copied it.  If we let go too early,
5074    another thread could invalidate it by unsharing last of the same hash key
5075    (which it can do by means other than releasing copy-on-write Svs)
5076    or by changing the other copy-on-write SVs in the loop.  */
5077 STATIC void
5078 S_sv_release_COW(pTHX_ SV *sv, const char *pvx, SV *after)
5079 {
5080     PERL_ARGS_ASSERT_SV_RELEASE_COW;
5081
5082     { /* this SV was SvIsCOW_normal(sv) */
5083          /* we need to find the SV pointing to us.  */
5084         SV *current = SV_COW_NEXT_SV(after);
5085
5086         if (current == sv) {
5087             /* The SV we point to points back to us (there were only two of us
5088                in the loop.)
5089                Hence other SV is no longer copy on write either.  */
5090             SvIsCOW_off(after);
5091             sv_buf_to_rw(after);
5092         } else {
5093             /* We need to follow the pointers around the loop.  */
5094             SV *next;
5095             while ((next = SV_COW_NEXT_SV(current)) != sv) {
5096                 assert (next);
5097                 current = next;
5098                  /* don't loop forever if the structure is bust, and we have
5099                     a pointer into a closed loop.  */
5100                 assert (current != after);
5101                 assert (SvPVX_const(current) == pvx);
5102             }
5103             /* Make the SV before us point to the SV after us.  */
5104             SV_COW_NEXT_SV_SET(current, after);
5105         }
5106     }
5107 }
5108 #endif
5109 /*
5110 =for apidoc sv_force_normal_flags
5111
5112 Undo various types of fakery on an SV, where fakery means
5113 "more than" a string: if the PV is a shared string, make
5114 a private copy; if we're a ref, stop refing; if we're a glob, downgrade to
5115 an xpvmg; if we're a copy-on-write scalar, this is the on-write time when
5116 we do the copy, and is also used locally; if this is a
5117 vstring, drop the vstring magic.  If C<SV_COW_DROP_PV> is set
5118 then a copy-on-write scalar drops its PV buffer (if any) and becomes
5119 SvPOK_off rather than making a copy.  (Used where this
5120 scalar is about to be set to some other value.)  In addition,
5121 the C<flags> parameter gets passed to C<sv_unref_flags()>
5122 when unreffing.  C<sv_force_normal> calls this function
5123 with flags set to 0.
5124
5125 This function is expected to be used to signal to perl that this SV is
5126 about to be written to, and any extra book-keeping needs to be taken care
5127 of.  Hence, it croaks on read-only values.
5128
5129 =cut
5130 */
5131
5132 static void
5133 S_sv_uncow(pTHX_ SV * const sv, const U32 flags)
5134 {
5135     assert(SvIsCOW(sv));
5136     {
5137 #ifdef PERL_ANY_COW
5138         const char * const pvx = SvPVX_const(sv);
5139         const STRLEN len = SvLEN(sv);
5140         const STRLEN cur = SvCUR(sv);
5141 # ifdef PERL_OLD_COPY_ON_WRITE
5142         /* next COW sv in the loop.  If len is 0 then this is a shared-hash
5143            key scalar, so we mustn't attempt to call SV_COW_NEXT_SV(), as
5144            we'll fail an assertion.  */
5145         SV * const next = len ? SV_COW_NEXT_SV(sv) : 0;
5146 # endif
5147
5148         if (DEBUG_C_TEST) {
5149                 PerlIO_printf(Perl_debug_log,
5150                               "Copy on write: Force normal %ld\n",
5151                               (long) flags);
5152                 sv_dump(sv);
5153         }
5154         SvIsCOW_off(sv);
5155 # ifdef PERL_NEW_COPY_ON_WRITE
5156         if (len && CowREFCNT(sv) == 0)
5157             /* We own the buffer ourselves. */
5158             sv_buf_to_rw(sv);
5159         else
5160 # endif
5161         {
5162                 
5163             /* This SV doesn't own the buffer, so need to Newx() a new one:  */
5164 # ifdef PERL_NEW_COPY_ON_WRITE
5165             /* Must do this first, since the macro uses SvPVX. */
5166             if (len) {
5167                 sv_buf_to_rw(sv);
5168                 CowREFCNT(sv)--;
5169                 sv_buf_to_ro(sv);
5170             }
5171 # endif
5172             SvPV_set(sv, NULL);
5173             SvCUR_set(sv, 0);
5174             SvLEN_set(sv, 0);
5175             if (flags & SV_COW_DROP_PV) {
5176                 /* OK, so we don't need to copy our buffer.  */
5177                 SvPOK_off(sv);
5178             } else {
5179                 SvGROW(sv, cur + 1);
5180                 Move(pvx,SvPVX(sv),cur,char);
5181                 SvCUR_set(sv, cur);
5182                 *SvEND(sv) = '\0';
5183             }
5184             if (len) {
5185 # ifdef PERL_OLD_COPY_ON_WRITE
5186                 sv_release_COW(sv, pvx, next);
5187 # endif
5188             } else {
5189                 unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
5190             }
5191             if (DEBUG_C_TEST) {
5192                 sv_dump(sv);
5193             }
5194         }
5195 #else
5196             const char * const pvx = SvPVX_const(sv);
5197             const STRLEN len = SvCUR(sv);
5198             SvIsCOW_off(sv);
5199             SvPV_set(sv, NULL);
5200             SvLEN_set(sv, 0);
5201             if (flags & SV_COW_DROP_PV) {
5202                 /* OK, so we don't need to copy our buffer.  */
5203                 SvPOK_off(sv);
5204             } else {
5205                 SvGROW(sv, len + 1);
5206                 Move(pvx,SvPVX(sv),len,char);
5207                 *SvEND(sv) = '\0';
5208             }
5209             unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
5210 #endif
5211     }
5212 }
5213
5214 void
5215 Perl_sv_force_normal_flags(pTHX_ SV *const sv, const U32 flags)
5216 {
5217     PERL_ARGS_ASSERT_SV_FORCE_NORMAL_FLAGS;
5218
5219     if (SvREADONLY(sv))
5220         Perl_croak_no_modify();
5221     else if (SvIsCOW(sv) && LIKELY(SvTYPE(sv) != SVt_PVHV))
5222         S_sv_uncow(aTHX_ sv, flags);
5223     if (SvROK(sv))
5224         sv_unref_flags(sv, flags);
5225     else if (SvFAKE(sv) && isGV_with_GP(sv))
5226         sv_unglob(sv, flags);
5227     else if (SvFAKE(sv) && isREGEXP(sv)) {
5228         /* Need to downgrade the REGEXP to a simple(r) scalar. This is analogous
5229            to sv_unglob. We only need it here, so inline it.  */
5230         const bool islv = SvTYPE(sv) == SVt_PVLV;
5231         const svtype new_type =
5232           islv ? SVt_NULL : SvMAGIC(sv) || SvSTASH(sv) ? SVt_PVMG : SVt_PV;
5233         SV *const temp = newSV_type(new_type);
5234         regexp *const temp_p = ReANY((REGEXP *)sv);
5235
5236         if (new_type == SVt_PVMG) {
5237             SvMAGIC_set(temp, SvMAGIC(sv));
5238             SvMAGIC_set(sv, NULL);
5239             SvSTASH_set(temp, SvSTASH(sv));
5240             SvSTASH_set(sv, NULL);
5241         }
5242         if (!islv) SvCUR_set(temp, SvCUR(sv));
5243         /* Remember that SvPVX is in the head, not the body.  But
5244            RX_WRAPPED is in the body. */
5245         assert(ReANY((REGEXP *)sv)->mother_re);
5246         /* Their buffer is already owned by someone else. */
5247         if (flags & SV_COW_DROP_PV) {
5248             /* SvLEN is already 0.  For SVt_REGEXP, we have a brand new
5249                zeroed body.  For SVt_PVLV, it should have been set to 0
5250                before turning into a regexp. */
5251             assert(!SvLEN(islv ? sv : temp));
5252             sv->sv_u.svu_pv = 0;
5253         }
5254         else {
5255             sv->sv_u.svu_pv = savepvn(RX_WRAPPED((REGEXP *)sv), SvCUR(sv));
5256             SvLEN_set(islv ? sv : temp, SvCUR(sv)+1);
5257             SvPOK_on(sv);
5258         }
5259
5260         /* Now swap the rest of the bodies. */
5261
5262         SvFAKE_off(sv);
5263         if (!islv) {
5264             SvFLAGS(sv) &= ~SVTYPEMASK;
5265             SvFLAGS(sv) |= new_type;
5266             SvANY(sv) = SvANY(temp);
5267         }
5268
5269         SvFLAGS(temp) &= ~(SVTYPEMASK);
5270         SvFLAGS(temp) |= SVt_REGEXP|SVf_FAKE;
5271         SvANY(temp) = temp_p;
5272         temp->sv_u.svu_rx = (regexp *)temp_p;
5273
5274         SvREFCNT_dec_NN(temp);
5275     }
5276     else if (SvVOK(sv)) sv_unmagic(sv, PERL_MAGIC_vstring);
5277 }
5278
5279 /*
5280 =for apidoc sv_chop
5281
5282 Efficient removal of characters from the beginning of the string buffer.
5283 SvPOK(sv), or at least SvPOKp(sv), must be true and the C<ptr> must be a
5284 pointer to somewhere inside the string buffer.  The C<ptr> becomes the first
5285 character of the adjusted string.  Uses the "OOK hack".  On return, only
5286 SvPOK(sv) and SvPOKp(sv) among the OK flags will be true.
5287
5288 Beware: after this function returns, C<ptr> and SvPVX_const(sv) may no longer
5289 refer to the same chunk of data.
5290
5291 The unfortunate similarity of this function's name to that of Perl's C<chop>
5292 operator is strictly coincidental.  This function works from the left;
5293 C<chop> works from the right.
5294
5295 =cut
5296 */
5297
5298 void
5299 Perl_sv_chop(pTHX_ SV *const sv, const char *const ptr)
5300 {
5301     STRLEN delta;
5302     STRLEN old_delta;
5303     U8 *p;
5304 #ifdef DEBUGGING
5305     const U8 *evacp;
5306     STRLEN evacn;
5307 #endif
5308     STRLEN max_delta;
5309
5310     PERL_ARGS_ASSERT_SV_CHOP;
5311
5312     if (!ptr || !SvPOKp(sv))
5313         return;
5314     delta = ptr - SvPVX_const(sv);
5315     if (!delta) {
5316         /* Nothing to do.  */
5317         return;
5318     }
5319     max_delta = SvLEN(sv) ? SvLEN(sv) : SvCUR(sv);
5320     if (delta > max_delta)
5321         Perl_croak(aTHX_ "panic: sv_chop ptr=%p, start=%p, end=%p",
5322                    ptr, SvPVX_const(sv), SvPVX_const(sv) + max_delta);
5323     /* SvPVX(sv) may move in SV_CHECK_THINKFIRST(sv), so don't use ptr any more */
5324     SV_CHECK_THINKFIRST(sv);
5325     SvPOK_only_UTF8(sv);
5326
5327     if (!SvOOK(sv)) {
5328         if (!SvLEN(sv)) { /* make copy of shared string */
5329             const char *pvx = SvPVX_const(sv);
5330             const STRLEN len = SvCUR(sv);
5331             SvGROW(sv, len + 1);
5332             Move(pvx,SvPVX(sv),len,char);
5333             *SvEND(sv) = '\0';
5334         }
5335         SvOOK_on(sv);
5336         old_delta = 0;
5337     } else {
5338         SvOOK_offset(sv, old_delta);
5339     }
5340     SvLEN_set(sv, SvLEN(sv) - delta);
5341     SvCUR_set(sv, SvCUR(sv) - delta);
5342     SvPV_set(sv, SvPVX(sv) + delta);
5343
5344     p = (U8 *)SvPVX_const(sv);
5345
5346 #ifdef DEBUGGING
5347     /* how many bytes were evacuated?  we will fill them with sentinel
5348        bytes, except for the part holding the new offset of course. */
5349     evacn = delta;
5350     if (old_delta)
5351         evacn += (old_delta < 0x100 ? 1 : 1 + sizeof(STRLEN));
5352     assert(evacn);
5353     assert(evacn <= delta + old_delta);
5354     evacp = p - evacn;
5355 #endif
5356
5357     /* This sets 'delta' to the accumulated value of all deltas so far */
5358     delta += old_delta;
5359     assert(delta);
5360
5361     /* If 'delta' fits in a byte, store it just prior to the new beginning of
5362      * the string; otherwise store a 0 byte there and store 'delta' just prior
5363      * to that, using as many bytes as a STRLEN occupies.  Thus it overwrites a
5364      * portion of the chopped part of the string */
5365     if (delta < 0x100) {
5366         *--p = (U8) delta;
5367     } else {
5368         *--p = 0;
5369         p -= sizeof(STRLEN);
5370         Copy((U8*)&delta, p, sizeof(STRLEN), U8);
5371     }
5372
5373 #ifdef DEBUGGING
5374     /* Fill the preceding buffer with sentinals to verify that no-one is
5375        using it.  */
5376     while (p > evacp) {
5377         --p;
5378         *p = (U8)PTR2UV(p);
5379     }
5380 #endif
5381 }
5382
5383 /*
5384 =for apidoc sv_catpvn
5385
5386 Concatenates the string onto the end of the string which is in the SV.  The
5387 C<len> indicates number of bytes to copy.  If the SV has the UTF-8
5388 status set, then the bytes appended should be valid UTF-8.
5389 Handles 'get' magic, but not 'set' magic.  See C<sv_catpvn_mg>.
5390
5391 =for apidoc sv_catpvn_flags
5392
5393 Concatenates the string onto the end of the string which is in the SV.  The
5394 C<len> indicates number of bytes to copy.  If the SV has the UTF-8
5395 status set, then the bytes appended should be valid UTF-8.
5396 If C<flags> has the C<SV_SMAGIC> bit set, will
5397 C<mg_set> on C<dsv> afterwards if appropriate.
5398 C<sv_catpvn> and C<sv_catpvn_nomg> are implemented
5399 in terms of this function.
5400
5401 =cut
5402 */
5403
5404 void
5405 Perl_sv_catpvn_flags(pTHX_ SV *const dsv, const char *sstr, const STRLEN slen, const I32 flags)
5406 {
5407     STRLEN dlen;
5408     const char * const dstr = SvPV_force_flags(dsv, dlen, flags);
5409
5410     PERL_ARGS_ASSERT_SV_CATPVN_FLAGS;
5411     assert((flags & (SV_CATBYTES|SV_CATUTF8)) != (SV_CATBYTES|SV_CATUTF8));
5412
5413     if (!(flags & SV_CATBYTES) || !SvUTF8(dsv)) {
5414       if (flags & SV_CATUTF8 && !SvUTF8(dsv)) {
5415          sv_utf8_upgrade_flags_grow(dsv, 0, slen + 1);
5416          dlen = SvCUR(dsv);
5417       }
5418       else SvGROW(dsv, dlen + slen + 1);
5419       if (sstr == dstr)
5420         sstr = SvPVX_const(dsv);
5421       Move(sstr, SvPVX(dsv) + dlen, slen, char);
5422       SvCUR_set(dsv, SvCUR(dsv) + slen);
5423     }
5424     else {
5425         /* We inline bytes_to_utf8, to avoid an extra malloc. */
5426         const char * const send = sstr + slen;
5427         U8 *d;
5428
5429         /* Something this code does not account for, which I think is
5430            impossible; it would require the same pv to be treated as
5431            bytes *and* utf8, which would indicate a bug elsewhere. */
5432         assert(sstr != dstr);
5433
5434         SvGROW(dsv, dlen + slen * 2 + 1);
5435         d = (U8 *)SvPVX(dsv) + dlen;
5436
5437         while (sstr < send) {
5438             append_utf8_from_native_byte(*sstr, &d);
5439             sstr++;
5440         }
5441         SvCUR_set(dsv, d-(const U8 *)SvPVX(dsv));
5442     }
5443     *SvEND(dsv) = '\0';
5444     (void)SvPOK_only_UTF8(dsv);         /* validate pointer */
5445     SvTAINT(dsv);
5446     if (flags & SV_SMAGIC)
5447         SvSETMAGIC(dsv);
5448 }
5449
5450 /*
5451 =for apidoc sv_catsv
5452
5453 Concatenates the string from SV C<ssv> onto the end of the string in SV
5454 C<dsv>.  If C<ssv> is null, does nothing; otherwise modifies only C<dsv>.
5455 Handles 'get' magic on both SVs, but no 'set' magic.  See C<sv_catsv_mg> and
5456 C<sv_catsv_nomg>.
5457
5458 =for apidoc sv_catsv_flags
5459
5460 Concatenates the string from SV C<ssv> onto the end of the string in SV
5461 C<dsv>.  If C<ssv> is null, does nothing; otherwise modifies only C<dsv>.
5462 If C<flags> include C<SV_GMAGIC> bit set, will call C<mg_get> on both SVs if
5463 appropriate.  If C<flags> include C<SV_SMAGIC>, C<mg_set> will be called on
5464 the modified SV afterward, if appropriate.  C<sv_catsv>, C<sv_catsv_nomg>,
5465 and C<sv_catsv_mg> are implemented in terms of this function.
5466
5467 =cut */
5468
5469 void
5470 Perl_sv_catsv_flags(pTHX_ SV *const dsv, SV *const ssv, const I32 flags)
5471 {
5472     PERL_ARGS_ASSERT_SV_CATSV_FLAGS;
5473
5474     if (ssv) {
5475         STRLEN slen;
5476         const char *spv = SvPV_flags_const(ssv, slen, flags);
5477         if (spv) {
5478             if (flags & SV_GMAGIC)
5479                 SvGETMAGIC(dsv);
5480             sv_catpvn_flags(dsv, spv, slen,
5481                             DO_UTF8(ssv) ? SV_CATUTF8 : SV_CATBYTES);
5482             if (flags & SV_SMAGIC)
5483                 SvSETMAGIC(dsv);
5484         }
5485     }
5486 }
5487
5488 /*
5489 =for apidoc sv_catpv
5490
5491 Concatenates the C<NUL>-terminated string onto the end of the string which is
5492 in the SV.
5493 If the SV has the UTF-8 status set, then the bytes appended should be
5494 valid UTF-8.  Handles 'get' magic, but not 'set' magic.  See C<sv_catpv_mg>.
5495
5496 =cut */
5497
5498 void
5499 Perl_sv_catpv(pTHX_ SV *const sv, const char *ptr)
5500 {
5501     STRLEN len;
5502     STRLEN tlen;
5503     char *junk;
5504
5505     PERL_ARGS_ASSERT_SV_CATPV;
5506
5507     if (!ptr)
5508         return;
5509     junk = SvPV_force(sv, tlen);
5510     len = strlen(ptr);
5511     SvGROW(sv, tlen + len + 1);
5512     if (ptr == junk)
5513         ptr = SvPVX_const(sv);
5514     Move(ptr,SvPVX(sv)+tlen,len+1,char);
5515     SvCUR_set(sv, SvCUR(sv) + len);
5516     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
5517     SvTAINT(sv);
5518 }
5519
5520 /*
5521 =for apidoc sv_catpv_flags
5522
5523 Concatenates the C<NUL>-terminated string onto the end of the string which is
5524 in the SV.
5525 If the SV has the UTF-8 status set, then the bytes appended should
5526 be valid UTF-8.  If C<flags> has the C<SV_SMAGIC> bit set, will C<mg_set>
5527 on the modified SV if appropriate.
5528
5529 =cut
5530 */
5531
5532 void
5533 Perl_sv_catpv_flags(pTHX_ SV *dstr, const char *sstr, const I32 flags)
5534 {
5535     PERL_ARGS_ASSERT_SV_CATPV_FLAGS;
5536     sv_catpvn_flags(dstr, sstr, strlen(sstr), flags);
5537 }
5538
5539 /*
5540 =for apidoc sv_catpv_mg
5541
5542 Like C<sv_catpv>, but also handles 'set' magic.
5543
5544 =cut
5545 */
5546
5547 void
5548 Perl_sv_catpv_mg(pTHX_ SV *const sv, const char *const ptr)
5549 {
5550     PERL_ARGS_ASSERT_SV_CATPV_MG;
5551
5552     sv_catpv(sv,ptr);
5553     SvSETMAGIC(sv);
5554 }
5555
5556 /*
5557 =for apidoc newSV
5558
5559 Creates a new SV.  A non-zero C<len> parameter indicates the number of
5560 bytes of preallocated string space the SV should have.  An extra byte for a
5561 trailing C<NUL> is also reserved.  (SvPOK is not set for the SV even if string
5562 space is allocated.)  The reference count for the new SV is set to 1.
5563
5564 In 5.9.3, newSV() replaces the older NEWSV() API, and drops the first
5565 parameter, I<x>, a debug aid which allowed callers to identify themselves.
5566 This aid has been superseded by a new build option, PERL_MEM_LOG (see
5567 L<perlhacktips/PERL_MEM_LOG>).  The older API is still there for use in XS
5568 modules supporting older perls.
5569
5570 =cut
5571 */
5572
5573 SV *
5574 Perl_newSV(pTHX_ const STRLEN len)
5575 {
5576     SV *sv;
5577
5578     new_SV(sv);
5579     if (len) {
5580         sv_upgrade(sv, SVt_PV);
5581         SvGROW(sv, len + 1);
5582     }
5583     return sv;
5584 }
5585 /*
5586 =for apidoc sv_magicext
5587
5588 Adds magic to an SV, upgrading it if necessary.  Applies the
5589 supplied vtable and returns a pointer to the magic added.
5590
5591 Note that C<sv_magicext> will allow things that C<sv_magic> will not.
5592 In particular, you can add magic to SvREADONLY SVs, and add more than
5593 one instance of the same 'how'.
5594
5595 If C<namlen> is greater than zero then a C<savepvn> I<copy> of C<name> is
5596 stored, if C<namlen> is zero then C<name> is stored as-is and - as another
5597 special case - if C<(name && namlen == HEf_SVKEY)> then C<name> is assumed
5598 to contain an C<SV*> and is stored as-is with its REFCNT incremented.
5599
5600 (This is now used as a subroutine by C<sv_magic>.)
5601
5602 =cut
5603 */
5604 MAGIC * 
5605 Perl_sv_magicext(pTHX_ SV *const sv, SV *const obj, const int how, 
5606                 const MGVTBL *const vtable, const char *const name, const I32 namlen)
5607 {
5608     MAGIC* mg;
5609
5610     PERL_ARGS_ASSERT_SV_MAGICEXT;
5611
5612     if (SvTYPE(sv)==SVt_PVAV) { assert (!AvPAD_NAMELIST(sv)); }
5613
5614     SvUPGRADE(sv, SVt_PVMG);
5615     Newxz(mg, 1, MAGIC);
5616     mg->mg_moremagic = SvMAGIC(sv);
5617     SvMAGIC_set(sv, mg);
5618
5619     /* Sometimes a magic contains a reference loop, where the sv and
5620        object refer to each other.  To prevent a reference loop that
5621        would prevent such objects being freed, we look for such loops
5622        and if we find one we avoid incrementing the object refcount.
5623
5624        Note we cannot do this to avoid self-tie loops as intervening RV must
5625        have its REFCNT incremented to keep it in existence.
5626
5627     */
5628     if (!obj || obj == sv ||
5629         how == PERL_MAGIC_arylen ||
5630         how == PERL_MAGIC_symtab ||
5631         (SvTYPE(obj) == SVt_PVGV &&
5632             (GvSV(obj) == sv || GvHV(obj) == (const HV *)sv
5633              || GvAV(obj) == (const AV *)sv || GvCV(obj) == (const CV *)sv
5634              || GvIOp(obj) == (const IO *)sv || GvFORM(obj) == (const CV *)sv)))
5635     {
5636         mg->mg_obj = obj;
5637     }
5638     else {
5639         mg->mg_obj = SvREFCNT_inc_simple(obj);
5640         mg->mg_flags |= MGf_REFCOUNTED;
5641     }
5642
5643     /* Normal self-ties simply pass a null object, and instead of
5644        using mg_obj directly, use the SvTIED_obj macro to produce a
5645        new RV as needed.  For glob "self-ties", we are tieing the PVIO
5646        with an RV obj pointing to the glob containing the PVIO.  In
5647        this case, to avoid a reference loop, we need to weaken the
5648        reference.
5649     */
5650
5651     if (how == PERL_MAGIC_tiedscalar && SvTYPE(sv) == SVt_PVIO &&
5652         obj && SvROK(obj) && GvIO(SvRV(obj)) == (const IO *)sv)
5653     {
5654       sv_rvweaken(obj);
5655     }
5656
5657     mg->mg_type = how;
5658     mg->mg_len = namlen;
5659     if (name) {
5660         if (namlen > 0)
5661             mg->mg_ptr = savepvn(name, namlen);
5662         else if (namlen == HEf_SVKEY) {
5663             /* Yes, this is casting away const. This is only for the case of
5664                HEf_SVKEY. I think we need to document this aberation of the
5665                constness of the API, rather than making name non-const, as
5666                that change propagating outwards a long way.  */
5667             mg->mg_ptr = (char*)SvREFCNT_inc_simple_NN((SV *)name);
5668         } else
5669             mg->mg_ptr = (char *) name;
5670     }
5671     mg->mg_virtual = (MGVTBL *) vtable;
5672
5673     mg_magical(sv);
5674     return mg;
5675 }
5676
5677 MAGIC *
5678 Perl_sv_magicext_mglob(pTHX_ SV *sv)
5679 {
5680     PERL_ARGS_ASSERT_SV_MAGICEXT_MGLOB;
5681     if (SvTYPE(sv) == SVt_PVLV && LvTYPE(sv) == 'y') {
5682         /* This sv is only a delegate.  //g magic must be attached to
5683            its target. */
5684         vivify_defelem(sv);
5685         sv = LvTARG(sv);
5686     }
5687 #ifdef PERL_OLD_COPY_ON_WRITE
5688     if (SvIsCOW(sv))
5689         sv_force_normal_flags(sv, 0);
5690 #endif
5691     return sv_magicext(sv, NULL, PERL_MAGIC_regex_global,
5692                        &PL_vtbl_mglob, 0, 0);
5693 }
5694
5695 /*
5696 =for apidoc sv_magic
5697
5698 Adds magic to an SV.  First upgrades C<sv> to type C<SVt_PVMG> if
5699 necessary, then adds a new magic item of type C<how> to the head of the
5700 magic list.
5701
5702 See C<sv_magicext> (which C<sv_magic> now calls) for a description of the
5703 handling of the C<name> and C<namlen> arguments.
5704
5705 You need to use C<sv_magicext> to add magic to SvREADONLY SVs and also
5706 to add more than one instance of the same 'how'.
5707
5708 =cut
5709 */
5710
5711 void
5712 Perl_sv_magic(pTHX_ SV *const sv, SV *const obj, const int how,
5713              const char *const name, const I32 namlen)
5714 {
5715     const MGVTBL *vtable;
5716     MAGIC* mg;
5717     unsigned int flags;
5718     unsigned int vtable_index;
5719
5720     PERL_ARGS_ASSERT_SV_MAGIC;
5721
5722     if (how < 0 || (unsigned)how >= C_ARRAY_LENGTH(PL_magic_data)
5723         || ((flags = PL_magic_data[how]),
5724             (vtable_index = flags & PERL_MAGIC_VTABLE_MASK)
5725             > magic_vtable_max))
5726         Perl_croak(aTHX_ "Don't know how to handle magic of type \\%o", how);
5727
5728     /* PERL_MAGIC_ext is reserved for use by extensions not perl internals.
5729        Useful for attaching extension internal data to perl vars.
5730        Note that multiple extensions may clash if magical scalars
5731        etc holding private data from one are passed to another. */
5732
5733     vtable = (vtable_index == magic_vtable_max)
5734         ? NULL : PL_magic_vtables + vtable_index;
5735
5736 #ifdef PERL_OLD_COPY_ON_WRITE
5737     if (SvIsCOW(sv))
5738         sv_force_normal_flags(sv, 0);
5739 #endif
5740     if (SvREADONLY(sv)) {
5741         if (
5742             !PERL_MAGIC_TYPE_READONLY_ACCEPTABLE(how)
5743            )
5744         {
5745             Perl_croak_no_modify();
5746         }
5747     }
5748     if (SvMAGICAL(sv) || (how == PERL_MAGIC_taint && SvTYPE(sv) >= SVt_PVMG)) {
5749         if (SvMAGIC(sv) && (mg = mg_find(sv, how))) {
5750             /* sv_magic() refuses to add a magic of the same 'how' as an
5751                existing one
5752              */
5753             if (how == PERL_MAGIC_taint)
5754                 mg->mg_len |= 1;
5755             return;
5756         }
5757     }
5758
5759     /* Force pos to be stored as characters, not bytes. */
5760     if (SvMAGICAL(sv) && DO_UTF8(sv)
5761       && (mg = mg_find(sv, PERL_MAGIC_regex_global))
5762       && mg->mg_len != -1
5763       && mg->mg_flags & MGf_BYTES) {
5764         mg->mg_len = (SSize_t)sv_pos_b2u_flags(sv, (STRLEN)mg->mg_len,
5765                                                SV_CONST_RETURN);
5766         mg->mg_flags &= ~MGf_BYTES;
5767     }
5768
5769     /* Rest of work is done else where */
5770     mg = sv_magicext(sv,obj,how,vtable,name,namlen);
5771
5772     switch (how) {
5773     case PERL_MAGIC_taint:
5774         mg->mg_len = 1;
5775         break;
5776     case PERL_MAGIC_ext:
5777     case PERL_MAGIC_dbfile:
5778         SvRMAGICAL_on(sv);
5779         break;
5780     }
5781 }
5782
5783 static int
5784 S_sv_unmagicext_flags(pTHX_ SV *const sv, const int type, MGVTBL *vtbl, const U32 flags)
5785 {
5786     MAGIC* mg;
5787     MAGIC** mgp;
5788
5789     assert(flags <= 1);
5790
5791     if (SvTYPE(sv) < SVt_PVMG || !SvMAGIC(sv))
5792         return 0;
5793     mgp = &(((XPVMG*) SvANY(sv))->xmg_u.xmg_magic);
5794     for (mg = *mgp; mg; mg = *mgp) {
5795         const MGVTBL* const virt = mg->mg_virtual;
5796         if (mg->mg_type == type && (!flags || virt == vtbl)) {
5797             *mgp = mg->mg_moremagic;
5798             if (virt && virt->svt_free)
5799                 virt->svt_free(aTHX_ sv, mg);
5800             if (mg->mg_ptr && mg->mg_type != PERL_MAGIC_regex_global) {
5801                 if (mg->mg_len > 0)
5802                     Safefree(mg->mg_ptr);
5803                 else if (mg->mg_len == HEf_SVKEY)
5804                     SvREFCNT_dec(MUTABLE_SV(mg->mg_ptr));
5805                 else if (mg->mg_type == PERL_MAGIC_utf8)
5806                     Safefree(mg->mg_ptr);
5807             }
5808             if (mg->mg_flags & MGf_REFCOUNTED)
5809                 SvREFCNT_dec(mg->mg_obj);
5810             Safefree(mg);
5811         }
5812         else
5813             mgp = &mg->mg_moremagic;
5814     }
5815     if (SvMAGIC(sv)) {
5816         if (SvMAGICAL(sv))      /* if we're under save_magic, wait for restore_magic; */
5817             mg_magical(sv);     /*    else fix the flags now */
5818     }
5819     else {
5820         SvMAGICAL_off(sv);
5821         SvFLAGS(sv) |= (SvFLAGS(sv) & (SVp_IOK|SVp_NOK|SVp_POK)) >> PRIVSHIFT;
5822     }
5823     return 0;
5824 }
5825
5826 /*
5827 =for apidoc sv_unmagic
5828
5829 Removes all magic of type C<type> from an SV.
5830
5831 =cut
5832 */
5833
5834 int
5835 Perl_sv_unmagic(pTHX_ SV *const sv, const int type)
5836 {
5837     PERL_ARGS_ASSERT_SV_UNMAGIC;
5838     return S_sv_unmagicext_flags(aTHX_ sv, type, NULL, 0);
5839 }
5840
5841 /*
5842 =for apidoc sv_unmagicext
5843
5844 Removes all magic of type C<type> with the specified C<vtbl> from an SV.
5845
5846 =cut
5847 */
5848
5849 int
5850 Perl_sv_unmagicext(pTHX_ SV *const sv, const int type, MGVTBL *vtbl)
5851 {
5852     PERL_ARGS_ASSERT_SV_UNMAGICEXT;
5853     return S_sv_unmagicext_flags(aTHX_ sv, type, vtbl, 1);
5854 }
5855
5856 /*
5857 =for apidoc sv_rvweaken
5858
5859 Weaken a reference: set the C<SvWEAKREF> flag on this RV; give the
5860 referred-to SV C<PERL_MAGIC_backref> magic if it hasn't already; and
5861 push a back-reference to this RV onto the array of backreferences
5862 associated with that magic.  If the RV is magical, set magic will be
5863 called after the RV is cleared.
5864
5865 =cut
5866 */
5867
5868 SV *
5869 Perl_sv_rvweaken(pTHX_ SV *const sv)
5870 {
5871     SV *tsv;
5872
5873     PERL_ARGS_ASSERT_SV_RVWEAKEN;
5874
5875     if (!SvOK(sv))  /* let undefs pass */
5876         return sv;
5877     if (!SvROK(sv))
5878         Perl_croak(aTHX_ "Can't weaken a nonreference");
5879     else if (SvWEAKREF(sv)) {
5880         Perl_ck_warner(aTHX_ packWARN(WARN_MISC), "Reference is already weak");
5881         return sv;
5882     }
5883     else if (SvREADONLY(sv)) croak_no_modify();
5884     tsv = SvRV(sv);
5885     Perl_sv_add_backref(aTHX_ tsv, sv);
5886     SvWEAKREF_on(sv);
5887     SvREFCNT_dec_NN(tsv);
5888     return sv;
5889 }
5890
5891 /* Give tsv backref magic if it hasn't already got it, then push a
5892  * back-reference to sv onto the array associated with the backref magic.
5893  *
5894  * As an optimisation, if there's only one backref and it's not an AV,
5895  * store it directly in the HvAUX or mg_obj slot, avoiding the need to
5896  * allocate an AV. (Whether the slot holds an AV tells us whether this is
5897  * active.)
5898  */
5899
5900 /* A discussion about the backreferences array and its refcount:
5901  *
5902  * The AV holding the backreferences is pointed to either as the mg_obj of
5903  * PERL_MAGIC_backref, or in the specific case of a HV, from the
5904  * xhv_backreferences field. The array is created with a refcount
5905  * of 2. This means that if during global destruction the array gets
5906  * picked on before its parent to have its refcount decremented by the
5907  * random zapper, it won't actually be freed, meaning it's still there for
5908  * when its parent gets freed.
5909  *
5910  * When the parent SV is freed, the extra ref is killed by
5911  * Perl_sv_kill_backrefs.  The other ref is killed, in the case of magic,
5912  * by mg_free() / MGf_REFCOUNTED, or for a hash, by Perl_hv_kill_backrefs.
5913  *
5914  * When a single backref SV is stored directly, it is not reference
5915  * counted.
5916  */
5917
5918 void
5919 Perl_sv_add_backref(pTHX_ SV *const tsv, SV *const sv)
5920 {
5921     SV **svp;
5922     AV *av = NULL;
5923     MAGIC *mg = NULL;
5924
5925     PERL_ARGS_ASSERT_SV_ADD_BACKREF;
5926
5927     /* find slot to store array or singleton backref */
5928
5929     if (SvTYPE(tsv) == SVt_PVHV) {
5930         svp = (SV**)Perl_hv_backreferences_p(aTHX_ MUTABLE_HV(tsv));
5931     } else {
5932         if (SvMAGICAL(tsv))
5933             mg = mg_find(tsv, PERL_MAGIC_backref);
5934         if (!mg)
5935             mg = sv_magicext(tsv, NULL, PERL_MAGIC_backref, &PL_vtbl_backref, NULL, 0);
5936         svp = &(mg->mg_obj);
5937     }
5938
5939     /* create or retrieve the array */
5940
5941     if (   (!*svp && SvTYPE(sv) == SVt_PVAV)
5942         || (*svp && SvTYPE(*svp) != SVt_PVAV)
5943     ) {
5944         /* create array */
5945         if (mg)
5946             mg->mg_flags |= MGf_REFCOUNTED;
5947         av = newAV();
5948         AvREAL_off(av);
5949         SvREFCNT_inc_simple_void_NN(av);
5950         /* av now has a refcnt of 2; see discussion above */
5951         av_extend(av, *svp ? 2 : 1);
5952         if (*svp) {
5953             /* move single existing backref to the array */
5954             AvARRAY(av)[++AvFILLp(av)] = *svp; /* av_push() */
5955         }
5956         *svp = (SV*)av;
5957     }
5958     else {
5959         av = MUTABLE_AV(*svp);
5960         if (!av) {
5961             /* optimisation: store single backref directly in HvAUX or mg_obj */
5962             *svp = sv;
5963             return;
5964         }
5965         assert(SvTYPE(av) == SVt_PVAV);
5966         if (AvFILLp(av) >= AvMAX(av)) {
5967             av_extend(av, AvFILLp(av)+1);
5968         }
5969     }
5970     /* push new backref */
5971     AvARRAY(av)[++AvFILLp(av)] = sv; /* av_push() */
5972 }
5973
5974 /* delete a back-reference to ourselves from the backref magic associated
5975  * with the SV we point to.
5976  */
5977
5978 void
5979 Perl_sv_del_backref(pTHX_ SV *const tsv, SV *const sv)
5980 {
5981     SV **svp = NULL;
5982
5983     PERL_ARGS_ASSERT_SV_DEL_BACKREF;
5984
5985     if (SvTYPE(tsv) == SVt_PVHV) {
5986         if (SvOOK(tsv))
5987             svp = (SV**)Perl_hv_backreferences_p(aTHX_ MUTABLE_HV(tsv));
5988     }
5989     else if (SvIS_FREED(tsv) && PL_phase == PERL_PHASE_DESTRUCT) {
5990         /* It's possible for the the last (strong) reference to tsv to have
5991            become freed *before* the last thing holding a weak reference.
5992            If both survive longer than the backreferences array, then when
5993            the referent's reference count drops to 0 and it is freed, it's
5994            not able to chase the backreferences, so they aren't NULLed.
5995
5996            For example, a CV holds a weak reference to its stash. If both the
5997            CV and the stash survive longer than the backreferences array,
5998            and the CV gets picked for the SvBREAK() treatment first,
5999            *and* it turns out that the stash is only being kept alive because
6000            of an our variable in the pad of the CV, then midway during CV
6001            destruction the stash gets freed, but CvSTASH() isn't set to NULL.
6002            It ends up pointing to the freed HV. Hence it's chased in here, and
6003            if this block wasn't here, it would hit the !svp panic just below.
6004
6005            I don't believe that "better" destruction ordering is going to help
6006            here - during global destruction there's always going to be the
6007            chance that something goes out of order. We've tried to make it
6008            foolproof before, and it only resulted in evolutionary pressure on
6009            fools. Which made us look foolish for our hubris. :-(
6010         */
6011         return;
6012     }
6013     else {
6014         MAGIC *const mg
6015             = SvMAGICAL(tsv) ? mg_find(tsv, PERL_MAGIC_backref) : NULL;
6016         svp =  mg ? &(mg->mg_obj) : NULL;
6017     }
6018
6019     if (!svp)
6020         Perl_croak(aTHX_ "panic: del_backref, svp=0");
6021     if (!*svp) {
6022         /* It's possible that sv is being freed recursively part way through the
6023            freeing of tsv. If this happens, the backreferences array of tsv has
6024            already been freed, and so svp will be NULL. If this is the case,
6025            we should not panic. Instead, nothing needs doing, so return.  */
6026         if (PL_phase == PERL_PHASE_DESTRUCT && SvREFCNT(tsv) == 0)
6027             return;
6028         Perl_croak(aTHX_ "panic: del_backref, *svp=%p phase=%s refcnt=%" UVuf,
6029                    (void*)*svp, PL_phase_names[PL_phase], (UV)SvREFCNT(tsv));
6030     }
6031
6032     if (SvTYPE(*svp) == SVt_PVAV) {
6033 #ifdef DEBUGGING
6034         int count = 1;
6035 #endif
6036         AV * const av = (AV*)*svp;
6037         SSize_t fill;
6038         assert(!SvIS_FREED(av));
6039         fill = AvFILLp(av);
6040         assert(fill > -1);
6041         svp = AvARRAY(av);
6042         /* for an SV with N weak references to it, if all those
6043          * weak refs are deleted, then sv_del_backref will be called
6044          * N times and O(N^2) compares will be done within the backref
6045          * array. To ameliorate this potential slowness, we:
6046          * 1) make sure this code is as tight as possible;
6047          * 2) when looking for SV, look for it at both the head and tail of the
6048          *    array first before searching the rest, since some create/destroy
6049          *    patterns will cause the backrefs to be freed in order.
6050          */
6051         if (*svp == sv) {
6052             AvARRAY(av)++;
6053             AvMAX(av)--;
6054         }
6055         else {
6056             SV **p = &svp[fill];
6057             SV *const topsv = *p;
6058             if (topsv != sv) {
6059 #ifdef DEBUGGING
6060                 count = 0;
6061 #endif
6062                 while (--p > svp) {
6063                     if (*p == sv) {
6064                         /* We weren't the last entry.
6065                            An unordered list has this property that you
6066                            can take the last element off the end to fill
6067                            the hole, and it's still an unordered list :-)
6068                         */
6069                         *p = topsv;
6070 #ifdef DEBUGGING
6071                         count++;
6072 #else
6073                         break; /* should only be one */
6074 #endif
6075                     }
6076                 }
6077             }
6078         }
6079         assert(count ==1);
6080         AvFILLp(av) = fill-1;
6081     }
6082     else if (SvIS_FREED(*svp) && PL_phase == PERL_PHASE_DESTRUCT) {
6083         /* freed AV; skip */
6084     }
6085     else {
6086         /* optimisation: only a single backref, stored directly */
6087         if (*svp != sv)
6088             Perl_croak(aTHX_ "panic: del_backref, *svp=%p, sv=%p",
6089                        (void*)*svp, (void*)sv);
6090         *svp = NULL;
6091     }
6092
6093 }
6094
6095 void
6096 Perl_sv_kill_backrefs(pTHX_ SV *const sv, AV *const av)
6097 {
6098     SV **svp;
6099     SV **last;
6100     bool is_array;
6101
6102     PERL_ARGS_ASSERT_SV_KILL_BACKREFS;
6103
6104     if (!av)
6105         return;
6106
6107     /* after multiple passes through Perl_sv_clean_all() for a thingy
6108      * that has badly leaked, the backref array may have gotten freed,
6109      * since we only protect it against 1 round of cleanup */
6110     if (SvIS_FREED(av)) {
6111         if (PL_in_clean_all) /* All is fair */
6112             return;
6113         Perl_croak(aTHX_
6114                    "panic: magic_killbackrefs (freed backref AV/SV)");
6115     }
6116
6117
6118     is_array = (SvTYPE(av) == SVt_PVAV);
6119     if (is_array) {
6120         assert(!SvIS_FREED(av));
6121         svp = AvARRAY(av);
6122         if (svp)
6123             last = svp + AvFILLp(av);
6124     }
6125     else {
6126         /* optimisation: only a single backref, stored directly */
6127         svp = (SV**)&av;
6128         last = svp;
6129     }
6130
6131     if (svp) {
6132         while (svp <= last) {
6133             if (*svp) {
6134                 SV *const referrer = *svp;
6135                 if (SvWEAKREF(referrer)) {
6136                     /* XXX Should we check that it hasn't changed? */
6137                     assert(SvROK(referrer));
6138                     SvRV_set(referrer, 0);
6139                     SvOK_off(referrer);
6140                     SvWEAKREF_off(referrer);
6141                     SvSETMAGIC(referrer);
6142                 } else if (SvTYPE(referrer) == SVt_PVGV ||
6143                            SvTYPE(referrer) == SVt_PVLV) {
6144                     assert(SvTYPE(sv) == SVt_PVHV); /* stash backref */
6145                     /* You lookin' at me?  */
6146                     assert(GvSTASH(referrer));
6147                     assert(GvSTASH(referrer) == (const HV *)sv);
6148                     GvSTASH(referrer) = 0;
6149                 } else if (SvTYPE(referrer) == SVt_PVCV ||
6150                            SvTYPE(referrer) == SVt_PVFM) {
6151                     if (SvTYPE(sv) == SVt_PVHV) { /* stash backref */
6152                         /* You lookin' at me?  */
6153                         assert(CvSTASH(referrer));
6154                         assert(CvSTASH(referrer) == (const HV *)sv);
6155                         SvANY(MUTABLE_CV(referrer))->xcv_stash = 0;
6156                     }
6157                     else {
6158                         assert(SvTYPE(sv) == SVt_PVGV);
6159                         /* You lookin' at me?  */
6160                         assert(CvGV(referrer));
6161                         assert(CvGV(referrer) == (const GV *)sv);
6162                         anonymise_cv_maybe(MUTABLE_GV(sv),
6163                                                 MUTABLE_CV(referrer));
6164                     }
6165
6166                 } else {
6167                     Perl_croak(aTHX_
6168                                "panic: magic_killbackrefs (flags=%"UVxf")",
6169                                (UV)SvFLAGS(referrer));
6170                 }
6171
6172                 if (is_array)
6173                     *svp = NULL;
6174             }
6175             svp++;
6176         }
6177     }
6178     if (is_array) {
6179         AvFILLp(av) = -1;
6180         SvREFCNT_dec_NN(av); /* remove extra count added by sv_add_backref() */
6181     }
6182     return;
6183 }
6184
6185 /*
6186 =for apidoc sv_insert
6187
6188 Inserts a string at the specified offset/length within the SV.  Similar to
6189 the Perl substr() function.  Handles get magic.
6190
6191 =for apidoc sv_insert_flags
6192
6193 Same as C<sv_insert>, but the extra C<flags> are passed to the
6194 C<SvPV_force_flags> that applies to C<bigstr>.
6195
6196 =cut
6197 */
6198
6199 void
6200 Perl_sv_insert_flags(pTHX_ SV *const bigstr, const STRLEN offset, const STRLEN len, const char *const little, const STRLEN littlelen, const U32 flags)
6201 {
6202     char *big;
6203     char *mid;
6204     char *midend;
6205     char *bigend;
6206     SSize_t i;          /* better be sizeof(STRLEN) or bad things happen */
6207     STRLEN curlen;
6208
6209     PERL_ARGS_ASSERT_SV_INSERT_FLAGS;
6210
6211     if (!bigstr)
6212         Perl_croak(aTHX_ "Can't modify nonexistent substring");
6213     SvPV_force_flags(bigstr, curlen, flags);
6214     (void)SvPOK_only_UTF8(bigstr);
6215     if (offset + len > curlen) {
6216         SvGROW(bigstr, offset+len+1);
6217         Zero(SvPVX(bigstr)+curlen, offset+len-curlen, char);
6218         SvCUR_set(bigstr, offset+len);
6219     }
6220
6221     SvTAINT(bigstr);
6222     i = littlelen - len;
6223     if (i > 0) {                        /* string might grow */
6224         big = SvGROW(bigstr, SvCUR(bigstr) + i + 1);
6225         mid = big + offset + len;
6226         midend = bigend = big + SvCUR(bigstr);
6227         bigend += i;
6228         *bigend = '\0';
6229         while (midend > mid)            /* shove everything down */
6230             *--bigend = *--midend;
6231         Move(little,big+offset,littlelen,char);
6232         SvCUR_set(bigstr, SvCUR(bigstr) + i);
6233         SvSETMAGIC(bigstr);
6234         return;
6235     }
6236     else if (i == 0) {
6237         Move(little,SvPVX(bigstr)+offset,len,char);
6238         SvSETMAGIC(bigstr);
6239         return;
6240     }
6241
6242     big = SvPVX(bigstr);
6243     mid = big + offset;
6244     midend = mid + len;
6245     bigend = big + SvCUR(bigstr);
6246
6247     if (midend > bigend)
6248         Perl_croak(aTHX_ "panic: sv_insert, midend=%p, bigend=%p",
6249                    midend, bigend);
6250
6251     if (mid - big > bigend - midend) {  /* faster to shorten from end */
6252         if (littlelen) {
6253             Move(little, mid, littlelen,char);
6254             mid += littlelen;
6255         }
6256         i = bigend - midend;
6257         if (i > 0) {
6258             Move(midend, mid, i,char);
6259             mid += i;
6260         }
6261         *mid = '\0';
6262         SvCUR_set(bigstr, mid - big);
6263     }
6264     else if ((i = mid - big)) { /* faster from front */
6265         midend -= littlelen;
6266         mid = midend;
6267         Move(big, midend - i, i, char);
6268         sv_chop(bigstr,midend-i);
6269         if (littlelen)
6270             Move(little, mid, littlelen,char);
6271     }
6272     else if (littlelen) {
6273         midend -= littlelen;
6274         sv_chop(bigstr,midend);
6275         Move(little,midend,littlelen,char);
6276     }
6277     else {
6278         sv_chop(bigstr,midend);
6279     }
6280     SvSETMAGIC(bigstr);
6281 }
6282
6283 /*
6284 =for apidoc sv_replace
6285
6286 Make the first argument a copy of the second, then delete the original.
6287 The target SV physically takes over ownership of the body of the source SV
6288 and inherits its flags; however, the target keeps any magic it owns,
6289 and any magic in the source is discarded.
6290 Note that this is a rather specialist SV copying operation; most of the
6291 time you'll want to use C<sv_setsv> or one of its many macro front-ends.
6292
6293 =cut
6294 */
6295
6296 void
6297 Perl_sv_replace(pTHX_ SV *const sv, SV *const nsv)
6298 {
6299     const U32 refcnt = SvREFCNT(sv);
6300
6301     PERL_ARGS_ASSERT_SV_REPLACE;
6302
6303     SV_CHECK_THINKFIRST_COW_DROP(sv);
6304     if (SvREFCNT(nsv) != 1) {
6305         Perl_croak(aTHX_ "panic: reference miscount on nsv in sv_replace()"
6306                    " (%" UVuf " != 1)", (UV) SvREFCNT(nsv));
6307     }
6308     if (SvMAGICAL(sv)) {
6309         if (SvMAGICAL(nsv))
6310             mg_free(nsv);
6311         else
6312             sv_upgrade(nsv, SVt_PVMG);
6313         SvMAGIC_set(nsv, SvMAGIC(sv));
6314         SvFLAGS(nsv) |= SvMAGICAL(sv);
6315         SvMAGICAL_off(sv);
6316         SvMAGIC_set(sv, NULL);
6317     }
6318     SvREFCNT(sv) = 0;
6319     sv_clear(sv);
6320     assert(!SvREFCNT(sv));
6321 #ifdef DEBUG_LEAKING_SCALARS
6322     sv->sv_flags  = nsv->sv_flags;
6323     sv->sv_any    = nsv->sv_any;
6324     sv->sv_refcnt = nsv->sv_refcnt;
6325     sv->sv_u      = nsv->sv_u;
6326 #else
6327     StructCopy(nsv,sv,SV);
6328 #endif
6329     if(SvTYPE(sv) == SVt_IV) {
6330         SvANY(sv)
6331             = (XPVIV*)((char*)&(sv->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
6332     }
6333         
6334
6335 #ifdef PERL_OLD_COPY_ON_WRITE
6336     if (SvIsCOW_normal(nsv)) {
6337         /* We need to follow the pointers around the loop to make the
6338            previous SV point to sv, rather than nsv.  */
6339         SV *next;
6340         SV *current = nsv;
6341         while ((next = SV_COW_NEXT_SV(current)) != nsv) {
6342             assert(next);
6343             current = next;
6344             assert(SvPVX_const(current) == SvPVX_const(nsv));
6345         }
6346         /* Make the SV before us point to the SV after us.  */
6347         if (DEBUG_C_TEST) {
6348             PerlIO_printf(Perl_debug_log, "previous is\n");
6349             sv_dump(current);
6350             PerlIO_printf(Perl_debug_log,
6351                           "move it from 0x%"UVxf" to 0x%"UVxf"\n",
6352                           (UV) SV_COW_NEXT_SV(current), (UV) sv);
6353         }
6354         SV_COW_NEXT_SV_SET(current, sv);
6355     }
6356 #endif
6357     SvREFCNT(sv) = refcnt;
6358     SvFLAGS(nsv) |= SVTYPEMASK;         /* Mark as freed */
6359     SvREFCNT(nsv) = 0;
6360     del_SV(nsv);
6361 }
6362
6363 /* We're about to free a GV which has a CV that refers back to us.
6364  * If that CV will outlive us, make it anonymous (i.e. fix up its CvGV
6365  * field) */
6366
6367 STATIC void
6368 S_anonymise_cv_maybe(pTHX_ GV *gv, CV* cv)
6369 {
6370     SV *gvname;
6371     GV *anongv;
6372
6373     PERL_ARGS_ASSERT_ANONYMISE_CV_MAYBE;
6374
6375     /* be assertive! */
6376     assert(SvREFCNT(gv) == 0);
6377     assert(isGV(gv) && isGV_with_GP(gv));
6378     assert(GvGP(gv));
6379     assert(!CvANON(cv));
6380     assert(CvGV(cv) == gv);
6381     assert(!CvNAMED(cv));
6382
6383     /* will the CV shortly be freed by gp_free() ? */
6384     if (GvCV(gv) == cv && GvGP(gv)->gp_refcnt < 2 && SvREFCNT(cv) < 2) {
6385         SvANY(cv)->xcv_gv_u.xcv_gv = NULL;
6386         return;
6387     }
6388
6389     /* if not, anonymise: */
6390     gvname = (GvSTASH(gv) && HvNAME(GvSTASH(gv)) && HvENAME(GvSTASH(gv)))
6391                     ? newSVhek(HvENAME_HEK(GvSTASH(gv)))
6392                     : newSVpvn_flags( "__ANON__", 8, 0 );
6393     sv_catpvs(gvname, "::__ANON__");
6394     anongv = gv_fetchsv(gvname, GV_ADDMULTI, SVt_PVCV);
6395     SvREFCNT_dec_NN(gvname);
6396
6397     CvANON_on(cv);
6398     CvCVGV_RC_on(cv);
6399     SvANY(cv)->xcv_gv_u.xcv_gv = MUTABLE_GV(SvREFCNT_inc(anongv));
6400 }
6401
6402
6403 /*
6404 =for apidoc sv_clear
6405
6406 Clear an SV: call any destructors, free up any memory used by the body,
6407 and free the body itself.  The SV's head is I<not> freed, although
6408 its type is set to all 1's so that it won't inadvertently be assumed
6409 to be live during global destruction etc.
6410 This function should only be called when REFCNT is zero.  Most of the time
6411 you'll want to call C<sv_free()> (or its macro wrapper C<SvREFCNT_dec>)
6412 instead.
6413
6414 =cut
6415 */
6416
6417 void
6418 Perl_sv_clear(pTHX_ SV *const orig_sv)
6419 {
6420     dVAR;
6421     HV *stash;
6422     U32 type;
6423     const struct body_details *sv_type_details;
6424     SV* iter_sv = NULL;
6425     SV* next_sv = NULL;
6426     SV *sv = orig_sv;
6427     STRLEN hash_index;
6428
6429     PERL_ARGS_ASSERT_SV_CLEAR;
6430
6431     /* within this loop, sv is the SV currently being freed, and
6432      * iter_sv is the most recent AV or whatever that's being iterated
6433      * over to provide more SVs */
6434
6435     while (sv) {
6436
6437         type = SvTYPE(sv);
6438
6439         assert(SvREFCNT(sv) == 0);
6440         assert(SvTYPE(sv) != (svtype)SVTYPEMASK);
6441
6442         if (type <= SVt_IV) {
6443             /* See the comment in sv.h about the collusion between this
6444              * early return and the overloading of the NULL slots in the
6445              * size table.  */
6446             if (SvROK(sv))
6447                 goto free_rv;
6448             SvFLAGS(sv) &= SVf_BREAK;
6449             SvFLAGS(sv) |= SVTYPEMASK;
6450             goto free_head;
6451         }
6452
6453         assert(!SvOBJECT(sv) || type >= SVt_PVMG); /* objs are always >= MG */
6454
6455         if (type >= SVt_PVMG) {
6456             if (SvOBJECT(sv)) {
6457                 if (!curse(sv, 1)) goto get_next_sv;
6458                 type = SvTYPE(sv); /* destructor may have changed it */
6459             }
6460             /* Free back-references before magic, in case the magic calls
6461              * Perl code that has weak references to sv. */
6462             if (type == SVt_PVHV) {
6463                 Perl_hv_kill_backrefs(aTHX_ MUTABLE_HV(sv));
6464                 if (SvMAGIC(sv))
6465                     mg_free(sv);
6466             }
6467             else if (type == SVt_PVMG && SvPAD_OUR(sv)) {
6468                 SvREFCNT_dec(SvOURSTASH(sv));
6469             }
6470             else if (type == SVt_PVAV && AvPAD_NAMELIST(sv)) {
6471                 assert(!SvMAGICAL(sv));
6472             } else if (SvMAGIC(sv)) {
6473                 /* Free back-references before other types of magic. */
6474                 sv_unmagic(sv, PERL_MAGIC_backref);
6475                 mg_free(sv);
6476             }
6477             SvMAGICAL_off(sv);
6478             if (type == SVt_PVMG && SvPAD_TYPED(sv))
6479                 SvREFCNT_dec(SvSTASH(sv));
6480         }
6481         switch (type) {
6482             /* case SVt_INVLIST: */
6483         case SVt_PVIO:
6484             if (IoIFP(sv) &&
6485                 IoIFP(sv) != PerlIO_stdin() &&
6486                 IoIFP(sv) != PerlIO_stdout() &&
6487                 IoIFP(sv) != PerlIO_stderr() &&
6488                 !(IoFLAGS(sv) & IOf_FAKE_DIRP))
6489             {
6490                 io_close(MUTABLE_IO(sv), FALSE);
6491             }
6492             if (IoDIRP(sv) && !(IoFLAGS(sv) & IOf_FAKE_DIRP))
6493                 PerlDir_close(IoDIRP(sv));
6494             IoDIRP(sv) = (DIR*)NULL;
6495             Safefree(IoTOP_NAME(sv));
6496             Safefree(IoFMT_NAME(sv));
6497             Safefree(IoBOTTOM_NAME(sv));
6498             if ((const GV *)sv == PL_statgv)
6499                 PL_statgv = NULL;
6500             goto freescalar;
6501         case SVt_REGEXP:
6502             /* FIXME for plugins */
6503           freeregexp:
6504             pregfree2((REGEXP*) sv);
6505             goto freescalar;
6506         case SVt_PVCV:
6507         case SVt_PVFM:
6508             cv_undef(MUTABLE_CV(sv));
6509             /* If we're in a stash, we don't own a reference to it.
6510              * However it does have a back reference to us, which needs to
6511              * be cleared.  */
6512             if ((stash = CvSTASH(sv)))
6513                 sv_del_backref(MUTABLE_SV(stash), sv);
6514             goto freescalar;
6515         case SVt_PVHV:
6516             if (PL_last_swash_hv == (const HV *)sv) {
6517                 PL_last_swash_hv = NULL;
6518             }
6519             if (HvTOTALKEYS((HV*)sv) > 0) {
6520                 const char *name;
6521                 /* this statement should match the one at the beginning of
6522                  * hv_undef_flags() */
6523                 if (   PL_phase != PERL_PHASE_DESTRUCT
6524                     && (name = HvNAME((HV*)sv)))
6525                 {
6526                     if (PL_stashcache) {
6527                     DEBUG_o(Perl_deb(aTHX_ "sv_clear clearing PL_stashcache for '%"SVf"'\n",
6528                                      SVfARG(sv)));
6529                         (void)hv_deletehek(PL_stashcache,
6530                                            HvNAME_HEK((HV*)sv), G_DISCARD);
6531                     }
6532                     hv_name_set((HV*)sv, NULL, 0, 0);
6533                 }
6534
6535                 /* save old iter_sv in unused SvSTASH field */
6536                 assert(!SvOBJECT(sv));
6537                 SvSTASH(sv) = (HV*)iter_sv;
6538                 iter_sv = sv;
6539
6540                 /* save old hash_index in unused SvMAGIC field */
6541                 assert(!SvMAGICAL(sv));
6542                 assert(!SvMAGIC(sv));
6543                 ((XPVMG*) SvANY(sv))->xmg_u.xmg_hash_index = hash_index;
6544                 hash_index = 0;
6545
6546                 next_sv = Perl_hfree_next_entry(aTHX_ (HV*)sv, &hash_index);
6547                 goto get_next_sv; /* process this new sv */
6548             }
6549             /* free empty hash */
6550             Perl_hv_undef_flags(aTHX_ MUTABLE_HV(sv), HV_NAME_SETALL);
6551             assert(!HvARRAY((HV*)sv));
6552             break;
6553         case SVt_PVAV:
6554             {
6555                 AV* av = MUTABLE_AV(sv);
6556                 if (PL_comppad == av) {
6557                     PL_comppad = NULL;
6558                     PL_curpad = NULL;
6559                 }
6560                 if (AvREAL(av) && AvFILLp(av) > -1) {
6561                     next_sv = AvARRAY(av)[AvFILLp(av)--];
6562                     /* save old iter_sv in top-most slot of AV,
6563                      * and pray that it doesn't get wiped in the meantime */
6564                     AvARRAY(av)[AvMAX(av)] = iter_sv;
6565                     iter_sv = sv;
6566                     goto get_next_sv; /* process this new sv */
6567                 }
6568                 Safefree(AvALLOC(av));
6569             }
6570
6571             break;
6572         case SVt_PVLV:
6573             if (LvTYPE(sv) == 'T') { /* for tie: return HE to pool */
6574                 SvREFCNT_dec(HeKEY_sv((HE*)LvTARG(sv)));
6575                 HeNEXT((HE*)LvTARG(sv)) = PL_hv_fetch_ent_mh;
6576                 PL_hv_fetch_ent_mh = (HE*)LvTARG(sv);
6577             }
6578             else if (LvTYPE(sv) != 't') /* unless tie: unrefcnted fake SV**  */
6579                 SvREFCNT_dec(LvTARG(sv));
6580             if (isREGEXP(sv)) goto freeregexp;
6581         case SVt_PVGV:
6582             if (isGV_with_GP(sv)) {
6583                 if(GvCVu((const GV *)sv) && (stash = GvSTASH(MUTABLE_GV(sv)))
6584                    && HvENAME_get(stash))
6585                     mro_method_changed_in(stash);
6586                 gp_free(MUTABLE_GV(sv));
6587                 if (GvNAME_HEK(sv))
6588                     unshare_hek(GvNAME_HEK(sv));
6589                 /* If we're in a stash, we don't own a reference to it.
6590                  * However it does have a back reference to us, which
6591                  * needs to be cleared.  */
6592                 if (!SvVALID(sv) && (stash = GvSTASH(sv)))
6593                         sv_del_backref(MUTABLE_SV(stash), sv);
6594             }
6595             /* FIXME. There are probably more unreferenced pointers to SVs
6596              * in the interpreter struct that we should check and tidy in
6597              * a similar fashion to this:  */
6598             /* See also S_sv_unglob, which does the same thing. */
6599             if ((const GV *)sv == PL_last_in_gv)
6600                 PL_last_in_gv = NULL;
6601             else if ((const GV *)sv == PL_statgv)
6602                 PL_statgv = NULL;
6603             else if ((const GV *)sv == PL_stderrgv)
6604                 PL_stderrgv = NULL;
6605         case SVt_PVMG:
6606         case SVt_PVNV:
6607         case SVt_PVIV:
6608         case SVt_INVLIST:
6609         case SVt_PV:
6610           freescalar:
6611             /* Don't bother with SvOOK_off(sv); as we're only going to
6612              * free it.  */
6613             if (SvOOK(sv)) {
6614                 STRLEN offset;
6615                 SvOOK_offset(sv, offset);
6616                 SvPV_set(sv, SvPVX_mutable(sv) - offset);
6617                 /* Don't even bother with turning off the OOK flag.  */
6618             }
6619             if (SvROK(sv)) {
6620             free_rv:
6621                 {
6622                     SV * const target = SvRV(sv);
6623                     if (SvWEAKREF(sv))
6624                         sv_del_backref(target, sv);
6625                     else
6626                         next_sv = target;
6627                 }
6628             }
6629 #ifdef PERL_ANY_COW
6630             else if (SvPVX_const(sv)
6631                      && !(SvTYPE(sv) == SVt_PVIO
6632                      && !(IoFLAGS(sv) & IOf_FAKE_DIRP)))
6633             {
6634                 if (SvIsCOW(sv)) {
6635                     if (DEBUG_C_TEST) {
6636                         PerlIO_printf(Perl_debug_log, "Copy on write: clear\n");
6637                         sv_dump(sv);
6638                     }
6639                     if (SvLEN(sv)) {
6640 # ifdef PERL_OLD_COPY_ON_WRITE
6641                         sv_release_COW(sv, SvPVX_const(sv), SV_COW_NEXT_SV(sv));
6642 # else
6643                         if (CowREFCNT(sv)) {
6644                             sv_buf_to_rw(sv);
6645                             CowREFCNT(sv)--;
6646                             sv_buf_to_ro(sv);
6647                             SvLEN_set(sv, 0);
6648                         }
6649 # endif
6650                     } else {
6651                         unshare_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sv)));
6652                     }
6653
6654                 }
6655 # ifdef PERL_OLD_COPY_ON_WRITE
6656                 else
6657 # endif
6658                 if (SvLEN(sv)) {
6659                     Safefree(SvPVX_mutable(sv));
6660                 }
6661             }
6662 #else
6663             else if (SvPVX_const(sv) && SvLEN(sv)
6664                      && !(SvTYPE(sv) == SVt_PVIO
6665                      && !(IoFLAGS(sv) & IOf_FAKE_DIRP)))
6666                 Safefree(SvPVX_mutable(sv));
6667             else if (SvPVX_const(sv) && SvIsCOW(sv)) {
6668                 unshare_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sv)));
6669             }
6670 #endif
6671             break;
6672         case SVt_NV:
6673             break;
6674         }
6675
6676       free_body:
6677
6678         SvFLAGS(sv) &= SVf_BREAK;
6679         SvFLAGS(sv) |= SVTYPEMASK;
6680
6681         sv_type_details = bodies_by_type + type;
6682         if (sv_type_details->arena) {
6683             del_body(((char *)SvANY(sv) + sv_type_details->offset),
6684                      &PL_body_roots[type]);
6685         }
6686         else if (sv_type_details->body_size) {
6687             safefree(SvANY(sv));
6688         }
6689
6690       free_head:
6691         /* caller is responsible for freeing the head of the original sv */
6692         if (sv != orig_sv && !SvREFCNT(sv))
6693             del_SV(sv);
6694
6695         /* grab and free next sv, if any */
6696       get_next_sv:
6697         while (1) {
6698             sv = NULL;
6699             if (next_sv) {
6700                 sv = next_sv;
6701                 next_sv = NULL;
6702             }
6703             else if (!iter_sv) {
6704                 break;
6705             } else if (SvTYPE(iter_sv) == SVt_PVAV) {
6706                 AV *const av = (AV*)iter_sv;
6707                 if (AvFILLp(av) > -1) {
6708                     sv = AvARRAY(av)[AvFILLp(av)--];
6709                 }
6710                 else { /* no more elements of current AV to free */
6711                     sv = iter_sv;
6712                     type = SvTYPE(sv);
6713                     /* restore previous value, squirrelled away */
6714                     iter_sv = AvARRAY(av)[AvMAX(av)];
6715                     Safefree(AvALLOC(av));
6716                     goto free_body;
6717                 }
6718             } else if (SvTYPE(iter_sv) == SVt_PVHV) {
6719                 sv = Perl_hfree_next_entry(aTHX_ (HV*)iter_sv, &hash_index);
6720                 if (!sv && !HvTOTALKEYS((HV *)iter_sv)) {
6721                     /* no more elements of current HV to free */
6722                     sv = iter_sv;
6723                     type = SvTYPE(sv);
6724                     /* Restore previous values of iter_sv and hash_index,
6725                      * squirrelled away */
6726                     assert(!SvOBJECT(sv));
6727                     iter_sv = (SV*)SvSTASH(sv);
6728                     assert(!SvMAGICAL(sv));
6729                     hash_index = ((XPVMG*) SvANY(sv))->xmg_u.xmg_hash_index;
6730 #ifdef DEBUGGING
6731                     /* perl -DA does not like rubbish in SvMAGIC. */
6732                     SvMAGIC_set(sv, 0);
6733 #endif
6734
6735                     /* free any remaining detritus from the hash struct */
6736                     Perl_hv_undef_flags(aTHX_ MUTABLE_HV(sv), HV_NAME_SETALL);
6737                     assert(!HvARRAY((HV*)sv));
6738                     goto free_body;
6739                 }
6740             }
6741
6742             /* unrolled SvREFCNT_dec and sv_free2 follows: */
6743
6744             if (!sv)
6745                 continue;
6746             if (!SvREFCNT(sv)) {
6747                 sv_free(sv);
6748                 continue;
6749             }
6750             if (--(SvREFCNT(sv)))
6751                 continue;
6752 #ifdef DEBUGGING
6753             if (SvTEMP(sv)) {
6754                 Perl_ck_warner_d(aTHX_ packWARN(WARN_DEBUGGING),
6755                          "Attempt to free temp prematurely: SV 0x%"UVxf
6756                          pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
6757                 continue;
6758             }
6759 #endif
6760             if (SvIMMORTAL(sv)) {
6761                 /* make sure SvREFCNT(sv)==0 happens very seldom */
6762                 SvREFCNT(sv) = SvREFCNT_IMMORTAL;
6763                 continue;
6764             }
6765             break;
6766         } /* while 1 */
6767
6768     } /* while sv */
6769 }
6770
6771 /* This routine curses the sv itself, not the object referenced by sv. So
6772    sv does not have to be ROK. */
6773
6774 static bool
6775 S_curse(pTHX_ SV * const sv, const bool check_refcnt) {
6776     PERL_ARGS_ASSERT_CURSE;
6777     assert(SvOBJECT(sv));
6778
6779     if (PL_defstash &&  /* Still have a symbol table? */
6780         SvDESTROYABLE(sv))
6781     {
6782         dSP;
6783         HV* stash;
6784         do {
6785           stash = SvSTASH(sv);
6786           assert(SvTYPE(stash) == SVt_PVHV);
6787           if (HvNAME(stash)) {
6788             CV* destructor = NULL;
6789             assert (SvOOK(stash));
6790             if (!SvOBJECT(stash)) destructor = (CV *)SvSTASH(stash);
6791             if (!destructor || HvMROMETA(stash)->destroy_gen
6792                                 != PL_sub_generation)
6793             {
6794                 GV * const gv =
6795                     gv_fetchmeth_autoload(stash, "DESTROY", 7, 0);
6796                 if (gv) destructor = GvCV(gv);
6797                 if (!SvOBJECT(stash))
6798                 {
6799                     SvSTASH(stash) =
6800                         destructor ? (HV *)destructor : ((HV *)0)+1;
6801                     HvAUX(stash)->xhv_mro_meta->destroy_gen =
6802                         PL_sub_generation;
6803                 }
6804             }
6805             assert(!destructor || destructor == ((CV *)0)+1
6806                 || SvTYPE(destructor) == SVt_PVCV);
6807             if (destructor && destructor != ((CV *)0)+1
6808                 /* A constant subroutine can have no side effects, so
6809                    don't bother calling it.  */
6810                 && !CvCONST(destructor)
6811                 /* Don't bother calling an empty destructor or one that
6812                    returns immediately. */
6813                 && (CvISXSUB(destructor)
6814                 || (CvSTART(destructor)
6815                     && (CvSTART(destructor)->op_next->op_type
6816                                         != OP_LEAVESUB)
6817                     && (CvSTART(destructor)->op_next->op_type
6818                                         != OP_PUSHMARK
6819                         || CvSTART(destructor)->op_next->op_next->op_type
6820                                         != OP_RETURN
6821                        )
6822                    ))
6823                )
6824             {
6825                 SV* const tmpref = newRV(sv);
6826                 SvREADONLY_on(tmpref); /* DESTROY() could be naughty */
6827                 ENTER;
6828                 PUSHSTACKi(PERLSI_DESTROY);
6829                 EXTEND(SP, 2);
6830                 PUSHMARK(SP);
6831                 PUSHs(tmpref);
6832                 PUTBACK;
6833                 call_sv(MUTABLE_SV(destructor),
6834                             G_DISCARD|G_EVAL|G_KEEPERR|G_VOID);
6835                 POPSTACK;
6836                 SPAGAIN;
6837                 LEAVE;
6838                 if(SvREFCNT(tmpref) < 2) {
6839                     /* tmpref is not kept alive! */
6840                     SvREFCNT(sv)--;
6841                     SvRV_set(tmpref, NULL);
6842                     SvROK_off(tmpref);
6843                 }
6844                 SvREFCNT_dec_NN(tmpref);
6845             }
6846           }
6847         } while (SvOBJECT(sv) && SvSTASH(sv) != stash);
6848
6849
6850         if (check_refcnt && SvREFCNT(sv)) {
6851             if (PL_in_clean_objs)
6852                 Perl_croak(aTHX_
6853                   "DESTROY created new reference to dead object '%"HEKf"'",
6854                    HEKfARG(HvNAME_HEK(stash)));
6855             /* DESTROY gave object new lease on life */
6856             return FALSE;
6857         }
6858     }
6859
6860     if (SvOBJECT(sv)) {
6861         HV * const stash = SvSTASH(sv);
6862         /* Curse before freeing the stash, as freeing the stash could cause
6863            a recursive call into S_curse. */
6864         SvOBJECT_off(sv);       /* Curse the object. */
6865         SvSTASH_set(sv,0);      /* SvREFCNT_dec may try to read this */
6866         SvREFCNT_dec(stash); /* possibly of changed persuasion */
6867     }
6868     return TRUE;
6869 }
6870
6871 /*
6872 =for apidoc sv_newref
6873
6874 Increment an SV's reference count.  Use the C<SvREFCNT_inc()> wrapper
6875 instead.
6876
6877 =cut
6878 */
6879
6880 SV *
6881 Perl_sv_newref(pTHX_ SV *const sv)
6882 {
6883     PERL_UNUSED_CONTEXT;
6884     if (sv)
6885         (SvREFCNT(sv))++;
6886     return sv;
6887 }
6888
6889 /*
6890 =for apidoc sv_free
6891
6892 Decrement an SV's reference count, and if it drops to zero, call
6893 C<sv_clear> to invoke destructors and free up any memory used by
6894 the body; finally, deallocate the SV's head itself.
6895 Normally called via a wrapper macro C<SvREFCNT_dec>.
6896
6897 =cut
6898 */
6899
6900 void
6901 Perl_sv_free(pTHX_ SV *const sv)
6902 {
6903     SvREFCNT_dec(sv);
6904 }
6905
6906
6907 /* Private helper function for SvREFCNT_dec().
6908  * Called with rc set to original SvREFCNT(sv), where rc == 0 or 1 */
6909
6910 void
6911 Perl_sv_free2(pTHX_ SV *const sv, const U32 rc)
6912 {
6913     dVAR;
6914
6915     PERL_ARGS_ASSERT_SV_FREE2;
6916
6917     if (LIKELY( rc == 1 )) {
6918         /* normal case */
6919         SvREFCNT(sv) = 0;
6920
6921 #ifdef DEBUGGING
6922         if (SvTEMP(sv)) {
6923             Perl_ck_warner_d(aTHX_ packWARN(WARN_DEBUGGING),
6924                              "Attempt to free temp prematurely: SV 0x%"UVxf
6925                              pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
6926             return;
6927         }
6928 #endif
6929         if (SvIMMORTAL(sv)) {
6930             /* make sure SvREFCNT(sv)==0 happens very seldom */
6931             SvREFCNT(sv) = SvREFCNT_IMMORTAL;
6932             return;
6933         }
6934         sv_clear(sv);
6935         if (! SvREFCNT(sv)) /* may have have been resurrected */
6936             del_SV(sv);
6937         return;
6938     }
6939
6940     /* handle exceptional cases */
6941
6942     assert(rc == 0);
6943
6944     if (SvFLAGS(sv) & SVf_BREAK)
6945         /* this SV's refcnt has been artificially decremented to
6946          * trigger cleanup */
6947         return;
6948     if (PL_in_clean_all) /* All is fair */
6949         return;
6950     if (SvIMMORTAL(sv)) {
6951         /* make sure SvREFCNT(sv)==0 happens very seldom */
6952         SvREFCNT(sv) = SvREFCNT_IMMORTAL;
6953         return;
6954     }
6955     if (ckWARN_d(WARN_INTERNAL)) {
6956 #ifdef DEBUG_LEAKING_SCALARS_FORK_DUMP
6957         Perl_dump_sv_child(aTHX_ sv);
6958 #else
6959     #ifdef DEBUG_LEAKING_SCALARS
6960         sv_dump(sv);
6961     #endif
6962 #ifdef DEBUG_LEAKING_SCALARS_ABORT
6963         if (PL_warnhook == PERL_WARNHOOK_FATAL
6964             || ckDEAD(packWARN(WARN_INTERNAL))) {
6965             /* Don't let Perl_warner cause us to escape our fate:  */
6966             abort();
6967         }
6968 #endif
6969         /* This may not return:  */
6970         Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
6971                     "Attempt to free unreferenced scalar: SV 0x%"UVxf
6972                     pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
6973 #endif
6974     }
6975 #ifdef DEBUG_LEAKING_SCALARS_ABORT
6976     abort();
6977 #endif
6978
6979 }
6980
6981
6982 /*
6983 =for apidoc sv_len
6984
6985 Returns the length of the string in the SV.  Handles magic and type
6986 coercion and sets the UTF8 flag appropriately.  See also C<SvCUR>, which
6987 gives raw access to the xpv_cur slot.
6988
6989 =cut
6990 */
6991
6992 STRLEN
6993 Perl_sv_len(pTHX_ SV *const sv)
6994 {
6995     STRLEN len;
6996
6997     if (!sv)
6998         return 0;
6999
7000     (void)SvPV_const(sv, len);
7001     return len;
7002 }
7003
7004 /*
7005 =for apidoc sv_len_utf8
7006
7007 Returns the number of characters in the string in an SV, counting wide
7008 UTF-8 bytes as a single character.  Handles magic and type coercion.
7009
7010 =cut
7011 */
7012
7013 /*
7014  * The length is cached in PERL_MAGIC_utf8, in the mg_len field.  Also the
7015  * mg_ptr is used, by sv_pos_u2b() and sv_pos_b2u() - see the comments below.
7016  * (Note that the mg_len is not the length of the mg_ptr field.
7017  * This allows the cache to store the character length of the string without
7018  * needing to malloc() extra storage to attach to the mg_ptr.)
7019  *
7020  */
7021
7022 STRLEN
7023 Perl_sv_len_utf8(pTHX_ SV *const sv)
7024 {
7025     if (!sv)
7026         return 0;
7027
7028     SvGETMAGIC(sv);
7029     return sv_len_utf8_nomg(sv);
7030 }
7031
7032 STRLEN
7033 Perl_sv_len_utf8_nomg(pTHX_ SV * const sv)
7034 {
7035     STRLEN len;
7036     const U8 *s = (U8*)SvPV_nomg_const(sv, len);
7037
7038     PERL_ARGS_ASSERT_SV_LEN_UTF8_NOMG;
7039
7040     if (PL_utf8cache && SvUTF8(sv)) {
7041             STRLEN ulen;
7042             MAGIC *mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_utf8) : NULL;
7043
7044             if (mg && (mg->mg_len != -1 || mg->mg_ptr)) {
7045                 if (mg->mg_len != -1)
7046                     ulen = mg->mg_len;
7047                 else {
7048                     /* We can use the offset cache for a headstart.
7049                        The longer value is stored in the first pair.  */
7050                     STRLEN *cache = (STRLEN *) mg->mg_ptr;
7051
7052                     ulen = cache[0] + Perl_utf8_length(aTHX_ s + cache[1],
7053                                                        s + len);
7054                 }
7055                 
7056                 if (PL_utf8cache < 0) {
7057                     const STRLEN real = Perl_utf8_length(aTHX_ s, s + len);
7058                     assert_uft8_cache_coherent("sv_len_utf8", ulen, real, sv);
7059                 }
7060             }
7061             else {
7062                 ulen = Perl_utf8_length(aTHX_ s, s + len);
7063                 utf8_mg_len_cache_update(sv, &mg, ulen);
7064             }
7065             return ulen;
7066     }
7067     return SvUTF8(sv) ? Perl_utf8_length(aTHX_ s, s + len) : len;
7068 }
7069
7070 /* Walk forwards to find the byte corresponding to the passed in UTF-8
7071    offset.  */
7072 static STRLEN
7073 S_sv_pos_u2b_forwards(const U8 *const start, const U8 *const send,
7074                       STRLEN *const uoffset_p, bool *const at_end)
7075 {
7076     const U8 *s = start;
7077     STRLEN uoffset = *uoffset_p;
7078
7079     PERL_ARGS_ASSERT_SV_POS_U2B_FORWARDS;
7080
7081     while (s < send && uoffset) {
7082         --uoffset;
7083         s += UTF8SKIP(s);
7084     }
7085     if (s == send) {
7086         *at_end = TRUE;
7087     }
7088     else if (s > send) {
7089         *at_end = TRUE;
7090         /* This is the existing behaviour. Possibly it should be a croak, as
7091            it's actually a bounds error  */
7092         s = send;
7093     }
7094     *uoffset_p -= uoffset;
7095     return s - start;
7096 }
7097
7098 /* Given the length of the string in both bytes and UTF-8 characters, decide
7099    whether to walk forwards or backwards to find the byte corresponding to
7100    the passed in UTF-8 offset.  */
7101 static STRLEN
7102 S_sv_pos_u2b_midway(const U8 *const start, const U8 *send,
7103                     STRLEN uoffset, const STRLEN uend)
7104 {
7105     STRLEN backw = uend - uoffset;
7106
7107     PERL_ARGS_ASSERT_SV_POS_U2B_MIDWAY;
7108
7109     if (uoffset < 2 * backw) {
7110         /* The assumption is that going forwards is twice the speed of going
7111            forward (that's where the 2 * backw comes from).
7112            (The real figure of course depends on the UTF-8 data.)  */
7113         const U8 *s = start;
7114
7115         while (s < send && uoffset--)
7116             s += UTF8SKIP(s);
7117         assert (s <= send);
7118         if (s > send)
7119             s = send;
7120         return s - start;
7121     }
7122
7123     while (backw--) {
7124         send--;
7125         while (UTF8_IS_CONTINUATION(*send))
7126             send--;
7127     }
7128     return send - start;
7129 }
7130
7131 /* For the string representation of the given scalar, find the byte
7132    corresponding to the passed in UTF-8 offset.  uoffset0 and boffset0
7133    give another position in the string, *before* the sought offset, which
7134    (which is always true, as 0, 0 is a valid pair of positions), which should
7135    help reduce the amount of linear searching.
7136    If *mgp is non-NULL, it should point to the UTF-8 cache magic, which
7137    will be used to reduce the amount of linear searching. The cache will be
7138    created if necessary, and the found value offered to it for update.  */
7139 static STRLEN
7140 S_sv_pos_u2b_cached(pTHX_ SV *const sv, MAGIC **const mgp, const U8 *const start,
7141                     const U8 *const send, STRLEN uoffset,
7142                     STRLEN uoffset0, STRLEN boffset0)
7143 {
7144     STRLEN boffset = 0; /* Actually always set, but let's keep gcc happy.  */
7145     bool found = FALSE;
7146     bool at_end = FALSE;
7147
7148     PERL_ARGS_ASSERT_SV_POS_U2B_CACHED;
7149
7150     assert (uoffset >= uoffset0);
7151
7152     if (!uoffset)
7153         return 0;
7154
7155     if (!SvREADONLY(sv) && !SvGMAGICAL(sv) && SvPOK(sv)
7156         && PL_utf8cache
7157         && (*mgp || (SvTYPE(sv) >= SVt_PVMG &&
7158                      (*mgp = mg_find(sv, PERL_MAGIC_utf8))))) {
7159         if ((*mgp)->mg_ptr) {
7160             STRLEN *cache = (STRLEN *) (*mgp)->mg_ptr;
7161             if (cache[0] == uoffset) {
7162                 /* An exact match. */
7163                 return cache[1];
7164             }
7165             if (cache[2] == uoffset) {
7166                 /* An exact match. */
7167                 return cache[3];
7168             }
7169
7170             if (cache[0] < uoffset) {
7171                 /* The cache already knows part of the way.   */
7172                 if (cache[0] > uoffset0) {
7173                     /* The cache knows more than the passed in pair  */
7174                     uoffset0 = cache[0];
7175                     boffset0 = cache[1];
7176                 }
7177                 if ((*mgp)->mg_len != -1) {
7178                     /* And we know the end too.  */
7179                     boffset = boffset0
7180                         + sv_pos_u2b_midway(start + boffset0, send,
7181                                               uoffset - uoffset0,
7182                                               (*mgp)->mg_len - uoffset0);
7183                 } else {
7184                     uoffset -= uoffset0;
7185                     boffset = boffset0
7186                         + sv_pos_u2b_forwards(start + boffset0,
7187                                               send, &uoffset, &at_end);
7188                     uoffset += uoffset0;
7189                 }
7190             }
7191             else if (cache[2] < uoffset) {
7192                 /* We're between the two cache entries.  */
7193                 if (cache[2] > uoffset0) {
7194                     /* and the cache knows more than the passed in pair  */
7195                     uoffset0 = cache[2];
7196                     boffset0 = cache[3];
7197                 }
7198
7199                 boffset = boffset0
7200                     + sv_pos_u2b_midway(start + boffset0,
7201                                           start + cache[1],
7202                                           uoffset - uoffset0,
7203                                           cache[0] - uoffset0);
7204             } else {
7205                 boffset = boffset0
7206                     + sv_pos_u2b_midway(start + boffset0,
7207                                           start + cache[3],
7208                                           uoffset - uoffset0,
7209                                           cache[2] - uoffset0);
7210             }
7211             found = TRUE;
7212         }
7213         else if ((*mgp)->mg_len != -1) {
7214             /* If we can take advantage of a passed in offset, do so.  */
7215             /* In fact, offset0 is either 0, or less than offset, so don't
7216                need to worry about the other possibility.  */
7217             boffset = boffset0
7218                 + sv_pos_u2b_midway(start + boffset0, send,
7219                                       uoffset - uoffset0,
7220                                       (*mgp)->mg_len - uoffset0);
7221             found = TRUE;
7222         }
7223     }
7224
7225     if (!found || PL_utf8cache < 0) {
7226         STRLEN real_boffset;
7227         uoffset -= uoffset0;
7228         real_boffset = boffset0 + sv_pos_u2b_forwards(start + boffset0,
7229                                                       send, &uoffset, &at_end);
7230         uoffset += uoffset0;
7231
7232         if (found && PL_utf8cache < 0)
7233             assert_uft8_cache_coherent("sv_pos_u2b_cache", boffset,
7234                                        real_boffset, sv);
7235         boffset = real_boffset;
7236     }
7237
7238     if (PL_utf8cache && !SvGMAGICAL(sv) && SvPOK(sv)) {
7239         if (at_end)
7240             utf8_mg_len_cache_update(sv, mgp, uoffset);
7241         else
7242             utf8_mg_pos_cache_update(sv, mgp, boffset, uoffset, send - start);
7243     }
7244     return boffset;
7245 }
7246
7247
7248 /*
7249 =for apidoc sv_pos_u2b_flags
7250
7251 Converts the offset from a count of UTF-8 chars from
7252 the start of the string, to a count of the equivalent number of bytes; if
7253 lenp is non-zero, it does the same to lenp, but this time starting from
7254 the offset, rather than from the start
7255 of the string.  Handles type coercion.
7256 I<flags> is passed to C<SvPV_flags>, and usually should be
7257 C<SV_GMAGIC|SV_CONST_RETURN> to handle magic.
7258
7259 =cut
7260 */
7261
7262 /*
7263  * sv_pos_u2b_flags() uses, like sv_pos_b2u(), the mg_ptr of the potential
7264  * PERL_MAGIC_utf8 of the sv to store the mapping between UTF-8 and
7265  * byte offsets.  See also the comments of S_utf8_mg_pos_cache_update().
7266  *
7267  */
7268
7269 STRLEN
7270 Perl_sv_pos_u2b_flags(pTHX_ SV *const sv, STRLEN uoffset, STRLEN *const lenp,
7271                       U32 flags)
7272 {
7273     const U8 *start;
7274     STRLEN len;
7275     STRLEN boffset;
7276
7277     PERL_ARGS_ASSERT_SV_POS_U2B_FLAGS;
7278
7279     start = (U8*)SvPV_flags(sv, len, flags);
7280     if (len) {
7281         const U8 * const send = start + len;
7282         MAGIC *mg = NULL;
7283         boffset = sv_pos_u2b_cached(sv, &mg, start, send, uoffset, 0, 0);
7284
7285         if (lenp
7286             && *lenp /* don't bother doing work for 0, as its bytes equivalent
7287                         is 0, and *lenp is already set to that.  */) {
7288             /* Convert the relative offset to absolute.  */
7289             const STRLEN uoffset2 = uoffset + *lenp;
7290             const STRLEN boffset2
7291                 = sv_pos_u2b_cached(sv, &mg, start, send, uoffset2,
7292                                       uoffset, boffset) - boffset;
7293
7294             *lenp = boffset2;
7295         }
7296     } else {
7297         if (lenp)
7298             *lenp = 0;
7299         boffset = 0;
7300     }
7301
7302     return boffset;
7303 }
7304
7305 /*
7306 =for apidoc sv_pos_u2b
7307
7308 Converts the value pointed to by offsetp from a count of UTF-8 chars from
7309 the start of the string, to a count of the equivalent number of bytes; if
7310 lenp is non-zero, it does the same to lenp, but this time starting from
7311 the offset, rather than from the start of the string.  Handles magic and
7312 type coercion.
7313
7314 Use C<sv_pos_u2b_flags> in preference, which correctly handles strings longer
7315 than 2Gb.
7316
7317 =cut
7318 */
7319
7320 /*
7321  * sv_pos_u2b() uses, like sv_pos_b2u(), the mg_ptr of the potential
7322  * PERL_MAGIC_utf8 of the sv to store the mapping between UTF-8 and
7323  * byte offsets.  See also the comments of S_utf8_mg_pos_cache_update().
7324  *
7325  */
7326
7327 /* This function is subject to size and sign problems */
7328
7329 void
7330 Perl_sv_pos_u2b(pTHX_ SV *const sv, I32 *const offsetp, I32 *const lenp)
7331 {
7332     PERL_ARGS_ASSERT_SV_POS_U2B;
7333
7334     if (lenp) {
7335         STRLEN ulen = (STRLEN)*lenp;
7336         *offsetp = (I32)sv_pos_u2b_flags(sv, (STRLEN)*offsetp, &ulen,
7337                                          SV_GMAGIC|SV_CONST_RETURN);
7338         *lenp = (I32)ulen;
7339     } else {
7340         *offsetp = (I32)sv_pos_u2b_flags(sv, (STRLEN)*offsetp, NULL,
7341                                          SV_GMAGIC|SV_CONST_RETURN);
7342     }
7343 }
7344
7345 static void
7346 S_utf8_mg_len_cache_update(pTHX_ SV *const sv, MAGIC **const mgp,
7347                            const STRLEN ulen)
7348 {
7349     PERL_ARGS_ASSERT_UTF8_MG_LEN_CACHE_UPDATE;
7350     if (SvREADONLY(sv) || SvGMAGICAL(sv) || !SvPOK(sv))
7351         return;
7352
7353     if (!*mgp && (SvTYPE(sv) < SVt_PVMG ||
7354                   !(*mgp = mg_find(sv, PERL_MAGIC_utf8)))) {
7355         *mgp = sv_magicext(sv, 0, PERL_MAGIC_utf8, &PL_vtbl_utf8, 0, 0);
7356     }
7357     assert(*mgp);
7358
7359     (*mgp)->mg_len = ulen;
7360 }
7361
7362 /* Create and update the UTF8 magic offset cache, with the proffered utf8/
7363    byte length pairing. The (byte) length of the total SV is passed in too,
7364    as blen, because for some (more esoteric) SVs, the call to SvPV_const()
7365    may not have updated SvCUR, so we can't rely on reading it directly.
7366
7367    The proffered utf8/byte length pairing isn't used if the cache already has
7368    two pairs, and swapping either for the proffered pair would increase the
7369    RMS of the intervals between known byte offsets.
7370
7371    The cache itself consists of 4 STRLEN values
7372    0: larger UTF-8 offset
7373    1: corresponding byte offset
7374    2: smaller UTF-8 offset
7375    3: corresponding byte offset
7376
7377    Unused cache pairs have the value 0, 0.
7378    Keeping the cache "backwards" means that the invariant of
7379    cache[0] >= cache[2] is maintained even with empty slots, which means that
7380    the code that uses it doesn't need to worry if only 1 entry has actually
7381    been set to non-zero.  It also makes the "position beyond the end of the
7382    cache" logic much simpler, as the first slot is always the one to start
7383    from.   
7384 */
7385 static void
7386 S_utf8_mg_pos_cache_update(pTHX_ SV *const sv, MAGIC **const mgp, const STRLEN byte,
7387                            const STRLEN utf8, const STRLEN blen)
7388 {
7389     STRLEN *cache;
7390
7391     PERL_ARGS_ASSERT_UTF8_MG_POS_CACHE_UPDATE;
7392
7393     if (SvREADONLY(sv))
7394         return;
7395
7396     if (!*mgp && (SvTYPE(sv) < SVt_PVMG ||
7397                   !(*mgp = mg_find(sv, PERL_MAGIC_utf8)))) {
7398         *mgp = sv_magicext(sv, 0, PERL_MAGIC_utf8, (MGVTBL*)&PL_vtbl_utf8, 0,
7399                            0);
7400         (*mgp)->mg_len = -1;
7401     }
7402     assert(*mgp);
7403
7404     if (!(cache = (STRLEN *)(*mgp)->mg_ptr)) {
7405         Newxz(cache, PERL_MAGIC_UTF8_CACHESIZE * 2, STRLEN);
7406         (*mgp)->mg_ptr = (char *) cache;
7407     }
7408     assert(cache);
7409
7410     if (PL_utf8cache < 0 && SvPOKp(sv)) {
7411         /* SvPOKp() because, if sv is a reference, then SvPVX() is actually
7412            a pointer.  Note that we no longer cache utf8 offsets on refer-
7413            ences, but this check is still a good idea, for robustness.  */
7414         const U8 *start = (const U8 *) SvPVX_const(sv);
7415         const STRLEN realutf8 = utf8_length(start, start + byte);
7416
7417         assert_uft8_cache_coherent("utf8_mg_pos_cache_update", utf8, realutf8,
7418                                    sv);
7419     }
7420
7421     /* Cache is held with the later position first, to simplify the code
7422        that deals with unbounded ends.  */
7423        
7424     ASSERT_UTF8_CACHE(cache);
7425     if (cache[1] == 0) {
7426         /* Cache is totally empty  */
7427         cache[0] = utf8;
7428         cache[1] = byte;
7429     } else if (cache[3] == 0) {
7430         if (byte > cache[1]) {
7431             /* New one is larger, so goes first.  */
7432             cache[2] = cache[0];
7433             cache[3] = cache[1];
7434             cache[0] = utf8;
7435             cache[1] = byte;
7436         } else {
7437             cache[2] = utf8;
7438             cache[3] = byte;
7439         }
7440     } else {
7441 /* float casts necessary? XXX */
7442 #define THREEWAY_SQUARE(a,b,c,d) \
7443             ((float)((d) - (c))) * ((float)((d) - (c))) \
7444             + ((float)((c) - (b))) * ((float)((c) - (b))) \
7445                + ((float)((b) - (a))) * ((float)((b) - (a)))
7446
7447         /* Cache has 2 slots in use, and we know three potential pairs.
7448            Keep the two that give the lowest RMS distance. Do the
7449            calculation in bytes simply because we always know the byte
7450            length.  squareroot has the same ordering as the positive value,
7451            so don't bother with the actual square root.  */
7452         if (byte > cache[1]) {
7453             /* New position is after the existing pair of pairs.  */
7454             const float keep_earlier
7455                 = THREEWAY_SQUARE(0, cache[3], byte, blen);
7456             const float keep_later
7457                 = THREEWAY_SQUARE(0, cache[1], byte, blen);
7458
7459             if (keep_later < keep_earlier) {
7460                 cache[2] = cache[0];
7461                 cache[3] = cache[1];
7462             }
7463             cache[0] = utf8;
7464             cache[1] = byte;
7465         }
7466         else {
7467             const float keep_later = THREEWAY_SQUARE(0, byte, cache[1], blen);
7468             float b, c, keep_earlier;
7469             if (byte > cache[3]) {
7470                 /* New position is between the existing pair of pairs.  */
7471                 b = cache[3];
7472                 c = byte;
7473             } else {
7474                 /* New position is before the existing pair of pairs.  */
7475                 b = byte;
7476                 c = cache[3];
7477             }
7478             keep_earlier = THREEWAY_SQUARE(0, b, c, blen);
7479             if (byte > cache[3]) {
7480                 if (keep_later < keep_earlier) {
7481                     cache[2] = utf8;
7482                     cache[3] = byte;
7483                 }
7484                 else {
7485                     cache[0] = utf8;
7486                     cache[1] = byte;
7487                 }
7488             }
7489             else {
7490                 if (! (keep_later < keep_earlier)) {
7491                     cache[0] = cache[2];
7492                     cache[1] = cache[3];
7493                 }
7494                 cache[2] = utf8;
7495                 cache[3] = byte;
7496             }
7497         }
7498     }
7499     ASSERT_UTF8_CACHE(cache);
7500 }
7501
7502 /* We already know all of the way, now we may be able to walk back.  The same
7503    assumption is made as in S_sv_pos_u2b_midway(), namely that walking
7504    backward is half the speed of walking forward. */
7505 static STRLEN
7506 S_sv_pos_b2u_midway(pTHX_ const U8 *const s, const U8 *const target,
7507                     const U8 *end, STRLEN endu)
7508 {
7509     const STRLEN forw = target - s;
7510     STRLEN backw = end - target;
7511
7512     PERL_ARGS_ASSERT_SV_POS_B2U_MIDWAY;
7513
7514     if (forw < 2 * backw) {
7515         return utf8_length(s, target);
7516     }
7517
7518     while (end > target) {
7519         end--;
7520         while (UTF8_IS_CONTINUATION(*end)) {
7521             end--;
7522         }
7523         endu--;
7524     }
7525     return endu;
7526 }
7527
7528 /*
7529 =for apidoc sv_pos_b2u_flags
7530
7531 Converts the offset from a count of bytes from the start of the string, to
7532 a count of the equivalent number of UTF-8 chars.  Handles type coercion.
7533 I<flags> is passed to C<SvPV_flags>, and usually should be
7534 C<SV_GMAGIC|SV_CONST_RETURN> to handle magic.
7535
7536 =cut
7537 */
7538
7539 /*
7540  * sv_pos_b2u_flags() uses, like sv_pos_u2b_flags(), the mg_ptr of the
7541  * potential PERL_MAGIC_utf8 of the sv to store the mapping between UTF-8
7542  * and byte offsets.
7543  *
7544  */
7545 STRLEN
7546 Perl_sv_pos_b2u_flags(pTHX_ SV *const sv, STRLEN const offset, U32 flags)
7547 {
7548     const U8* s;
7549     STRLEN len = 0; /* Actually always set, but let's keep gcc happy.  */
7550     STRLEN blen;
7551     MAGIC* mg = NULL;
7552     const U8* send;
7553     bool found = FALSE;
7554
7555     PERL_ARGS_ASSERT_SV_POS_B2U_FLAGS;
7556
7557     s = (const U8*)SvPV_flags(sv, blen, flags);
7558
7559     if (blen < offset)
7560         Perl_croak(aTHX_ "panic: sv_pos_b2u: bad byte offset, blen=%"UVuf
7561                    ", byte=%"UVuf, (UV)blen, (UV)offset);
7562
7563     send = s + offset;
7564
7565     if (!SvREADONLY(sv)
7566         && PL_utf8cache
7567         && SvTYPE(sv) >= SVt_PVMG
7568         && (mg = mg_find(sv, PERL_MAGIC_utf8)))
7569     {
7570         if (mg->mg_ptr) {
7571             STRLEN * const cache = (STRLEN *) mg->mg_ptr;
7572             if (cache[1] == offset) {
7573                 /* An exact match. */
7574                 return cache[0];
7575             }
7576             if (cache[3] == offset) {
7577                 /* An exact match. */
7578                 return cache[2];
7579             }
7580
7581             if (cache[1] < offset) {
7582                 /* We already know part of the way. */
7583                 if (mg->mg_len != -1) {
7584                     /* Actually, we know the end too.  */
7585                     len = cache[0]
7586                         + S_sv_pos_b2u_midway(aTHX_ s + cache[1], send,
7587                                               s + blen, mg->mg_len - cache[0]);
7588                 } else {
7589                     len = cache[0] + utf8_length(s + cache[1], send);
7590                 }
7591             }
7592             else if (cache[3] < offset) {
7593                 /* We're between the two cached pairs, so we do the calculation
7594                    offset by the byte/utf-8 positions for the earlier pair,
7595                    then add the utf-8 characters from the string start to
7596                    there.  */
7597                 len = S_sv_pos_b2u_midway(aTHX_ s + cache[3], send,
7598                                           s + cache[1], cache[0] - cache[2])
7599                     + cache[2];
7600
7601             }
7602             else { /* cache[3] > offset */
7603                 len = S_sv_pos_b2u_midway(aTHX_ s, send, s + cache[3],
7604                                           cache[2]);
7605
7606             }
7607             ASSERT_UTF8_CACHE(cache);
7608             found = TRUE;
7609         } else if (mg->mg_len != -1) {
7610             len = S_sv_pos_b2u_midway(aTHX_ s, send, s + blen, mg->mg_len);
7611             found = TRUE;
7612         }
7613     }
7614     if (!found || PL_utf8cache < 0) {
7615         const STRLEN real_len = utf8_length(s, send);
7616
7617         if (found && PL_utf8cache < 0)
7618             assert_uft8_cache_coherent("sv_pos_b2u", len, real_len, sv);
7619         len = real_len;
7620     }
7621
7622     if (PL_utf8cache) {
7623         if (blen == offset)
7624             utf8_mg_len_cache_update(sv, &mg, len);
7625         else
7626             utf8_mg_pos_cache_update(sv, &mg, offset, len, blen);
7627     }
7628
7629     return len;
7630 }
7631
7632 /*
7633 =for apidoc sv_pos_b2u
7634
7635 Converts the value pointed to by offsetp from a count of bytes from the
7636 start of the string, to a count of the equivalent number of UTF-8 chars.
7637 Handles magic and type coercion.
7638
7639 Use C<sv_pos_b2u_flags> in preference, which correctly handles strings
7640 longer than 2Gb.
7641
7642 =cut
7643 */
7644
7645 /*
7646  * sv_pos_b2u() uses, like sv_pos_u2b(), the mg_ptr of the potential
7647  * PERL_MAGIC_utf8 of the sv to store the mapping between UTF-8 and
7648  * byte offsets.
7649  *
7650  */
7651 void
7652 Perl_sv_pos_b2u(pTHX_ SV *const sv, I32 *const offsetp)
7653 {
7654     PERL_ARGS_ASSERT_SV_POS_B2U;
7655
7656     if (!sv)
7657         return;
7658
7659     *offsetp = (I32)sv_pos_b2u_flags(sv, (STRLEN)*offsetp,
7660                                      SV_GMAGIC|SV_CONST_RETURN);
7661 }
7662
7663 static void
7664 S_assert_uft8_cache_coherent(pTHX_ const char *const func, STRLEN from_cache,
7665                              STRLEN real, SV *const sv)
7666 {
7667     PERL_ARGS_ASSERT_ASSERT_UFT8_CACHE_COHERENT;
7668
7669     /* As this is debugging only code, save space by keeping this test here,
7670        rather than inlining it in all the callers.  */
7671     if (from_cache == real)
7672         return;
7673
7674     /* Need to turn the assertions off otherwise we may recurse infinitely
7675        while printing error messages.  */
7676     SAVEI8(PL_utf8cache);
7677     PL_utf8cache = 0;
7678     Perl_croak(aTHX_ "panic: %s cache %"UVuf" real %"UVuf" for %"SVf,
7679                func, (UV) from_cache, (UV) real, SVfARG(sv));
7680 }
7681
7682 /*
7683 =for apidoc sv_eq
7684
7685 Returns a boolean indicating whether the strings in the two SVs are
7686 identical.  Is UTF-8 and 'use bytes' aware, handles get magic, and will
7687 coerce its args to strings if necessary.
7688
7689 =for apidoc sv_eq_flags
7690
7691 Returns a boolean indicating whether the strings in the two SVs are
7692 identical.  Is UTF-8 and 'use bytes' aware and coerces its args to strings
7693 if necessary.  If the flags include SV_GMAGIC, it handles get-magic, too.
7694
7695 =cut
7696 */
7697
7698 I32
7699 Perl_sv_eq_flags(pTHX_ SV *sv1, SV *sv2, const U32 flags)
7700 {
7701     const char *pv1;
7702     STRLEN cur1;
7703     const char *pv2;
7704     STRLEN cur2;
7705     I32  eq     = 0;
7706     SV* svrecode = NULL;
7707
7708     if (!sv1) {
7709         pv1 = "";
7710         cur1 = 0;
7711     }
7712     else {
7713         /* if pv1 and pv2 are the same, second SvPV_const call may
7714          * invalidate pv1 (if we are handling magic), so we may need to
7715          * make a copy */
7716         if (sv1 == sv2 && flags & SV_GMAGIC
7717          && (SvTHINKFIRST(sv1) || SvGMAGICAL(sv1))) {
7718             pv1 = SvPV_const(sv1, cur1);
7719             sv1 = newSVpvn_flags(pv1, cur1, SVs_TEMP | SvUTF8(sv2));
7720         }
7721         pv1 = SvPV_flags_const(sv1, cur1, flags);
7722     }
7723
7724     if (!sv2){
7725         pv2 = "";
7726         cur2 = 0;
7727     }
7728     else
7729         pv2 = SvPV_flags_const(sv2, cur2, flags);
7730
7731     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
7732         /* Differing utf8ness.
7733          * Do not UTF8size the comparands as a side-effect. */
7734          if (PL_encoding) {
7735               if (SvUTF8(sv1)) {
7736                    svrecode = newSVpvn(pv2, cur2);
7737                    sv_recode_to_utf8(svrecode, PL_encoding);
7738                    pv2 = SvPV_const(svrecode, cur2);
7739               }
7740               else {
7741                    svrecode = newSVpvn(pv1, cur1);
7742                    sv_recode_to_utf8(svrecode, PL_encoding);
7743                    pv1 = SvPV_const(svrecode, cur1);
7744               }
7745               /* Now both are in UTF-8. */
7746               if (cur1 != cur2) {
7747                    SvREFCNT_dec_NN(svrecode);
7748                    return FALSE;
7749               }
7750          }
7751          else {
7752               if (SvUTF8(sv1)) {
7753                   /* sv1 is the UTF-8 one  */
7754                   return bytes_cmp_utf8((const U8*)pv2, cur2,
7755                                         (const U8*)pv1, cur1) == 0;
7756               }
7757               else {
7758                   /* sv2 is the UTF-8 one  */
7759                   return bytes_cmp_utf8((const U8*)pv1, cur1,
7760                                         (const U8*)pv2, cur2) == 0;
7761               }
7762          }
7763     }
7764
7765     if (cur1 == cur2)
7766         eq = (pv1 == pv2) || memEQ(pv1, pv2, cur1);
7767         
7768     SvREFCNT_dec(svrecode);
7769
7770     return eq;
7771 }
7772
7773 /*
7774 =for apidoc sv_cmp
7775
7776 Compares the strings in two SVs.  Returns -1, 0, or 1 indicating whether the
7777 string in C<sv1> is less than, equal to, or greater than the string in
7778 C<sv2>.  Is UTF-8 and 'use bytes' aware, handles get magic, and will
7779 coerce its args to strings if necessary.  See also C<sv_cmp_locale>.
7780
7781 =for apidoc sv_cmp_flags
7782
7783 Compares the strings in two SVs.  Returns -1, 0, or 1 indicating whether the
7784 string in C<sv1> is less than, equal to, or greater than the string in
7785 C<sv2>.  Is UTF-8 and 'use bytes' aware and will coerce its args to strings
7786 if necessary.  If the flags include SV_GMAGIC, it handles get magic.  See
7787 also C<sv_cmp_locale_flags>.
7788
7789 =cut
7790 */
7791
7792 I32
7793 Perl_sv_cmp(pTHX_ SV *const sv1, SV *const sv2)
7794 {
7795     return sv_cmp_flags(sv1, sv2, SV_GMAGIC);
7796 }
7797
7798 I32
7799 Perl_sv_cmp_flags(pTHX_ SV *const sv1, SV *const sv2,
7800                   const U32 flags)
7801 {
7802     STRLEN cur1, cur2;
7803     const char *pv1, *pv2;
7804     I32  cmp;
7805     SV *svrecode = NULL;
7806
7807     if (!sv1) {
7808         pv1 = "";
7809         cur1 = 0;
7810     }
7811     else
7812         pv1 = SvPV_flags_const(sv1, cur1, flags);
7813
7814     if (!sv2) {
7815         pv2 = "";
7816         cur2 = 0;
7817     }
7818     else
7819         pv2 = SvPV_flags_const(sv2, cur2, flags);
7820
7821     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
7822         /* Differing utf8ness.
7823          * Do not UTF8size the comparands as a side-effect. */
7824         if (SvUTF8(sv1)) {
7825             if (PL_encoding) {
7826                  svrecode = newSVpvn(pv2, cur2);
7827                  sv_recode_to_utf8(svrecode, PL_encoding);
7828                  pv2 = SvPV_const(svrecode, cur2);
7829             }
7830             else {
7831                 const int retval = -bytes_cmp_utf8((const U8*)pv2, cur2,
7832                                                    (const U8*)pv1, cur1);
7833                 return retval ? retval < 0 ? -1 : +1 : 0;
7834             }
7835         }
7836         else {
7837             if (PL_encoding) {
7838                  svrecode = newSVpvn(pv1, cur1);
7839                  sv_recode_to_utf8(svrecode, PL_encoding);
7840                  pv1 = SvPV_const(svrecode, cur1);
7841             }
7842             else {
7843                 const int retval = bytes_cmp_utf8((const U8*)pv1, cur1,
7844                                                   (const U8*)pv2, cur2);
7845                 return retval ? retval < 0 ? -1 : +1 : 0;
7846             }
7847         }
7848     }
7849
7850     if (!cur1) {
7851         cmp = cur2 ? -1 : 0;
7852     } else if (!cur2) {
7853         cmp = 1;
7854     } else {
7855         const I32 retval = memcmp((const void*)pv1, (const void*)pv2, cur1 < cur2 ? cur1 : cur2);
7856
7857         if (retval) {
7858             cmp = retval < 0 ? -1 : 1;
7859         } else if (cur1 == cur2) {
7860             cmp = 0;
7861         } else {
7862             cmp = cur1 < cur2 ? -1 : 1;
7863         }
7864     }
7865
7866     SvREFCNT_dec(svrecode);
7867
7868     return cmp;
7869 }
7870
7871 /*
7872 =for apidoc sv_cmp_locale
7873
7874 Compares the strings in two SVs in a locale-aware manner.  Is UTF-8 and
7875 'use bytes' aware, handles get magic, and will coerce its args to strings
7876 if necessary.  See also C<sv_cmp>.
7877
7878 =for apidoc sv_cmp_locale_flags
7879
7880 Compares the strings in two SVs in a locale-aware manner.  Is UTF-8 and
7881 'use bytes' aware and will coerce its args to strings if necessary.  If the
7882 flags contain SV_GMAGIC, it handles get magic.  See also C<sv_cmp_flags>.
7883
7884 =cut
7885 */
7886
7887 I32
7888 Perl_sv_cmp_locale(pTHX_ SV *const sv1, SV *const sv2)
7889 {
7890     return sv_cmp_locale_flags(sv1, sv2, SV_GMAGIC);
7891 }
7892
7893 I32
7894 Perl_sv_cmp_locale_flags(pTHX_ SV *const sv1, SV *const sv2,
7895                          const U32 flags)
7896 {
7897 #ifdef USE_LOCALE_COLLATE
7898
7899     char *pv1, *pv2;
7900     STRLEN len1, len2;
7901     I32 retval;
7902
7903     if (PL_collation_standard)
7904         goto raw_compare;
7905
7906     len1 = 0;
7907     pv1 = sv1 ? sv_collxfrm_flags(sv1, &len1, flags) : (char *) NULL;
7908     len2 = 0;
7909     pv2 = sv2 ? sv_collxfrm_flags(sv2, &len2, flags) : (char *) NULL;
7910
7911     if (!pv1 || !len1) {
7912         if (pv2 && len2)
7913             return -1;
7914         else
7915             goto raw_compare;
7916     }
7917     else {
7918         if (!pv2 || !len2)
7919             return 1;
7920     }
7921
7922     retval = memcmp((void*)pv1, (void*)pv2, len1 < len2 ? len1 : len2);
7923
7924     if (retval)
7925         return retval < 0 ? -1 : 1;
7926
7927     /*
7928      * When the result of collation is equality, that doesn't mean
7929      * that there are no differences -- some locales exclude some
7930      * characters from consideration.  So to avoid false equalities,
7931      * we use the raw string as a tiebreaker.
7932      */
7933
7934   raw_compare:
7935     /* FALLTHROUGH */
7936
7937 #else
7938     PERL_UNUSED_ARG(flags);
7939 #endif /* USE_LOCALE_COLLATE */
7940
7941     return sv_cmp(sv1, sv2);
7942 }
7943
7944
7945 #ifdef USE_LOCALE_COLLATE
7946
7947 /*
7948 =for apidoc sv_collxfrm
7949
7950 This calls C<sv_collxfrm_flags> with the SV_GMAGIC flag.  See
7951 C<sv_collxfrm_flags>.
7952
7953 =for apidoc sv_collxfrm_flags
7954
7955 Add Collate Transform magic to an SV if it doesn't already have it.  If the
7956 flags contain SV_GMAGIC, it handles get-magic.
7957
7958 Any scalar variable may carry PERL_MAGIC_collxfrm magic that contains the
7959 scalar data of the variable, but transformed to such a format that a normal
7960 memory comparison can be used to compare the data according to the locale
7961 settings.
7962
7963 =cut
7964 */
7965
7966 char *
7967 Perl_sv_collxfrm_flags(pTHX_ SV *const sv, STRLEN *const nxp, const I32 flags)
7968 {
7969     MAGIC *mg;
7970
7971     PERL_ARGS_ASSERT_SV_COLLXFRM_FLAGS;
7972
7973     mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_collxfrm) : (MAGIC *) NULL;
7974     if (!mg || !mg->mg_ptr || *(U32*)mg->mg_ptr != PL_collation_ix) {
7975         const char *s;
7976         char *xf;
7977         STRLEN len, xlen;
7978
7979         if (mg)
7980             Safefree(mg->mg_ptr);
7981         s = SvPV_flags_const(sv, len, flags);
7982         if ((xf = mem_collxfrm(s, len, &xlen))) {
7983             if (! mg) {
7984 #ifdef PERL_OLD_COPY_ON_WRITE
7985                 if (SvIsCOW(sv))
7986                     sv_force_normal_flags(sv, 0);
7987 #endif
7988                 mg = sv_magicext(sv, 0, PERL_MAGIC_collxfrm, &PL_vtbl_collxfrm,
7989                                  0, 0);
7990                 assert(mg);
7991             }
7992             mg->mg_ptr = xf;
7993             mg->mg_len = xlen;
7994         }
7995         else {
7996             if (mg) {
7997                 mg->mg_ptr = NULL;
7998                 mg->mg_len = -1;
7999             }
8000         }
8001     }
8002     if (mg && mg->mg_ptr) {
8003         *nxp = mg->mg_len;
8004         return mg->mg_ptr + sizeof(PL_collation_ix);
8005     }
8006     else {
8007         *nxp = 0;
8008         return NULL;
8009     }
8010 }
8011
8012 #endif /* USE_LOCALE_COLLATE */
8013
8014 static char *
8015 S_sv_gets_append_to_utf8(pTHX_ SV *const sv, PerlIO *const fp, I32 append)
8016 {
8017     SV * const tsv = newSV(0);
8018     ENTER;
8019     SAVEFREESV(tsv);
8020     sv_gets(tsv, fp, 0);
8021     sv_utf8_upgrade_nomg(tsv);
8022     SvCUR_set(sv,append);
8023     sv_catsv(sv,tsv);
8024     LEAVE;
8025     return (SvCUR(sv) - append) ? SvPVX(sv) : NULL;
8026 }
8027
8028 static char *
8029 S_sv_gets_read_record(pTHX_ SV *const sv, PerlIO *const fp, I32 append)
8030 {
8031     SSize_t bytesread;
8032     const STRLEN recsize = SvUV(SvRV(PL_rs)); /* RsRECORD() guarantees > 0. */
8033       /* Grab the size of the record we're getting */
8034     char *buffer = SvGROW(sv, (STRLEN)(recsize + append + 1)) + append;
8035     
8036     /* Go yank in */
8037 #ifdef __VMS
8038     int fd;
8039     Stat_t st;
8040
8041     /* With a true, record-oriented file on VMS, we need to use read directly
8042      * to ensure that we respect RMS record boundaries.  The user is responsible
8043      * for providing a PL_rs value that corresponds to the FAB$W_MRS (maximum
8044      * record size) field.  N.B. This is likely to produce invalid results on
8045      * varying-width character data when a record ends mid-character.
8046      */
8047     fd = PerlIO_fileno(fp);
8048     if (fd != -1
8049         && PerlLIO_fstat(fd, &st) == 0
8050         && (st.st_fab_rfm == FAB$C_VAR
8051             || st.st_fab_rfm == FAB$C_VFC
8052             || st.st_fab_rfm == FAB$C_FIX)) {
8053
8054         bytesread = PerlLIO_read(fd, buffer, recsize);
8055     }
8056     else /* in-memory file from PerlIO::Scalar
8057           * or not a record-oriented file
8058           */
8059 #endif
8060     {
8061         bytesread = PerlIO_read(fp, buffer, recsize);
8062
8063         /* At this point, the logic in sv_get() means that sv will
8064            be treated as utf-8 if the handle is utf8.
8065         */
8066         if (PerlIO_isutf8(fp) && bytesread > 0) {
8067             char *bend = buffer + bytesread;
8068             char *bufp = buffer;
8069             size_t charcount = 0;
8070             bool charstart = TRUE;
8071             STRLEN skip = 0;
8072
8073             while (charcount < recsize) {
8074                 /* count accumulated characters */
8075                 while (bufp < bend) {
8076                     if (charstart) {
8077                         skip = UTF8SKIP(bufp);
8078                     }
8079                     if (bufp + skip > bend) {
8080                         /* partial at the end */
8081                         charstart = FALSE;
8082                         break;
8083                     }
8084                     else {
8085                         ++charcount;
8086                         bufp += skip;
8087                         charstart = TRUE;
8088                     }
8089                 }
8090
8091                 if (charcount < recsize) {
8092                     STRLEN readsize;
8093                     STRLEN bufp_offset = bufp - buffer;
8094                     SSize_t morebytesread;
8095
8096                     /* originally I read enough to fill any incomplete
8097                        character and the first byte of the next
8098                        character if needed, but if there's many
8099                        multi-byte encoded characters we're going to be
8100                        making a read call for every character beyond
8101                        the original read size.
8102
8103                        So instead, read the rest of the character if
8104                        any, and enough bytes to match at least the
8105                        start bytes for each character we're going to
8106                        read.
8107                     */
8108                     if (charstart)
8109                         readsize = recsize - charcount;
8110                     else 
8111                         readsize = skip - (bend - bufp) + recsize - charcount - 1;
8112                     buffer = SvGROW(sv, append + bytesread + readsize + 1) + append;
8113                     bend = buffer + bytesread;
8114                     morebytesread = PerlIO_read(fp, bend, readsize);
8115                     if (morebytesread <= 0) {
8116                         /* we're done, if we still have incomplete
8117                            characters the check code in sv_gets() will
8118                            warn about them.
8119
8120                            I'd originally considered doing
8121                            PerlIO_ungetc() on all but the lead
8122                            character of the incomplete character, but
8123                            read() doesn't do that, so I don't.
8124                         */
8125                         break;
8126                     }
8127
8128                     /* prepare to scan some more */
8129                     bytesread += morebytesread;
8130                     bend = buffer + bytesread;
8131                     bufp = buffer + bufp_offset;
8132                 }
8133             }
8134         }
8135     }
8136
8137     if (bytesread < 0)
8138         bytesread = 0;
8139     SvCUR_set(sv, bytesread + append);
8140     buffer[bytesread] = '\0';
8141     return (SvCUR(sv) - append) ? SvPVX(sv) : NULL;
8142 }
8143
8144 /*
8145 =for apidoc sv_gets
8146
8147 Get a line from the filehandle and store it into the SV, optionally
8148 appending to the currently-stored string.  If C<append> is not 0, the
8149 line is appended to the SV instead of overwriting it.  C<append> should
8150 be set to the byte offset that the appended string should start at
8151 in the SV (typically, C<SvCUR(sv)> is a suitable choice).
8152
8153 =cut
8154 */
8155
8156 char *
8157 Perl_sv_gets(pTHX_ SV *const sv, PerlIO *const fp, I32 append)
8158 {
8159     const char *rsptr;
8160     STRLEN rslen;
8161     STDCHAR rslast;
8162     STDCHAR *bp;
8163     SSize_t cnt;
8164     int i = 0;
8165     int rspara = 0;
8166
8167     PERL_ARGS_ASSERT_SV_GETS;
8168
8169     if (SvTHINKFIRST(sv))
8170         sv_force_normal_flags(sv, append ? 0 : SV_COW_DROP_PV);
8171     /* XXX. If you make this PVIV, then copy on write can copy scalars read
8172        from <>.
8173        However, perlbench says it's slower, because the existing swipe code
8174        is faster than copy on write.
8175        Swings and roundabouts.  */
8176     SvUPGRADE(sv, SVt_PV);
8177
8178     if (append) {
8179         /* line is going to be appended to the existing buffer in the sv */
8180         if (PerlIO_isutf8(fp)) {
8181             if (!SvUTF8(sv)) {
8182                 sv_utf8_upgrade_nomg(sv);
8183                 sv_pos_u2b(sv,&append,0);
8184             }
8185         } else if (SvUTF8(sv)) {
8186             return S_sv_gets_append_to_utf8(aTHX_ sv, fp, append);
8187         }
8188     }
8189
8190     SvPOK_only(sv);
8191     if (!append) {
8192         /* not appending - "clear" the string by setting SvCUR to 0,
8193          * the pv is still avaiable. */
8194         SvCUR_set(sv,0);
8195     }
8196     if (PerlIO_isutf8(fp))
8197         SvUTF8_on(sv);
8198
8199     if (IN_PERL_COMPILETIME) {
8200         /* we always read code in line mode */
8201         rsptr = "\n";
8202         rslen = 1;
8203     }
8204     else if (RsSNARF(PL_rs)) {
8205         /* If it is a regular disk file use size from stat() as estimate
8206            of amount we are going to read -- may result in mallocing
8207            more memory than we really need if the layers below reduce
8208            the size we read (e.g. CRLF or a gzip layer).
8209          */
8210         Stat_t st;
8211         if (!PerlLIO_fstat(PerlIO_fileno(fp), &st) && S_ISREG(st.st_mode))  {
8212             const Off_t offset = PerlIO_tell(fp);
8213             if (offset != (Off_t) -1 && st.st_size + append > offset) {
8214 #ifdef PERL_NEW_COPY_ON_WRITE
8215                 /* Add an extra byte for the sake of copy-on-write's
8216                  * buffer reference count. */
8217                 (void) SvGROW(sv, (STRLEN)((st.st_size - offset) + append + 2));
8218 #else
8219                 (void) SvGROW(sv, (STRLEN)((st.st_size - offset) + append + 1));
8220 #endif
8221             }
8222         }
8223         rsptr = NULL;
8224         rslen = 0;
8225     }
8226     else if (RsRECORD(PL_rs)) {
8227         return S_sv_gets_read_record(aTHX_ sv, fp, append);
8228     }
8229     else if (RsPARA(PL_rs)) {
8230         rsptr = "\n\n";
8231         rslen = 2;
8232         rspara = 1;
8233     }
8234     else {
8235         /* Get $/ i.e. PL_rs into same encoding as stream wants */
8236         if (PerlIO_isutf8(fp)) {
8237             rsptr = SvPVutf8(PL_rs, rslen);
8238         }
8239         else {
8240             if (SvUTF8(PL_rs)) {
8241                 if (!sv_utf8_downgrade(PL_rs, TRUE)) {
8242                     Perl_croak(aTHX_ "Wide character in $/");
8243                 }
8244             }
8245             /* extract the raw pointer to the record separator */
8246             rsptr = SvPV_const(PL_rs, rslen);
8247         }
8248     }
8249
8250     /* rslast is the last character in the record separator
8251      * note we don't use rslast except when rslen is true, so the
8252      * null assign is a placeholder. */
8253     rslast = rslen ? rsptr[rslen - 1] : '\0';
8254
8255     if (rspara) {               /* have to do this both before and after */
8256         do {                    /* to make sure file boundaries work right */
8257             if (PerlIO_eof(fp))
8258                 return 0;
8259             i = PerlIO_getc(fp);
8260             if (i != '\n') {
8261                 if (i == -1)
8262                     return 0;
8263                 PerlIO_ungetc(fp,i);
8264                 break;
8265             }
8266         } while (i != EOF);
8267     }
8268
8269     /* See if we know enough about I/O mechanism to cheat it ! */
8270
8271     /* This used to be #ifdef test - it is made run-time test for ease
8272        of abstracting out stdio interface. One call should be cheap
8273        enough here - and may even be a macro allowing compile
8274        time optimization.
8275      */
8276
8277     if (PerlIO_fast_gets(fp)) {
8278     /*
8279      * We can do buffer based IO operations on this filehandle.
8280      *
8281      * This means we can bypass a lot of subcalls and process
8282      * the buffer directly, it also means we know the upper bound
8283      * on the amount of data we might read of the current buffer
8284      * into our sv. Knowing this allows us to preallocate the pv
8285      * to be able to hold that maximum, which allows us to simplify
8286      * a lot of logic. */
8287
8288     /*
8289      * We're going to steal some values from the stdio struct
8290      * and put EVERYTHING in the innermost loop into registers.
8291      */
8292     STDCHAR *ptr;       /* pointer into fp's read-ahead buffer */
8293     STRLEN bpx;         /* length of the data in the target sv
8294                            used to fix pointers after a SvGROW */
8295     I32 shortbuffered;  /* If the pv buffer is shorter than the amount
8296                            of data left in the read-ahead buffer.
8297                            If 0 then the pv buffer can hold the full
8298                            amount left, otherwise this is the amount it
8299                            can hold. */
8300
8301 #if defined(__VMS) && defined(PERLIO_IS_STDIO)
8302     /* An ungetc()d char is handled separately from the regular
8303      * buffer, so we getc() it back out and stuff it in the buffer.
8304      */
8305     i = PerlIO_getc(fp);
8306     if (i == EOF) return 0;
8307     *(--((*fp)->_ptr)) = (unsigned char) i;
8308     (*fp)->_cnt++;
8309 #endif
8310
8311     /* Here is some breathtakingly efficient cheating */
8312
8313     /* When you read the following logic resist the urge to think
8314      * of record separators that are 1 byte long. They are an
8315      * uninteresting special (simple) case.
8316      *
8317      * Instead think of record separators which are at least 2 bytes
8318      * long, and keep in mind that we need to deal with such
8319      * separators when they cross a read-ahead buffer boundary.
8320      *
8321      * Also consider that we need to gracefully deal with separators
8322      * that may be longer than a single read ahead buffer.
8323      *
8324      * Lastly do not forget we want to copy the delimiter as well. We
8325      * are copying all data in the file _up_to_and_including_ the separator
8326      * itself.
8327      *
8328      * Now that you have all that in mind here is what is happening below:
8329      *
8330      * 1. When we first enter the loop we do some memory book keeping to see
8331      * how much free space there is in the target SV. (This sub assumes that
8332      * it is operating on the same SV most of the time via $_ and that it is
8333      * going to be able to reuse the same pv buffer each call.) If there is
8334      * "enough" room then we set "shortbuffered" to how much space there is
8335      * and start reading forward.
8336      *
8337      * 2. When we scan forward we copy from the read-ahead buffer to the target
8338      * SV's pv buffer. While we go we watch for the end of the read-ahead buffer,
8339      * and the end of the of pv, as well as for the "rslast", which is the last
8340      * char of the separator.
8341      *
8342      * 3. When scanning forward if we see rslast then we jump backwards in *pv*
8343      * (which has a "complete" record up to the point we saw rslast) and check
8344      * it to see if it matches the separator. If it does we are done. If it doesn't
8345      * we continue on with the scan/copy.
8346      *
8347      * 4. If we run out of read-ahead buffer (cnt goes to 0) then we have to get
8348      * the IO system to read the next buffer. We do this by doing a getc(), which
8349      * returns a single char read (or EOF), and prefills the buffer, and also
8350      * allows us to find out how full the buffer is.  We use this information to
8351      * SvGROW() the sv to the size remaining in the buffer, after which we copy
8352      * the returned single char into the target sv, and then go back into scan
8353      * forward mode.
8354      *
8355      * 5. If we run out of write-buffer then we SvGROW() it by the size of the
8356      * remaining space in the read-buffer.
8357      *
8358      * Note that this code despite its twisty-turny nature is pretty darn slick.
8359      * It manages single byte separators, multi-byte cross boundary separators,
8360      * and cross-read-buffer separators cleanly and efficiently at the cost
8361      * of potentially greatly overallocating the target SV.
8362      *
8363      * Yves
8364      */
8365
8366
8367     /* get the number of bytes remaining in the read-ahead buffer
8368      * on first call on a given fp this will return 0.*/
8369     cnt = PerlIO_get_cnt(fp);
8370
8371     /* make sure we have the room */
8372     if ((I32)(SvLEN(sv) - append) <= cnt + 1) {
8373         /* Not room for all of it
8374            if we are looking for a separator and room for some
8375          */
8376         if (rslen && cnt > 80 && (I32)SvLEN(sv) > append) {
8377             /* just process what we have room for */
8378             shortbuffered = cnt - SvLEN(sv) + append + 1;
8379             cnt -= shortbuffered;
8380         }
8381         else {
8382             /* ensure that the target sv has enough room to hold
8383              * the rest of the read-ahead buffer */
8384             shortbuffered = 0;
8385             /* remember that cnt can be negative */
8386             SvGROW(sv, (STRLEN)(append + (cnt <= 0 ? 2 : (cnt + 1))));
8387         }
8388     }
8389     else {
8390         /* we have enough room to hold the full buffer, lets scream */
8391         shortbuffered = 0;
8392     }
8393
8394     /* extract the pointer to sv's string buffer, offset by append as necessary */
8395     bp = (STDCHAR*)SvPVX_const(sv) + append;  /* move these two too to registers */
8396     /* extract the point to the read-ahead buffer */
8397     ptr = (STDCHAR*)PerlIO_get_ptr(fp);
8398
8399     /* some trace debug output */
8400     DEBUG_P(PerlIO_printf(Perl_debug_log,
8401         "Screamer: entering, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
8402     DEBUG_P(PerlIO_printf(Perl_debug_log,
8403         "Screamer: entering: PerlIO * thinks ptr=%"UVuf", cnt=%"IVdf", base=%"
8404          UVuf"\n",
8405                PTR2UV(PerlIO_get_ptr(fp)), (IV)PerlIO_get_cnt(fp),
8406                PTR2UV(PerlIO_has_base(fp) ? PerlIO_get_base(fp) : 0)));
8407
8408     for (;;) {
8409       screamer:
8410         /* if there is stuff left in the read-ahead buffer */
8411         if (cnt > 0) {
8412             /* if there is a separator */
8413             if (rslen) {
8414                 /* loop until we hit the end of the read-ahead buffer */
8415                 while (cnt > 0) {                    /* this     |  eat */
8416                     /* scan forward copying and searching for rslast as we go */
8417                     cnt--;
8418                     if ((*bp++ = *ptr++) == rslast)  /* really   |  dust */
8419                         goto thats_all_folks;        /* screams  |  sed :-) */
8420                 }
8421             }
8422             else {
8423                 /* no separator, slurp the full buffer */
8424                 Copy(ptr, bp, cnt, char);            /* this     |  eat */
8425                 bp += cnt;                           /* screams  |  dust */
8426                 ptr += cnt;                          /* louder   |  sed :-) */
8427                 cnt = 0;
8428                 assert (!shortbuffered);
8429                 goto cannot_be_shortbuffered;
8430             }
8431         }
8432         
8433         if (shortbuffered) {            /* oh well, must extend */
8434             /* we didnt have enough room to fit the line into the target buffer
8435              * so we must extend the target buffer and keep going */
8436             cnt = shortbuffered;
8437             shortbuffered = 0;
8438             bpx = bp - (STDCHAR*)SvPVX_const(sv); /* box up before relocation */
8439             SvCUR_set(sv, bpx);
8440             /* extned the target sv's buffer so it can hold the full read-ahead buffer */
8441             SvGROW(sv, SvLEN(sv) + append + cnt + 2);
8442             bp = (STDCHAR*)SvPVX_const(sv) + bpx; /* unbox after relocation */
8443             continue;
8444         }
8445
8446     cannot_be_shortbuffered:
8447         /* we need to refill the read-ahead buffer if possible */
8448
8449         DEBUG_P(PerlIO_printf(Perl_debug_log,
8450                              "Screamer: going to getc, ptr=%"UVuf", cnt=%"IVdf"\n",
8451                               PTR2UV(ptr),(IV)cnt));
8452         PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt); /* deregisterize cnt and ptr */
8453
8454         DEBUG_Pv(PerlIO_printf(Perl_debug_log,
8455            "Screamer: pre: FILE * thinks ptr=%"UVuf", cnt=%"IVdf", base=%"UVuf"\n",
8456             PTR2UV(PerlIO_get_ptr(fp)), (IV)PerlIO_get_cnt(fp),
8457             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
8458
8459         /*
8460             call PerlIO_getc() to let it prefill the lookahead buffer
8461
8462             This used to call 'filbuf' in stdio form, but as that behaves like
8463             getc when cnt <= 0 we use PerlIO_getc here to avoid introducing
8464             another abstraction.
8465
8466             Note we have to deal with the char in 'i' if we are not at EOF
8467         */
8468         i   = PerlIO_getc(fp);          /* get more characters */
8469
8470         DEBUG_Pv(PerlIO_printf(Perl_debug_log,
8471            "Screamer: post: FILE * thinks ptr=%"UVuf", cnt=%"IVdf", base=%"UVuf"\n",
8472             PTR2UV(PerlIO_get_ptr(fp)), (IV)PerlIO_get_cnt(fp),
8473             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
8474
8475         /* find out how much is left in the read-ahead buffer, and rextract its pointer */
8476         cnt = PerlIO_get_cnt(fp);
8477         ptr = (STDCHAR*)PerlIO_get_ptr(fp);     /* reregisterize cnt and ptr */
8478         DEBUG_P(PerlIO_printf(Perl_debug_log,
8479             "Screamer: after getc, ptr=%"UVuf", cnt=%"IVdf"\n",
8480             PTR2UV(ptr),(IV)cnt));
8481
8482         if (i == EOF)                   /* all done for ever? */
8483             goto thats_really_all_folks;
8484
8485         /* make sure we have enough space in the target sv */
8486         bpx = bp - (STDCHAR*)SvPVX_const(sv);   /* box up before relocation */
8487         SvCUR_set(sv, bpx);
8488         SvGROW(sv, bpx + cnt + 2);
8489         bp = (STDCHAR*)SvPVX_const(sv) + bpx;   /* unbox after relocation */
8490
8491         /* copy of the char we got from getc() */
8492         *bp++ = (STDCHAR)i;             /* store character from PerlIO_getc */
8493
8494         /* make sure we deal with the i being the last character of a separator */
8495         if (rslen && (STDCHAR)i == rslast)  /* all done for now? */
8496             goto thats_all_folks;
8497     }
8498
8499 thats_all_folks:
8500     /* check if we have actually found the separator - only really applies
8501      * when rslen > 1 */
8502     if ((rslen > 1 && (STRLEN)(bp - (STDCHAR*)SvPVX_const(sv)) < rslen) ||
8503           memNE((char*)bp - rslen, rsptr, rslen))
8504         goto screamer;                          /* go back to the fray */
8505 thats_really_all_folks:
8506     if (shortbuffered)
8507         cnt += shortbuffered;
8508         DEBUG_P(PerlIO_printf(Perl_debug_log,
8509              "Screamer: quitting, ptr=%"UVuf", cnt=%"IVdf"\n",PTR2UV(ptr),(IV)cnt));
8510     PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt);  /* put these back or we're in trouble */
8511     DEBUG_P(PerlIO_printf(Perl_debug_log,
8512         "Screamer: end: FILE * thinks ptr=%"UVuf", cnt=%"IVdf", base=%"UVuf
8513         "\n",
8514         PTR2UV(PerlIO_get_ptr(fp)), (IV)PerlIO_get_cnt(fp),
8515         PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
8516     *bp = '\0';
8517     SvCUR_set(sv, bp - (STDCHAR*)SvPVX_const(sv));      /* set length */
8518     DEBUG_P(PerlIO_printf(Perl_debug_log,
8519         "Screamer: done, len=%ld, string=|%.*s|\n",
8520         (long)SvCUR(sv),(int)SvCUR(sv),SvPVX_const(sv)));
8521     }
8522    else
8523     {
8524        /*The big, slow, and stupid way. */
8525 #ifdef USE_HEAP_INSTEAD_OF_STACK        /* Even slower way. */
8526         STDCHAR *buf = NULL;
8527         Newx(buf, 8192, STDCHAR);
8528         assert(buf);
8529 #else
8530         STDCHAR buf[8192];
8531 #endif
8532
8533 screamer2:
8534         if (rslen) {
8535             const STDCHAR * const bpe = buf + sizeof(buf);
8536             bp = buf;
8537             while ((i = PerlIO_getc(fp)) != EOF && (*bp++ = (STDCHAR)i) != rslast && bp < bpe)
8538                 ; /* keep reading */
8539             cnt = bp - buf;
8540         }
8541         else {
8542             cnt = PerlIO_read(fp,(char*)buf, sizeof(buf));
8543             /* Accommodate broken VAXC compiler, which applies U8 cast to
8544              * both args of ?: operator, causing EOF to change into 255
8545              */
8546             if (cnt > 0)
8547                  i = (U8)buf[cnt - 1];
8548             else
8549                  i = EOF;
8550         }
8551
8552         if (cnt < 0)
8553             cnt = 0;  /* we do need to re-set the sv even when cnt <= 0 */
8554         if (append)
8555             sv_catpvn_nomg(sv, (char *) buf, cnt);
8556         else
8557             sv_setpvn(sv, (char *) buf, cnt);   /* "nomg" is implied */
8558
8559         if (i != EOF &&                 /* joy */
8560             (!rslen ||
8561              SvCUR(sv) < rslen ||
8562              memNE(SvPVX_const(sv) + SvCUR(sv) - rslen, rsptr, rslen)))
8563         {
8564             append = -1;
8565             /*
8566              * If we're reading from a TTY and we get a short read,
8567              * indicating that the user hit his EOF character, we need
8568              * to notice it now, because if we try to read from the TTY
8569              * again, the EOF condition will disappear.
8570              *
8571              * The comparison of cnt to sizeof(buf) is an optimization
8572              * that prevents unnecessary calls to feof().
8573              *
8574              * - jik 9/25/96
8575              */
8576             if (!(cnt < (I32)sizeof(buf) && PerlIO_eof(fp)))
8577                 goto screamer2;
8578         }
8579
8580 #ifdef USE_HEAP_INSTEAD_OF_STACK
8581         Safefree(buf);
8582 #endif
8583     }
8584
8585     if (rspara) {               /* have to do this both before and after */
8586         while (i != EOF) {      /* to make sure file boundaries work right */
8587             i = PerlIO_getc(fp);
8588             if (i != '\n') {
8589                 PerlIO_ungetc(fp,i);
8590                 break;
8591             }
8592         }
8593     }
8594
8595     return (SvCUR(sv) - append) ? SvPVX(sv) : NULL;
8596 }
8597
8598 /*
8599 =for apidoc sv_inc
8600
8601 Auto-increment of the value in the SV, doing string to numeric conversion
8602 if necessary.  Handles 'get' magic and operator overloading.
8603
8604 =cut
8605 */
8606
8607 void
8608 Perl_sv_inc(pTHX_ SV *const sv)
8609 {
8610     if (!sv)
8611         return;
8612     SvGETMAGIC(sv);
8613     sv_inc_nomg(sv);
8614 }
8615
8616 /*
8617 =for apidoc sv_inc_nomg
8618
8619 Auto-increment of the value in the SV, doing string to numeric conversion
8620 if necessary.  Handles operator overloading.  Skips handling 'get' magic.
8621
8622 =cut
8623 */
8624
8625 void
8626 Perl_sv_inc_nomg(pTHX_ SV *const sv)
8627 {
8628     char *d;
8629     int flags;
8630
8631     if (!sv)
8632         return;
8633     if (SvTHINKFIRST(sv)) {
8634         if (SvREADONLY(sv)) {
8635                 Perl_croak_no_modify();
8636         }
8637         if (SvROK(sv)) {
8638             IV i;
8639             if (SvAMAGIC(sv) && AMG_CALLunary(sv, inc_amg))
8640                 return;
8641             i = PTR2IV(SvRV(sv));
8642             sv_unref(sv);
8643             sv_setiv(sv, i);
8644         }
8645         else sv_force_normal_flags(sv, 0);
8646     }
8647     flags = SvFLAGS(sv);
8648     if ((flags & (SVp_NOK|SVp_IOK)) == SVp_NOK) {
8649         /* It's (privately or publicly) a float, but not tested as an
8650            integer, so test it to see. */
8651         (void) SvIV(sv);
8652         flags = SvFLAGS(sv);
8653     }
8654     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
8655         /* It's publicly an integer, or privately an integer-not-float */
8656 #ifdef PERL_PRESERVE_IVUV
8657       oops_its_int:
8658 #endif
8659         if (SvIsUV(sv)) {
8660             if (SvUVX(sv) == UV_MAX)
8661                 sv_setnv(sv, UV_MAX_P1);
8662             else
8663                 (void)SvIOK_only_UV(sv);
8664                 SvUV_set(sv, SvUVX(sv) + 1);
8665         } else {
8666             if (SvIVX(sv) == IV_MAX)
8667                 sv_setuv(sv, (UV)IV_MAX + 1);
8668             else {
8669                 (void)SvIOK_only(sv);
8670                 SvIV_set(sv, SvIVX(sv) + 1);
8671             }   
8672         }
8673         return;
8674     }
8675     if (flags & SVp_NOK) {
8676         const NV was = SvNVX(sv);
8677         if (LIKELY(!Perl_isinfnan(was)) &&
8678             NV_OVERFLOWS_INTEGERS_AT &&
8679             was >= NV_OVERFLOWS_INTEGERS_AT) {
8680             /* diag_listed_as: Lost precision when %s %f by 1 */
8681             Perl_ck_warner(aTHX_ packWARN(WARN_IMPRECISION),
8682                            "Lost precision when incrementing %" NVff " by 1",
8683                            was);
8684         }
8685         (void)SvNOK_only(sv);
8686         SvNV_set(sv, was + 1.0);
8687         return;
8688     }
8689
8690     if (!(flags & SVp_POK) || !*SvPVX_const(sv)) {
8691         if ((flags & SVTYPEMASK) < SVt_PVIV)
8692             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV ? SVt_PVIV : SVt_IV));
8693         (void)SvIOK_only(sv);
8694         SvIV_set(sv, 1);
8695         return;
8696     }
8697     d = SvPVX(sv);
8698     while (isALPHA(*d)) d++;
8699     while (isDIGIT(*d)) d++;
8700     if (d < SvEND(sv)) {
8701         const int numtype = grok_number_flags(SvPVX_const(sv), SvCUR(sv), NULL, PERL_SCAN_TRAILING);
8702 #ifdef PERL_PRESERVE_IVUV
8703         /* Got to punt this as an integer if needs be, but we don't issue
8704            warnings. Probably ought to make the sv_iv_please() that does
8705            the conversion if possible, and silently.  */
8706         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
8707             /* Need to try really hard to see if it's an integer.
8708                9.22337203685478e+18 is an integer.
8709                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
8710                so $a="9.22337203685478e+18"; $a+0; $a++
8711                needs to be the same as $a="9.22337203685478e+18"; $a++
8712                or we go insane. */
8713         
8714             (void) sv_2iv(sv);
8715             if (SvIOK(sv))
8716                 goto oops_its_int;
8717
8718             /* sv_2iv *should* have made this an NV */
8719             if (flags & SVp_NOK) {
8720                 (void)SvNOK_only(sv);
8721                 SvNV_set(sv, SvNVX(sv) + 1.0);
8722                 return;
8723             }
8724             /* I don't think we can get here. Maybe I should assert this
8725                And if we do get here I suspect that sv_setnv will croak. NWC
8726                Fall through. */
8727             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_inc punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"NVgf"\n",
8728                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
8729         }
8730 #endif /* PERL_PRESERVE_IVUV */
8731         if (!numtype && ckWARN(WARN_NUMERIC))
8732             not_incrementable(sv);
8733         sv_setnv(sv,Atof(SvPVX_const(sv)) + 1.0);
8734         return;
8735     }
8736     d--;
8737     while (d >= SvPVX_const(sv)) {
8738         if (isDIGIT(*d)) {
8739             if (++*d <= '9')
8740                 return;
8741             *(d--) = '0';
8742         }
8743         else {
8744 #ifdef EBCDIC
8745             /* MKS: The original code here died if letters weren't consecutive.
8746              * at least it didn't have to worry about non-C locales.  The
8747              * new code assumes that ('z'-'a')==('Z'-'A'), letters are
8748              * arranged in order (although not consecutively) and that only
8749              * [A-Za-z] are accepted by isALPHA in the C locale.
8750              */
8751             if (isALPHA_FOLD_NE(*d, 'z')) {
8752                 do { ++*d; } while (!isALPHA(*d));
8753                 return;
8754             }
8755             *(d--) -= 'z' - 'a';
8756 #else
8757             ++*d;
8758             if (isALPHA(*d))
8759                 return;
8760             *(d--) -= 'z' - 'a' + 1;
8761 #endif
8762         }
8763     }
8764     /* oh,oh, the number grew */
8765     SvGROW(sv, SvCUR(sv) + 2);
8766     SvCUR_set(sv, SvCUR(sv) + 1);
8767     for (d = SvPVX(sv) + SvCUR(sv); d > SvPVX_const(sv); d--)
8768         *d = d[-1];
8769     if (isDIGIT(d[1]))
8770         *d = '1';
8771     else
8772         *d = d[1];
8773 }
8774
8775 /*
8776 =for apidoc sv_dec
8777
8778 Auto-decrement of the value in the SV, doing string to numeric conversion
8779 if necessary.  Handles 'get' magic and operator overloading.
8780
8781 =cut
8782 */
8783
8784 void
8785 Perl_sv_dec(pTHX_ SV *const sv)
8786 {
8787     if (!sv)
8788         return;
8789     SvGETMAGIC(sv);
8790     sv_dec_nomg(sv);
8791 }
8792
8793 /*
8794 =for apidoc sv_dec_nomg
8795
8796 Auto-decrement of the value in the SV, doing string to numeric conversion
8797 if necessary.  Handles operator overloading.  Skips handling 'get' magic.
8798
8799 =cut
8800 */
8801
8802 void
8803 Perl_sv_dec_nomg(pTHX_ SV *const sv)
8804 {
8805     int flags;
8806
8807     if (!sv)
8808         return;
8809     if (SvTHINKFIRST(sv)) {
8810         if (SvREADONLY(sv)) {
8811                 Perl_croak_no_modify();
8812         }
8813         if (SvROK(sv)) {
8814             IV i;
8815             if (SvAMAGIC(sv) && AMG_CALLunary(sv, dec_amg))
8816                 return;
8817             i = PTR2IV(SvRV(sv));
8818             sv_unref(sv);
8819             sv_setiv(sv, i);
8820         }
8821         else sv_force_normal_flags(sv, 0);
8822     }
8823     /* Unlike sv_inc we don't have to worry about string-never-numbers
8824        and keeping them magic. But we mustn't warn on punting */
8825     flags = SvFLAGS(sv);
8826     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
8827         /* It's publicly an integer, or privately an integer-not-float */
8828 #ifdef PERL_PRESERVE_IVUV
8829       oops_its_int:
8830 #endif
8831         if (SvIsUV(sv)) {
8832             if (SvUVX(sv) == 0) {
8833                 (void)SvIOK_only(sv);
8834                 SvIV_set(sv, -1);
8835             }
8836             else {
8837                 (void)SvIOK_only_UV(sv);
8838                 SvUV_set(sv, SvUVX(sv) - 1);
8839             }   
8840         } else {
8841             if (SvIVX(sv) == IV_MIN) {
8842                 sv_setnv(sv, (NV)IV_MIN);
8843                 goto oops_its_num;
8844             }
8845             else {
8846                 (void)SvIOK_only(sv);
8847                 SvIV_set(sv, SvIVX(sv) - 1);
8848             }   
8849         }
8850         return;
8851     }
8852     if (flags & SVp_NOK) {
8853     oops_its_num:
8854         {
8855             const NV was = SvNVX(sv);
8856             if (LIKELY(!Perl_isinfnan(was)) &&
8857                 NV_OVERFLOWS_INTEGERS_AT &&
8858                 was <= -NV_OVERFLOWS_INTEGERS_AT) {
8859                 /* diag_listed_as: Lost precision when %s %f by 1 */
8860                 Perl_ck_warner(aTHX_ packWARN(WARN_IMPRECISION),
8861                                "Lost precision when decrementing %" NVff " by 1",
8862                                was);
8863             }
8864             (void)SvNOK_only(sv);
8865             SvNV_set(sv, was - 1.0);
8866             return;
8867         }
8868     }
8869     if (!(flags & SVp_POK)) {
8870         if ((flags & SVTYPEMASK) < SVt_PVIV)
8871             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV) ? SVt_PVIV : SVt_IV);
8872         SvIV_set(sv, -1);
8873         (void)SvIOK_only(sv);
8874         return;
8875     }
8876 #ifdef PERL_PRESERVE_IVUV
8877     {
8878         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), NULL);
8879         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
8880             /* Need to try really hard to see if it's an integer.
8881                9.22337203685478e+18 is an integer.
8882                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
8883                so $a="9.22337203685478e+18"; $a+0; $a--
8884                needs to be the same as $a="9.22337203685478e+18"; $a--
8885                or we go insane. */
8886         
8887             (void) sv_2iv(sv);
8888             if (SvIOK(sv))
8889                 goto oops_its_int;
8890
8891             /* sv_2iv *should* have made this an NV */
8892             if (flags & SVp_NOK) {
8893                 (void)SvNOK_only(sv);
8894                 SvNV_set(sv, SvNVX(sv) - 1.0);
8895                 return;
8896             }
8897             /* I don't think we can get here. Maybe I should assert this
8898                And if we do get here I suspect that sv_setnv will croak. NWC
8899                Fall through. */
8900             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_dec punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"NVgf"\n",
8901                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
8902         }
8903     }
8904 #endif /* PERL_PRESERVE_IVUV */
8905     sv_setnv(sv,Atof(SvPVX_const(sv)) - 1.0);   /* punt */
8906 }
8907
8908 /* this define is used to eliminate a chunk of duplicated but shared logic
8909  * it has the suffix __SV_C to signal that it isnt API, and isnt meant to be
8910  * used anywhere but here - yves
8911  */
8912 #define PUSH_EXTEND_MORTAL__SV_C(AnSv) \
8913     STMT_START {      \
8914         EXTEND_MORTAL(1); \
8915         PL_tmps_stack[++PL_tmps_ix] = (AnSv); \
8916     } STMT_END
8917
8918 /*
8919 =for apidoc sv_mortalcopy
8920
8921 Creates a new SV which is a copy of the original SV (using C<sv_setsv>).
8922 The new SV is marked as mortal.  It will be destroyed "soon", either by an
8923 explicit call to FREETMPS, or by an implicit call at places such as
8924 statement boundaries.  See also C<sv_newmortal> and C<sv_2mortal>.
8925
8926 =cut
8927 */
8928
8929 /* Make a string that will exist for the duration of the expression
8930  * evaluation.  Actually, it may have to last longer than that, but
8931  * hopefully we won't free it until it has been assigned to a
8932  * permanent location. */
8933
8934 SV *
8935 Perl_sv_mortalcopy_flags(pTHX_ SV *const oldstr, U32 flags)
8936 {
8937     SV *sv;
8938
8939     if (flags & SV_GMAGIC)
8940         SvGETMAGIC(oldstr); /* before new_SV, in case it dies */
8941     new_SV(sv);
8942     sv_setsv_flags(sv,oldstr,flags & ~SV_GMAGIC);
8943     PUSH_EXTEND_MORTAL__SV_C(sv);
8944     SvTEMP_on(sv);
8945     return sv;
8946 }
8947
8948 /*
8949 =for apidoc sv_newmortal
8950
8951 Creates a new null SV which is mortal.  The reference count of the SV is
8952 set to 1.  It will be destroyed "soon", either by an explicit call to
8953 FREETMPS, or by an implicit call at places such as statement boundaries.
8954 See also C<sv_mortalcopy> and C<sv_2mortal>.
8955
8956 =cut
8957 */
8958
8959 SV *
8960 Perl_sv_newmortal(pTHX)
8961 {
8962     SV *sv;
8963
8964     new_SV(sv);
8965     SvFLAGS(sv) = SVs_TEMP;
8966     PUSH_EXTEND_MORTAL__SV_C(sv);
8967     return sv;
8968 }
8969
8970
8971 /*
8972 =for apidoc newSVpvn_flags
8973
8974 Creates a new SV and copies a string (which may contain C<NUL> (C<\0>)
8975 characters) into it.  The reference count for the
8976 SV is set to 1.  Note that if C<len> is zero, Perl will create a zero length
8977 string.  You are responsible for ensuring that the source string is at least
8978 C<len> bytes long.  If the C<s> argument is NULL the new SV will be undefined.
8979 Currently the only flag bits accepted are C<SVf_UTF8> and C<SVs_TEMP>.
8980 If C<SVs_TEMP> is set, then C<sv_2mortal()> is called on the result before
8981 returning.  If C<SVf_UTF8> is set, C<s>
8982 is considered to be in UTF-8 and the
8983 C<SVf_UTF8> flag will be set on the new SV.
8984 C<newSVpvn_utf8()> is a convenience wrapper for this function, defined as
8985
8986     #define newSVpvn_utf8(s, len, u)                    \
8987         newSVpvn_flags((s), (len), (u) ? SVf_UTF8 : 0)
8988
8989 =cut
8990 */
8991
8992 SV *
8993 Perl_newSVpvn_flags(pTHX_ const char *const s, const STRLEN len, const U32 flags)
8994 {
8995     SV *sv;
8996
8997     /* All the flags we don't support must be zero.
8998        And we're new code so I'm going to assert this from the start.  */
8999     assert(!(flags & ~(SVf_UTF8|SVs_TEMP)));
9000     new_SV(sv);
9001     sv_setpvn(sv,s,len);
9002
9003     /* This code used to do a sv_2mortal(), however we now unroll the call to
9004      * sv_2mortal() and do what it does ourselves here.  Since we have asserted
9005      * that flags can only have the SVf_UTF8 and/or SVs_TEMP flags set above we
9006      * can use it to enable the sv flags directly (bypassing SvTEMP_on), which
9007      * in turn means we dont need to mask out the SVf_UTF8 flag below, which
9008      * means that we eliminate quite a few steps than it looks - Yves
9009      * (explaining patch by gfx) */
9010
9011     SvFLAGS(sv) |= flags;
9012
9013     if(flags & SVs_TEMP){
9014         PUSH_EXTEND_MORTAL__SV_C(sv);
9015     }
9016
9017     return sv;
9018 }
9019
9020 /*
9021 =for apidoc sv_2mortal
9022
9023 Marks an existing SV as mortal.  The SV will be destroyed "soon", either
9024 by an explicit call to FREETMPS, or by an implicit call at places such as
9025 statement boundaries.  SvTEMP() is turned on which means that the SV's
9026 string buffer can be "stolen" if this SV is copied.  See also C<sv_newmortal>
9027 and C<sv_mortalcopy>.
9028
9029 =cut
9030 */
9031
9032 SV *
9033 Perl_sv_2mortal(pTHX_ SV *const sv)
9034 {
9035     dVAR;
9036     if (!sv)
9037         return NULL;
9038     if (SvIMMORTAL(sv))
9039         return sv;
9040     PUSH_EXTEND_MORTAL__SV_C(sv);
9041     SvTEMP_on(sv);
9042     return sv;
9043 }
9044
9045 /*
9046 =for apidoc newSVpv
9047
9048 Creates a new SV and copies a string (which may contain C<NUL> (C<\0>)
9049 characters) into it.  The reference count for the
9050 SV is set to 1.  If C<len> is zero, Perl will compute the length using
9051 strlen(), (which means if you use this option, that C<s> can't have embedded
9052 C<NUL> characters and has to have a terminating C<NUL> byte).
9053
9054 For efficiency, consider using C<newSVpvn> instead.
9055
9056 =cut
9057 */
9058
9059 SV *
9060 Perl_newSVpv(pTHX_ const char *const s, const STRLEN len)
9061 {
9062     SV *sv;
9063
9064     new_SV(sv);
9065     sv_setpvn(sv, s, len || s == NULL ? len : strlen(s));
9066     return sv;
9067 }
9068
9069 /*
9070 =for apidoc newSVpvn
9071
9072 Creates a new SV and copies a string into it, which may contain C<NUL> characters
9073 (C<\0>) and other binary data.  The reference count for the SV is set to 1.
9074 Note that if C<len> is zero, Perl will create a zero length (Perl) string.  You
9075 are responsible for ensuring that the source buffer is at least
9076 C<len> bytes long.  If the C<buffer> argument is NULL the new SV will be
9077 undefined.
9078
9079 =cut
9080 */
9081
9082 SV *
9083 Perl_newSVpvn(pTHX_ const char *const buffer, const STRLEN len)
9084 {
9085     SV *sv;
9086     new_SV(sv);
9087     sv_setpvn(sv,buffer,len);
9088     return sv;
9089 }
9090
9091 /*
9092 =for apidoc newSVhek
9093
9094 Creates a new SV from the hash key structure.  It will generate scalars that
9095 point to the shared string table where possible.  Returns a new (undefined)
9096 SV if the hek is NULL.
9097
9098 =cut
9099 */
9100
9101 SV *
9102 Perl_newSVhek(pTHX_ const HEK *const hek)
9103 {
9104     if (!hek) {
9105         SV *sv;
9106
9107         new_SV(sv);
9108         return sv;
9109     }
9110
9111     if (HEK_LEN(hek) == HEf_SVKEY) {
9112         return newSVsv(*(SV**)HEK_KEY(hek));
9113     } else {
9114         const int flags = HEK_FLAGS(hek);
9115         if (flags & HVhek_WASUTF8) {
9116             /* Trouble :-)
9117                Andreas would like keys he put in as utf8 to come back as utf8
9118             */
9119             STRLEN utf8_len = HEK_LEN(hek);
9120             SV * const sv = newSV_type(SVt_PV);
9121             char *as_utf8 = (char *)bytes_to_utf8 ((U8*)HEK_KEY(hek), &utf8_len);
9122             /* bytes_to_utf8() allocates a new string, which we can repurpose: */
9123             sv_usepvn_flags(sv, as_utf8, utf8_len, SV_HAS_TRAILING_NUL);
9124             SvUTF8_on (sv);
9125             return sv;
9126         } else if (flags & HVhek_UNSHARED) {
9127             /* A hash that isn't using shared hash keys has to have
9128                the flag in every key so that we know not to try to call
9129                share_hek_hek on it.  */
9130
9131             SV * const sv = newSVpvn (HEK_KEY(hek), HEK_LEN(hek));
9132             if (HEK_UTF8(hek))
9133                 SvUTF8_on (sv);
9134             return sv;
9135         }
9136         /* This will be overwhelminly the most common case.  */
9137         {
9138             /* Inline most of newSVpvn_share(), because share_hek_hek() is far
9139                more efficient than sharepvn().  */
9140             SV *sv;
9141
9142             new_SV(sv);
9143             sv_upgrade(sv, SVt_PV);
9144             SvPV_set(sv, (char *)HEK_KEY(share_hek_hek(hek)));
9145             SvCUR_set(sv, HEK_LEN(hek));
9146             SvLEN_set(sv, 0);
9147             SvIsCOW_on(sv);
9148             SvPOK_on(sv);
9149             if (HEK_UTF8(hek))
9150                 SvUTF8_on(sv);
9151             return sv;
9152         }
9153     }
9154 }
9155
9156 /*
9157 =for apidoc newSVpvn_share
9158
9159 Creates a new SV with its SvPVX_const pointing to a shared string in the string
9160 table.  If the string does not already exist in the table, it is
9161 created first.  Turns on the SvIsCOW flag (or READONLY
9162 and FAKE in 5.16 and earlier).  If the C<hash> parameter
9163 is non-zero, that value is used; otherwise the hash is computed.
9164 The string's hash can later be retrieved from the SV
9165 with the C<SvSHARED_HASH()> macro.  The idea here is
9166 that as the string table is used for shared hash keys these strings will have
9167 SvPVX_const == HeKEY and hash lookup will avoid string compare.
9168
9169 =cut
9170 */
9171
9172 SV *
9173 Perl_newSVpvn_share(pTHX_ const char *src, I32 len, U32 hash)
9174 {
9175     dVAR;
9176     SV *sv;
9177     bool is_utf8 = FALSE;
9178     const char *const orig_src = src;
9179
9180     if (len < 0) {
9181         STRLEN tmplen = -len;
9182         is_utf8 = TRUE;
9183         /* See the note in hv.c:hv_fetch() --jhi */
9184         src = (char*)bytes_from_utf8((const U8*)src, &tmplen, &is_utf8);
9185         len = tmplen;
9186     }
9187     if (!hash)
9188         PERL_HASH(hash, src, len);
9189     new_SV(sv);
9190     /* The logic for this is inlined in S_mro_get_linear_isa_dfs(), so if it
9191        changes here, update it there too.  */
9192     sv_upgrade(sv, SVt_PV);
9193     SvPV_set(sv, sharepvn(src, is_utf8?-len:len, hash));
9194     SvCUR_set(sv, len);
9195     SvLEN_set(sv, 0);
9196     SvIsCOW_on(sv);
9197     SvPOK_on(sv);
9198     if (is_utf8)
9199         SvUTF8_on(sv);
9200     if (src != orig_src)
9201         Safefree(src);
9202     return sv;
9203 }
9204
9205 /*
9206 =for apidoc newSVpv_share
9207
9208 Like C<newSVpvn_share>, but takes a C<NUL>-terminated string instead of a
9209 string/length pair.
9210
9211 =cut
9212 */
9213
9214 SV *
9215 Perl_newSVpv_share(pTHX_ const char *src, U32 hash)
9216 {
9217     return newSVpvn_share(src, strlen(src), hash);
9218 }
9219
9220 #if defined(PERL_IMPLICIT_CONTEXT)
9221
9222 /* pTHX_ magic can't cope with varargs, so this is a no-context
9223  * version of the main function, (which may itself be aliased to us).
9224  * Don't access this version directly.
9225  */
9226
9227 SV *
9228 Perl_newSVpvf_nocontext(const char *const pat, ...)
9229 {
9230     dTHX;
9231     SV *sv;
9232     va_list args;
9233
9234     PERL_ARGS_ASSERT_NEWSVPVF_NOCONTEXT;
9235
9236     va_start(args, pat);
9237     sv = vnewSVpvf(pat, &args);
9238     va_end(args);
9239     return sv;
9240 }
9241 #endif
9242
9243 /*
9244 =for apidoc newSVpvf
9245
9246 Creates a new SV and initializes it with the string formatted like
9247 C<sprintf>.
9248
9249 =cut
9250 */
9251
9252 SV *
9253 Perl_newSVpvf(pTHX_ const char *const pat, ...)
9254 {
9255     SV *sv;
9256     va_list args;
9257
9258     PERL_ARGS_ASSERT_NEWSVPVF;
9259
9260     va_start(args, pat);
9261     sv = vnewSVpvf(pat, &args);
9262     va_end(args);
9263     return sv;
9264 }
9265
9266 /* backend for newSVpvf() and newSVpvf_nocontext() */
9267
9268 SV *
9269 Perl_vnewSVpvf(pTHX_ const char *const pat, va_list *const args)
9270 {
9271     SV *sv;
9272
9273     PERL_ARGS_ASSERT_VNEWSVPVF;
9274
9275     new_SV(sv);
9276     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
9277     return sv;
9278 }
9279
9280 /*
9281 =for apidoc newSVnv
9282
9283 Creates a new SV and copies a floating point value into it.
9284 The reference count for the SV is set to 1.
9285
9286 =cut
9287 */
9288
9289 SV *
9290 Perl_newSVnv(pTHX_ const NV n)
9291 {
9292     SV *sv;
9293
9294     new_SV(sv);
9295     sv_setnv(sv,n);
9296     return sv;
9297 }
9298
9299 /*
9300 =for apidoc newSViv
9301
9302 Creates a new SV and copies an integer into it.  The reference count for the
9303 SV is set to 1.
9304
9305 =cut
9306 */
9307
9308 SV *
9309 Perl_newSViv(pTHX_ const IV i)
9310 {
9311     SV *sv;
9312
9313     new_SV(sv);
9314     sv_setiv(sv,i);
9315     return sv;
9316 }
9317
9318 /*
9319 =for apidoc newSVuv
9320
9321 Creates a new SV and copies an unsigned integer into it.
9322 The reference count for the SV is set to 1.
9323
9324 =cut
9325 */
9326
9327 SV *
9328 Perl_newSVuv(pTHX_ const UV u)
9329 {
9330     SV *sv;
9331
9332     new_SV(sv);
9333     sv_setuv(sv,u);
9334     return sv;
9335 }
9336
9337 /*
9338 =for apidoc newSV_type
9339
9340 Creates a new SV, of the type specified.  The reference count for the new SV
9341 is set to 1.
9342
9343 =cut
9344 */
9345
9346 SV *
9347 Perl_newSV_type(pTHX_ const svtype type)
9348 {
9349     SV *sv;
9350
9351     new_SV(sv);
9352     sv_upgrade(sv, type);
9353     return sv;
9354 }
9355
9356 /*
9357 =for apidoc newRV_noinc
9358
9359 Creates an RV wrapper for an SV.  The reference count for the original
9360 SV is B<not> incremented.
9361
9362 =cut
9363 */
9364
9365 SV *
9366 Perl_newRV_noinc(pTHX_ SV *const tmpRef)
9367 {
9368     SV *sv = newSV_type(SVt_IV);
9369
9370     PERL_ARGS_ASSERT_NEWRV_NOINC;
9371
9372     SvTEMP_off(tmpRef);
9373     SvRV_set(sv, tmpRef);
9374     SvROK_on(sv);
9375     return sv;
9376 }
9377
9378 /* newRV_inc is the official function name to use now.
9379  * newRV_inc is in fact #defined to newRV in sv.h
9380  */
9381
9382 SV *
9383 Perl_newRV(pTHX_ SV *const sv)
9384 {
9385     PERL_ARGS_ASSERT_NEWRV;
9386
9387     return newRV_noinc(SvREFCNT_inc_simple_NN(sv));
9388 }
9389
9390 /*
9391 =for apidoc newSVsv
9392
9393 Creates a new SV which is an exact duplicate of the original SV.
9394 (Uses C<sv_setsv>.)
9395
9396 =cut
9397 */
9398
9399 SV *
9400 Perl_newSVsv(pTHX_ SV *const old)
9401 {
9402     SV *sv;
9403
9404     if (!old)
9405         return NULL;
9406     if (SvTYPE(old) == (svtype)SVTYPEMASK) {
9407         Perl_ck_warner_d(aTHX_ packWARN(WARN_INTERNAL), "semi-panic: attempt to dup freed string");
9408         return NULL;
9409     }
9410     /* Do this here, otherwise we leak the new SV if this croaks. */
9411     SvGETMAGIC(old);
9412     new_SV(sv);
9413     /* SV_NOSTEAL prevents TEMP buffers being, well, stolen, and saves games
9414        with SvTEMP_off and SvTEMP_on round a call to sv_setsv.  */
9415     sv_setsv_flags(sv, old, SV_NOSTEAL);
9416     return sv;
9417 }
9418
9419 /*
9420 =for apidoc sv_reset
9421
9422 Underlying implementation for the C<reset> Perl function.
9423 Note that the perl-level function is vaguely deprecated.
9424
9425 =cut
9426 */
9427
9428 void
9429 Perl_sv_reset(pTHX_ const char *s, HV *const stash)
9430 {
9431     PERL_ARGS_ASSERT_SV_RESET;
9432
9433     sv_resetpvn(*s ? s : NULL, strlen(s), stash);
9434 }
9435
9436 void
9437 Perl_sv_resetpvn(pTHX_ const char *s, STRLEN len, HV * const stash)
9438 {
9439     char todo[PERL_UCHAR_MAX+1];
9440     const char *send;
9441
9442     if (!stash || SvTYPE(stash) != SVt_PVHV)
9443         return;
9444
9445     if (!s) {           /* reset ?? searches */
9446         MAGIC * const mg = mg_find((const SV *)stash, PERL_MAGIC_symtab);
9447         if (mg) {
9448             const U32 count = mg->mg_len / sizeof(PMOP**);
9449             PMOP **pmp = (PMOP**) mg->mg_ptr;
9450             PMOP *const *const end = pmp + count;
9451
9452             while (pmp < end) {
9453 #ifdef USE_ITHREADS
9454                 SvREADONLY_off(PL_regex_pad[(*pmp)->op_pmoffset]);
9455 #else
9456                 (*pmp)->op_pmflags &= ~PMf_USED;
9457 #endif
9458                 ++pmp;
9459             }
9460         }
9461         return;
9462     }
9463
9464     /* reset variables */
9465
9466     if (!HvARRAY(stash))
9467         return;
9468
9469     Zero(todo, 256, char);
9470     send = s + len;
9471     while (s < send) {
9472         I32 max;
9473         I32 i = (unsigned char)*s;
9474         if (s[1] == '-') {
9475             s += 2;
9476         }
9477         max = (unsigned char)*s++;
9478         for ( ; i <= max; i++) {
9479             todo[i] = 1;
9480         }
9481         for (i = 0; i <= (I32) HvMAX(stash); i++) {
9482             HE *entry;
9483             for (entry = HvARRAY(stash)[i];
9484                  entry;
9485                  entry = HeNEXT(entry))
9486             {
9487                 GV *gv;
9488                 SV *sv;
9489
9490                 if (!todo[(U8)*HeKEY(entry)])
9491                     continue;
9492                 gv = MUTABLE_GV(HeVAL(entry));
9493                 sv = GvSV(gv);
9494                 if (sv && !SvREADONLY(sv)) {
9495                     SV_CHECK_THINKFIRST_COW_DROP(sv);
9496                     if (!isGV(sv)) SvOK_off(sv);
9497                 }
9498                 if (GvAV(gv)) {
9499                     av_clear(GvAV(gv));
9500                 }
9501                 if (GvHV(gv) && !HvNAME_get(GvHV(gv))) {
9502                     hv_clear(GvHV(gv));
9503                 }
9504             }
9505         }
9506     }
9507 }
9508
9509 /*
9510 =for apidoc sv_2io
9511
9512 Using various gambits, try to get an IO from an SV: the IO slot if its a
9513 GV; or the recursive result if we're an RV; or the IO slot of the symbol
9514 named after the PV if we're a string.
9515
9516 'Get' magic is ignored on the sv passed in, but will be called on
9517 C<SvRV(sv)> if sv is an RV.
9518
9519 =cut
9520 */
9521
9522 IO*
9523 Perl_sv_2io(pTHX_ SV *const sv)
9524 {
9525     IO* io;
9526     GV* gv;
9527
9528     PERL_ARGS_ASSERT_SV_2IO;
9529
9530     switch (SvTYPE(sv)) {
9531     case SVt_PVIO:
9532         io = MUTABLE_IO(sv);
9533         break;
9534     case SVt_PVGV:
9535     case SVt_PVLV:
9536         if (isGV_with_GP(sv)) {
9537             gv = MUTABLE_GV(sv);
9538             io = GvIO(gv);
9539             if (!io)
9540                 Perl_croak(aTHX_ "Bad filehandle: %"HEKf,
9541                                     HEKfARG(GvNAME_HEK(gv)));
9542             break;
9543         }
9544         /* FALLTHROUGH */
9545     default:
9546         if (!SvOK(sv))
9547             Perl_croak(aTHX_ PL_no_usym, "filehandle");
9548         if (SvROK(sv)) {
9549             SvGETMAGIC(SvRV(sv));
9550             return sv_2io(SvRV(sv));
9551         }
9552         gv = gv_fetchsv_nomg(sv, 0, SVt_PVIO);
9553         if (gv)
9554             io = GvIO(gv);
9555         else
9556             io = 0;
9557         if (!io) {
9558             SV *newsv = sv;
9559             if (SvGMAGICAL(sv)) {
9560                 newsv = sv_newmortal();
9561                 sv_setsv_nomg(newsv, sv);
9562             }
9563             Perl_croak(aTHX_ "Bad filehandle: %"SVf, SVfARG(newsv));
9564         }
9565         break;
9566     }
9567     return io;
9568 }
9569
9570 /*
9571 =for apidoc sv_2cv
9572
9573 Using various gambits, try to get a CV from an SV; in addition, try if
9574 possible to set C<*st> and C<*gvp> to the stash and GV associated with it.
9575 The flags in C<lref> are passed to gv_fetchsv.
9576
9577 =cut
9578 */
9579
9580 CV *
9581 Perl_sv_2cv(pTHX_ SV *sv, HV **const st, GV **const gvp, const I32 lref)
9582 {
9583     GV *gv = NULL;
9584     CV *cv = NULL;
9585
9586     PERL_ARGS_ASSERT_SV_2CV;
9587
9588     if (!sv) {
9589         *st = NULL;
9590         *gvp = NULL;
9591         return NULL;
9592     }
9593     switch (SvTYPE(sv)) {
9594     case SVt_PVCV:
9595         *st = CvSTASH(sv);
9596         *gvp = NULL;
9597         return MUTABLE_CV(sv);
9598     case SVt_PVHV:
9599     case SVt_PVAV:
9600         *st = NULL;
9601         *gvp = NULL;
9602         return NULL;
9603     default:
9604         SvGETMAGIC(sv);
9605         if (SvROK(sv)) {
9606             if (SvAMAGIC(sv))
9607                 sv = amagic_deref_call(sv, to_cv_amg);
9608
9609             sv = SvRV(sv);
9610             if (SvTYPE(sv) == SVt_PVCV) {
9611                 cv = MUTABLE_CV(sv);
9612                 *gvp = NULL;
9613                 *st = CvSTASH(cv);
9614                 return cv;
9615             }
9616             else if(SvGETMAGIC(sv), isGV_with_GP(sv))
9617                 gv = MUTABLE_GV(sv);
9618             else
9619                 Perl_croak(aTHX_ "Not a subroutine reference");
9620         }
9621         else if (isGV_with_GP(sv)) {
9622             gv = MUTABLE_GV(sv);
9623         }
9624         else {
9625             gv = gv_fetchsv_nomg(sv, lref, SVt_PVCV);
9626         }
9627         *gvp = gv;
9628         if (!gv) {
9629             *st = NULL;
9630             return NULL;
9631         }
9632         /* Some flags to gv_fetchsv mean don't really create the GV  */
9633         if (!isGV_with_GP(gv)) {
9634             *st = NULL;
9635             return NULL;
9636         }
9637         *st = GvESTASH(gv);
9638         if (lref & ~GV_ADDMG && !GvCVu(gv)) {
9639             /* XXX this is probably not what they think they're getting.
9640              * It has the same effect as "sub name;", i.e. just a forward
9641              * declaration! */
9642             newSTUB(gv,0);
9643         }
9644         return GvCVu(gv);
9645     }
9646 }
9647
9648 /*
9649 =for apidoc sv_true
9650
9651 Returns true if the SV has a true value by Perl's rules.
9652 Use the C<SvTRUE> macro instead, which may call C<sv_true()> or may
9653 instead use an in-line version.
9654
9655 =cut
9656 */
9657
9658 I32
9659 Perl_sv_true(pTHX_ SV *const sv)
9660 {
9661     if (!sv)
9662         return 0;
9663     if (SvPOK(sv)) {
9664         const XPV* const tXpv = (XPV*)SvANY(sv);
9665         if (tXpv &&
9666                 (tXpv->xpv_cur > 1 ||
9667                 (tXpv->xpv_cur && *sv->sv_u.svu_pv != '0')))
9668             return 1;
9669         else
9670             return 0;
9671     }
9672     else {
9673         if (SvIOK(sv))
9674             return SvIVX(sv) != 0;
9675         else {
9676             if (SvNOK(sv))
9677                 return SvNVX(sv) != 0.0;
9678             else
9679                 return sv_2bool(sv);
9680         }
9681     }
9682 }
9683
9684 /*
9685 =for apidoc sv_pvn_force
9686
9687 Get a sensible string out of the SV somehow.
9688 A private implementation of the C<SvPV_force> macro for compilers which
9689 can't cope with complex macro expressions.  Always use the macro instead.
9690
9691 =for apidoc sv_pvn_force_flags
9692
9693 Get a sensible string out of the SV somehow.
9694 If C<flags> has C<SV_GMAGIC> bit set, will C<mg_get> on C<sv> if
9695 appropriate, else not.  C<sv_pvn_force> and C<sv_pvn_force_nomg> are
9696 implemented in terms of this function.
9697 You normally want to use the various wrapper macros instead: see
9698 C<SvPV_force> and C<SvPV_force_nomg>
9699
9700 =cut
9701 */
9702
9703 char *
9704 Perl_sv_pvn_force_flags(pTHX_ SV *const sv, STRLEN *const lp, const I32 flags)
9705 {
9706     PERL_ARGS_ASSERT_SV_PVN_FORCE_FLAGS;
9707
9708     if (flags & SV_GMAGIC) SvGETMAGIC(sv);
9709     if (SvTHINKFIRST(sv) && (!SvROK(sv) || SvREADONLY(sv)))
9710         sv_force_normal_flags(sv, 0);
9711
9712     if (SvPOK(sv)) {
9713         if (lp)
9714             *lp = SvCUR(sv);
9715     }
9716     else {
9717         char *s;
9718         STRLEN len;
9719  
9720         if (SvTYPE(sv) > SVt_PVLV
9721             || isGV_with_GP(sv))
9722             /* diag_listed_as: Can't coerce %s to %s in %s */
9723             Perl_croak(aTHX_ "Can't coerce %s to string in %s", sv_reftype(sv,0),
9724                 OP_DESC(PL_op));
9725         s = sv_2pv_flags(sv, &len, flags &~ SV_GMAGIC);
9726         if (!s) {
9727           s = (char *)"";
9728         }
9729         if (lp)
9730             *lp = len;
9731
9732         if (SvTYPE(sv) < SVt_PV ||
9733             s != SvPVX_const(sv)) {     /* Almost, but not quite, sv_setpvn() */
9734             if (SvROK(sv))
9735                 sv_unref(sv);
9736             SvUPGRADE(sv, SVt_PV);              /* Never FALSE */
9737             SvGROW(sv, len + 1);
9738             Move(s,SvPVX(sv),len,char);
9739             SvCUR_set(sv, len);
9740             SvPVX(sv)[len] = '\0';
9741         }
9742         if (!SvPOK(sv)) {
9743             SvPOK_on(sv);               /* validate pointer */
9744             SvTAINT(sv);
9745             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2pv(%s)\n",
9746                                   PTR2UV(sv),SvPVX_const(sv)));
9747         }
9748     }
9749     (void)SvPOK_only_UTF8(sv);
9750     return SvPVX_mutable(sv);
9751 }
9752
9753 /*
9754 =for apidoc sv_pvbyten_force
9755
9756 The backend for the C<SvPVbytex_force> macro.  Always use the macro
9757 instead.
9758
9759 =cut
9760 */
9761
9762 char *
9763 Perl_sv_pvbyten_force(pTHX_ SV *const sv, STRLEN *const lp)
9764 {
9765     PERL_ARGS_ASSERT_SV_PVBYTEN_FORCE;
9766
9767     sv_pvn_force(sv,lp);
9768     sv_utf8_downgrade(sv,0);
9769     *lp = SvCUR(sv);
9770     return SvPVX(sv);
9771 }
9772
9773 /*
9774 =for apidoc sv_pvutf8n_force
9775
9776 The backend for the C<SvPVutf8x_force> macro.  Always use the macro
9777 instead.
9778
9779 =cut
9780 */
9781
9782 char *
9783 Perl_sv_pvutf8n_force(pTHX_ SV *const sv, STRLEN *const lp)
9784 {
9785     PERL_ARGS_ASSERT_SV_PVUTF8N_FORCE;
9786
9787     sv_pvn_force(sv,0);
9788     sv_utf8_upgrade_nomg(sv);
9789     *lp = SvCUR(sv);
9790     return SvPVX(sv);
9791 }
9792
9793 /*
9794 =for apidoc sv_reftype
9795
9796 Returns a string describing what the SV is a reference to.
9797
9798 =cut
9799 */
9800
9801 const char *
9802 Perl_sv_reftype(pTHX_ const SV *const sv, const int ob)
9803 {
9804     PERL_ARGS_ASSERT_SV_REFTYPE;
9805     if (ob && SvOBJECT(sv)) {
9806         return SvPV_nolen_const(sv_ref(NULL, sv, ob));
9807     }
9808     else {
9809         /* WARNING - There is code, for instance in mg.c, that assumes that
9810          * the only reason that sv_reftype(sv,0) would return a string starting
9811          * with 'L' or 'S' is that it is a LVALUE or a SCALAR.
9812          * Yes this a dodgy way to do type checking, but it saves practically reimplementing
9813          * this routine inside other subs, and it saves time.
9814          * Do not change this assumption without searching for "dodgy type check" in
9815          * the code.
9816          * - Yves */
9817         switch (SvTYPE(sv)) {
9818         case SVt_NULL:
9819         case SVt_IV:
9820         case SVt_NV:
9821         case SVt_PV:
9822         case SVt_PVIV:
9823         case SVt_PVNV:
9824         case SVt_PVMG:
9825                                 if (SvVOK(sv))
9826                                     return "VSTRING";
9827                                 if (SvROK(sv))
9828                                     return "REF";
9829                                 else
9830                                     return "SCALAR";
9831
9832         case SVt_PVLV:          return (char *)  (SvROK(sv) ? "REF"
9833                                 /* tied lvalues should appear to be
9834                                  * scalars for backwards compatibility */
9835                                 : (isALPHA_FOLD_EQ(LvTYPE(sv), 't'))
9836                                     ? "SCALAR" : "LVALUE");
9837         case SVt_PVAV:          return "ARRAY";
9838         case SVt_PVHV:          return "HASH";
9839         case SVt_PVCV:          return "CODE";
9840         case SVt_PVGV:          return (char *) (isGV_with_GP(sv)
9841                                     ? "GLOB" : "SCALAR");
9842         case SVt_PVFM:          return "FORMAT";
9843         case SVt_PVIO:          return "IO";
9844         case SVt_INVLIST:       return "INVLIST";
9845         case SVt_REGEXP:        return "REGEXP";
9846         default:                return "UNKNOWN";
9847         }
9848     }
9849 }
9850
9851 /*
9852 =for apidoc sv_ref
9853
9854 Returns a SV describing what the SV passed in is a reference to.
9855
9856 =cut
9857 */
9858
9859 SV *
9860 Perl_sv_ref(pTHX_ SV *dst, const SV *const sv, const int ob)
9861 {
9862     PERL_ARGS_ASSERT_SV_REF;
9863
9864     if (!dst)
9865         dst = sv_newmortal();
9866
9867     if (ob && SvOBJECT(sv)) {
9868         HvNAME_get(SvSTASH(sv))
9869                     ? sv_sethek(dst, HvNAME_HEK(SvSTASH(sv)))
9870                     : sv_setpvn(dst, "__ANON__", 8);
9871     }
9872     else {
9873         const char * reftype = sv_reftype(sv, 0);
9874         sv_setpv(dst, reftype);
9875     }
9876     return dst;
9877 }
9878
9879 /*
9880 =for apidoc sv_isobject
9881
9882 Returns a boolean indicating whether the SV is an RV pointing to a blessed
9883 object.  If the SV is not an RV, or if the object is not blessed, then this
9884 will return false.
9885
9886 =cut
9887 */
9888
9889 int
9890 Perl_sv_isobject(pTHX_ SV *sv)
9891 {
9892     if (!sv)
9893         return 0;
9894     SvGETMAGIC(sv);
9895     if (!SvROK(sv))
9896         return 0;
9897     sv = SvRV(sv);
9898     if (!SvOBJECT(sv))
9899         return 0;
9900     return 1;
9901 }
9902
9903 /*
9904 =for apidoc sv_isa
9905
9906 Returns a boolean indicating whether the SV is blessed into the specified
9907 class.  This does not check for subtypes; use C<sv_derived_from> to verify
9908 an inheritance relationship.
9909
9910 =cut
9911 */
9912
9913 int
9914 Perl_sv_isa(pTHX_ SV *sv, const char *const name)
9915 {
9916     const char *hvname;
9917
9918     PERL_ARGS_ASSERT_SV_ISA;
9919
9920     if (!sv)
9921         return 0;
9922     SvGETMAGIC(sv);
9923     if (!SvROK(sv))
9924         return 0;
9925     sv = SvRV(sv);
9926     if (!SvOBJECT(sv))
9927         return 0;
9928     hvname = HvNAME_get(SvSTASH(sv));
9929     if (!hvname)
9930         return 0;
9931
9932     return strEQ(hvname, name);
9933 }
9934
9935 /*
9936 =for apidoc newSVrv
9937
9938 Creates a new SV for the existing RV, C<rv>, to point to.  If C<rv> is not an
9939 RV then it will be upgraded to one.  If C<classname> is non-null then the new
9940 SV will be blessed in the specified package.  The new SV is returned and its
9941 reference count is 1.  The reference count 1 is owned by C<rv>.
9942
9943 =cut
9944 */
9945
9946 SV*
9947 Perl_newSVrv(pTHX_ SV *const rv, const char *const classname)
9948 {
9949     SV *sv;
9950
9951     PERL_ARGS_ASSERT_NEWSVRV;
9952
9953     new_SV(sv);
9954
9955     SV_CHECK_THINKFIRST_COW_DROP(rv);
9956
9957     if (SvTYPE(rv) >= SVt_PVMG) {
9958         const U32 refcnt = SvREFCNT(rv);
9959         SvREFCNT(rv) = 0;
9960         sv_clear(rv);
9961         SvFLAGS(rv) = 0;
9962         SvREFCNT(rv) = refcnt;
9963
9964         sv_upgrade(rv, SVt_IV);
9965     } else if (SvROK(rv)) {
9966         SvREFCNT_dec(SvRV(rv));
9967     } else {
9968         prepare_SV_for_RV(rv);
9969     }
9970
9971     SvOK_off(rv);
9972     SvRV_set(rv, sv);
9973     SvROK_on(rv);
9974
9975     if (classname) {
9976         HV* const stash = gv_stashpv(classname, GV_ADD);
9977         (void)sv_bless(rv, stash);
9978     }
9979     return sv;
9980 }
9981
9982 SV *
9983 Perl_newSVavdefelem(pTHX_ AV *av, SSize_t ix, bool extendible)
9984 {
9985     SV * const lv = newSV_type(SVt_PVLV);
9986     PERL_ARGS_ASSERT_NEWSVAVDEFELEM;
9987     LvTYPE(lv) = 'y';
9988     sv_magic(lv, NULL, PERL_MAGIC_defelem, NULL, 0);
9989     LvTARG(lv) = SvREFCNT_inc_simple_NN(av);
9990     LvSTARGOFF(lv) = ix;
9991     LvTARGLEN(lv) = extendible ? 1 : (STRLEN)UV_MAX;
9992     return lv;
9993 }
9994
9995 /*
9996 =for apidoc sv_setref_pv
9997
9998 Copies a pointer into a new SV, optionally blessing the SV.  The C<rv>
9999 argument will be upgraded to an RV.  That RV will be modified to point to
10000 the new SV.  If the C<pv> argument is NULL then C<PL_sv_undef> will be placed
10001 into the SV.  The C<classname> argument indicates the package for the
10002 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
10003 will have a reference count of 1, and the RV will be returned.
10004
10005 Do not use with other Perl types such as HV, AV, SV, CV, because those
10006 objects will become corrupted by the pointer copy process.
10007
10008 Note that C<sv_setref_pvn> copies the string while this copies the pointer.
10009
10010 =cut
10011 */
10012
10013 SV*
10014 Perl_sv_setref_pv(pTHX_ SV *const rv, const char *const classname, void *const pv)
10015 {
10016     PERL_ARGS_ASSERT_SV_SETREF_PV;
10017
10018     if (!pv) {
10019         sv_setsv(rv, &PL_sv_undef);
10020         SvSETMAGIC(rv);
10021     }
10022     else
10023         sv_setiv(newSVrv(rv,classname), PTR2IV(pv));
10024     return rv;
10025 }
10026
10027 /*
10028 =for apidoc sv_setref_iv
10029
10030 Copies an integer into a new SV, optionally blessing the SV.  The C<rv>
10031 argument will be upgraded to an RV.  That RV will be modified to point to
10032 the new SV.  The C<classname> argument indicates the package for the
10033 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
10034 will have a reference count of 1, and the RV will be returned.
10035
10036 =cut
10037 */
10038
10039 SV*
10040 Perl_sv_setref_iv(pTHX_ SV *const rv, const char *const classname, const IV iv)
10041 {
10042     PERL_ARGS_ASSERT_SV_SETREF_IV;
10043
10044     sv_setiv(newSVrv(rv,classname), iv);
10045     return rv;
10046 }
10047
10048 /*
10049 =for apidoc sv_setref_uv
10050
10051 Copies an unsigned integer into a new SV, optionally blessing the SV.  The C<rv>
10052 argument will be upgraded to an RV.  That RV will be modified to point to
10053 the new SV.  The C<classname> argument indicates the package for the
10054 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
10055 will have a reference count of 1, and the RV will be returned.
10056
10057 =cut
10058 */
10059
10060 SV*
10061 Perl_sv_setref_uv(pTHX_ SV *const rv, const char *const classname, const UV uv)
10062 {
10063     PERL_ARGS_ASSERT_SV_SETREF_UV;
10064
10065     sv_setuv(newSVrv(rv,classname), uv);
10066     return rv;
10067 }
10068
10069 /*
10070 =for apidoc sv_setref_nv
10071
10072 Copies a double into a new SV, optionally blessing the SV.  The C<rv>
10073 argument will be upgraded to an RV.  That RV will be modified to point to
10074 the new SV.  The C<classname> argument indicates the package for the
10075 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
10076 will have a reference count of 1, and the RV will be returned.
10077
10078 =cut
10079 */
10080
10081 SV*
10082 Perl_sv_setref_nv(pTHX_ SV *const rv, const char *const classname, const NV nv)
10083 {
10084     PERL_ARGS_ASSERT_SV_SETREF_NV;
10085
10086     sv_setnv(newSVrv(rv,classname), nv);
10087     return rv;
10088 }
10089
10090 /*
10091 =for apidoc sv_setref_pvn
10092
10093 Copies a string into a new SV, optionally blessing the SV.  The length of the
10094 string must be specified with C<n>.  The C<rv> argument will be upgraded to
10095 an RV.  That RV will be modified to point to the new SV.  The C<classname>
10096 argument indicates the package for the blessing.  Set C<classname> to
10097 C<NULL> to avoid the blessing.  The new SV will have a reference count
10098 of 1, and the RV will be returned.
10099
10100 Note that C<sv_setref_pv> copies the pointer while this copies the string.
10101
10102 =cut
10103 */
10104
10105 SV*
10106 Perl_sv_setref_pvn(pTHX_ SV *const rv, const char *const classname,
10107                    const char *const pv, const STRLEN n)
10108 {
10109     PERL_ARGS_ASSERT_SV_SETREF_PVN;
10110
10111     sv_setpvn(newSVrv(rv,classname), pv, n);
10112     return rv;
10113 }
10114
10115 /*
10116 =for apidoc sv_bless
10117
10118 Blesses an SV into a specified package.  The SV must be an RV.  The package
10119 must be designated by its stash (see C<gv_stashpv()>).  The reference count
10120 of the SV is unaffected.
10121
10122 =cut
10123 */
10124
10125 SV*
10126 Perl_sv_bless(pTHX_ SV *const sv, HV *const stash)
10127 {
10128     SV *tmpRef;
10129     HV *oldstash = NULL;
10130
10131     PERL_ARGS_ASSERT_SV_BLESS;
10132
10133     SvGETMAGIC(sv);
10134     if (!SvROK(sv))
10135         Perl_croak(aTHX_ "Can't bless non-reference value");
10136     tmpRef = SvRV(sv);
10137     if (SvFLAGS(tmpRef) & (SVs_OBJECT|SVf_READONLY|SVf_PROTECT)) {
10138         if (SvREADONLY(tmpRef))
10139             Perl_croak_no_modify();
10140         if (SvOBJECT(tmpRef)) {
10141             oldstash = SvSTASH(tmpRef);
10142         }
10143     }
10144     SvOBJECT_on(tmpRef);
10145     SvUPGRADE(tmpRef, SVt_PVMG);
10146     SvSTASH_set(tmpRef, MUTABLE_HV(SvREFCNT_inc_simple(stash)));
10147     SvREFCNT_dec(oldstash);
10148
10149     if(SvSMAGICAL(tmpRef))
10150         if(mg_find(tmpRef, PERL_MAGIC_ext) || mg_find(tmpRef, PERL_MAGIC_uvar))
10151             mg_set(tmpRef);
10152
10153
10154
10155     return sv;
10156 }
10157
10158 /* Downgrades a PVGV to a PVMG. If it's actually a PVLV, we leave the type
10159  * as it is after unglobbing it.
10160  */
10161
10162 PERL_STATIC_INLINE void
10163 S_sv_unglob(pTHX_ SV *const sv, U32 flags)
10164 {
10165     void *xpvmg;
10166     HV *stash;
10167     SV * const temp = flags & SV_COW_DROP_PV ? NULL : sv_newmortal();
10168
10169     PERL_ARGS_ASSERT_SV_UNGLOB;
10170
10171     assert(SvTYPE(sv) == SVt_PVGV || SvTYPE(sv) == SVt_PVLV);
10172     SvFAKE_off(sv);
10173     if (!(flags & SV_COW_DROP_PV))
10174         gv_efullname3(temp, MUTABLE_GV(sv), "*");
10175
10176     SvREFCNT_inc_simple_void_NN(sv_2mortal(sv));
10177     if (GvGP(sv)) {
10178         if(GvCVu((const GV *)sv) && (stash = GvSTASH(MUTABLE_GV(sv)))
10179            && HvNAME_get(stash))
10180             mro_method_changed_in(stash);
10181         gp_free(MUTABLE_GV(sv));
10182     }
10183     if (GvSTASH(sv)) {
10184         sv_del_backref(MUTABLE_SV(GvSTASH(sv)), sv);
10185         GvSTASH(sv) = NULL;
10186     }
10187     GvMULTI_off(sv);
10188     if (GvNAME_HEK(sv)) {
10189         unshare_hek(GvNAME_HEK(sv));
10190     }
10191     isGV_with_GP_off(sv);
10192
10193     if(SvTYPE(sv) == SVt_PVGV) {
10194         /* need to keep SvANY(sv) in the right arena */
10195         xpvmg = new_XPVMG();
10196         StructCopy(SvANY(sv), xpvmg, XPVMG);
10197         del_XPVGV(SvANY(sv));
10198         SvANY(sv) = xpvmg;
10199
10200         SvFLAGS(sv) &= ~SVTYPEMASK;
10201         SvFLAGS(sv) |= SVt_PVMG;
10202     }
10203
10204     /* Intentionally not calling any local SET magic, as this isn't so much a
10205        set operation as merely an internal storage change.  */
10206     if (flags & SV_COW_DROP_PV) SvOK_off(sv);
10207     else sv_setsv_flags(sv, temp, 0);
10208
10209     if ((const GV *)sv == PL_last_in_gv)
10210         PL_last_in_gv = NULL;
10211     else if ((const GV *)sv == PL_statgv)
10212         PL_statgv = NULL;
10213 }
10214
10215 /*
10216 =for apidoc sv_unref_flags
10217
10218 Unsets the RV status of the SV, and decrements the reference count of
10219 whatever was being referenced by the RV.  This can almost be thought of
10220 as a reversal of C<newSVrv>.  The C<cflags> argument can contain
10221 C<SV_IMMEDIATE_UNREF> to force the reference count to be decremented
10222 (otherwise the decrementing is conditional on the reference count being
10223 different from one or the reference being a readonly SV).
10224 See C<SvROK_off>.
10225
10226 =cut
10227 */
10228
10229 void
10230 Perl_sv_unref_flags(pTHX_ SV *const ref, const U32 flags)
10231 {
10232     SV* const target = SvRV(ref);
10233
10234     PERL_ARGS_ASSERT_SV_UNREF_FLAGS;
10235
10236     if (SvWEAKREF(ref)) {
10237         sv_del_backref(target, ref);
10238         SvWEAKREF_off(ref);
10239         SvRV_set(ref, NULL);
10240         return;
10241     }
10242     SvRV_set(ref, NULL);
10243     SvROK_off(ref);
10244     /* You can't have a || SvREADONLY(target) here, as $a = $$a, where $a was
10245        assigned to as BEGIN {$a = \"Foo"} will fail.  */
10246     if (SvREFCNT(target) != 1 || (flags & SV_IMMEDIATE_UNREF))
10247         SvREFCNT_dec_NN(target);
10248     else /* XXX Hack, but hard to make $a=$a->[1] work otherwise */
10249         sv_2mortal(target);     /* Schedule for freeing later */
10250 }
10251
10252 /*
10253 =for apidoc sv_untaint
10254
10255 Untaint an SV.  Use C<SvTAINTED_off> instead.
10256
10257 =cut
10258 */
10259
10260 void
10261 Perl_sv_untaint(pTHX_ SV *const sv)
10262 {
10263     PERL_ARGS_ASSERT_SV_UNTAINT;
10264     PERL_UNUSED_CONTEXT;
10265
10266     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
10267         MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
10268         if (mg)
10269             mg->mg_len &= ~1;
10270     }
10271 }
10272
10273 /*
10274 =for apidoc sv_tainted
10275
10276 Test an SV for taintedness.  Use C<SvTAINTED> instead.
10277
10278 =cut
10279 */
10280
10281 bool
10282 Perl_sv_tainted(pTHX_ SV *const sv)
10283 {
10284     PERL_ARGS_ASSERT_SV_TAINTED;
10285     PERL_UNUSED_CONTEXT;
10286
10287     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
10288         const MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
10289         if (mg && (mg->mg_len & 1) )
10290             return TRUE;
10291     }
10292     return FALSE;
10293 }
10294
10295 /*
10296 =for apidoc sv_setpviv
10297
10298 Copies an integer into the given SV, also updating its string value.
10299 Does not handle 'set' magic.  See C<sv_setpviv_mg>.
10300
10301 =cut
10302 */
10303
10304 void
10305 Perl_sv_setpviv(pTHX_ SV *const sv, const IV iv)
10306 {
10307     char buf[TYPE_CHARS(UV)];
10308     char *ebuf;
10309     char * const ptr = uiv_2buf(buf, iv, 0, 0, &ebuf);
10310
10311     PERL_ARGS_ASSERT_SV_SETPVIV;
10312
10313     sv_setpvn(sv, ptr, ebuf - ptr);
10314 }
10315
10316 /*
10317 =for apidoc sv_setpviv_mg
10318
10319 Like C<sv_setpviv>, but also handles 'set' magic.
10320
10321 =cut
10322 */
10323
10324 void
10325 Perl_sv_setpviv_mg(pTHX_ SV *const sv, const IV iv)
10326 {
10327     PERL_ARGS_ASSERT_SV_SETPVIV_MG;
10328
10329     sv_setpviv(sv, iv);
10330     SvSETMAGIC(sv);
10331 }
10332
10333 #if defined(PERL_IMPLICIT_CONTEXT)
10334
10335 /* pTHX_ magic can't cope with varargs, so this is a no-context
10336  * version of the main function, (which may itself be aliased to us).
10337  * Don't access this version directly.
10338  */
10339
10340 void
10341 Perl_sv_setpvf_nocontext(SV *const sv, const char *const pat, ...)
10342 {
10343     dTHX;
10344     va_list args;
10345
10346     PERL_ARGS_ASSERT_SV_SETPVF_NOCONTEXT;
10347
10348     va_start(args, pat);
10349     sv_vsetpvf(sv, pat, &args);
10350     va_end(args);
10351 }
10352
10353 /* pTHX_ magic can't cope with varargs, so this is a no-context
10354  * version of the main function, (which may itself be aliased to us).
10355  * Don't access this version directly.
10356  */
10357
10358 void
10359 Perl_sv_setpvf_mg_nocontext(SV *const sv, const char *const pat, ...)
10360 {
10361     dTHX;
10362     va_list args;
10363
10364     PERL_ARGS_ASSERT_SV_SETPVF_MG_NOCONTEXT;
10365
10366     va_start(args, pat);
10367     sv_vsetpvf_mg(sv, pat, &args);
10368     va_end(args);
10369 }
10370 #endif
10371
10372 /*
10373 =for apidoc sv_setpvf
10374
10375 Works like C<sv_catpvf> but copies the text into the SV instead of
10376 appending it.  Does not handle 'set' magic.  See C<sv_setpvf_mg>.
10377
10378 =cut
10379 */
10380
10381 void
10382 Perl_sv_setpvf(pTHX_ SV *const sv, const char *const pat, ...)
10383 {
10384     va_list args;
10385
10386     PERL_ARGS_ASSERT_SV_SETPVF;
10387
10388     va_start(args, pat);
10389     sv_vsetpvf(sv, pat, &args);
10390     va_end(args);
10391 }
10392
10393 /*
10394 =for apidoc sv_vsetpvf
10395
10396 Works like C<sv_vcatpvf> but copies the text into the SV instead of
10397 appending it.  Does not handle 'set' magic.  See C<sv_vsetpvf_mg>.
10398
10399 Usually used via its frontend C<sv_setpvf>.
10400
10401 =cut
10402 */
10403
10404 void
10405 Perl_sv_vsetpvf(pTHX_ SV *const sv, const char *const pat, va_list *const args)
10406 {
10407     PERL_ARGS_ASSERT_SV_VSETPVF;
10408
10409     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
10410 }
10411
10412 /*
10413 =for apidoc sv_setpvf_mg
10414
10415 Like C<sv_setpvf>, but also handles 'set' magic.
10416
10417 =cut
10418 */
10419
10420 void
10421 Perl_sv_setpvf_mg(pTHX_ SV *const sv, const char *const pat, ...)
10422 {
10423     va_list args;
10424
10425     PERL_ARGS_ASSERT_SV_SETPVF_MG;
10426
10427     va_start(args, pat);
10428     sv_vsetpvf_mg(sv, pat, &args);
10429     va_end(args);
10430 }
10431
10432 /*
10433 =for apidoc sv_vsetpvf_mg
10434
10435 Like C<sv_vsetpvf>, but also handles 'set' magic.
10436
10437 Usually used via its frontend C<sv_setpvf_mg>.
10438
10439 =cut
10440 */
10441
10442 void
10443 Perl_sv_vsetpvf_mg(pTHX_ SV *const sv, const char *const pat, va_list *const args)
10444 {
10445     PERL_ARGS_ASSERT_SV_VSETPVF_MG;
10446
10447     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
10448     SvSETMAGIC(sv);
10449 }
10450
10451 #if defined(PERL_IMPLICIT_CONTEXT)
10452
10453 /* pTHX_ magic can't cope with varargs, so this is a no-context
10454  * version of the main function, (which may itself be aliased to us).
10455  * Don't access this version directly.
10456  */
10457
10458 void
10459 Perl_sv_catpvf_nocontext(SV *const sv, const char *const pat, ...)
10460 {
10461     dTHX;
10462     va_list args;
10463
10464     PERL_ARGS_ASSERT_SV_CATPVF_NOCONTEXT;
10465
10466     va_start(args, pat);
10467     sv_vcatpvfn_flags(sv, pat, strlen(pat), &args, NULL, 0, NULL, SV_GMAGIC|SV_SMAGIC);
10468     va_end(args);
10469 }
10470
10471 /* pTHX_ magic can't cope with varargs, so this is a no-context
10472  * version of the main function, (which may itself be aliased to us).
10473  * Don't access this version directly.
10474  */
10475
10476 void
10477 Perl_sv_catpvf_mg_nocontext(SV *const sv, const char *const pat, ...)
10478 {
10479     dTHX;
10480     va_list args;
10481
10482     PERL_ARGS_ASSERT_SV_CATPVF_MG_NOCONTEXT;
10483
10484     va_start(args, pat);
10485     sv_vcatpvfn_flags(sv, pat, strlen(pat), &args, NULL, 0, NULL, SV_GMAGIC|SV_SMAGIC);
10486     SvSETMAGIC(sv);
10487     va_end(args);
10488 }
10489 #endif
10490
10491 /*
10492 =for apidoc sv_catpvf
10493
10494 Processes its arguments like C<sprintf> and appends the formatted
10495 output to an SV.  If the appended data contains "wide" characters
10496 (including, but not limited to, SVs with a UTF-8 PV formatted with %s,
10497 and characters >255 formatted with %c), the original SV might get
10498 upgraded to UTF-8.  Handles 'get' magic, but not 'set' magic.  See
10499 C<sv_catpvf_mg>.  If the original SV was UTF-8, the pattern should be
10500 valid UTF-8; if the original SV was bytes, the pattern should be too.
10501
10502 =cut */
10503
10504 void
10505 Perl_sv_catpvf(pTHX_ SV *const sv, const char *const pat, ...)
10506 {
10507     va_list args;
10508
10509     PERL_ARGS_ASSERT_SV_CATPVF;
10510
10511     va_start(args, pat);
10512     sv_vcatpvfn_flags(sv, pat, strlen(pat), &args, NULL, 0, NULL, SV_GMAGIC|SV_SMAGIC);
10513     va_end(args);
10514 }
10515
10516 /*
10517 =for apidoc sv_vcatpvf
10518
10519 Processes its arguments like C<vsprintf> and appends the formatted output
10520 to an SV.  Does not handle 'set' magic.  See C<sv_vcatpvf_mg>.
10521
10522 Usually used via its frontend C<sv_catpvf>.
10523
10524 =cut
10525 */
10526
10527 void
10528 Perl_sv_vcatpvf(pTHX_ SV *const sv, const char *const pat, va_list *const args)
10529 {
10530     PERL_ARGS_ASSERT_SV_VCATPVF;
10531
10532     sv_vcatpvfn_flags(sv, pat, strlen(pat), args, NULL, 0, NULL, SV_GMAGIC|SV_SMAGIC);
10533 }
10534
10535 /*
10536 =for apidoc sv_catpvf_mg
10537
10538 Like C<sv_catpvf>, but also handles 'set' magic.
10539
10540 =cut
10541 */
10542
10543 void
10544 Perl_sv_catpvf_mg(pTHX_ SV *const sv, const char *const pat, ...)
10545 {
10546     va_list args;
10547
10548     PERL_ARGS_ASSERT_SV_CATPVF_MG;
10549
10550     va_start(args, pat);
10551     sv_vcatpvfn_flags(sv, pat, strlen(pat), &args, NULL, 0, NULL, SV_GMAGIC|SV_SMAGIC);
10552     SvSETMAGIC(sv);
10553     va_end(args);
10554 }
10555
10556 /*
10557 =for apidoc sv_vcatpvf_mg
10558
10559 Like C<sv_vcatpvf>, but also handles 'set' magic.
10560
10561 Usually used via its frontend C<sv_catpvf_mg>.
10562
10563 =cut
10564 */
10565
10566 void
10567 Perl_sv_vcatpvf_mg(pTHX_ SV *const sv, const char *const pat, va_list *const args)
10568 {
10569     PERL_ARGS_ASSERT_SV_VCATPVF_MG;
10570
10571     sv_vcatpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
10572     SvSETMAGIC(sv);
10573 }
10574
10575 /*
10576 =for apidoc sv_vsetpvfn
10577
10578 Works like C<sv_vcatpvfn> but copies the text into the SV instead of
10579 appending it.
10580
10581 Usually used via one of its frontends C<sv_vsetpvf> and C<sv_vsetpvf_mg>.
10582
10583 =cut
10584 */
10585
10586 void
10587 Perl_sv_vsetpvfn(pTHX_ SV *const sv, const char *const pat, const STRLEN patlen,
10588                  va_list *const args, SV **const svargs, const I32 svmax, bool *const maybe_tainted)
10589 {
10590     PERL_ARGS_ASSERT_SV_VSETPVFN;
10591
10592     sv_setpvs(sv, "");
10593     sv_vcatpvfn_flags(sv, pat, patlen, args, svargs, svmax, maybe_tainted, 0);
10594 }
10595
10596
10597 /*
10598  * Warn of missing argument to sprintf, and then return a defined value
10599  * to avoid inappropriate "use of uninit" warnings [perl #71000].
10600  */
10601 STATIC SV*
10602 S_vcatpvfn_missing_argument(pTHX) {
10603     if (ckWARN(WARN_MISSING)) {
10604         Perl_warner(aTHX_ packWARN(WARN_MISSING), "Missing argument in %s",
10605                 PL_op ? OP_DESC(PL_op) : "sv_vcatpvfn()");
10606     }
10607     return &PL_sv_no;
10608 }
10609
10610
10611 STATIC I32
10612 S_expect_number(pTHX_ char **const pattern)
10613 {
10614     I32 var = 0;
10615
10616     PERL_ARGS_ASSERT_EXPECT_NUMBER;
10617
10618     switch (**pattern) {
10619     case '1': case '2': case '3':
10620     case '4': case '5': case '6':
10621     case '7': case '8': case '9':
10622         var = *(*pattern)++ - '0';
10623         while (isDIGIT(**pattern)) {
10624             const I32 tmp = var * 10 + (*(*pattern)++ - '0');
10625             if (tmp < var)
10626                 Perl_croak(aTHX_ "Integer overflow in format string for %s", (PL_op ? OP_DESC(PL_op) : "sv_vcatpvfn"));
10627             var = tmp;
10628         }
10629     }
10630     return var;
10631 }
10632
10633 STATIC char *
10634 S_F0convert(NV nv, char *const endbuf, STRLEN *const len)
10635 {
10636     const int neg = nv < 0;
10637     UV uv;
10638
10639     PERL_ARGS_ASSERT_F0CONVERT;
10640
10641     if (UNLIKELY(Perl_isinfnan(nv))) {
10642         STRLEN n = S_infnan_2pv(nv, endbuf - *len, *len);
10643         *len = n;
10644         return endbuf - n;
10645     }
10646     if (neg)
10647         nv = -nv;
10648     if (nv < UV_MAX) {
10649         char *p = endbuf;
10650         nv += 0.5;
10651         uv = (UV)nv;
10652         if (uv & 1 && uv == nv)
10653             uv--;                       /* Round to even */
10654         do {
10655             const unsigned dig = uv % 10;
10656             *--p = '0' + dig;
10657         } while (uv /= 10);
10658         if (neg)
10659             *--p = '-';
10660         *len = endbuf - p;
10661         return p;
10662     }
10663     return NULL;
10664 }
10665
10666
10667 /*
10668 =for apidoc sv_vcatpvfn
10669
10670 =for apidoc sv_vcatpvfn_flags
10671
10672 Processes its arguments like C<vsprintf> and appends the formatted output
10673 to an SV.  Uses an array of SVs if the C style variable argument list is
10674 missing (NULL).  When running with taint checks enabled, indicates via
10675 C<maybe_tainted> if results are untrustworthy (often due to the use of
10676 locales).
10677
10678 If called as C<sv_vcatpvfn> or flags include C<SV_GMAGIC>, calls get magic.
10679
10680 Usually used via one of its frontends C<sv_vcatpvf> and C<sv_vcatpvf_mg>.
10681
10682 =cut
10683 */
10684
10685 #define VECTORIZE_ARGS  vecsv = va_arg(*args, SV*);\
10686                         vecstr = (U8*)SvPV_const(vecsv,veclen);\
10687                         vec_utf8 = DO_UTF8(vecsv);
10688
10689 /* XXX maybe_tainted is never assigned to, so the doc above is lying. */
10690
10691 void
10692 Perl_sv_vcatpvfn(pTHX_ SV *const sv, const char *const pat, const STRLEN patlen,
10693                  va_list *const args, SV **const svargs, const I32 svmax, bool *const maybe_tainted)
10694 {
10695     PERL_ARGS_ASSERT_SV_VCATPVFN;
10696
10697     sv_vcatpvfn_flags(sv, pat, patlen, args, svargs, svmax, maybe_tainted, SV_GMAGIC|SV_SMAGIC);
10698 }
10699
10700 #if LONG_DOUBLEKIND == LONG_DOUBLE_IS_IEEE_754_128_BIT_LITTLE_ENDIAN || \
10701     LONG_DOUBLEKIND == LONG_DOUBLE_IS_X86_80_BIT_LITTLE_ENDIAN || \
10702     LONG_DOUBLEKIND == LONG_DOUBLE_IS_DOUBLEDOUBLE_128_BIT_LITTLE_ENDIAN
10703 #  define LONGDOUBLE_LITTLE_ENDIAN
10704 #endif
10705
10706 #if LONG_DOUBLEKIND == LONG_DOUBLE_IS_IEEE_754_128_BIT_BIG_ENDIAN || \
10707     LONG_DOUBLEKIND == LONG_DOUBLE_IS_X86_80_BIT_BIG_ENDIAN || \
10708     LONG_DOUBLEKIND == LONG_DOUBLE_IS_DOUBLEDOUBLE_128_BIT_BIG_ENDIAN
10709 #  define LONGDOUBLE_BIG_ENDIAN
10710 #endif
10711
10712 #if LONG_DOUBLEKIND == LONG_DOUBLE_IS_X86_80_BIT_LITTLE_ENDIAN || \
10713     LONG_DOUBLEKIND == LONG_DOUBLE_IS_X86_80_BIT_BIG_ENDIAN
10714 #  define LONGDOUBLE_X86_80_BIT
10715 #endif
10716
10717 #if LONG_DOUBLEKIND == LONG_DOUBLE_IS_DOUBLEDOUBLE_128_BIT_LITTLE_ENDIAN || \
10718     LONG_DOUBLEKIND == LONG_DOUBLE_IS_DOUBLEDOUBLE_128_BIT_BIG_ENDIAN
10719 #  define LONGDOUBLE_DOUBLEDOUBLE
10720 #  define DOUBLEDOUBLE_MAXBITS 1028
10721 #endif
10722
10723 /* vhex will contain the values (0..15) of the hex digits ("nybbles"
10724  * of 4 bits); 1 for the implicit 1, and the mantissa bits, four bits
10725  * per xdigit. */
10726 #ifdef LONGDOUBLE_DOUBLEDOUBLE
10727 #  define VHEX_SIZE (1+DOUBLEDOUBLE_MAXBITS/4)
10728 #else
10729 #  define VHEX_SIZE (1+128/4)
10730 #endif
10731
10732 /* If we do not have a known long double format, (including not using
10733  * long doubles, or long doubles being equal to doubles) then we will
10734  * fall back to the ldexp/frexp route, with which we can retrieve at
10735  * most as many bits as our widest unsigned integer type is.  We try
10736  * to get a 64-bit unsigned integer even if we are not using a 64-bit UV.
10737  *
10738  * (If you want to test the case of UVSIZE == 4, NVSIZE == 8,
10739  *  set the MANTISSATYPE to int and the MANTISSASIZE to 4.)
10740  */
10741 #if defined(HAS_QUAD) && defined(Uquad_t)
10742 #  define MANTISSATYPE Uquad_t
10743 #  define MANTISSASIZE 8
10744 #else
10745 #  define MANTISSATYPE UV
10746 #  define MANTISSASIZE UVSIZE
10747 #endif
10748
10749 /* We make here the wild assumption that the endianness of doubles
10750  * is similar to the endianness of integers, and that there is no
10751  * middle-endianness.  This may come back to haunt us (the rumor
10752  * has it that ARM can be quite haunted). */
10753 #if BYTEORDER == 0x12345678 || BYTEORDER == 0x1234 || \
10754      defined(DOUBLEKIND_LITTLE_ENDIAN)
10755 #  define HEXTRACT_LITTLE_ENDIAN
10756 #else
10757 #  define HEXTRACT_BIG_ENDIAN
10758 #endif
10759
10760 /* S_hextract() is a helper for Perl_sv_vcatpvfn_flags, for extracting
10761  * the hexadecimal values (for %a/%A).  The nv is the NV where the value
10762  * are being extracted from (either directly from the long double in-memory
10763  * presentation, or from the uquad computed via frexp+ldexp).  frexp also
10764  * is used to update the exponent.  vhex is the pointer to the beginning
10765  * of the output buffer (of VHEX_SIZE).
10766  *
10767  * The tricky part is that S_hextract() needs to be called twice:
10768  * the first time with vend as NULL, and the second time with vend as
10769  * the pointer returned by the first call.  What happens is that on
10770  * the first round the output size is computed, and the intended
10771  * extraction sanity checked.  On the second round the actual output
10772  * (the extraction of the hexadecimal values) takes place.
10773  * Sanity failures cause fatal failures during both rounds. */
10774 STATIC U8*
10775 S_hextract(pTHX_ const NV nv, int* exponent, U8* vhex, U8* vend)
10776 {
10777     U8* v = vhex;
10778     int ix;
10779     int ixmin = 0, ixmax = 0;
10780
10781     /* XXX Inf/NaN/denormal handling in the HEXTRACT_IMPLICIT_BIT,
10782      * and elsewhere. */
10783
10784     /* These macros are just to reduce typos, they have multiple
10785      * repetitions below, but usually only one (or sometimes two)
10786      * of them is really being used. */
10787     /* HEXTRACT_OUTPUT() extracts the high nybble first. */
10788 #define HEXTRACT_OUTPUT_HI(ix) (*v++ = nvp[ix] >> 4)
10789 #define HEXTRACT_OUTPUT_LO(ix) (*v++ = nvp[ix] & 0xF)
10790 #define HEXTRACT_OUTPUT(ix) \
10791     STMT_START { \
10792       HEXTRACT_OUTPUT_HI(ix); HEXTRACT_OUTPUT_LO(ix); \
10793    } STMT_END
10794 #define HEXTRACT_COUNT(ix, c) \
10795     STMT_START { \
10796       v += c; if (ix < ixmin) ixmin = ix; else if (ix > ixmax) ixmax = ix; \
10797    } STMT_END
10798 #define HEXTRACT_BYTE(ix) \
10799     STMT_START { \
10800     if (vend) HEXTRACT_OUTPUT(ix); else HEXTRACT_COUNT(ix, 2); \
10801    } STMT_END
10802 #define HEXTRACT_LO_NYBBLE(ix) \
10803     STMT_START { \
10804       if (vend) HEXTRACT_OUTPUT_LO(ix); else HEXTRACT_COUNT(ix, 1); \
10805    } STMT_END
10806 #  define HEXTRACT_IMPLICIT_BIT(nv) \
10807     STMT_START { \
10808         if (vend) *v++ = ((nv) == 0.0) ? 0 : 1; else v++; \
10809    } STMT_END
10810
10811 #ifdef LONGDOUBLE_DOUBLEDOUBLE
10812 #  define HEXTRACTSIZE (DOUBLEDOUBLE_MAXBITS/8)
10813 #else
10814 #  define HEXTRACTSIZE NVSIZE
10815 #endif
10816
10817     const U8* nvp = (const U8*)(&nv);
10818     const U8* vmaxend = vhex + 2 * HEXTRACTSIZE + 1;
10819     (void)Perl_frexp(PERL_ABS(nv), exponent);
10820     if (vend && (vend <= vhex || vend > vmaxend))
10821         Perl_croak(aTHX_ "Hexadecimal float: internal error");
10822
10823     /* First check if using long doubles. */
10824 #if NVSIZE > DOUBLESIZE
10825 #  if LONG_DOUBLEKIND == LONG_DOUBLE_IS_IEEE_754_128_BIT_LITTLE_ENDIAN
10826     /* Used in e.g. VMS and HP-UX IA-64, e.g. -0.1L:
10827      * 9a 99 99 99 99 99 99 99 99 99 99 99 99 99 fb 3f */
10828     /* The bytes 13..0 are the mantissa/fraction,
10829      * the 15,14 are the sign+exponent. */
10830     HEXTRACT_IMPLICIT_BIT(nv);
10831     for (ix = 13; ix >= 0; ix--) {
10832         HEXTRACT_BYTE(ix);
10833     }
10834 #  elif LONG_DOUBLEKIND == LONG_DOUBLE_IS_IEEE_754_128_BIT_BIG_ENDIAN
10835     /* Used in e.g. Solaris Sparc and HP-UX PA-RISC, e.g. -0.1L:
10836      * bf fb 99 99 99 99 99 99 99 99 99 99 99 99 99 9a */
10837     /* The bytes 2..15 are the mantissa/fraction,
10838      * the 0,1 are the sign+exponent. */
10839     HEXTRACT_IMPLICIT_BIT(nv);
10840     for (ix = 2; ix <= 15; ix++) {
10841         HEXTRACT_BYTE(ix);
10842     }
10843 #  elif LONG_DOUBLEKIND == LONG_DOUBLE_IS_X86_80_BIT_LITTLE_ENDIAN
10844     /* x86 80-bit "extended precision", 64 bits of mantissa / fraction /
10845      * significand, 15 bits of exponent, 1 bit of sign.  NVSIZE can
10846      * be either 12 (ILP32, Solaris x86) or 16 (LP64, Linux and OS X),
10847      * meaning that 2 or 6 bytes are empty padding. */
10848     /* The bytes 7..0 are the mantissa/fraction */
10849
10850     /* Intentionally NO HEXTRACT_IMPLICIT_BIT here. */
10851     for (ix = 7; ix >= 0; ix--) {
10852         HEXTRACT_BYTE(ix);
10853     }
10854 #  elif LONG_DOUBLEKIND == LONG_DOUBLE_IS_X86_80_BIT_BIG_ENDIAN
10855     /* Does this format ever happen? (Wikipedia says the Motorola
10856      * 6888x math coprocessors used format _like_ this but padded
10857      * to 96 bits with 16 unused bits between the exponent and the
10858      * mantissa.) */
10859
10860     /* Intentionally NO HEXTRACT_IMPLICIT_BIT here. */
10861     for (ix = 0; ix < 8; ix++) {
10862         HEXTRACT_BYTE(ix);
10863     }
10864 #  elif defined(LONGDOUBLE_DOUBLEDOUBLE)
10865     /* Double-double format: two doubles next to each other.
10866      * The first double is the high-order one, exactly like
10867      * it would be for a "lone" double.  The second double
10868      * is shifted down using the exponent so that that there
10869      * are no common bits.  The tricky part is that the value
10870      * of the double-double is the SUM of the two doubles and
10871      * the second one can be also NEGATIVE.
10872      *
10873      * Because of this tricky construction the bytewise extraction we
10874      * use for the other long double formats doesn't work, we must
10875      * extract the values bit by bit.
10876      *
10877      * The little-endian double-double is used .. somewhere?
10878      *
10879      * The big endian double-double is used in e.g. PPC/Power (AIX)
10880      * and MIPS (SGI).
10881      *
10882      * The mantissa bits are in two separate stretches, e.g. for -0.1L:
10883      * 9a 99 99 99 99 99 59 bc 9a 99 99 99 99 99 b9 3f (LE)
10884      * 3f b9 99 99 99 99 99 9a bc 59 99 99 99 99 99 9a (BE)
10885      */
10886
10887     if (nv == (NV)0.0) {
10888         if (vend)
10889             *v++ = 0;
10890         else
10891             v++;
10892         *exponent = 0;
10893     }
10894     else {
10895         NV d = nv < 0 ? -nv : nv;
10896         NV e = (NV)1.0;
10897         U8 ha = 0x0; /* hexvalue accumulator */
10898         U8 hd = 0x8; /* hexvalue digit */
10899
10900         /* Shift d and e (and update exponent) so that e <= d < 2*e,
10901          * this is essentially manual frexp(). Multiplying by 0.5 and
10902          * doubling should be lossless in binary floating point. */
10903
10904         *exponent = 1;
10905
10906         while (e > d) {
10907             e *= (NV)0.5;
10908             (*exponent)--;
10909         }
10910         /* Now d >= e */
10911
10912         while (d >= e + e) {
10913             e += e;
10914             (*exponent)++;
10915         }
10916         /* Now e <= d < 2*e */
10917
10918         /* First extract the leading hexdigit (the implicit bit). */
10919         if (d >= e) {
10920             d -= e;
10921             if (vend)
10922                 *v++ = 1;
10923             else
10924                 v++;
10925         }
10926         else {
10927             if (vend)
10928                 *v++ = 0;
10929             else
10930                 v++;
10931         }
10932         e *= (NV)0.5;
10933
10934         /* Then extract the remaining hexdigits. */
10935         while (d > (NV)0.0) {
10936             if (d >= e) {
10937                 ha |= hd;
10938                 d -= e;
10939             }
10940             if (hd == 1) {
10941                 /* Output or count in groups of four bits,
10942                  * that is, when the hexdigit is down to one. */
10943                 if (vend)
10944                     *v++ = ha;
10945                 else
10946                     v++;
10947                 /* Reset the hexvalue. */
10948                 ha = 0x0;
10949                 hd = 0x8;
10950             }
10951             else 
10952                 hd >>= 1;
10953             e *= (NV)0.5;
10954         }
10955
10956         /* Flush possible pending hexvalue. */
10957         if (ha) {
10958             if (vend)
10959                 *v++ = ha;
10960             else
10961                 v++;
10962         }
10963     }
10964 #  else
10965     Perl_croak(aTHX_
10966                "Hexadecimal float: unsupported long double format");
10967 #  endif
10968 #else
10969     /* Using normal doubles, not long doubles.
10970      *
10971      * We generate 4-bit xdigits (nybble/nibble) instead of 8-bit
10972      * bytes, since we might need to handle printf precision, and
10973      * also need to insert the radix. */
10974     HEXTRACT_IMPLICIT_BIT(nv);
10975 #  ifdef HEXTRACT_LITTLE_ENDIAN
10976     HEXTRACT_LO_NYBBLE(6);
10977     for (ix = 5; ix >= 0; ix--) {
10978         HEXTRACT_BYTE(ix);
10979     }
10980 #  else
10981     HEXTRACT_LO_NYBBLE(1);
10982     for (ix = 2; ix < HEXTRACTSIZE; ix++) {
10983         HEXTRACT_BYTE(ix);
10984     }
10985 #  endif
10986 #endif
10987     /* Croak for various reasons: if the output pointer escaped the
10988      * output buffer, if the extraction index escaped the extraction
10989      * buffer, or if the ending output pointer didn't match the
10990      * previously computed value. */
10991     if (v <= vhex || v - vhex >= VHEX_SIZE ||
10992         /* For double-double the ixmin and ixmax stay at zero,
10993          * which is convenient since the HEXTRACTSIZE is tricky
10994          * for double-double. */
10995         ixmin < 0 || ixmax >= HEXTRACTSIZE ||
10996         (vend && v != vend))
10997         Perl_croak(aTHX_ "Hexadecimal float: internal error");
10998     return v;
10999 }
11000
11001 void
11002 Perl_sv_vcatpvfn_flags(pTHX_ SV *const sv, const char *const pat, const STRLEN patlen,
11003                        va_list *const args, SV **const svargs, const I32 svmax, bool *const maybe_tainted,
11004                        const U32 flags)
11005 {
11006     char *p;
11007     char *q;
11008     const char *patend;
11009     STRLEN origlen;
11010     I32 svix = 0;
11011     static const char nullstr[] = "(null)";
11012     SV *argsv = NULL;
11013     bool has_utf8 = DO_UTF8(sv);    /* has the result utf8? */
11014     const bool pat_utf8 = has_utf8; /* the pattern is in utf8? */
11015     SV *nsv = NULL;
11016     /* Times 4: a decimal digit takes more than 3 binary digits.
11017      * NV_DIG: mantissa takes than many decimal digits.
11018      * Plus 32: Playing safe. */
11019     char ebuf[IV_DIG * 4 + NV_DIG + 32];
11020     bool no_redundant_warning = FALSE; /* did we use any explicit format parameter index? */
11021     bool hexfp = FALSE; /* hexadecimal floating point? */
11022
11023     DECLARATION_FOR_STORE_LC_NUMERIC_SET_TO_NEEDED;
11024
11025     PERL_ARGS_ASSERT_SV_VCATPVFN_FLAGS;
11026     PERL_UNUSED_ARG(maybe_tainted);
11027
11028     if (flags & SV_GMAGIC)
11029         SvGETMAGIC(sv);
11030
11031     /* no matter what, this is a string now */
11032     (void)SvPV_force_nomg(sv, origlen);
11033
11034     /* special-case "", "%s", and "%-p" (SVf - see below) */
11035     if (patlen == 0) {
11036         if (svmax && ckWARN(WARN_REDUNDANT))
11037             Perl_warner(aTHX_ packWARN(WARN_REDUNDANT), "Redundant argument in %s",
11038                         PL_op ? OP_DESC(PL_op) : "sv_vcatpvfn()");
11039         return;
11040     }
11041     if (patlen == 2 && pat[0] == '%' && pat[1] == 's') {
11042         if (svmax > 1 && ckWARN(WARN_REDUNDANT))
11043             Perl_warner(aTHX_ packWARN(WARN_REDUNDANT), "Redundant argument in %s",
11044                         PL_op ? OP_DESC(PL_op) : "sv_vcatpvfn()");
11045
11046         if (args) {
11047             const char * const s = va_arg(*args, char*);
11048             sv_catpv_nomg(sv, s ? s : nullstr);
11049         }
11050         else if (svix < svmax) {
11051             /* we want get magic on the source but not the target. sv_catsv can't do that, though */
11052             SvGETMAGIC(*svargs);
11053             sv_catsv_nomg(sv, *svargs);
11054         }
11055         else
11056             S_vcatpvfn_missing_argument(aTHX);
11057         return;
11058     }
11059     if (args && patlen == 3 && pat[0] == '%' &&
11060                 pat[1] == '-' && pat[2] == 'p') {
11061         if (svmax > 1 && ckWARN(WARN_REDUNDANT))
11062             Perl_warner(aTHX_ packWARN(WARN_REDUNDANT), "Redundant argument in %s",
11063                         PL_op ? OP_DESC(PL_op) : "sv_vcatpvfn()");
11064         argsv = MUTABLE_SV(va_arg(*args, void*));
11065         sv_catsv_nomg(sv, argsv);
11066         return;
11067     }
11068
11069 #ifndef USE_LONG_DOUBLE
11070     /* special-case "%.<number>[gf]" */
11071     if ( !args && patlen <= 5 && pat[0] == '%' && pat[1] == '.'
11072          && (pat[patlen-1] == 'g' || pat[patlen-1] == 'f') ) {
11073         unsigned digits = 0;
11074         const char *pp;
11075
11076         pp = pat + 2;
11077         while (*pp >= '0' && *pp <= '9')
11078             digits = 10 * digits + (*pp++ - '0');
11079
11080         /* XXX: Why do this `svix < svmax` test? Couldn't we just
11081            format the first argument and WARN_REDUNDANT if svmax > 1?
11082            Munged by Nicholas Clark in v5.13.0-209-g95ea86d */
11083         if (pp - pat == (int)patlen - 1 && svix < svmax) {
11084             const NV nv = SvNV(*svargs);
11085             if (LIKELY(!Perl_isinfnan(nv))) {
11086                 if (*pp == 'g') {
11087                     /* Add check for digits != 0 because it seems that some
11088                        gconverts are buggy in this case, and we don't yet have
11089                        a Configure test for this.  */
11090                     if (digits && digits < sizeof(ebuf) - NV_DIG - 10) {
11091                         /* 0, point, slack */
11092                         STORE_LC_NUMERIC_SET_TO_NEEDED();
11093                         SNPRINTF_G(nv, ebuf, size, digits);
11094                         sv_catpv_nomg(sv, ebuf);
11095                         if (*ebuf)      /* May return an empty string for digits==0 */
11096                             return;
11097                     }
11098                 } else if (!digits) {
11099                     STRLEN l;
11100
11101                     if ((p = F0convert(nv, ebuf + sizeof ebuf, &l))) {
11102                         sv_catpvn_nomg(sv, p, l);
11103                         return;
11104                     }
11105                 }
11106             }
11107         }
11108     }
11109 #endif /* !USE_LONG_DOUBLE */
11110
11111     if (!args && svix < svmax && DO_UTF8(*svargs))
11112         has_utf8 = TRUE;
11113
11114     patend = (char*)pat + patlen;
11115     for (p = (char*)pat; p < patend; p = q) {
11116         bool alt = FALSE;
11117         bool left = FALSE;
11118         bool vectorize = FALSE;
11119         bool vectorarg = FALSE;
11120         bool vec_utf8 = FALSE;
11121         char fill = ' ';
11122         char plus = 0;
11123         char intsize = 0;
11124         STRLEN width = 0;
11125         STRLEN zeros = 0;
11126         bool has_precis = FALSE;
11127         STRLEN precis = 0;
11128         const I32 osvix = svix;
11129         bool is_utf8 = FALSE;  /* is this item utf8?   */
11130 #ifdef HAS_LDBL_SPRINTF_BUG
11131         /* This is to try to fix a bug with irix/nonstop-ux/powerux and
11132            with sfio - Allen <allens@cpan.org> */
11133         bool fix_ldbl_sprintf_bug = FALSE;
11134 #endif
11135
11136         char esignbuf[4];
11137         U8 utf8buf[UTF8_MAXBYTES+1];
11138         STRLEN esignlen = 0;
11139
11140         const char *eptr = NULL;
11141         const char *fmtstart;
11142         STRLEN elen = 0;
11143         SV *vecsv = NULL;
11144         const U8 *vecstr = NULL;
11145         STRLEN veclen = 0;
11146         char c = 0;
11147         int i;
11148         unsigned base = 0;
11149         IV iv = 0;
11150         UV uv = 0;
11151         /* We need a long double target in case HAS_LONG_DOUBLE,
11152          * even without USE_LONG_DOUBLE, so that we can printf with
11153          * long double formats, even without NV being long double.
11154          * But we call the target 'fv' instead of 'nv', since most of
11155          * the time it is not (most compilers these days recognize
11156          * "long double", even if only as a synonym for "double").
11157         */
11158 #if defined(HAS_LONG_DOUBLE) && LONG_DOUBLESIZE > DOUBLESIZE && \
11159         defined(PERL_PRIgldbl) && !defined(USE_QUADMATH)
11160         long double fv;
11161 #  define FV_ISFINITE(x) Perl_isfinitel(x)
11162 #  define FV_GF PERL_PRIgldbl
11163 #    if defined(__VMS) && defined(__ia64) && defined(__IEEE_FLOAT)
11164        /* Work around breakage in OTS$CVT_FLOAT_T_X */
11165 #      define NV_TO_FV(nv,fv) STMT_START {                   \
11166                                            double _dv = nv;  \
11167                                            fv = Perl_isnan(_dv) ? LDBL_QNAN : _dv; \
11168                               } STMT_END
11169 #    else
11170 #      define NV_TO_FV(nv,fv) (fv)=(nv)
11171 #    endif
11172 #else
11173         NV fv;
11174 #  define FV_ISFINITE(x) Perl_isfinite((NV)(x))
11175 #  define FV_GF NVgf
11176 #  define NV_TO_FV(nv,fv) (fv)=(nv)
11177 #endif
11178         STRLEN have;
11179         STRLEN need;
11180         STRLEN gap;
11181         const char *dotstr = ".";
11182         STRLEN dotstrlen = 1;
11183         I32 efix = 0; /* explicit format parameter index */
11184         I32 ewix = 0; /* explicit width index */
11185         I32 epix = 0; /* explicit precision index */
11186         I32 evix = 0; /* explicit vector index */
11187         bool asterisk = FALSE;
11188         bool infnan = FALSE;
11189
11190         /* echo everything up to the next format specification */
11191         for (q = p; q < patend && *q != '%'; ++q) ;
11192         if (q > p) {
11193             if (has_utf8 && !pat_utf8)
11194                 sv_catpvn_nomg_utf8_upgrade(sv, p, q - p, nsv);
11195             else
11196                 sv_catpvn_nomg(sv, p, q - p);
11197             p = q;
11198         }
11199         if (q++ >= patend)
11200             break;
11201
11202         fmtstart = q;
11203
11204 /*
11205     We allow format specification elements in this order:
11206         \d+\$              explicit format parameter index
11207         [-+ 0#]+           flags
11208         v|\*(\d+\$)?v      vector with optional (optionally specified) arg
11209         0                  flag (as above): repeated to allow "v02"     
11210         \d+|\*(\d+\$)?     width using optional (optionally specified) arg
11211         \.(\d*|\*(\d+\$)?) precision using optional (optionally specified) arg
11212         [hlqLV]            size
11213     [%bcdefginopsuxDFOUX] format (mandatory)
11214 */
11215
11216         if (args) {
11217 /*  
11218         As of perl5.9.3, printf format checking is on by default.
11219         Internally, perl uses %p formats to provide an escape to
11220         some extended formatting.  This block deals with those
11221         extensions: if it does not match, (char*)q is reset and
11222         the normal format processing code is used.
11223
11224         Currently defined extensions are:
11225                 %p              include pointer address (standard)      
11226                 %-p     (SVf)   include an SV (previously %_)
11227                 %-<num>p        include an SV with precision <num>      
11228                 %2p             include a HEK
11229                 %3p             include a HEK with precision of 256
11230                 %4p             char* preceded by utf8 flag and length
11231                 %<num>p         (where num is 1 or > 4) reserved for future
11232                                 extensions
11233
11234         Robin Barker 2005-07-14 (but modified since)
11235
11236                 %1p     (VDf)   removed.  RMB 2007-10-19
11237 */
11238             char* r = q; 
11239             bool sv = FALSE;    
11240             STRLEN n = 0;
11241             if (*q == '-')
11242                 sv = *q++;
11243             else if (strnEQ(q, UTF8f, sizeof(UTF8f)-1)) { /* UTF8f */
11244                 /* The argument has already gone through cBOOL, so the cast
11245                    is safe. */
11246                 is_utf8 = (bool)va_arg(*args, int);
11247                 elen = va_arg(*args, UV);
11248                 if ((IV)elen < 0) {
11249                     /* check if utf8 length is larger than 0 when cast to IV */
11250                     assert( (IV)elen >= 0 ); /* in DEBUGGING build we want to crash */
11251                     elen= 0; /* otherwise we want to treat this as an empty string */
11252                 }
11253                 eptr = va_arg(*args, char *);
11254                 q += sizeof(UTF8f)-1;
11255                 goto string;
11256             }
11257             n = expect_number(&q);
11258             if (*q++ == 'p') {
11259                 if (sv) {                       /* SVf */
11260                     if (n) {
11261                         precis = n;
11262                         has_precis = TRUE;
11263                     }
11264                     argsv = MUTABLE_SV(va_arg(*args, void*));
11265                     eptr = SvPV_const(argsv, elen);
11266                     if (DO_UTF8(argsv))
11267                         is_utf8 = TRUE;
11268                     goto string;
11269                 }
11270                 else if (n==2 || n==3) {        /* HEKf */
11271                     HEK * const hek = va_arg(*args, HEK *);
11272                     eptr = HEK_KEY(hek);
11273                     elen = HEK_LEN(hek);
11274                     if (HEK_UTF8(hek)) is_utf8 = TRUE;
11275                     if (n==3) precis = 256, has_precis = TRUE;
11276                     goto string;
11277                 }
11278                 else if (n) {
11279                     Perl_ck_warner_d(aTHX_ packWARN(WARN_INTERNAL),
11280                                      "internal %%<num>p might conflict with future printf extensions");
11281                 }
11282             }
11283             q = r; 
11284         }
11285
11286         if ( (width = expect_number(&q)) ) {
11287             if (*q == '$') {
11288                 ++q;
11289                 efix = width;
11290                 if (!no_redundant_warning)
11291                     /* I've forgotten if it's a better
11292                        micro-optimization to always set this or to
11293                        only set it if it's unset */
11294                     no_redundant_warning = TRUE;
11295             } else {
11296                 goto gotwidth;
11297             }
11298         }
11299
11300         /* FLAGS */
11301
11302         while (*q) {
11303             switch (*q) {
11304             case ' ':
11305             case '+':
11306                 if (plus == '+' && *q == ' ') /* '+' over ' ' */
11307                     q++;
11308                 else
11309                     plus = *q++;
11310                 continue;
11311
11312             case '-':
11313                 left = TRUE;
11314                 q++;
11315                 continue;
11316
11317             case '0':
11318                 fill = *q++;
11319                 continue;
11320
11321             case '#':
11322                 alt = TRUE;
11323                 q++;
11324                 continue;
11325
11326             default:
11327                 break;
11328             }
11329             break;
11330         }
11331
11332       tryasterisk:
11333         if (*q == '*') {
11334             q++;
11335             if ( (ewix = expect_number(&q)) )
11336                 if (*q++ != '$')
11337                     goto unknown;
11338             asterisk = TRUE;
11339         }
11340         if (*q == 'v') {
11341             q++;
11342             if (vectorize)
11343                 goto unknown;
11344             if ((vectorarg = asterisk)) {
11345                 evix = ewix;
11346                 ewix = 0;
11347                 asterisk = FALSE;
11348             }
11349             vectorize = TRUE;
11350             goto tryasterisk;
11351         }
11352
11353         if (!asterisk)
11354         {
11355             if( *q == '0' )
11356                 fill = *q++;
11357             width = expect_number(&q);
11358         }
11359
11360         if (vectorize && vectorarg) {
11361             /* vectorizing, but not with the default "." */
11362             if (args)
11363                 vecsv = va_arg(*args, SV*);
11364             else if (evix) {
11365                 vecsv = (evix > 0 && evix <= svmax)
11366                     ? svargs[evix-1] : S_vcatpvfn_missing_argument(aTHX);
11367             } else {
11368                 vecsv = svix < svmax
11369                     ? svargs[svix++] : S_vcatpvfn_missing_argument(aTHX);
11370             }
11371             dotstr = SvPV_const(vecsv, dotstrlen);
11372             /* Keep the DO_UTF8 test *after* the SvPV call, else things go
11373                bad with tied or overloaded values that return UTF8.  */
11374             if (DO_UTF8(vecsv))
11375                 is_utf8 = TRUE;
11376             else if (has_utf8) {
11377                 vecsv = sv_mortalcopy(vecsv);
11378                 sv_utf8_upgrade(vecsv);
11379                 dotstr = SvPV_const(vecsv, dotstrlen);
11380                 is_utf8 = TRUE;
11381             }               
11382         }
11383
11384         if (asterisk) {
11385             if (args)
11386                 i = va_arg(*args, int);
11387             else
11388                 i = (ewix ? ewix <= svmax : svix < svmax) ?
11389                     SvIVx(svargs[ewix ? ewix-1 : svix++]) : 0;
11390             left |= (i < 0);
11391             width = (i < 0) ? -i : i;
11392         }
11393       gotwidth:
11394
11395         /* PRECISION */
11396
11397         if (*q == '.') {
11398             q++;
11399             if (*q == '*') {
11400                 q++;
11401                 if ( ((epix = expect_number(&q))) && (*q++ != '$') )
11402                     goto unknown;
11403                 /* XXX: todo, support specified precision parameter */
11404                 if (epix)
11405                     goto unknown;
11406                 if (args)
11407                     i = va_arg(*args, int);
11408                 else
11409                     i = (ewix ? ewix <= svmax : svix < svmax)
11410                         ? SvIVx(svargs[ewix ? ewix-1 : svix++]) : 0;
11411                 precis = i;
11412                 has_precis = !(i < 0);
11413             }
11414             else {
11415                 precis = 0;
11416                 while (isDIGIT(*q))
11417                     precis = precis * 10 + (*q++ - '0');
11418                 has_precis = TRUE;
11419             }
11420         }
11421
11422         if (vectorize) {
11423             if (args) {
11424                 VECTORIZE_ARGS
11425             }
11426             else if (efix ? (efix > 0 && efix <= svmax) : svix < svmax) {
11427                 vecsv = svargs[efix ? efix-1 : svix++];
11428                 vecstr = (U8*)SvPV_const(vecsv,veclen);
11429                 vec_utf8 = DO_UTF8(vecsv);
11430
11431                 /* if this is a version object, we need to convert
11432                  * back into v-string notation and then let the
11433                  * vectorize happen normally
11434                  */
11435                 if (sv_isobject(vecsv) && sv_derived_from(vecsv, "version")) {
11436                     if ( hv_exists(MUTABLE_HV(SvRV(vecsv)), "alpha", 5 ) ) {
11437                         Perl_ck_warner_d(aTHX_ packWARN(WARN_PRINTF),
11438                         "vector argument not supported with alpha versions");
11439                         goto vdblank;
11440                     }
11441                     vecsv = sv_newmortal();
11442                     scan_vstring((char *)vecstr, (char *)vecstr + veclen,
11443                                  vecsv);
11444                     vecstr = (U8*)SvPV_const(vecsv, veclen);
11445                     vec_utf8 = DO_UTF8(vecsv);
11446                 }
11447             }
11448             else {
11449               vdblank:
11450                 vecstr = (U8*)"";
11451                 veclen = 0;
11452             }
11453         }
11454
11455         /* SIZE */
11456
11457         switch (*q) {
11458 #ifdef WIN32
11459         case 'I':                       /* Ix, I32x, and I64x */
11460 #  ifdef USE_64_BIT_INT
11461             if (q[1] == '6' && q[2] == '4') {
11462                 q += 3;
11463                 intsize = 'q';
11464                 break;
11465             }
11466 #  endif
11467             if (q[1] == '3' && q[2] == '2') {
11468                 q += 3;
11469                 break;
11470             }
11471 #  ifdef USE_64_BIT_INT
11472             intsize = 'q';
11473 #  endif
11474             q++;
11475             break;
11476 #endif
11477 #if IVSIZE >= 8 || defined(HAS_LONG_DOUBLE)
11478         case 'L':                       /* Ld */
11479             /* FALLTHROUGH */
11480 #ifdef USE_QUADMATH
11481         case 'Q':
11482             /* FALLTHROUGH */
11483 #endif
11484 #if IVSIZE >= 8
11485         case 'q':                       /* qd */
11486 #endif
11487             intsize = 'q';
11488             q++;
11489             break;
11490 #endif
11491         case 'l':
11492             ++q;
11493 #if IVSIZE >= 8 || defined(HAS_LONG_DOUBLE)
11494             if (*q == 'l') {    /* lld, llf */
11495                 intsize = 'q';
11496                 ++q;
11497             }
11498             else
11499 #endif
11500                 intsize = 'l';
11501             break;
11502         case 'h':
11503             if (*++q == 'h') {  /* hhd, hhu */
11504                 intsize = 'c';
11505                 ++q;
11506             }
11507             else
11508                 intsize = 'h';
11509             break;
11510         case 'V':
11511         case 'z':
11512         case 't':
11513 #ifdef I_STDINT
11514         case 'j':
11515 #endif
11516             intsize = *q++;
11517             break;
11518         }
11519
11520         /* CONVERSION */
11521
11522         if (*q == '%') {
11523             eptr = q++;
11524             elen = 1;
11525             if (vectorize) {
11526                 c = '%';
11527                 goto unknown;
11528             }
11529             goto string;
11530         }
11531
11532         if (!vectorize && !args) {
11533             if (efix) {
11534                 const I32 i = efix-1;
11535                 argsv = (i >= 0 && i < svmax)
11536                     ? svargs[i] : S_vcatpvfn_missing_argument(aTHX);
11537             } else {
11538                 argsv = (svix >= 0 && svix < svmax)
11539                     ? svargs[svix++] : S_vcatpvfn_missing_argument(aTHX);
11540             }
11541         }
11542
11543         if (argsv && strchr("BbcDdiOopuUXx",*q)) {
11544             /* XXX va_arg(*args) case? need peek, use va_copy? */
11545             SvGETMAGIC(argsv);
11546             infnan = UNLIKELY(isinfnansv(argsv));
11547         }
11548
11549         switch (c = *q++) {
11550
11551             /* STRINGS */
11552
11553         case 'c':
11554             if (vectorize)
11555                 goto unknown;
11556             if (infnan)
11557                 Perl_croak(aTHX_ "Cannot printf %"NVgf" with '%c'",
11558                            /* no va_arg() case */
11559                            SvNV_nomg(argsv), (int)c);
11560             uv = (args) ? va_arg(*args, int) : SvIV_nomg(argsv);
11561             if ((uv > 255 ||
11562                  (!UVCHR_IS_INVARIANT(uv) && SvUTF8(sv)))
11563                 && !IN_BYTES) {
11564                 eptr = (char*)utf8buf;
11565                 elen = uvchr_to_utf8((U8*)eptr, uv) - utf8buf;
11566                 is_utf8 = TRUE;
11567             }
11568             else {
11569                 c = (char)uv;
11570                 eptr = &c;
11571                 elen = 1;
11572             }
11573             goto string;
11574
11575         case 's':
11576             if (vectorize)
11577                 goto unknown;
11578             if (args) {
11579                 eptr = va_arg(*args, char*);
11580                 if (eptr)
11581                     elen = strlen(eptr);
11582                 else {
11583                     eptr = (char *)nullstr;
11584                     elen = sizeof nullstr - 1;
11585                 }
11586             }
11587             else {
11588                 eptr = SvPV_const(argsv, elen);
11589                 if (DO_UTF8(argsv)) {
11590                     STRLEN old_precis = precis;
11591                     if (has_precis && precis < elen) {
11592                         STRLEN ulen = sv_or_pv_len_utf8(argsv, eptr, elen);
11593                         STRLEN p = precis > ulen ? ulen : precis;
11594                         precis = sv_or_pv_pos_u2b(argsv, eptr, p, 0);
11595                                                         /* sticks at end */
11596                     }
11597                     if (width) { /* fudge width (can't fudge elen) */
11598                         if (has_precis && precis < elen)
11599                             width += precis - old_precis;
11600                         else
11601                             width +=
11602                                 elen - sv_or_pv_len_utf8(argsv,eptr,elen);
11603                     }
11604                     is_utf8 = TRUE;
11605                 }
11606             }
11607
11608         string:
11609             if (has_precis && precis < elen)
11610                 elen = precis;
11611             break;
11612
11613             /* INTEGERS */
11614
11615         case 'p':
11616             if (infnan) {
11617                 goto floating_point;
11618             }
11619             if (alt || vectorize)
11620                 goto unknown;
11621             uv = PTR2UV(args ? va_arg(*args, void*) : argsv);
11622             base = 16;
11623             goto integer;
11624
11625         case 'D':
11626 #ifdef IV_IS_QUAD
11627             intsize = 'q';
11628 #else
11629             intsize = 'l';
11630 #endif
11631             /* FALLTHROUGH */
11632         case 'd':
11633         case 'i':
11634             if (infnan) {
11635                 goto floating_point;
11636             }
11637             if (vectorize) {
11638                 STRLEN ulen;
11639                 if (!veclen)
11640                     continue;
11641                 if (vec_utf8)
11642                     uv = utf8n_to_uvchr(vecstr, veclen, &ulen,
11643                                         UTF8_ALLOW_ANYUV);
11644                 else {
11645                     uv = *vecstr;
11646                     ulen = 1;
11647                 }
11648                 vecstr += ulen;
11649                 veclen -= ulen;
11650                 if (plus)
11651                      esignbuf[esignlen++] = plus;
11652             }
11653             else if (args) {
11654                 switch (intsize) {
11655                 case 'c':       iv = (char)va_arg(*args, int); break;
11656                 case 'h':       iv = (short)va_arg(*args, int); break;
11657                 case 'l':       iv = va_arg(*args, long); break;
11658                 case 'V':       iv = va_arg(*args, IV); break;
11659                 case 'z':       iv = va_arg(*args, SSize_t); break;
11660 #ifdef HAS_PTRDIFF_T
11661                 case 't':       iv = va_arg(*args, ptrdiff_t); break;
11662 #endif
11663                 default:        iv = va_arg(*args, int); break;
11664 #ifdef I_STDINT
11665                 case 'j':       iv = va_arg(*args, intmax_t); break;
11666 #endif
11667                 case 'q':
11668 #if IVSIZE >= 8
11669                                 iv = va_arg(*args, Quad_t); break;
11670 #else
11671                                 goto unknown;
11672 #endif
11673                 }
11674             }
11675             else {
11676                 IV tiv = SvIV_nomg(argsv); /* work around GCC bug #13488 */
11677                 switch (intsize) {
11678                 case 'c':       iv = (char)tiv; break;
11679                 case 'h':       iv = (short)tiv; break;
11680                 case 'l':       iv = (long)tiv; break;
11681                 case 'V':
11682                 default:        iv = tiv; break;
11683                 case 'q':
11684 #if IVSIZE >= 8
11685                                 iv = (Quad_t)tiv; break;
11686 #else
11687                                 goto unknown;
11688 #endif
11689                 }
11690             }
11691             if ( !vectorize )   /* we already set uv above */
11692             {
11693                 if (iv >= 0) {
11694                     uv = iv;
11695                     if (plus)
11696                         esignbuf[esignlen++] = plus;
11697                 }
11698                 else {
11699                     uv = -iv;
11700                     esignbuf[esignlen++] = '-';
11701                 }
11702             }
11703             base = 10;
11704             goto integer;
11705
11706         case 'U':
11707 #ifdef IV_IS_QUAD
11708             intsize = 'q';
11709 #else
11710             intsize = 'l';
11711 #endif
11712             /* FALLTHROUGH */
11713         case 'u':
11714             base = 10;
11715             goto uns_integer;
11716
11717         case 'B':
11718         case 'b':
11719             base = 2;
11720             goto uns_integer;
11721
11722         case 'O':
11723 #ifdef IV_IS_QUAD
11724             intsize = 'q';
11725 #else
11726             intsize = 'l';
11727 #endif
11728             /* FALLTHROUGH */
11729         case 'o':
11730             base = 8;
11731             goto uns_integer;
11732
11733         case 'X':
11734         case 'x':
11735             base = 16;
11736
11737         uns_integer:
11738             if (infnan) {
11739                 goto floating_point;
11740             }
11741             if (vectorize) {
11742                 STRLEN ulen;
11743         vector:
11744                 if (!veclen)
11745                     continue;
11746                 if (vec_utf8)
11747                     uv = utf8n_to_uvchr(vecstr, veclen, &ulen,
11748                                         UTF8_ALLOW_ANYUV);
11749                 else {
11750                     uv = *vecstr;
11751                     ulen = 1;
11752                 }
11753                 vecstr += ulen;
11754                 veclen -= ulen;
11755             }
11756             else if (args) {
11757                 switch (intsize) {
11758                 case 'c':  uv = (unsigned char)va_arg(*args, unsigned); break;
11759                 case 'h':  uv = (unsigned short)va_arg(*args, unsigned); break;
11760                 case 'l':  uv = va_arg(*args, unsigned long); break;
11761                 case 'V':  uv = va_arg(*args, UV); break;
11762                 case 'z':  uv = va_arg(*args, Size_t); break;
11763 #ifdef HAS_PTRDIFF_T
11764                 case 't':  uv = va_arg(*args, ptrdiff_t); break; /* will sign extend, but there is no uptrdiff_t, so oh well */
11765 #endif
11766 #ifdef I_STDINT
11767                 case 'j':  uv = va_arg(*args, uintmax_t); break;
11768 #endif
11769                 default:   uv = va_arg(*args, unsigned); break;
11770                 case 'q':
11771 #if IVSIZE >= 8
11772                            uv = va_arg(*args, Uquad_t); break;
11773 #else
11774                            goto unknown;
11775 #endif
11776                 }
11777             }
11778             else {
11779                 UV tuv = SvUV_nomg(argsv); /* work around GCC bug #13488 */
11780                 switch (intsize) {
11781                 case 'c':       uv = (unsigned char)tuv; break;
11782                 case 'h':       uv = (unsigned short)tuv; break;
11783                 case 'l':       uv = (unsigned long)tuv; break;
11784                 case 'V':
11785                 default:        uv = tuv; break;
11786                 case 'q':
11787 #if IVSIZE >= 8
11788                                 uv = (Uquad_t)tuv; break;
11789 #else
11790                                 goto unknown;
11791 #endif
11792                 }
11793             }
11794
11795         integer:
11796             {
11797                 char *ptr = ebuf + sizeof ebuf;
11798                 bool tempalt = uv ? alt : FALSE; /* Vectors can't change alt */
11799                 unsigned dig;
11800                 zeros = 0;
11801
11802                 switch (base) {
11803                 case 16:
11804                     p = (char *)((c == 'X') ? PL_hexdigit + 16 : PL_hexdigit);
11805                     do {
11806                         dig = uv & 15;
11807                         *--ptr = p[dig];
11808                     } while (uv >>= 4);
11809                     if (tempalt) {
11810                         esignbuf[esignlen++] = '0';
11811                         esignbuf[esignlen++] = c;  /* 'x' or 'X' */
11812                     }
11813                     break;
11814                 case 8:
11815                     do {
11816                         dig = uv & 7;
11817                         *--ptr = '0' + dig;
11818                     } while (uv >>= 3);
11819                     if (alt && *ptr != '0')
11820                         *--ptr = '0';
11821                     break;
11822                 case 2:
11823                     do {
11824                         dig = uv & 1;
11825                         *--ptr = '0' + dig;
11826                     } while (uv >>= 1);
11827                     if (tempalt) {
11828                         esignbuf[esignlen++] = '0';
11829                         esignbuf[esignlen++] = c;
11830                     }
11831                     break;
11832                 default:                /* it had better be ten or less */
11833                     do {
11834                         dig = uv % base;
11835                         *--ptr = '0' + dig;
11836                     } while (uv /= base);
11837                     break;
11838                 }
11839                 elen = (ebuf + sizeof ebuf) - ptr;
11840                 eptr = ptr;
11841                 if (has_precis) {
11842                     if (precis > elen)
11843                         zeros = precis - elen;
11844                     else if (precis == 0 && elen == 1 && *eptr == '0'
11845                              && !(base == 8 && alt)) /* "%#.0o" prints "0" */
11846                         elen = 0;
11847
11848                 /* a precision nullifies the 0 flag. */
11849                     if (fill == '0')
11850                         fill = ' ';
11851                 }
11852             }
11853             break;
11854
11855             /* FLOATING POINT */
11856
11857         floating_point:
11858
11859         case 'F':
11860             c = 'f';            /* maybe %F isn't supported here */
11861             /* FALLTHROUGH */
11862         case 'e': case 'E':
11863         case 'f':
11864         case 'g': case 'G':
11865         case 'a': case 'A':
11866             if (vectorize)
11867                 goto unknown;
11868
11869             /* This is evil, but floating point is even more evil */
11870
11871             /* for SV-style calling, we can only get NV
11872                for C-style calling, we assume %f is double;
11873                for simplicity we allow any of %Lf, %llf, %qf for long double
11874             */
11875             switch (intsize) {
11876             case 'V':
11877 #if defined(USE_LONG_DOUBLE)
11878                 intsize = 'q';
11879 #endif
11880                 break;
11881 /* [perl #20339] - we should accept and ignore %lf rather than die */
11882             case 'l':
11883                 /* FALLTHROUGH */
11884             default:
11885 #if defined(USE_LONG_DOUBLE)
11886                 intsize = args ? 0 : 'q';
11887 #endif
11888                 break;
11889             case 'q':
11890 #if defined(HAS_LONG_DOUBLE)
11891                 break;
11892 #else
11893                 /* FALLTHROUGH */
11894 #endif
11895             case 'c':
11896             case 'h':
11897             case 'z':
11898             case 't':
11899             case 'j':
11900                 goto unknown;
11901             }
11902
11903             /* Now we need (long double) if intsize == 'q', else (double). */
11904             if (args) {
11905                 /* Note: do not pull NVs off the va_list with va_arg()
11906                  * (pull doubles instead) because if you have a build
11907                  * with long doubles, you would always be pulling long
11908                  * doubles, which would badly break anyone using only
11909                  * doubles (i.e. the majority of builds). In other
11910                  * words, you cannot mix doubles and long doubles.
11911                  * The only case where you can pull off long doubles
11912                  * is when the format specifier explicitly asks so with
11913                  * e.g. "%Lg". */
11914 #ifdef USE_QUADMATH
11915                 fv = intsize == 'q' ?
11916                     va_arg(*args, NV) : va_arg(*args, double);
11917 #elif LONG_DOUBLESIZE > DOUBLESIZE
11918                 if (intsize == 'q')
11919                     fv = va_arg(*args, long double);
11920                 else
11921                     NV_TO_FV(va_arg(*args, double), fv);
11922 #else
11923                 fv = va_arg(*args, double);
11924 #endif
11925             }
11926             else
11927             {
11928                 if (!infnan) SvGETMAGIC(argsv);
11929                 NV_TO_FV(SvNV_nomg(argsv), fv);
11930             }
11931
11932             need = 0;
11933             /* frexp() (or frexpl) has some unspecified behaviour for
11934              * nan/inf/-inf, so let's avoid calling that on non-finites. */
11935             if (isALPHA_FOLD_NE(c, 'e') && FV_ISFINITE(fv)) {
11936                 i = PERL_INT_MIN;
11937                 (void)Perl_frexp((NV)fv, &i);
11938                 if (i == PERL_INT_MIN)
11939                     Perl_die(aTHX_ "panic: frexp: %"FV_GF, fv);
11940                 /* Do not set hexfp earlier since we want to printf
11941                  * Inf/NaN for Inf/NaN, not their hexfp. */
11942                 hexfp = isALPHA_FOLD_EQ(c, 'a');
11943                 if (UNLIKELY(hexfp)) {
11944                     /* This seriously overshoots in most cases, but
11945                      * better the undershooting.  Firstly, all bytes
11946                      * of the NV are not mantissa, some of them are
11947                      * exponent.  Secondly, for the reasonably common
11948                      * long doubles case, the "80-bit extended", two
11949                      * or six bytes of the NV are unused. */
11950                     need +=
11951                         (fv < 0) ? 1 : 0 + /* possible unary minus */
11952                         2 + /* "0x" */
11953                         1 + /* the very unlikely carry */
11954                         1 + /* "1" */
11955                         1 + /* "." */
11956                         2 * NVSIZE + /* 2 hexdigits for each byte */
11957                         2 + /* "p+" */
11958                         6 + /* exponent: sign, plus up to 16383 (quad fp) */
11959                         1;   /* \0 */
11960 #ifdef LONGDOUBLE_DOUBLEDOUBLE
11961                     /* However, for the "double double", we need more.
11962                      * Since each double has their own exponent, the
11963                      * doubles may float (haha) rather far from each
11964                      * other, and the number of required bits is much
11965                      * larger, up to total of 1028 bits.  (NOTE: this
11966                      * is not actually implemented properly yet,
11967                      * we are using just the first double, see
11968                      * S_hextract() for details.  But let's prepare
11969                      * for the future.) */
11970
11971                     /* 2 hexdigits for each byte. */ 
11972                     need += (DOUBLEDOUBLE_MAXBITS/8 + 1) * 2;
11973                     /* the size for the exponent already added */
11974 #endif
11975 #ifdef USE_LOCALE_NUMERIC
11976                         STORE_LC_NUMERIC_SET_TO_NEEDED();
11977                         if (PL_numeric_radix_sv && IN_LC(LC_NUMERIC))
11978                             need += SvLEN(PL_numeric_radix_sv);
11979                         RESTORE_LC_NUMERIC();
11980 #endif
11981                 }
11982                 else if (i > 0) {
11983                     need = BIT_DIGITS(i);
11984                 } /* if i < 0, the number of digits is hard to predict. */
11985             }
11986             need += has_precis ? precis : 6; /* known default */
11987
11988             if (need < width)
11989                 need = width;
11990
11991 #ifdef HAS_LDBL_SPRINTF_BUG
11992             /* This is to try to fix a bug with irix/nonstop-ux/powerux and
11993                with sfio - Allen <allens@cpan.org> */
11994
11995 #  ifdef DBL_MAX
11996 #    define MY_DBL_MAX DBL_MAX
11997 #  else /* XXX guessing! HUGE_VAL may be defined as infinity, so not using */
11998 #    if DOUBLESIZE >= 8
11999 #      define MY_DBL_MAX 1.7976931348623157E+308L
12000 #    else
12001 #      define MY_DBL_MAX 3.40282347E+38L
12002 #    endif
12003 #  endif
12004
12005 #  ifdef HAS_LDBL_SPRINTF_BUG_LESS1 /* only between -1L & 1L - Allen */
12006 #    define MY_DBL_MAX_BUG 1L
12007 #  else
12008 #    define MY_DBL_MAX_BUG MY_DBL_MAX
12009 #  endif
12010
12011 #  ifdef DBL_MIN
12012 #    define MY_DBL_MIN DBL_MIN
12013 #  else  /* XXX guessing! -Allen */
12014 #    if DOUBLESIZE >= 8
12015 #      define MY_DBL_MIN 2.2250738585072014E-308L
12016 #    else
12017 #      define MY_DBL_MIN 1.17549435E-38L
12018 #    endif
12019 #  endif
12020
12021             if ((intsize == 'q') && (c == 'f') &&
12022                 ((fv < MY_DBL_MAX_BUG) && (fv > -MY_DBL_MAX_BUG)) &&
12023                 (need < DBL_DIG)) {
12024                 /* it's going to be short enough that
12025                  * long double precision is not needed */
12026
12027                 if ((fv <= 0L) && (fv >= -0L))
12028                     fix_ldbl_sprintf_bug = TRUE; /* 0 is 0 - easiest */
12029                 else {
12030                     /* would use Perl_fp_class as a double-check but not
12031                      * functional on IRIX - see perl.h comments */
12032
12033                     if ((fv >= MY_DBL_MIN) || (fv <= -MY_DBL_MIN)) {
12034                         /* It's within the range that a double can represent */
12035 #if defined(DBL_MAX) && !defined(DBL_MIN)
12036                         if ((fv >= ((long double)1/DBL_MAX)) ||
12037                             (fv <= (-(long double)1/DBL_MAX)))
12038 #endif
12039                         fix_ldbl_sprintf_bug = TRUE;
12040                     }
12041                 }
12042                 if (fix_ldbl_sprintf_bug == TRUE) {
12043                     double temp;
12044
12045                     intsize = 0;
12046                     temp = (double)fv;
12047                     fv = (NV)temp;
12048                 }
12049             }
12050
12051 #  undef MY_DBL_MAX
12052 #  undef MY_DBL_MAX_BUG
12053 #  undef MY_DBL_MIN
12054
12055 #endif /* HAS_LDBL_SPRINTF_BUG */
12056
12057             need += 20; /* fudge factor */
12058             if (PL_efloatsize < need) {
12059                 Safefree(PL_efloatbuf);
12060                 PL_efloatsize = need + 20; /* more fudge */
12061                 Newx(PL_efloatbuf, PL_efloatsize, char);
12062                 PL_efloatbuf[0] = '\0';
12063             }
12064
12065             if ( !(width || left || plus || alt) && fill != '0'
12066                  && has_precis && intsize != 'q'        /* Shortcuts */
12067                  && LIKELY(!Perl_isinfnan((NV)fv)) ) {
12068                 /* See earlier comment about buggy Gconvert when digits,
12069                    aka precis is 0  */
12070                 if ( c == 'g' && precis ) {
12071                     STORE_LC_NUMERIC_SET_TO_NEEDED();
12072                     SNPRINTF_G(fv, PL_efloatbuf, PL_efloatsize, precis);
12073                     /* May return an empty string for digits==0 */
12074                     if (*PL_efloatbuf) {
12075                         elen = strlen(PL_efloatbuf);
12076                         goto float_converted;
12077                     }
12078                 } else if ( c == 'f' && !precis ) {
12079                     if ((eptr = F0convert(fv, ebuf + sizeof ebuf, &elen)))
12080                         break;
12081                 }
12082             }
12083
12084             if (UNLIKELY(hexfp)) {
12085                 /* Hexadecimal floating point. */
12086                 char* p = PL_efloatbuf;
12087                 U8 vhex[VHEX_SIZE];
12088                 U8* v = vhex; /* working pointer to vhex */
12089                 U8* vend; /* pointer to one beyond last digit of vhex */
12090                 U8* vfnz = NULL; /* first non-zero */
12091                 const bool lower = (c == 'a');
12092                 /* At output the values of vhex (up to vend) will
12093                  * be mapped through the xdig to get the actual
12094                  * human-readable xdigits. */
12095                 const char* xdig = PL_hexdigit;
12096                 int zerotail = 0; /* how many extra zeros to append */
12097                 int exponent = 0; /* exponent of the floating point input */
12098
12099                 /* XXX: denormals, NaN, Inf.
12100                  *
12101                  * For example with denormals, (assuming the vanilla
12102                  * 64-bit double): the exponent is zero. 1xp-1074 is
12103                  * the smallest denormal and the smallest double, it
12104                  * should be output as 0x0.0000000000001p-1022 to
12105                  * match its internal structure. */
12106
12107                 /* Note: fv can be (and often is) long double.
12108                  * Here it is explicitly cast to NV. */
12109                 vend = S_hextract(aTHX_ (NV)fv, &exponent, vhex, NULL);
12110                 S_hextract(aTHX_ (NV)fv, &exponent, vhex, vend);
12111
12112 #if NVSIZE > DOUBLESIZE
12113 #  ifdef LONGDOUBLE_X86_80_BIT
12114                 exponent -= 4;
12115 #  else
12116                 exponent--;
12117 #  endif
12118 #endif
12119
12120                 if (fv < 0)
12121                     *p++ = '-';
12122                 else if (plus)
12123                     *p++ = plus;
12124                 *p++ = '0';
12125                 if (lower) {
12126                     *p++ = 'x';
12127                 }
12128                 else {
12129                     *p++ = 'X';
12130                     xdig += 16; /* Use uppercase hex. */
12131                 }
12132
12133                 /* Find the first non-zero xdigit. */
12134                 for (v = vhex; v < vend; v++) {
12135                     if (*v) {
12136                         vfnz = v;
12137                         break;
12138                     }
12139                 }
12140
12141                 if (vfnz) {
12142                     U8* vlnz = NULL; /* The last non-zero. */
12143
12144                     /* Find the last non-zero xdigit. */
12145                     for (v = vend - 1; v >= vhex; v--) {
12146                         if (*v) {
12147                             vlnz = v;
12148                             break;
12149                         }
12150                     }
12151
12152 #if NVSIZE == DOUBLESIZE
12153                     if (fv != 0.0)
12154                         exponent--;
12155 #endif
12156
12157                     if (precis > 0) {
12158                         v = vhex + precis + 1;
12159                         if (v < vend) {
12160                             /* Round away from zero: if the tail
12161                              * beyond the precis xdigits is equal to
12162                              * or greater than 0x8000... */
12163                             bool round = *v > 0x8;
12164                             if (!round && *v == 0x8) {
12165                                 for (v++; v < vend; v++) {
12166                                     if (*v) {
12167                                         round = TRUE;
12168                                         break;
12169                                     }
12170                                 }
12171                             }
12172                             if (round) {
12173                                 for (v = vhex + precis; v >= vhex; v--) {
12174                                     if (*v < 0xF) {
12175                                         (*v)++;
12176                                         break;
12177                                     }
12178                                     *v = 0;
12179                                     if (v == vhex) {
12180                                         /* If the carry goes all the way to
12181                                          * the front, we need to output
12182                                          * a single '1'. This goes against
12183                                          * the "xdigit and then radix"
12184                                          * but since this is "cannot happen"
12185                                          * category, that is probably good. */
12186                                         *p++ = xdig[1];
12187                                     }
12188                                 }
12189                             }
12190                             /* The new effective "last non zero". */
12191                             vlnz = vhex + precis;
12192                         }
12193                         else {
12194                             zerotail = precis - (vlnz - vhex);
12195                         }
12196                     }
12197
12198                     v = vhex;
12199                     *p++ = xdig[*v++];
12200
12201                     /* The radix is always output after the first
12202                      * non-zero xdigit, or if alt.  */
12203                     if (vfnz < vlnz || alt) {
12204 #ifndef USE_LOCALE_NUMERIC
12205                         *p++ = '.';
12206 #else
12207                         STORE_LC_NUMERIC_SET_TO_NEEDED();
12208                         if (PL_numeric_radix_sv && IN_LC(LC_NUMERIC)) {
12209                             STRLEN n;
12210                             const char* r = SvPV(PL_numeric_radix_sv, n);
12211                             Copy(r, p, n, char);
12212                             p += n;
12213                         }
12214                         else {
12215                             *p++ = '.';
12216                         }
12217                         RESTORE_LC_NUMERIC();
12218 #endif
12219                     }
12220
12221                     while (v <= vlnz)
12222                         *p++ = xdig[*v++];
12223
12224                     while (zerotail--)
12225                         *p++ = '0';
12226                 }
12227                 else {
12228                     *p++ = '0';
12229                     exponent = 0;
12230                 }
12231
12232                 elen = p - PL_efloatbuf;
12233                 elen += my_snprintf(p, PL_efloatsize - elen,
12234                                     "%c%+d", lower ? 'p' : 'P',
12235                                     exponent);
12236
12237                 if (elen < width) {
12238                     if (left) {
12239                         /* Pad the back with spaces. */
12240                         memset(PL_efloatbuf + elen, ' ', width - elen);
12241                     }
12242                     else if (fill == '0') {
12243                         /* Insert the zeros between the "0x" and
12244                          * the digits, otherwise we end up with
12245                          * "0000xHHH..." */
12246                         STRLEN nzero = width - elen;
12247                         char* zerox = PL_efloatbuf + 2;
12248                         Move(zerox, zerox + nzero,  elen - 2, char);
12249                         memset(zerox, fill, nzero);
12250                     }
12251                     else {
12252                         /* Move it to the right. */
12253                         Move(PL_efloatbuf, PL_efloatbuf + width - elen,
12254                              elen, char);
12255                         /* Pad the front with spaces. */
12256                         memset(PL_efloatbuf, ' ', width - elen);
12257                     }
12258                     elen = width;
12259                 }
12260             }
12261             else
12262                 elen = S_infnan_2pv(fv, PL_efloatbuf, PL_efloatsize);
12263
12264             if (elen == 0) {
12265                 char *ptr = ebuf + sizeof ebuf;
12266                 *--ptr = '\0';
12267                 *--ptr = c;
12268                 /* FIXME: what to do if HAS_LONG_DOUBLE but not PERL_PRIfldbl? */
12269 #if defined(HAS_LONG_DOUBLE) && defined(PERL_PRIfldbl)
12270                 /* Note that this is HAS_LONG_DOUBLE and PERL_PRIfldbl,
12271                  * not USE_LONG_DOUBLE and NVff.  In other words,
12272                  * this needs to work without USE_LONG_DOUBLE. */
12273                 if (intsize == 'q') {
12274                     /* Copy the one or more characters in a long double
12275                      * format before the 'base' ([efgEFG]) character to
12276                      * the format string. */
12277 #ifdef USE_QUADMATH
12278                     *--ptr = 'Q';
12279 #else
12280                     static char const ldblf[] = PERL_PRIfldbl;
12281                     char const *p = ldblf + sizeof(ldblf) - 3;
12282                     while (p >= ldblf) { *--ptr = *p--; }
12283 #endif
12284                 }
12285 #endif
12286                 if (has_precis) {
12287                     base = precis;
12288                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
12289                     *--ptr = '.';
12290                 }
12291                 if (width) {
12292                     base = width;
12293                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
12294                 }
12295                 if (fill == '0')
12296                     *--ptr = fill;
12297                 if (left)
12298                     *--ptr = '-';
12299                 if (plus)
12300                     *--ptr = plus;
12301                 if (alt)
12302                     *--ptr = '#';
12303                 *--ptr = '%';
12304
12305                 /* No taint.  Otherwise we are in the strange situation
12306                  * where printf() taints but print($float) doesn't.
12307                  * --jhi */
12308
12309                 STORE_LC_NUMERIC_SET_TO_NEEDED();
12310
12311                 /* hopefully the above makes ptr a very constrained format
12312                  * that is safe to use, even though it's not literal */
12313                 GCC_DIAG_IGNORE(-Wformat-nonliteral);
12314 #ifdef USE_QUADMATH
12315                 {
12316                     const char* qfmt = quadmath_format_single(ptr);
12317                     if (!qfmt)
12318                         Perl_croak_nocontext("panic: quadmath invalid format \"%s\"", ptr);
12319                     elen = quadmath_snprintf(PL_efloatbuf, PL_efloatsize,
12320                                              qfmt, fv);
12321                     if ((IV)elen == -1)
12322                         Perl_croak_nocontext("panic: quadmath_snprintf failed, format \"%s|'", qfmt);
12323                     if (qfmt != ptr)
12324                         Safefree(qfmt);
12325                 }
12326 #elif defined(HAS_LONG_DOUBLE)
12327                 elen = ((intsize == 'q')
12328                         ? my_snprintf(PL_efloatbuf, PL_efloatsize, ptr, fv)
12329                         : my_snprintf(PL_efloatbuf, PL_efloatsize, ptr, (double)fv));
12330 #else
12331                 elen = my_sprintf(PL_efloatbuf, ptr, fv);
12332 #endif
12333                 GCC_DIAG_RESTORE;
12334             }
12335
12336         float_converted:
12337             eptr = PL_efloatbuf;
12338             assert((IV)elen > 0); /* here zero elen is bad */
12339
12340 #ifdef USE_LOCALE_NUMERIC
12341             /* If the decimal point character in the string is UTF-8, make the
12342              * output utf8 */
12343             if (PL_numeric_radix_sv && SvUTF8(PL_numeric_radix_sv)
12344                 && instr(eptr, SvPVX_const(PL_numeric_radix_sv)))
12345             {
12346                 is_utf8 = TRUE;
12347             }
12348 #endif
12349
12350             break;
12351
12352             /* SPECIAL */
12353
12354         case 'n':
12355             if (vectorize)
12356                 goto unknown;
12357             i = SvCUR(sv) - origlen;
12358             if (args) {
12359                 switch (intsize) {
12360                 case 'c':       *(va_arg(*args, char*)) = i; break;
12361                 case 'h':       *(va_arg(*args, short*)) = i; break;
12362                 default:        *(va_arg(*args, int*)) = i; break;
12363                 case 'l':       *(va_arg(*args, long*)) = i; break;
12364                 case 'V':       *(va_arg(*args, IV*)) = i; break;
12365                 case 'z':       *(va_arg(*args, SSize_t*)) = i; break;
12366 #ifdef HAS_PTRDIFF_T
12367                 case 't':       *(va_arg(*args, ptrdiff_t*)) = i; break;
12368 #endif
12369 #ifdef I_STDINT
12370                 case 'j':       *(va_arg(*args, intmax_t*)) = i; break;
12371 #endif
12372                 case 'q':
12373 #if IVSIZE >= 8
12374                                 *(va_arg(*args, Quad_t*)) = i; break;
12375 #else
12376                                 goto unknown;
12377 #endif
12378                 }
12379             }
12380             else
12381                 sv_setuv_mg(argsv, has_utf8 ? (UV)sv_len_utf8(sv) : (UV)i);
12382             continue;   /* not "break" */
12383
12384             /* UNKNOWN */
12385
12386         default:
12387       unknown:
12388             if (!args
12389                 && (PL_op->op_type == OP_PRTF || PL_op->op_type == OP_SPRINTF)
12390                 && ckWARN(WARN_PRINTF))
12391             {
12392                 SV * const msg = sv_newmortal();
12393                 Perl_sv_setpvf(aTHX_ msg, "Invalid conversion in %sprintf: ",
12394                           (PL_op->op_type == OP_PRTF) ? "" : "s");
12395                 if (fmtstart < patend) {
12396                     const char * const fmtend = q < patend ? q : patend;
12397                     const char * f;
12398                     sv_catpvs(msg, "\"%");
12399                     for (f = fmtstart; f < fmtend; f++) {
12400                         if (isPRINT(*f)) {
12401                             sv_catpvn_nomg(msg, f, 1);
12402                         } else {
12403                             Perl_sv_catpvf(aTHX_ msg,
12404                                            "\\%03"UVof, (UV)*f & 0xFF);
12405                         }
12406                     }
12407                     sv_catpvs(msg, "\"");
12408                 } else {
12409                     sv_catpvs(msg, "end of string");
12410                 }
12411                 Perl_warner(aTHX_ packWARN(WARN_PRINTF), "%"SVf, SVfARG(msg)); /* yes, this is reentrant */
12412             }
12413
12414             /* output mangled stuff ... */
12415             if (c == '\0')
12416                 --q;
12417             eptr = p;
12418             elen = q - p;
12419
12420             /* ... right here, because formatting flags should not apply */
12421             SvGROW(sv, SvCUR(sv) + elen + 1);
12422             p = SvEND(sv);
12423             Copy(eptr, p, elen, char);
12424             p += elen;
12425             *p = '\0';
12426             SvCUR_set(sv, p - SvPVX_const(sv));
12427             svix = osvix;
12428             continue;   /* not "break" */
12429         }
12430
12431         if (is_utf8 != has_utf8) {
12432             if (is_utf8) {
12433                 if (SvCUR(sv))
12434                     sv_utf8_upgrade(sv);
12435             }
12436             else {
12437                 const STRLEN old_elen = elen;
12438                 SV * const nsv = newSVpvn_flags(eptr, elen, SVs_TEMP);
12439                 sv_utf8_upgrade(nsv);
12440                 eptr = SvPVX_const(nsv);
12441                 elen = SvCUR(nsv);
12442
12443                 if (width) { /* fudge width (can't fudge elen) */
12444                     width += elen - old_elen;
12445                 }
12446                 is_utf8 = TRUE;
12447             }
12448         }
12449
12450         assert((IV)elen >= 0); /* here zero elen is fine */
12451         have = esignlen + zeros + elen;
12452         if (have < zeros)
12453             croak_memory_wrap();
12454
12455         need = (have > width ? have : width);
12456         gap = need - have;
12457
12458         if (need >= (((STRLEN)~0) - SvCUR(sv) - dotstrlen - 1))
12459             croak_memory_wrap();
12460         SvGROW(sv, SvCUR(sv) + need + dotstrlen + 1);
12461         p = SvEND(sv);
12462         if (esignlen && fill == '0') {
12463             int i;
12464             for (i = 0; i < (int)esignlen; i++)
12465                 *p++ = esignbuf[i];
12466         }
12467         if (gap && !left) {
12468             memset(p, fill, gap);
12469             p += gap;
12470         }
12471         if (esignlen && fill != '0') {
12472             int i;
12473             for (i = 0; i < (int)esignlen; i++)
12474                 *p++ = esignbuf[i];
12475         }
12476         if (zeros) {
12477             int i;
12478             for (i = zeros; i; i--)
12479                 *p++ = '0';
12480         }
12481         if (elen) {
12482             Copy(eptr, p, elen, char);
12483             p += elen;
12484         }
12485         if (gap && left) {
12486             memset(p, ' ', gap);
12487             p += gap;
12488         }
12489         if (vectorize) {
12490             if (veclen) {
12491                 Copy(dotstr, p, dotstrlen, char);
12492                 p += dotstrlen;
12493             }
12494             else
12495                 vectorize = FALSE;              /* done iterating over vecstr */
12496         }
12497         if (is_utf8)
12498             has_utf8 = TRUE;
12499         if (has_utf8)
12500             SvUTF8_on(sv);
12501         *p = '\0';
12502         SvCUR_set(sv, p - SvPVX_const(sv));
12503         if (vectorize) {
12504             esignlen = 0;
12505             goto vector;
12506         }
12507     }
12508
12509     /* Now that we've consumed all our printf format arguments (svix)
12510      * do we have things left on the stack that we didn't use?
12511      */
12512     if (!no_redundant_warning && svmax >= svix + 1 && ckWARN(WARN_REDUNDANT)) {
12513         Perl_warner(aTHX_ packWARN(WARN_REDUNDANT), "Redundant argument in %s",
12514                 PL_op ? OP_DESC(PL_op) : "sv_vcatpvfn()");
12515     }
12516
12517     SvTAINT(sv);
12518
12519     RESTORE_LC_NUMERIC();   /* Done outside loop, so don't have to save/restore
12520                                each iteration. */
12521 }
12522
12523 /* =========================================================================
12524
12525 =head1 Cloning an interpreter
12526
12527 =cut
12528
12529 All the macros and functions in this section are for the private use of
12530 the main function, perl_clone().
12531
12532 The foo_dup() functions make an exact copy of an existing foo thingy.
12533 During the course of a cloning, a hash table is used to map old addresses
12534 to new addresses.  The table is created and manipulated with the
12535 ptr_table_* functions.
12536
12537  * =========================================================================*/
12538
12539
12540 #if defined(USE_ITHREADS)
12541
12542 /* XXX Remove this so it doesn't have to go thru the macro and return for nothing */
12543 #ifndef GpREFCNT_inc
12544 #  define GpREFCNT_inc(gp)      ((gp) ? (++(gp)->gp_refcnt, (gp)) : (GP*)NULL)
12545 #endif
12546
12547
12548 /* Certain cases in Perl_ss_dup have been merged, by relying on the fact
12549    that currently av_dup, gv_dup and hv_dup are the same as sv_dup.
12550    If this changes, please unmerge ss_dup.
12551    Likewise, sv_dup_inc_multiple() relies on this fact.  */
12552 #define sv_dup_inc_NN(s,t)      SvREFCNT_inc_NN(sv_dup_inc(s,t))
12553 #define av_dup(s,t)     MUTABLE_AV(sv_dup((const SV *)s,t))
12554 #define av_dup_inc(s,t) MUTABLE_AV(sv_dup_inc((const SV *)s,t))
12555 #define hv_dup(s,t)     MUTABLE_HV(sv_dup((const SV *)s,t))
12556 #define hv_dup_inc(s,t) MUTABLE_HV(sv_dup_inc((const SV *)s,t))
12557 #define cv_dup(s,t)     MUTABLE_CV(sv_dup((const SV *)s,t))
12558 #define cv_dup_inc(s,t) MUTABLE_CV(sv_dup_inc((const SV *)s,t))
12559 #define io_dup(s,t)     MUTABLE_IO(sv_dup((const SV *)s,t))
12560 #define io_dup_inc(s,t) MUTABLE_IO(sv_dup_inc((const SV *)s,t))
12561 #define gv_dup(s,t)     MUTABLE_GV(sv_dup((const SV *)s,t))
12562 #define gv_dup_inc(s,t) MUTABLE_GV(sv_dup_inc((const SV *)s,t))
12563 #define SAVEPV(p)       ((p) ? savepv(p) : NULL)
12564 #define SAVEPVN(p,n)    ((p) ? savepvn(p,n) : NULL)
12565
12566 /* clone a parser */
12567
12568 yy_parser *
12569 Perl_parser_dup(pTHX_ const yy_parser *const proto, CLONE_PARAMS *const param)
12570 {
12571     yy_parser *parser;
12572
12573     PERL_ARGS_ASSERT_PARSER_DUP;
12574
12575     if (!proto)
12576         return NULL;
12577
12578     /* look for it in the table first */
12579     parser = (yy_parser *)ptr_table_fetch(PL_ptr_table, proto);
12580     if (parser)
12581         return parser;
12582
12583     /* create anew and remember what it is */
12584     Newxz(parser, 1, yy_parser);
12585     ptr_table_store(PL_ptr_table, proto, parser);
12586
12587     /* XXX these not yet duped */
12588     parser->old_parser = NULL;
12589     parser->stack = NULL;
12590     parser->ps = NULL;
12591     parser->stack_size = 0;
12592     /* XXX parser->stack->state = 0; */
12593
12594     /* XXX eventually, just Copy() most of the parser struct ? */
12595
12596     parser->lex_brackets = proto->lex_brackets;
12597     parser->lex_casemods = proto->lex_casemods;
12598     parser->lex_brackstack = savepvn(proto->lex_brackstack,
12599                     (proto->lex_brackets < 120 ? 120 : proto->lex_brackets));
12600     parser->lex_casestack = savepvn(proto->lex_casestack,
12601                     (proto->lex_casemods < 12 ? 12 : proto->lex_casemods));
12602     parser->lex_defer   = proto->lex_defer;
12603     parser->lex_dojoin  = proto->lex_dojoin;
12604     parser->lex_formbrack = proto->lex_formbrack;
12605     parser->lex_inpat   = proto->lex_inpat;
12606     parser->lex_inwhat  = proto->lex_inwhat;
12607     parser->lex_op      = proto->lex_op;
12608     parser->lex_repl    = sv_dup_inc(proto->lex_repl, param);
12609     parser->lex_starts  = proto->lex_starts;
12610     parser->lex_stuff   = sv_dup_inc(proto->lex_stuff, param);
12611     parser->multi_close = proto->multi_close;
12612     parser->multi_open  = proto->multi_open;
12613     parser->multi_start = proto->multi_start;
12614     parser->multi_end   = proto->multi_end;
12615     parser->preambled   = proto->preambled;
12616     parser->sublex_info = proto->sublex_info; /* XXX not quite right */
12617     parser->linestr     = sv_dup_inc(proto->linestr, param);
12618     parser->expect      = proto->expect;
12619     parser->copline     = proto->copline;
12620     parser->last_lop_op = proto->last_lop_op;
12621     parser->lex_state   = proto->lex_state;
12622     parser->rsfp        = fp_dup(proto->rsfp, '<', param);
12623     /* rsfp_filters entries have fake IoDIRP() */
12624     parser->rsfp_filters= av_dup_inc(proto->rsfp_filters, param);
12625     parser->in_my       = proto->in_my;
12626     parser->in_my_stash = hv_dup(proto->in_my_stash, param);
12627     parser->error_count = proto->error_count;
12628
12629
12630     parser->linestr     = sv_dup_inc(proto->linestr, param);
12631
12632     {
12633         char * const ols = SvPVX(proto->linestr);
12634         char * const ls  = SvPVX(parser->linestr);
12635
12636         parser->bufptr      = ls + (proto->bufptr >= ols ?
12637                                     proto->bufptr -  ols : 0);
12638         parser->oldbufptr   = ls + (proto->oldbufptr >= ols ?
12639                                     proto->oldbufptr -  ols : 0);
12640         parser->oldoldbufptr= ls + (proto->oldoldbufptr >= ols ?
12641                                     proto->oldoldbufptr -  ols : 0);
12642         parser->linestart   = ls + (proto->linestart >= ols ?
12643                                     proto->linestart -  ols : 0);
12644         parser->last_uni    = ls + (proto->last_uni >= ols ?
12645                                     proto->last_uni -  ols : 0);
12646         parser->last_lop    = ls + (proto->last_lop >= ols ?
12647                                     proto->last_lop -  ols : 0);
12648
12649         parser->bufend      = ls + SvCUR(parser->linestr);
12650     }
12651
12652     Copy(proto->tokenbuf, parser->tokenbuf, 256, char);
12653
12654
12655     Copy(proto->nextval, parser->nextval, 5, YYSTYPE);
12656     Copy(proto->nexttype, parser->nexttype, 5,  I32);
12657     parser->nexttoke    = proto->nexttoke;
12658
12659     /* XXX should clone saved_curcop here, but we aren't passed
12660      * proto_perl; so do it in perl_clone_using instead */
12661
12662     return parser;
12663 }
12664
12665
12666 /* duplicate a file handle */
12667
12668 PerlIO *
12669 Perl_fp_dup(pTHX_ PerlIO *const fp, const char type, CLONE_PARAMS *const param)
12670 {
12671     PerlIO *ret;
12672
12673     PERL_ARGS_ASSERT_FP_DUP;
12674     PERL_UNUSED_ARG(type);
12675
12676     if (!fp)
12677         return (PerlIO*)NULL;
12678
12679     /* look for it in the table first */
12680     ret = (PerlIO*)ptr_table_fetch(PL_ptr_table, fp);
12681     if (ret)
12682         return ret;
12683
12684     /* create anew and remember what it is */
12685     ret = PerlIO_fdupopen(aTHX_ fp, param, PERLIO_DUP_CLONE);
12686     ptr_table_store(PL_ptr_table, fp, ret);
12687     return ret;
12688 }
12689
12690 /* duplicate a directory handle */
12691
12692 DIR *
12693 Perl_dirp_dup(pTHX_ DIR *const dp, CLONE_PARAMS *const param)
12694 {
12695     DIR *ret;
12696
12697 #if defined(HAS_FCHDIR) && defined(HAS_TELLDIR) && defined(HAS_SEEKDIR)
12698     DIR *pwd;
12699     const Direntry_t *dirent;
12700     char smallbuf[256];
12701     char *name = NULL;
12702     STRLEN len = 0;
12703     long pos;
12704 #endif
12705
12706     PERL_UNUSED_CONTEXT;
12707     PERL_ARGS_ASSERT_DIRP_DUP;
12708
12709     if (!dp)
12710         return (DIR*)NULL;
12711
12712     /* look for it in the table first */
12713     ret = (DIR*)ptr_table_fetch(PL_ptr_table, dp);
12714     if (ret)
12715         return ret;
12716
12717 #if defined(HAS_FCHDIR) && defined(HAS_TELLDIR) && defined(HAS_SEEKDIR)
12718
12719     PERL_UNUSED_ARG(param);
12720
12721     /* create anew */
12722
12723     /* open the current directory (so we can switch back) */
12724     if (!(pwd = PerlDir_open("."))) return (DIR *)NULL;
12725
12726     /* chdir to our dir handle and open the present working directory */
12727     if (fchdir(my_dirfd(dp)) < 0 || !(ret = PerlDir_open("."))) {
12728         PerlDir_close(pwd);
12729         return (DIR *)NULL;
12730     }
12731     /* Now we should have two dir handles pointing to the same dir. */
12732
12733     /* Be nice to the calling code and chdir back to where we were. */
12734     /* XXX If this fails, then what? */
12735     PERL_UNUSED_RESULT(fchdir(my_dirfd(pwd)));
12736
12737     /* We have no need of the pwd handle any more. */
12738     PerlDir_close(pwd);
12739
12740 #ifdef DIRNAMLEN
12741 # define d_namlen(d) (d)->d_namlen
12742 #else
12743 # define d_namlen(d) strlen((d)->d_name)
12744 #endif
12745     /* Iterate once through dp, to get the file name at the current posi-
12746        tion. Then step back. */
12747     pos = PerlDir_tell(dp);
12748     if ((dirent = PerlDir_read(dp))) {
12749         len = d_namlen(dirent);
12750         if (len <= sizeof smallbuf) name = smallbuf;
12751         else Newx(name, len, char);
12752         Move(dirent->d_name, name, len, char);
12753     }
12754     PerlDir_seek(dp, pos);
12755
12756     /* Iterate through the new dir handle, till we find a file with the
12757        right name. */
12758     if (!dirent) /* just before the end */
12759         for(;;) {
12760             pos = PerlDir_tell(ret);
12761             if (PerlDir_read(ret)) continue; /* not there yet */
12762             PerlDir_seek(ret, pos); /* step back */
12763             break;
12764         }
12765     else {
12766         const long pos0 = PerlDir_tell(ret);
12767         for(;;) {
12768             pos = PerlDir_tell(ret);
12769             if ((dirent = PerlDir_read(ret))) {
12770                 if (len == (STRLEN)d_namlen(dirent)
12771                     && memEQ(name, dirent->d_name, len)) {
12772                     /* found it */
12773                     PerlDir_seek(ret, pos); /* step back */
12774                     break;
12775                 }
12776                 /* else we are not there yet; keep iterating */
12777             }
12778             else { /* This is not meant to happen. The best we can do is
12779                       reset the iterator to the beginning. */
12780                 PerlDir_seek(ret, pos0);
12781                 break;
12782             }
12783         }
12784     }
12785 #undef d_namlen
12786
12787     if (name && name != smallbuf)
12788         Safefree(name);
12789 #endif
12790
12791 #ifdef WIN32
12792     ret = win32_dirp_dup(dp, param);
12793 #endif
12794
12795     /* pop it in the pointer table */
12796     if (ret)
12797         ptr_table_store(PL_ptr_table, dp, ret);
12798
12799     return ret;
12800 }
12801
12802 /* duplicate a typeglob */
12803
12804 GP *
12805 Perl_gp_dup(pTHX_ GP *const gp, CLONE_PARAMS *const param)
12806 {
12807     GP *ret;
12808
12809     PERL_ARGS_ASSERT_GP_DUP;
12810
12811     if (!gp)
12812         return (GP*)NULL;
12813     /* look for it in the table first */
12814     ret = (GP*)ptr_table_fetch(PL_ptr_table, gp);
12815     if (ret)
12816         return ret;
12817
12818     /* create anew and remember what it is */
12819     Newxz(ret, 1, GP);
12820     ptr_table_store(PL_ptr_table, gp, ret);
12821
12822     /* clone */
12823     /* ret->gp_refcnt must be 0 before any other dups are called. We're relying
12824        on Newxz() to do this for us.  */
12825     ret->gp_sv          = sv_dup_inc(gp->gp_sv, param);
12826     ret->gp_io          = io_dup_inc(gp->gp_io, param);
12827     ret->gp_form        = cv_dup_inc(gp->gp_form, param);
12828     ret->gp_av          = av_dup_inc(gp->gp_av, param);
12829     ret->gp_hv          = hv_dup_inc(gp->gp_hv, param);
12830     ret->gp_egv = gv_dup(gp->gp_egv, param);/* GvEGV is not refcounted */
12831     ret->gp_cv          = cv_dup_inc(gp->gp_cv, param);
12832     ret->gp_cvgen       = gp->gp_cvgen;
12833     ret->gp_line        = gp->gp_line;
12834     ret->gp_file_hek    = hek_dup(gp->gp_file_hek, param);
12835     return ret;
12836 }
12837
12838 /* duplicate a chain of magic */
12839
12840 MAGIC *
12841 Perl_mg_dup(pTHX_ MAGIC *mg, CLONE_PARAMS *const param)
12842 {
12843     MAGIC *mgret = NULL;
12844     MAGIC **mgprev_p = &mgret;
12845
12846     PERL_ARGS_ASSERT_MG_DUP;
12847
12848     for (; mg; mg = mg->mg_moremagic) {
12849         MAGIC *nmg;
12850
12851         if ((param->flags & CLONEf_JOIN_IN)
12852                 && mg->mg_type == PERL_MAGIC_backref)
12853             /* when joining, we let the individual SVs add themselves to
12854              * backref as needed. */
12855             continue;
12856
12857         Newx(nmg, 1, MAGIC);
12858         *mgprev_p = nmg;
12859         mgprev_p = &(nmg->mg_moremagic);
12860
12861         /* There was a comment "XXX copy dynamic vtable?" but as we don't have
12862            dynamic vtables, I'm not sure why Sarathy wrote it. The comment dates
12863            from the original commit adding Perl_mg_dup() - revision 4538.
12864            Similarly there is the annotation "XXX random ptr?" next to the
12865            assignment to nmg->mg_ptr.  */
12866         *nmg = *mg;
12867
12868         /* FIXME for plugins
12869         if (nmg->mg_type == PERL_MAGIC_qr) {
12870             nmg->mg_obj = MUTABLE_SV(CALLREGDUPE((REGEXP*)nmg->mg_obj, param));
12871         }
12872         else
12873         */
12874         nmg->mg_obj = (nmg->mg_flags & MGf_REFCOUNTED)
12875                           ? nmg->mg_type == PERL_MAGIC_backref
12876                                 /* The backref AV has its reference
12877                                  * count deliberately bumped by 1 */
12878                                 ? SvREFCNT_inc(av_dup_inc((const AV *)
12879                                                     nmg->mg_obj, param))
12880                                 : sv_dup_inc(nmg->mg_obj, param)
12881                           : sv_dup(nmg->mg_obj, param);
12882
12883         if (nmg->mg_ptr && nmg->mg_type != PERL_MAGIC_regex_global) {
12884             if (nmg->mg_len > 0) {
12885                 nmg->mg_ptr     = SAVEPVN(nmg->mg_ptr, nmg->mg_len);
12886                 if (nmg->mg_type == PERL_MAGIC_overload_table &&
12887                         AMT_AMAGIC((AMT*)nmg->mg_ptr))
12888                 {
12889                     AMT * const namtp = (AMT*)nmg->mg_ptr;
12890                     sv_dup_inc_multiple((SV**)(namtp->table),
12891                                         (SV**)(namtp->table), NofAMmeth, param);
12892                 }
12893             }
12894             else if (nmg->mg_len == HEf_SVKEY)
12895                 nmg->mg_ptr = (char*)sv_dup_inc((const SV *)nmg->mg_ptr, param);
12896         }
12897         if ((nmg->mg_flags & MGf_DUP) && nmg->mg_virtual && nmg->mg_virtual->svt_dup) {
12898             nmg->mg_virtual->svt_dup(aTHX_ nmg, param);
12899         }
12900     }
12901     return mgret;
12902 }
12903
12904 #endif /* USE_ITHREADS */
12905
12906 struct ptr_tbl_arena {
12907     struct ptr_tbl_arena *next;
12908     struct ptr_tbl_ent array[1023/3]; /* as ptr_tbl_ent has 3 pointers.  */
12909 };
12910
12911 /* create a new pointer-mapping table */
12912
12913 PTR_TBL_t *
12914 Perl_ptr_table_new(pTHX)
12915 {
12916     PTR_TBL_t *tbl;
12917     PERL_UNUSED_CONTEXT;
12918
12919     Newx(tbl, 1, PTR_TBL_t);
12920     tbl->tbl_max        = 511;
12921     tbl->tbl_items      = 0;
12922     tbl->tbl_arena      = NULL;
12923     tbl->tbl_arena_next = NULL;
12924     tbl->tbl_arena_end  = NULL;
12925     Newxz(tbl->tbl_ary, tbl->tbl_max + 1, PTR_TBL_ENT_t*);
12926     return tbl;
12927 }
12928
12929 #define PTR_TABLE_HASH(ptr) \
12930   ((PTR2UV(ptr) >> 3) ^ (PTR2UV(ptr) >> (3 + 7)) ^ (PTR2UV(ptr) >> (3 + 17)))
12931
12932 /* map an existing pointer using a table */
12933
12934 STATIC PTR_TBL_ENT_t *
12935 S_ptr_table_find(PTR_TBL_t *const tbl, const void *const sv)
12936 {
12937     PTR_TBL_ENT_t *tblent;
12938     const UV hash = PTR_TABLE_HASH(sv);
12939
12940     PERL_ARGS_ASSERT_PTR_TABLE_FIND;
12941
12942     tblent = tbl->tbl_ary[hash & tbl->tbl_max];
12943     for (; tblent; tblent = tblent->next) {
12944         if (tblent->oldval == sv)
12945             return tblent;
12946     }
12947     return NULL;
12948 }
12949
12950 void *
12951 Perl_ptr_table_fetch(pTHX_ PTR_TBL_t *const tbl, const void *const sv)
12952 {
12953     PTR_TBL_ENT_t const *const tblent = ptr_table_find(tbl, sv);
12954
12955     PERL_ARGS_ASSERT_PTR_TABLE_FETCH;
12956     PERL_UNUSED_CONTEXT;
12957
12958     return tblent ? tblent->newval : NULL;
12959 }
12960
12961 /* add a new entry to a pointer-mapping table 'tbl'.  In hash terms, 'oldsv' is
12962  * the key; 'newsv' is the value.  The names "old" and "new" are specific to
12963  * the core's typical use of ptr_tables in thread cloning. */
12964
12965 void
12966 Perl_ptr_table_store(pTHX_ PTR_TBL_t *const tbl, const void *const oldsv, void *const newsv)
12967 {
12968     PTR_TBL_ENT_t *tblent = ptr_table_find(tbl, oldsv);
12969
12970     PERL_ARGS_ASSERT_PTR_TABLE_STORE;
12971     PERL_UNUSED_CONTEXT;
12972
12973     if (tblent) {
12974         tblent->newval = newsv;
12975     } else {
12976         const UV entry = PTR_TABLE_HASH(oldsv) & tbl->tbl_max;
12977
12978         if (tbl->tbl_arena_next == tbl->tbl_arena_end) {
12979             struct ptr_tbl_arena *new_arena;
12980
12981             Newx(new_arena, 1, struct ptr_tbl_arena);
12982             new_arena->next = tbl->tbl_arena;
12983             tbl->tbl_arena = new_arena;
12984             tbl->tbl_arena_next = new_arena->array;
12985             tbl->tbl_arena_end = C_ARRAY_END(new_arena->array);
12986         }
12987
12988         tblent = tbl->tbl_arena_next++;
12989
12990         tblent->oldval = oldsv;
12991         tblent->newval = newsv;
12992         tblent->next = tbl->tbl_ary[entry];
12993         tbl->tbl_ary[entry] = tblent;
12994         tbl->tbl_items++;
12995         if (tblent->next && tbl->tbl_items > tbl->tbl_max)
12996             ptr_table_split(tbl);
12997     }
12998 }
12999
13000 /* double the hash bucket size of an existing ptr table */
13001
13002 void
13003 Perl_ptr_table_split(pTHX_ PTR_TBL_t *const tbl)
13004 {
13005     PTR_TBL_ENT_t **ary = tbl->tbl_ary;
13006     const UV oldsize = tbl->tbl_max + 1;
13007     UV newsize = oldsize * 2;
13008     UV i;
13009
13010     PERL_ARGS_ASSERT_PTR_TABLE_SPLIT;
13011     PERL_UNUSED_CONTEXT;
13012
13013     Renew(ary, newsize, PTR_TBL_ENT_t*);
13014     Zero(&ary[oldsize], newsize-oldsize, PTR_TBL_ENT_t*);
13015     tbl->tbl_max = --newsize;
13016     tbl->tbl_ary = ary;
13017     for (i=0; i < oldsize; i++, ary++) {
13018         PTR_TBL_ENT_t **entp = ary;
13019         PTR_TBL_ENT_t *ent = *ary;
13020         PTR_TBL_ENT_t **curentp;
13021         if (!ent)
13022             continue;
13023         curentp = ary + oldsize;
13024         do {
13025             if ((newsize & PTR_TABLE_HASH(ent->oldval)) != i) {
13026                 *entp = ent->next;
13027                 ent->next = *curentp;
13028                 *curentp = ent;
13029             }
13030             else
13031                 entp = &ent->next;
13032             ent = *entp;
13033         } while (ent);
13034     }
13035 }
13036
13037 /* remove all the entries from a ptr table */
13038 /* Deprecated - will be removed post 5.14 */
13039
13040 void
13041 Perl_ptr_table_clear(pTHX_ PTR_TBL_t *const tbl)
13042 {
13043     PERL_UNUSED_CONTEXT;
13044     if (tbl && tbl->tbl_items) {
13045         struct ptr_tbl_arena *arena = tbl->tbl_arena;
13046
13047         Zero(tbl->tbl_ary, tbl->tbl_max + 1, struct ptr_tbl_ent **);
13048
13049         while (arena) {
13050             struct ptr_tbl_arena *next = arena->next;
13051
13052             Safefree(arena);
13053             arena = next;
13054         };
13055
13056         tbl->tbl_items = 0;
13057         tbl->tbl_arena = NULL;
13058         tbl->tbl_arena_next = NULL;
13059         tbl->tbl_arena_end = NULL;
13060     }
13061 }
13062
13063 /* clear and free a ptr table */
13064
13065 void
13066 Perl_ptr_table_free(pTHX_ PTR_TBL_t *const tbl)
13067 {
13068     struct ptr_tbl_arena *arena;
13069
13070     PERL_UNUSED_CONTEXT;
13071
13072     if (!tbl) {
13073         return;
13074     }
13075
13076     arena = tbl->tbl_arena;
13077
13078     while (arena) {
13079         struct ptr_tbl_arena *next = arena->next;
13080
13081         Safefree(arena);
13082         arena = next;
13083     }
13084
13085     Safefree(tbl->tbl_ary);
13086     Safefree(tbl);
13087 }
13088
13089 #if defined(USE_ITHREADS)
13090
13091 void
13092 Perl_rvpv_dup(pTHX_ SV *const dstr, const SV *const sstr, CLONE_PARAMS *const param)
13093 {
13094     PERL_ARGS_ASSERT_RVPV_DUP;
13095
13096     assert(!isREGEXP(sstr));
13097     if (SvROK(sstr)) {
13098         if (SvWEAKREF(sstr)) {
13099             SvRV_set(dstr, sv_dup(SvRV_const(sstr), param));
13100             if (param->flags & CLONEf_JOIN_IN) {
13101                 /* if joining, we add any back references individually rather
13102                  * than copying the whole backref array */
13103                 Perl_sv_add_backref(aTHX_ SvRV(dstr), dstr);
13104             }
13105         }
13106         else
13107             SvRV_set(dstr, sv_dup_inc(SvRV_const(sstr), param));
13108     }
13109     else if (SvPVX_const(sstr)) {
13110         /* Has something there */
13111         if (SvLEN(sstr)) {
13112             /* Normal PV - clone whole allocated space */
13113             SvPV_set(dstr, SAVEPVN(SvPVX_const(sstr), SvLEN(sstr)-1));
13114             /* sstr may not be that normal, but actually copy on write.
13115                But we are a true, independent SV, so:  */
13116             SvIsCOW_off(dstr);
13117         }
13118         else {
13119             /* Special case - not normally malloced for some reason */
13120             if (isGV_with_GP(sstr)) {
13121                 /* Don't need to do anything here.  */
13122             }
13123             else if ((SvIsCOW(sstr))) {
13124                 /* A "shared" PV - clone it as "shared" PV */
13125                 SvPV_set(dstr,
13126                          HEK_KEY(hek_dup(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)),
13127                                          param)));
13128             }
13129             else {
13130                 /* Some other special case - random pointer */
13131                 SvPV_set(dstr, (char *) SvPVX_const(sstr));             
13132             }
13133         }
13134     }
13135     else {
13136         /* Copy the NULL */
13137         SvPV_set(dstr, NULL);
13138     }
13139 }
13140
13141 /* duplicate a list of SVs. source and dest may point to the same memory.  */
13142 static SV **
13143 S_sv_dup_inc_multiple(pTHX_ SV *const *source, SV **dest,
13144                       SSize_t items, CLONE_PARAMS *const param)
13145 {
13146     PERL_ARGS_ASSERT_SV_DUP_INC_MULTIPLE;
13147
13148     while (items-- > 0) {
13149         *dest++ = sv_dup_inc(*source++, param);
13150     }
13151
13152     return dest;
13153 }
13154
13155 /* duplicate an SV of any type (including AV, HV etc) */
13156
13157 static SV *
13158 S_sv_dup_common(pTHX_ const SV *const sstr, CLONE_PARAMS *const param)
13159 {
13160     dVAR;
13161     SV *dstr;
13162
13163     PERL_ARGS_ASSERT_SV_DUP_COMMON;
13164
13165     if (SvTYPE(sstr) == (svtype)SVTYPEMASK) {
13166 #ifdef DEBUG_LEAKING_SCALARS_ABORT
13167         abort();
13168 #endif
13169         return NULL;
13170     }
13171     /* look for it in the table first */
13172     dstr = MUTABLE_SV(ptr_table_fetch(PL_ptr_table, sstr));
13173     if (dstr)
13174         return dstr;
13175
13176     if(param->flags & CLONEf_JOIN_IN) {
13177         /** We are joining here so we don't want do clone
13178             something that is bad **/
13179         if (SvTYPE(sstr) == SVt_PVHV) {
13180             const HEK * const hvname = HvNAME_HEK(sstr);
13181             if (hvname) {
13182                 /** don't clone stashes if they already exist **/
13183                 dstr = MUTABLE_SV(gv_stashpvn(HEK_KEY(hvname), HEK_LEN(hvname),
13184                                                 HEK_UTF8(hvname) ? SVf_UTF8 : 0));
13185                 ptr_table_store(PL_ptr_table, sstr, dstr);
13186                 return dstr;
13187             }
13188         }
13189         else if (SvTYPE(sstr) == SVt_PVGV && !SvFAKE(sstr)) {
13190             HV *stash = GvSTASH(sstr);
13191             const HEK * hvname;
13192             if (stash && (hvname = HvNAME_HEK(stash))) {
13193                 /** don't clone GVs if they already exist **/
13194                 SV **svp;
13195                 stash = gv_stashpvn(HEK_KEY(hvname), HEK_LEN(hvname),
13196                                     HEK_UTF8(hvname) ? SVf_UTF8 : 0);
13197                 svp = hv_fetch(
13198                         stash, GvNAME(sstr),
13199                         GvNAMEUTF8(sstr)
13200                             ? -GvNAMELEN(sstr)
13201                             :  GvNAMELEN(sstr),
13202                         0
13203                       );
13204                 if (svp && *svp && SvTYPE(*svp) == SVt_PVGV) {
13205                     ptr_table_store(PL_ptr_table, sstr, *svp);
13206                     return *svp;
13207                 }
13208             }
13209         }
13210     }
13211
13212     /* create anew and remember what it is */
13213     new_SV(dstr);
13214
13215 #ifdef DEBUG_LEAKING_SCALARS
13216     dstr->sv_debug_optype = sstr->sv_debug_optype;
13217     dstr->sv_debug_line = sstr->sv_debug_line;
13218     dstr->sv_debug_inpad = sstr->sv_debug_inpad;
13219     dstr->sv_debug_parent = (SV*)sstr;
13220     FREE_SV_DEBUG_FILE(dstr);
13221     dstr->sv_debug_file = savesharedpv(sstr->sv_debug_file);
13222 #endif
13223
13224     ptr_table_store(PL_ptr_table, sstr, dstr);
13225
13226     /* clone */
13227     SvFLAGS(dstr)       = SvFLAGS(sstr);
13228     SvFLAGS(dstr)       &= ~SVf_OOK;            /* don't propagate OOK hack */
13229     SvREFCNT(dstr)      = 0;                    /* must be before any other dups! */
13230
13231 #ifdef DEBUGGING
13232     if (SvANY(sstr) && PL_watch_pvx && SvPVX_const(sstr) == PL_watch_pvx)
13233         PerlIO_printf(Perl_debug_log, "watch at %p hit, found string \"%s\"\n",
13234                       (void*)PL_watch_pvx, SvPVX_const(sstr));
13235 #endif
13236
13237     /* don't clone objects whose class has asked us not to */
13238     if (SvOBJECT(sstr) && ! (SvFLAGS(SvSTASH(sstr)) & SVphv_CLONEABLE)) {
13239         SvFLAGS(dstr) = 0;
13240         return dstr;
13241     }
13242
13243     switch (SvTYPE(sstr)) {
13244     case SVt_NULL:
13245         SvANY(dstr)     = NULL;
13246         break;
13247     case SVt_IV:
13248         SvANY(dstr)     = (XPVIV*)((char*)&(dstr->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
13249         if(SvROK(sstr)) {
13250             Perl_rvpv_dup(aTHX_ dstr, sstr, param);
13251         } else {
13252             SvIV_set(dstr, SvIVX(sstr));
13253         }
13254         break;
13255     case SVt_NV:
13256 #if NVSIZE <= IVSIZE
13257         SvANY(dstr) = (XPVNV*)((char*)&(dstr->sv_u.svu_nv) - STRUCT_OFFSET(XPVNV, xnv_u.xnv_nv));
13258 #else
13259         SvANY(dstr)     = new_XNV();
13260 #endif
13261         SvNV_set(dstr, SvNVX(sstr));
13262         break;
13263     default:
13264         {
13265             /* These are all the types that need complex bodies allocating.  */
13266             void *new_body;
13267             const svtype sv_type = SvTYPE(sstr);
13268             const struct body_details *const sv_type_details
13269                 = bodies_by_type + sv_type;
13270
13271             switch (sv_type) {
13272             default:
13273                 Perl_croak(aTHX_ "Bizarre SvTYPE [%" IVdf "]", (IV)SvTYPE(sstr));
13274                 break;
13275
13276             case SVt_PVGV:
13277             case SVt_PVIO:
13278             case SVt_PVFM:
13279             case SVt_PVHV:
13280             case SVt_PVAV:
13281             case SVt_PVCV:
13282             case SVt_PVLV:
13283             case SVt_REGEXP:
13284             case SVt_PVMG:
13285             case SVt_PVNV:
13286             case SVt_PVIV:
13287             case SVt_INVLIST:
13288             case SVt_PV:
13289                 assert(sv_type_details->body_size);
13290                 if (sv_type_details->arena) {
13291                     new_body_inline(new_body, sv_type);
13292                     new_body
13293                         = (void*)((char*)new_body - sv_type_details->offset);
13294                 } else {
13295                     new_body = new_NOARENA(sv_type_details);
13296                 }
13297             }
13298             assert(new_body);
13299             SvANY(dstr) = new_body;
13300
13301 #ifndef PURIFY
13302             Copy(((char*)SvANY(sstr)) + sv_type_details->offset,
13303                  ((char*)SvANY(dstr)) + sv_type_details->offset,
13304                  sv_type_details->copy, char);
13305 #else
13306             Copy(((char*)SvANY(sstr)),
13307                  ((char*)SvANY(dstr)),
13308                  sv_type_details->body_size + sv_type_details->offset, char);
13309 #endif
13310
13311             if (sv_type != SVt_PVAV && sv_type != SVt_PVHV
13312                 && !isGV_with_GP(dstr)
13313                 && !isREGEXP(dstr)
13314                 && !(sv_type == SVt_PVIO && !(IoFLAGS(dstr) & IOf_FAKE_DIRP)))
13315                 Perl_rvpv_dup(aTHX_ dstr, sstr, param);
13316
13317             /* The Copy above means that all the source (unduplicated) pointers
13318                are now in the destination.  We can check the flags and the
13319                pointers in either, but it's possible that there's less cache
13320                missing by always going for the destination.
13321                FIXME - instrument and check that assumption  */
13322             if (sv_type >= SVt_PVMG) {
13323                 if ((sv_type == SVt_PVMG) && SvPAD_OUR(dstr)) {
13324                     SvOURSTASH_set(dstr, hv_dup_inc(SvOURSTASH(dstr), param));
13325                 } else if (sv_type == SVt_PVAV && AvPAD_NAMELIST(dstr)) {
13326                     NOOP;
13327                 } else if (SvMAGIC(dstr))
13328                     SvMAGIC_set(dstr, mg_dup(SvMAGIC(dstr), param));
13329                 if (SvOBJECT(dstr) && SvSTASH(dstr))
13330                     SvSTASH_set(dstr, hv_dup_inc(SvSTASH(dstr), param));
13331                 else SvSTASH_set(dstr, 0); /* don't copy DESTROY cache */
13332             }
13333
13334             /* The cast silences a GCC warning about unhandled types.  */
13335             switch ((int)sv_type) {
13336             case SVt_PV:
13337                 break;
13338             case SVt_PVIV:
13339                 break;
13340             case SVt_PVNV:
13341                 break;
13342             case SVt_PVMG:
13343                 break;
13344             case SVt_REGEXP:
13345               duprex:
13346                 /* FIXME for plugins */
13347                 dstr->sv_u.svu_rx = ((REGEXP *)dstr)->sv_any;
13348                 re_dup_guts((REGEXP*) sstr, (REGEXP*) dstr, param);
13349                 break;
13350             case SVt_PVLV:
13351                 /* XXX LvTARGOFF sometimes holds PMOP* when DEBUGGING */
13352                 if (LvTYPE(dstr) == 't') /* for tie: unrefcnted fake (SV**) */
13353                     LvTARG(dstr) = dstr;
13354                 else if (LvTYPE(dstr) == 'T') /* for tie: fake HE */
13355                     LvTARG(dstr) = MUTABLE_SV(he_dup((HE*)LvTARG(dstr), 0, param));
13356                 else
13357                     LvTARG(dstr) = sv_dup_inc(LvTARG(dstr), param);
13358                 if (isREGEXP(sstr)) goto duprex;
13359             case SVt_PVGV:
13360                 /* non-GP case already handled above */
13361                 if(isGV_with_GP(sstr)) {
13362                     GvNAME_HEK(dstr) = hek_dup(GvNAME_HEK(dstr), param);
13363                     /* Don't call sv_add_backref here as it's going to be
13364                        created as part of the magic cloning of the symbol
13365                        table--unless this is during a join and the stash
13366                        is not actually being cloned.  */
13367                     /* Danger Will Robinson - GvGP(dstr) isn't initialised
13368                        at the point of this comment.  */
13369                     GvSTASH(dstr) = hv_dup(GvSTASH(dstr), param);
13370                     if (param->flags & CLONEf_JOIN_IN)
13371                         Perl_sv_add_backref(aTHX_ MUTABLE_SV(GvSTASH(dstr)), dstr);
13372                     GvGP_set(dstr, gp_dup(GvGP(sstr), param));
13373                     (void)GpREFCNT_inc(GvGP(dstr));
13374                 }
13375                 break;
13376             case SVt_PVIO:
13377                 /* PL_parser->rsfp_filters entries have fake IoDIRP() */
13378                 if(IoFLAGS(dstr) & IOf_FAKE_DIRP) {
13379                     /* I have no idea why fake dirp (rsfps)
13380                        should be treated differently but otherwise
13381                        we end up with leaks -- sky*/
13382                     IoTOP_GV(dstr)      = gv_dup_inc(IoTOP_GV(dstr), param);
13383                     IoFMT_GV(dstr)      = gv_dup_inc(IoFMT_GV(dstr), param);
13384                     IoBOTTOM_GV(dstr)   = gv_dup_inc(IoBOTTOM_GV(dstr), param);
13385                 } else {
13386                     IoTOP_GV(dstr)      = gv_dup(IoTOP_GV(dstr), param);
13387                     IoFMT_GV(dstr)      = gv_dup(IoFMT_GV(dstr), param);
13388                     IoBOTTOM_GV(dstr)   = gv_dup(IoBOTTOM_GV(dstr), param);
13389                     if (IoDIRP(dstr)) {
13390                         IoDIRP(dstr)    = dirp_dup(IoDIRP(dstr), param);
13391                     } else {
13392                         NOOP;
13393                         /* IoDIRP(dstr) is already a copy of IoDIRP(sstr)  */
13394                     }
13395                     IoIFP(dstr) = fp_dup(IoIFP(sstr), IoTYPE(dstr), param);
13396                 }
13397                 if (IoOFP(dstr) == IoIFP(sstr))
13398                     IoOFP(dstr) = IoIFP(dstr);
13399                 else
13400                     IoOFP(dstr) = fp_dup(IoOFP(dstr), IoTYPE(dstr), param);
13401                 IoTOP_NAME(dstr)        = SAVEPV(IoTOP_NAME(dstr));
13402                 IoFMT_NAME(dstr)        = SAVEPV(IoFMT_NAME(dstr));
13403                 IoBOTTOM_NAME(dstr)     = SAVEPV(IoBOTTOM_NAME(dstr));
13404                 break;
13405             case SVt_PVAV:
13406                 /* avoid cloning an empty array */
13407                 if (AvARRAY((const AV *)sstr) && AvFILLp((const AV *)sstr) >= 0) {
13408                     SV **dst_ary, **src_ary;
13409                     SSize_t items = AvFILLp((const AV *)sstr) + 1;
13410
13411                     src_ary = AvARRAY((const AV *)sstr);
13412                     Newxz(dst_ary, AvMAX((const AV *)sstr)+1, SV*);
13413                     ptr_table_store(PL_ptr_table, src_ary, dst_ary);
13414                     AvARRAY(MUTABLE_AV(dstr)) = dst_ary;
13415                     AvALLOC((const AV *)dstr) = dst_ary;
13416                     if (AvREAL((const AV *)sstr)) {
13417                         dst_ary = sv_dup_inc_multiple(src_ary, dst_ary, items,
13418                                                       param);
13419                     }
13420                     else {
13421                         while (items-- > 0)
13422                             *dst_ary++ = sv_dup(*src_ary++, param);
13423                     }
13424                     items = AvMAX((const AV *)sstr) - AvFILLp((const AV *)sstr);
13425                     while (items-- > 0) {
13426                         *dst_ary++ = &PL_sv_undef;
13427                     }
13428                 }
13429                 else {
13430                     AvARRAY(MUTABLE_AV(dstr))   = NULL;
13431                     AvALLOC((const AV *)dstr)   = (SV**)NULL;
13432                     AvMAX(  (const AV *)dstr)   = -1;
13433                     AvFILLp((const AV *)dstr)   = -1;
13434                 }
13435                 break;
13436             case SVt_PVHV:
13437                 if (HvARRAY((const HV *)sstr)) {
13438                     STRLEN i = 0;
13439                     const bool sharekeys = !!HvSHAREKEYS(sstr);
13440                     XPVHV * const dxhv = (XPVHV*)SvANY(dstr);
13441                     XPVHV * const sxhv = (XPVHV*)SvANY(sstr);
13442                     char *darray;
13443                     Newx(darray, PERL_HV_ARRAY_ALLOC_BYTES(dxhv->xhv_max+1)
13444                         + (SvOOK(sstr) ? sizeof(struct xpvhv_aux) : 0),
13445                         char);
13446                     HvARRAY(dstr) = (HE**)darray;
13447                     while (i <= sxhv->xhv_max) {
13448                         const HE * const source = HvARRAY(sstr)[i];
13449                         HvARRAY(dstr)[i] = source
13450                             ? he_dup(source, sharekeys, param) : 0;
13451                         ++i;
13452                     }
13453                     if (SvOOK(sstr)) {
13454                         const struct xpvhv_aux * const saux = HvAUX(sstr);
13455                         struct xpvhv_aux * const daux = HvAUX(dstr);
13456                         /* This flag isn't copied.  */
13457                         SvOOK_on(dstr);
13458
13459                         if (saux->xhv_name_count) {
13460                             HEK ** const sname = saux->xhv_name_u.xhvnameu_names;
13461                             const I32 count
13462                              = saux->xhv_name_count < 0
13463                                 ? -saux->xhv_name_count
13464                                 :  saux->xhv_name_count;
13465                             HEK **shekp = sname + count;
13466                             HEK **dhekp;
13467                             Newx(daux->xhv_name_u.xhvnameu_names, count, HEK *);
13468                             dhekp = daux->xhv_name_u.xhvnameu_names + count;
13469                             while (shekp-- > sname) {
13470                                 dhekp--;
13471                                 *dhekp = hek_dup(*shekp, param);
13472                             }
13473                         }
13474                         else {
13475                             daux->xhv_name_u.xhvnameu_name
13476                                 = hek_dup(saux->xhv_name_u.xhvnameu_name,
13477                                           param);
13478                         }
13479                         daux->xhv_name_count = saux->xhv_name_count;
13480
13481                         daux->xhv_fill_lazy = saux->xhv_fill_lazy;
13482                         daux->xhv_aux_flags = saux->xhv_aux_flags;
13483 #ifdef PERL_HASH_RANDOMIZE_KEYS
13484                         daux->xhv_rand = saux->xhv_rand;
13485                         daux->xhv_last_rand = saux->xhv_last_rand;
13486 #endif
13487                         daux->xhv_riter = saux->xhv_riter;
13488                         daux->xhv_eiter = saux->xhv_eiter
13489                             ? he_dup(saux->xhv_eiter,
13490                                         cBOOL(HvSHAREKEYS(sstr)), param) : 0;
13491                         /* backref array needs refcnt=2; see sv_add_backref */
13492                         daux->xhv_backreferences =
13493                             (param->flags & CLONEf_JOIN_IN)
13494                                 /* when joining, we let the individual GVs and
13495                                  * CVs add themselves to backref as
13496                                  * needed. This avoids pulling in stuff
13497                                  * that isn't required, and simplifies the
13498                                  * case where stashes aren't cloned back
13499                                  * if they already exist in the parent
13500                                  * thread */
13501                             ? NULL
13502                             : saux->xhv_backreferences
13503                                 ? (SvTYPE(saux->xhv_backreferences) == SVt_PVAV)
13504                                     ? MUTABLE_AV(SvREFCNT_inc(
13505                                           sv_dup_inc((const SV *)
13506                                             saux->xhv_backreferences, param)))
13507                                     : MUTABLE_AV(sv_dup((const SV *)
13508                                             saux->xhv_backreferences, param))
13509                                 : 0;
13510
13511                         daux->xhv_mro_meta = saux->xhv_mro_meta
13512                             ? mro_meta_dup(saux->xhv_mro_meta, param)
13513                             : 0;
13514
13515                         /* Record stashes for possible cloning in Perl_clone(). */
13516                         if (HvNAME(sstr))
13517                             av_push(param->stashes, dstr);
13518                     }
13519                 }
13520                 else
13521                     HvARRAY(MUTABLE_HV(dstr)) = NULL;
13522                 break;
13523             case SVt_PVCV:
13524                 if (!(param->flags & CLONEf_COPY_STACKS)) {
13525                     CvDEPTH(dstr) = 0;
13526                 }
13527                 /* FALLTHROUGH */
13528             case SVt_PVFM:
13529                 /* NOTE: not refcounted */
13530                 SvANY(MUTABLE_CV(dstr))->xcv_stash =
13531                     hv_dup(CvSTASH(dstr), param);
13532                 if ((param->flags & CLONEf_JOIN_IN) && CvSTASH(dstr))
13533                     Perl_sv_add_backref(aTHX_ MUTABLE_SV(CvSTASH(dstr)), dstr);
13534                 if (!CvISXSUB(dstr)) {
13535                     OP_REFCNT_LOCK;
13536                     CvROOT(dstr) = OpREFCNT_inc(CvROOT(dstr));
13537                     OP_REFCNT_UNLOCK;
13538                     CvSLABBED_off(dstr);
13539                 } else if (CvCONST(dstr)) {
13540                     CvXSUBANY(dstr).any_ptr =
13541                         sv_dup_inc((const SV *)CvXSUBANY(dstr).any_ptr, param);
13542                 }
13543                 assert(!CvSLABBED(dstr));
13544                 if (CvDYNFILE(dstr)) CvFILE(dstr) = SAVEPV(CvFILE(dstr));
13545                 if (CvNAMED(dstr))
13546                     SvANY((CV *)dstr)->xcv_gv_u.xcv_hek =
13547                         hek_dup(CvNAME_HEK((CV *)sstr), param);
13548                 /* don't dup if copying back - CvGV isn't refcounted, so the
13549                  * duped GV may never be freed. A bit of a hack! DAPM */
13550                 else
13551                   SvANY(MUTABLE_CV(dstr))->xcv_gv_u.xcv_gv =
13552                     CvCVGV_RC(dstr)
13553                     ? gv_dup_inc(CvGV(sstr), param)
13554                     : (param->flags & CLONEf_JOIN_IN)
13555                         ? NULL
13556                         : gv_dup(CvGV(sstr), param);
13557
13558                 CvPADLIST(dstr) = padlist_dup(CvPADLIST(sstr), param);
13559                 CvOUTSIDE(dstr) =
13560                     CvWEAKOUTSIDE(sstr)
13561                     ? cv_dup(    CvOUTSIDE(dstr), param)
13562                     : cv_dup_inc(CvOUTSIDE(dstr), param);
13563                 break;
13564             }
13565         }
13566     }
13567
13568     return dstr;
13569  }
13570
13571 SV *
13572 Perl_sv_dup_inc(pTHX_ const SV *const sstr, CLONE_PARAMS *const param)
13573 {
13574     PERL_ARGS_ASSERT_SV_DUP_INC;
13575     return sstr ? SvREFCNT_inc(sv_dup_common(sstr, param)) : NULL;
13576 }
13577
13578 SV *
13579 Perl_sv_dup(pTHX_ const SV *const sstr, CLONE_PARAMS *const param)
13580 {
13581     SV *dstr = sstr ? sv_dup_common(sstr, param) : NULL;
13582     PERL_ARGS_ASSERT_SV_DUP;
13583
13584     /* Track every SV that (at least initially) had a reference count of 0.
13585        We need to do this by holding an actual reference to it in this array.
13586        If we attempt to cheat, turn AvREAL_off(), and store only pointers
13587        (akin to the stashes hash, and the perl stack), we come unstuck if
13588        a weak reference (or other SV legitimately SvREFCNT() == 0 for this
13589        thread) is manipulated in a CLONE method, because CLONE runs before the
13590        unreferenced array is walked to find SVs still with SvREFCNT() == 0
13591        (and fix things up by giving each a reference via the temps stack).
13592        Instead, during CLONE, if the 0-referenced SV has SvREFCNT_inc() and
13593        then SvREFCNT_dec(), it will be cleaned up (and added to the free list)
13594        before the walk of unreferenced happens and a reference to that is SV
13595        added to the temps stack. At which point we have the same SV considered
13596        to be in use, and free to be re-used. Not good.
13597     */
13598     if (dstr && !(param->flags & CLONEf_COPY_STACKS) && !SvREFCNT(dstr)) {
13599         assert(param->unreferenced);
13600         av_push(param->unreferenced, SvREFCNT_inc(dstr));
13601     }
13602
13603     return dstr;
13604 }
13605
13606 /* duplicate a context */
13607
13608 PERL_CONTEXT *
13609 Perl_cx_dup(pTHX_ PERL_CONTEXT *cxs, I32 ix, I32 max, CLONE_PARAMS* param)
13610 {
13611     PERL_CONTEXT *ncxs;
13612
13613     PERL_ARGS_ASSERT_CX_DUP;
13614
13615     if (!cxs)
13616         return (PERL_CONTEXT*)NULL;
13617
13618     /* look for it in the table first */
13619     ncxs = (PERL_CONTEXT*)ptr_table_fetch(PL_ptr_table, cxs);
13620     if (ncxs)
13621         return ncxs;
13622
13623     /* create anew and remember what it is */
13624     Newx(ncxs, max + 1, PERL_CONTEXT);
13625     ptr_table_store(PL_ptr_table, cxs, ncxs);
13626     Copy(cxs, ncxs, max + 1, PERL_CONTEXT);
13627
13628     while (ix >= 0) {
13629         PERL_CONTEXT * const ncx = &ncxs[ix];
13630         if (CxTYPE(ncx) == CXt_SUBST) {
13631             Perl_croak(aTHX_ "Cloning substitution context is unimplemented");
13632         }
13633         else {
13634             ncx->blk_oldcop = (COP*)any_dup(ncx->blk_oldcop, param->proto_perl);
13635             switch (CxTYPE(ncx)) {
13636             case CXt_SUB:
13637                 ncx->blk_sub.cv         = (ncx->blk_sub.olddepth == 0
13638                                            ? cv_dup_inc(ncx->blk_sub.cv, param)
13639                                            : cv_dup(ncx->blk_sub.cv,param));
13640                 if(CxHASARGS(ncx)){
13641                     ncx->blk_sub.argarray = av_dup_inc(ncx->blk_sub.argarray,param);
13642                     ncx->blk_sub.savearray = av_dup_inc(ncx->blk_sub.savearray,param);
13643                 } else {
13644                     ncx->blk_sub.argarray = NULL;
13645                     ncx->blk_sub.savearray = NULL;
13646                 }
13647                 ncx->blk_sub.oldcomppad = (PAD*)ptr_table_fetch(PL_ptr_table,
13648                                            ncx->blk_sub.oldcomppad);
13649                 break;
13650             case CXt_EVAL:
13651                 ncx->blk_eval.old_namesv = sv_dup_inc(ncx->blk_eval.old_namesv,
13652                                                       param);
13653                 ncx->blk_eval.cur_text  = sv_dup(ncx->blk_eval.cur_text, param);
13654                 ncx->blk_eval.cv = cv_dup(ncx->blk_eval.cv, param);
13655                 break;
13656             case CXt_LOOP_LAZYSV:
13657                 ncx->blk_loop.state_u.lazysv.end
13658                     = sv_dup_inc(ncx->blk_loop.state_u.lazysv.end, param);
13659                 /* We are taking advantage of av_dup_inc and sv_dup_inc
13660                    actually being the same function, and order equivalence of
13661                    the two unions.
13662                    We can assert the later [but only at run time :-(]  */
13663                 assert ((void *) &ncx->blk_loop.state_u.ary.ary ==
13664                         (void *) &ncx->blk_loop.state_u.lazysv.cur);
13665             case CXt_LOOP_FOR:
13666                 ncx->blk_loop.state_u.ary.ary
13667                     = av_dup_inc(ncx->blk_loop.state_u.ary.ary, param);
13668             case CXt_LOOP_LAZYIV:
13669             case CXt_LOOP_PLAIN:
13670                 if (CxPADLOOP(ncx)) {
13671                     ncx->blk_loop.itervar_u.oldcomppad
13672                         = (PAD*)ptr_table_fetch(PL_ptr_table,
13673                                         ncx->blk_loop.itervar_u.oldcomppad);
13674                 } else {
13675                     ncx->blk_loop.itervar_u.gv
13676                         = gv_dup((const GV *)ncx->blk_loop.itervar_u.gv,
13677                                     param);
13678                 }
13679                 break;
13680             case CXt_FORMAT:
13681                 ncx->blk_format.cv      = cv_dup(ncx->blk_format.cv, param);
13682                 ncx->blk_format.gv      = gv_dup(ncx->blk_format.gv, param);
13683                 ncx->blk_format.dfoutgv = gv_dup_inc(ncx->blk_format.dfoutgv,
13684                                                      param);
13685                 break;
13686             case CXt_BLOCK:
13687             case CXt_NULL:
13688             case CXt_WHEN:
13689             case CXt_GIVEN:
13690                 break;
13691             }
13692         }
13693         --ix;
13694     }
13695     return ncxs;
13696 }
13697
13698 /* duplicate a stack info structure */
13699
13700 PERL_SI *
13701 Perl_si_dup(pTHX_ PERL_SI *si, CLONE_PARAMS* param)
13702 {
13703     PERL_SI *nsi;
13704
13705     PERL_ARGS_ASSERT_SI_DUP;
13706
13707     if (!si)
13708         return (PERL_SI*)NULL;
13709
13710     /* look for it in the table first */
13711     nsi = (PERL_SI*)ptr_table_fetch(PL_ptr_table, si);
13712     if (nsi)
13713         return nsi;
13714
13715     /* create anew and remember what it is */
13716     Newxz(nsi, 1, PERL_SI);
13717     ptr_table_store(PL_ptr_table, si, nsi);
13718
13719     nsi->si_stack       = av_dup_inc(si->si_stack, param);
13720     nsi->si_cxix        = si->si_cxix;
13721     nsi->si_cxmax       = si->si_cxmax;
13722     nsi->si_cxstack     = cx_dup(si->si_cxstack, si->si_cxix, si->si_cxmax, param);
13723     nsi->si_type        = si->si_type;
13724     nsi->si_prev        = si_dup(si->si_prev, param);
13725     nsi->si_next        = si_dup(si->si_next, param);
13726     nsi->si_markoff     = si->si_markoff;
13727
13728     return nsi;
13729 }
13730
13731 #define POPINT(ss,ix)   ((ss)[--(ix)].any_i32)
13732 #define TOPINT(ss,ix)   ((ss)[ix].any_i32)
13733 #define POPLONG(ss,ix)  ((ss)[--(ix)].any_long)
13734 #define TOPLONG(ss,ix)  ((ss)[ix].any_long)
13735 #define POPIV(ss,ix)    ((ss)[--(ix)].any_iv)
13736 #define TOPIV(ss,ix)    ((ss)[ix].any_iv)
13737 #define POPUV(ss,ix)    ((ss)[--(ix)].any_uv)
13738 #define TOPUV(ss,ix)    ((ss)[ix].any_uv)
13739 #define POPBOOL(ss,ix)  ((ss)[--(ix)].any_bool)
13740 #define TOPBOOL(ss,ix)  ((ss)[ix].any_bool)
13741 #define POPPTR(ss,ix)   ((ss)[--(ix)].any_ptr)
13742 #define TOPPTR(ss,ix)   ((ss)[ix].any_ptr)
13743 #define POPDPTR(ss,ix)  ((ss)[--(ix)].any_dptr)
13744 #define TOPDPTR(ss,ix)  ((ss)[ix].any_dptr)
13745 #define POPDXPTR(ss,ix) ((ss)[--(ix)].any_dxptr)
13746 #define TOPDXPTR(ss,ix) ((ss)[ix].any_dxptr)
13747
13748 /* XXXXX todo */
13749 #define pv_dup_inc(p)   SAVEPV(p)
13750 #define pv_dup(p)       SAVEPV(p)
13751 #define svp_dup_inc(p,pp)       any_dup(p,pp)
13752
13753 /* map any object to the new equivent - either something in the
13754  * ptr table, or something in the interpreter structure
13755  */
13756
13757 void *
13758 Perl_any_dup(pTHX_ void *v, const PerlInterpreter *proto_perl)
13759 {
13760     void *ret;
13761
13762     PERL_ARGS_ASSERT_ANY_DUP;
13763
13764     if (!v)
13765         return (void*)NULL;
13766
13767     /* look for it in the table first */
13768     ret = ptr_table_fetch(PL_ptr_table, v);
13769     if (ret)
13770         return ret;
13771
13772     /* see if it is part of the interpreter structure */
13773     if (v >= (void*)proto_perl && v < (void*)(proto_perl+1))
13774         ret = (void*)(((char*)aTHX) + (((char*)v) - (char*)proto_perl));
13775     else {
13776         ret = v;
13777     }
13778
13779     return ret;
13780 }
13781
13782 /* duplicate the save stack */
13783
13784 ANY *
13785 Perl_ss_dup(pTHX_ PerlInterpreter *proto_perl, CLONE_PARAMS* param)
13786 {
13787     dVAR;
13788     ANY * const ss      = proto_perl->Isavestack;
13789     const I32 max       = proto_perl->Isavestack_max;
13790     I32 ix              = proto_perl->Isavestack_ix;
13791     ANY *nss;
13792     const SV *sv;
13793     const GV *gv;
13794     const AV *av;
13795     const HV *hv;
13796     void* ptr;
13797     int intval;
13798     long longval;
13799     GP *gp;
13800     IV iv;
13801     I32 i;
13802     char *c = NULL;
13803     void (*dptr) (void*);
13804     void (*dxptr) (pTHX_ void*);
13805
13806     PERL_ARGS_ASSERT_SS_DUP;
13807
13808     Newxz(nss, max, ANY);
13809
13810     while (ix > 0) {
13811         const UV uv = POPUV(ss,ix);
13812         const U8 type = (U8)uv & SAVE_MASK;
13813
13814         TOPUV(nss,ix) = uv;
13815         switch (type) {
13816         case SAVEt_CLEARSV:
13817         case SAVEt_CLEARPADRANGE:
13818             break;
13819         case SAVEt_HELEM:               /* hash element */
13820             sv = (const SV *)POPPTR(ss,ix);
13821             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
13822             /* FALLTHROUGH */
13823         case SAVEt_ITEM:                        /* normal string */
13824         case SAVEt_GVSV:                        /* scalar slot in GV */
13825         case SAVEt_SV:                          /* scalar reference */
13826             sv = (const SV *)POPPTR(ss,ix);
13827             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
13828             /* FALLTHROUGH */
13829         case SAVEt_FREESV:
13830         case SAVEt_MORTALIZESV:
13831         case SAVEt_READONLY_OFF:
13832             sv = (const SV *)POPPTR(ss,ix);
13833             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
13834             break;
13835         case SAVEt_SHARED_PVREF:                /* char* in shared space */
13836             c = (char*)POPPTR(ss,ix);
13837             TOPPTR(nss,ix) = savesharedpv(c);
13838             ptr = POPPTR(ss,ix);
13839             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
13840             break;
13841         case SAVEt_GENERIC_SVREF:               /* generic sv */
13842         case SAVEt_SVREF:                       /* scalar reference */
13843             sv = (const SV *)POPPTR(ss,ix);
13844             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
13845             ptr = POPPTR(ss,ix);
13846             TOPPTR(nss,ix) = svp_dup_inc((SV**)ptr, proto_perl);/* XXXXX */
13847             break;
13848         case SAVEt_GVSLOT:              /* any slot in GV */
13849             sv = (const SV *)POPPTR(ss,ix);
13850             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
13851             ptr = POPPTR(ss,ix);
13852             TOPPTR(nss,ix) = svp_dup_inc((SV**)ptr, proto_perl);/* XXXXX */
13853             sv = (const SV *)POPPTR(ss,ix);
13854             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
13855             break;
13856         case SAVEt_HV:                          /* hash reference */
13857         case SAVEt_AV:                          /* array reference */
13858             sv = (const SV *) POPPTR(ss,ix);
13859             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
13860             /* FALLTHROUGH */
13861         case SAVEt_COMPPAD:
13862         case SAVEt_NSTAB:
13863             sv = (const SV *) POPPTR(ss,ix);
13864             TOPPTR(nss,ix) = sv_dup(sv, param);
13865             break;
13866         case SAVEt_INT:                         /* int reference */
13867             ptr = POPPTR(ss,ix);
13868             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
13869             intval = (int)POPINT(ss,ix);
13870             TOPINT(nss,ix) = intval;
13871             break;
13872         case SAVEt_LONG:                        /* long reference */
13873             ptr = POPPTR(ss,ix);
13874             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
13875             longval = (long)POPLONG(ss,ix);
13876             TOPLONG(nss,ix) = longval;
13877             break;
13878         case SAVEt_I32:                         /* I32 reference */
13879             ptr = POPPTR(ss,ix);
13880             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
13881             i = POPINT(ss,ix);
13882             TOPINT(nss,ix) = i;
13883             break;
13884         case SAVEt_IV:                          /* IV reference */
13885         case SAVEt_STRLEN:                      /* STRLEN/size_t ref */
13886             ptr = POPPTR(ss,ix);
13887             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
13888             iv = POPIV(ss,ix);
13889             TOPIV(nss,ix) = iv;
13890             break;
13891         case SAVEt_HPTR:                        /* HV* reference */
13892         case SAVEt_APTR:                        /* AV* reference */
13893         case SAVEt_SPTR:                        /* SV* reference */
13894             ptr = POPPTR(ss,ix);
13895             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
13896             sv = (const SV *)POPPTR(ss,ix);
13897             TOPPTR(nss,ix) = sv_dup(sv, param);
13898             break;
13899         case SAVEt_VPTR:                        /* random* reference */
13900             ptr = POPPTR(ss,ix);
13901             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
13902             /* FALLTHROUGH */
13903         case SAVEt_INT_SMALL:
13904         case SAVEt_I32_SMALL:
13905         case SAVEt_I16:                         /* I16 reference */
13906         case SAVEt_I8:                          /* I8 reference */
13907         case SAVEt_BOOL:
13908             ptr = POPPTR(ss,ix);
13909             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
13910             break;
13911         case SAVEt_GENERIC_PVREF:               /* generic char* */
13912         case SAVEt_PPTR:                        /* char* reference */
13913             ptr = POPPTR(ss,ix);
13914             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
13915             c = (char*)POPPTR(ss,ix);
13916             TOPPTR(nss,ix) = pv_dup(c);
13917             break;
13918         case SAVEt_GP:                          /* scalar reference */
13919             gp = (GP*)POPPTR(ss,ix);
13920             TOPPTR(nss,ix) = gp = gp_dup(gp, param);
13921             (void)GpREFCNT_inc(gp);
13922             gv = (const GV *)POPPTR(ss,ix);
13923             TOPPTR(nss,ix) = gv_dup_inc(gv, param);
13924             break;
13925         case SAVEt_FREEOP:
13926             ptr = POPPTR(ss,ix);
13927             if (ptr && (((OP*)ptr)->op_private & OPpREFCOUNTED)) {
13928                 /* these are assumed to be refcounted properly */
13929                 OP *o;
13930                 switch (((OP*)ptr)->op_type) {
13931                 case OP_LEAVESUB:
13932                 case OP_LEAVESUBLV:
13933                 case OP_LEAVEEVAL:
13934                 case OP_LEAVE:
13935                 case OP_SCOPE:
13936                 case OP_LEAVEWRITE:
13937                     TOPPTR(nss,ix) = ptr;
13938                     o = (OP*)ptr;
13939                     OP_REFCNT_LOCK;
13940                     (void) OpREFCNT_inc(o);
13941                     OP_REFCNT_UNLOCK;
13942                     break;
13943                 default:
13944                     TOPPTR(nss,ix) = NULL;
13945                     break;
13946                 }
13947             }
13948             else
13949                 TOPPTR(nss,ix) = NULL;
13950             break;
13951         case SAVEt_FREECOPHH:
13952             ptr = POPPTR(ss,ix);
13953             TOPPTR(nss,ix) = cophh_copy((COPHH *)ptr);
13954             break;
13955         case SAVEt_ADELETE:
13956             av = (const AV *)POPPTR(ss,ix);
13957             TOPPTR(nss,ix) = av_dup_inc(av, param);
13958             i = POPINT(ss,ix);
13959             TOPINT(nss,ix) = i;
13960             break;
13961         case SAVEt_DELETE:
13962             hv = (const HV *)POPPTR(ss,ix);
13963             TOPPTR(nss,ix) = hv_dup_inc(hv, param);
13964             i = POPINT(ss,ix);
13965             TOPINT(nss,ix) = i;
13966             /* FALLTHROUGH */
13967         case SAVEt_FREEPV:
13968             c = (char*)POPPTR(ss,ix);
13969             TOPPTR(nss,ix) = pv_dup_inc(c);
13970             break;
13971         case SAVEt_STACK_POS:           /* Position on Perl stack */
13972             i = POPINT(ss,ix);
13973             TOPINT(nss,ix) = i;
13974             break;
13975         case SAVEt_DESTRUCTOR:
13976             ptr = POPPTR(ss,ix);
13977             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
13978             dptr = POPDPTR(ss,ix);
13979             TOPDPTR(nss,ix) = DPTR2FPTR(void (*)(void*),
13980                                         any_dup(FPTR2DPTR(void *, dptr),
13981                                                 proto_perl));
13982             break;
13983         case SAVEt_DESTRUCTOR_X:
13984             ptr = POPPTR(ss,ix);
13985             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
13986             dxptr = POPDXPTR(ss,ix);
13987             TOPDXPTR(nss,ix) = DPTR2FPTR(void (*)(pTHX_ void*),
13988                                          any_dup(FPTR2DPTR(void *, dxptr),
13989                                                  proto_perl));
13990             break;
13991         case SAVEt_REGCONTEXT:
13992         case SAVEt_ALLOC:
13993             ix -= uv >> SAVE_TIGHT_SHIFT;
13994             break;
13995         case SAVEt_AELEM:               /* array element */
13996             sv = (const SV *)POPPTR(ss,ix);
13997             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
13998             i = POPINT(ss,ix);
13999             TOPINT(nss,ix) = i;
14000             av = (const AV *)POPPTR(ss,ix);
14001             TOPPTR(nss,ix) = av_dup_inc(av, param);
14002             break;
14003         case SAVEt_OP:
14004             ptr = POPPTR(ss,ix);
14005             TOPPTR(nss,ix) = ptr;
14006             break;
14007         case SAVEt_HINTS:
14008             ptr = POPPTR(ss,ix);
14009             ptr = cophh_copy((COPHH*)ptr);
14010             TOPPTR(nss,ix) = ptr;
14011             i = POPINT(ss,ix);
14012             TOPINT(nss,ix) = i;
14013             if (i & HINT_LOCALIZE_HH) {
14014                 hv = (const HV *)POPPTR(ss,ix);
14015                 TOPPTR(nss,ix) = hv_dup_inc(hv, param);
14016             }
14017             break;
14018         case SAVEt_PADSV_AND_MORTALIZE:
14019             longval = (long)POPLONG(ss,ix);
14020             TOPLONG(nss,ix) = longval;
14021             ptr = POPPTR(ss,ix);
14022             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14023             sv = (const SV *)POPPTR(ss,ix);
14024             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
14025             break;
14026         case SAVEt_SET_SVFLAGS:
14027             i = POPINT(ss,ix);
14028             TOPINT(nss,ix) = i;
14029             i = POPINT(ss,ix);
14030             TOPINT(nss,ix) = i;
14031             sv = (const SV *)POPPTR(ss,ix);
14032             TOPPTR(nss,ix) = sv_dup(sv, param);
14033             break;
14034         case SAVEt_COMPILE_WARNINGS:
14035             ptr = POPPTR(ss,ix);
14036             TOPPTR(nss,ix) = DUP_WARNINGS((STRLEN*)ptr);
14037             break;
14038         case SAVEt_PARSER:
14039             ptr = POPPTR(ss,ix);
14040             TOPPTR(nss,ix) = parser_dup((const yy_parser*)ptr, param);
14041             break;
14042         case SAVEt_GP_ALIASED_SV:
14043             ptr = POPPTR(ss,ix);
14044             TOPPTR(nss,ix) = gp_dup((GP *)ptr, param);
14045             ((GP *)ptr)->gp_refcnt++;
14046             break;
14047         default:
14048             Perl_croak(aTHX_
14049                        "panic: ss_dup inconsistency (%"IVdf")", (IV) type);
14050         }
14051     }
14052
14053     return nss;
14054 }
14055
14056
14057 /* if sv is a stash, call $class->CLONE_SKIP(), and set the SVphv_CLONEABLE
14058  * flag to the result. This is done for each stash before cloning starts,
14059  * so we know which stashes want their objects cloned */
14060
14061 static void
14062 do_mark_cloneable_stash(pTHX_ SV *const sv)
14063 {
14064     const HEK * const hvname = HvNAME_HEK((const HV *)sv);
14065     if (hvname) {
14066         GV* const cloner = gv_fetchmethod_autoload(MUTABLE_HV(sv), "CLONE_SKIP", 0);
14067         SvFLAGS(sv) |= SVphv_CLONEABLE; /* clone objects by default */
14068         if (cloner && GvCV(cloner)) {
14069             dSP;
14070             UV status;
14071
14072             ENTER;
14073             SAVETMPS;
14074             PUSHMARK(SP);
14075             mXPUSHs(newSVhek(hvname));
14076             PUTBACK;
14077             call_sv(MUTABLE_SV(GvCV(cloner)), G_SCALAR);
14078             SPAGAIN;
14079             status = POPu;
14080             PUTBACK;
14081             FREETMPS;
14082             LEAVE;
14083             if (status)
14084                 SvFLAGS(sv) &= ~SVphv_CLONEABLE;
14085         }
14086     }
14087 }
14088
14089
14090
14091 /*
14092 =for apidoc perl_clone
14093
14094 Create and return a new interpreter by cloning the current one.
14095
14096 perl_clone takes these flags as parameters:
14097
14098 CLONEf_COPY_STACKS - is used to, well, copy the stacks also,
14099 without it we only clone the data and zero the stacks,
14100 with it we copy the stacks and the new perl interpreter is
14101 ready to run at the exact same point as the previous one.
14102 The pseudo-fork code uses COPY_STACKS while the
14103 threads->create doesn't.
14104
14105 CLONEf_KEEP_PTR_TABLE -
14106 perl_clone keeps a ptr_table with the pointer of the old
14107 variable as a key and the new variable as a value,
14108 this allows it to check if something has been cloned and not
14109 clone it again but rather just use the value and increase the
14110 refcount.  If KEEP_PTR_TABLE is not set then perl_clone will kill
14111 the ptr_table using the function
14112 C<ptr_table_free(PL_ptr_table); PL_ptr_table = NULL;>,
14113 reason to keep it around is if you want to dup some of your own
14114 variable who are outside the graph perl scans, example of this
14115 code is in threads.xs create.
14116
14117 CLONEf_CLONE_HOST -
14118 This is a win32 thing, it is ignored on unix, it tells perls
14119 win32host code (which is c++) to clone itself, this is needed on
14120 win32 if you want to run two threads at the same time,
14121 if you just want to do some stuff in a separate perl interpreter
14122 and then throw it away and return to the original one,
14123 you don't need to do anything.
14124
14125 =cut
14126 */
14127
14128 /* XXX the above needs expanding by someone who actually understands it ! */
14129 EXTERN_C PerlInterpreter *
14130 perl_clone_host(PerlInterpreter* proto_perl, UV flags);
14131
14132 PerlInterpreter *
14133 perl_clone(PerlInterpreter *proto_perl, UV flags)
14134 {
14135    dVAR;
14136 #ifdef PERL_IMPLICIT_SYS
14137
14138     PERL_ARGS_ASSERT_PERL_CLONE;
14139
14140    /* perlhost.h so we need to call into it
14141    to clone the host, CPerlHost should have a c interface, sky */
14142
14143    if (flags & CLONEf_CLONE_HOST) {
14144        return perl_clone_host(proto_perl,flags);
14145    }
14146    return perl_clone_using(proto_perl, flags,
14147                             proto_perl->IMem,
14148                             proto_perl->IMemShared,
14149                             proto_perl->IMemParse,
14150                             proto_perl->IEnv,
14151                             proto_perl->IStdIO,
14152                             proto_perl->ILIO,
14153                             proto_perl->IDir,
14154                             proto_perl->ISock,
14155                             proto_perl->IProc);
14156 }
14157
14158 PerlInterpreter *
14159 perl_clone_using(PerlInterpreter *proto_perl, UV flags,
14160                  struct IPerlMem* ipM, struct IPerlMem* ipMS,
14161                  struct IPerlMem* ipMP, struct IPerlEnv* ipE,
14162                  struct IPerlStdIO* ipStd, struct IPerlLIO* ipLIO,
14163                  struct IPerlDir* ipD, struct IPerlSock* ipS,
14164                  struct IPerlProc* ipP)
14165 {
14166     /* XXX many of the string copies here can be optimized if they're
14167      * constants; they need to be allocated as common memory and just
14168      * their pointers copied. */
14169
14170     IV i;
14171     CLONE_PARAMS clone_params;
14172     CLONE_PARAMS* const param = &clone_params;
14173
14174     PerlInterpreter * const my_perl = (PerlInterpreter*)(*ipM->pMalloc)(ipM, sizeof(PerlInterpreter));
14175
14176     PERL_ARGS_ASSERT_PERL_CLONE_USING;
14177 #else           /* !PERL_IMPLICIT_SYS */
14178     IV i;
14179     CLONE_PARAMS clone_params;
14180     CLONE_PARAMS* param = &clone_params;
14181     PerlInterpreter * const my_perl = (PerlInterpreter*)PerlMem_malloc(sizeof(PerlInterpreter));
14182
14183     PERL_ARGS_ASSERT_PERL_CLONE;
14184 #endif          /* PERL_IMPLICIT_SYS */
14185
14186     /* for each stash, determine whether its objects should be cloned */
14187     S_visit(proto_perl, do_mark_cloneable_stash, SVt_PVHV, SVTYPEMASK);
14188     PERL_SET_THX(my_perl);
14189
14190 #ifdef DEBUGGING
14191     PoisonNew(my_perl, 1, PerlInterpreter);
14192     PL_op = NULL;
14193     PL_curcop = NULL;
14194     PL_defstash = NULL; /* may be used by perl malloc() */
14195     PL_markstack = 0;
14196     PL_scopestack = 0;
14197     PL_scopestack_name = 0;
14198     PL_savestack = 0;
14199     PL_savestack_ix = 0;
14200     PL_savestack_max = -1;
14201     PL_sig_pending = 0;
14202     PL_parser = NULL;
14203     Zero(&PL_debug_pad, 1, struct perl_debug_pad);
14204 #  ifdef DEBUG_LEAKING_SCALARS
14205     PL_sv_serial = (((UV)my_perl >> 2) & 0xfff) * 1000000;
14206 #  endif
14207 #else   /* !DEBUGGING */
14208     Zero(my_perl, 1, PerlInterpreter);
14209 #endif  /* DEBUGGING */
14210
14211 #ifdef PERL_IMPLICIT_SYS
14212     /* host pointers */
14213     PL_Mem              = ipM;
14214     PL_MemShared        = ipMS;
14215     PL_MemParse         = ipMP;
14216     PL_Env              = ipE;
14217     PL_StdIO            = ipStd;
14218     PL_LIO              = ipLIO;
14219     PL_Dir              = ipD;
14220     PL_Sock             = ipS;
14221     PL_Proc             = ipP;
14222 #endif          /* PERL_IMPLICIT_SYS */
14223
14224
14225     param->flags = flags;
14226     /* Nothing in the core code uses this, but we make it available to
14227        extensions (using mg_dup).  */
14228     param->proto_perl = proto_perl;
14229     /* Likely nothing will use this, but it is initialised to be consistent
14230        with Perl_clone_params_new().  */
14231     param->new_perl = my_perl;
14232     param->unreferenced = NULL;
14233
14234
14235     INIT_TRACK_MEMPOOL(my_perl->Imemory_debug_header, my_perl);
14236
14237     PL_body_arenas = NULL;
14238     Zero(&PL_body_roots, 1, PL_body_roots);
14239     
14240     PL_sv_count         = 0;
14241     PL_sv_root          = NULL;
14242     PL_sv_arenaroot     = NULL;
14243
14244     PL_debug            = proto_perl->Idebug;
14245
14246     /* dbargs array probably holds garbage */
14247     PL_dbargs           = NULL;
14248
14249     PL_compiling = proto_perl->Icompiling;
14250
14251     /* pseudo environmental stuff */
14252     PL_origargc         = proto_perl->Iorigargc;
14253     PL_origargv         = proto_perl->Iorigargv;
14254
14255 #ifndef NO_TAINT_SUPPORT
14256     /* Set tainting stuff before PerlIO_debug can possibly get called */
14257     PL_tainting         = proto_perl->Itainting;
14258     PL_taint_warn       = proto_perl->Itaint_warn;
14259 #else
14260     PL_tainting         = FALSE;
14261     PL_taint_warn       = FALSE;
14262 #endif
14263
14264     PL_minus_c          = proto_perl->Iminus_c;
14265
14266     PL_localpatches     = proto_perl->Ilocalpatches;
14267     PL_splitstr         = proto_perl->Isplitstr;
14268     PL_minus_n          = proto_perl->Iminus_n;
14269     PL_minus_p          = proto_perl->Iminus_p;
14270     PL_minus_l          = proto_perl->Iminus_l;
14271     PL_minus_a          = proto_perl->Iminus_a;
14272     PL_minus_E          = proto_perl->Iminus_E;
14273     PL_minus_F          = proto_perl->Iminus_F;
14274     PL_doswitches       = proto_perl->Idoswitches;
14275     PL_dowarn           = proto_perl->Idowarn;
14276     PL_sawalias         = proto_perl->Isawalias;
14277 #ifdef PERL_SAWAMPERSAND
14278     PL_sawampersand     = proto_perl->Isawampersand;
14279 #endif
14280     PL_unsafe           = proto_perl->Iunsafe;
14281     PL_perldb           = proto_perl->Iperldb;
14282     PL_perl_destruct_level = proto_perl->Iperl_destruct_level;
14283     PL_exit_flags       = proto_perl->Iexit_flags;
14284
14285     /* XXX time(&PL_basetime) when asked for? */
14286     PL_basetime         = proto_perl->Ibasetime;
14287
14288     PL_maxsysfd         = proto_perl->Imaxsysfd;
14289     PL_statusvalue      = proto_perl->Istatusvalue;
14290 #ifdef __VMS
14291     PL_statusvalue_vms  = proto_perl->Istatusvalue_vms;
14292 #else
14293     PL_statusvalue_posix = proto_perl->Istatusvalue_posix;
14294 #endif
14295
14296     /* RE engine related */
14297     PL_regmatch_slab    = NULL;
14298     PL_reg_curpm        = NULL;
14299
14300     PL_sub_generation   = proto_perl->Isub_generation;
14301
14302     /* funky return mechanisms */
14303     PL_forkprocess      = proto_perl->Iforkprocess;
14304
14305     /* internal state */
14306     PL_maxo             = proto_perl->Imaxo;
14307
14308     PL_main_start       = proto_perl->Imain_start;
14309     PL_eval_root        = proto_perl->Ieval_root;
14310     PL_eval_start       = proto_perl->Ieval_start;
14311
14312     PL_filemode         = proto_perl->Ifilemode;
14313     PL_lastfd           = proto_perl->Ilastfd;
14314     PL_oldname          = proto_perl->Ioldname;         /* XXX not quite right */
14315     PL_Argv             = NULL;
14316     PL_Cmd              = NULL;
14317     PL_gensym           = proto_perl->Igensym;
14318
14319     PL_laststatval      = proto_perl->Ilaststatval;
14320     PL_laststype        = proto_perl->Ilaststype;
14321     PL_mess_sv          = NULL;
14322
14323     PL_profiledata      = NULL;
14324
14325     PL_generation       = proto_perl->Igeneration;
14326
14327     PL_in_clean_objs    = proto_perl->Iin_clean_objs;
14328     PL_in_clean_all     = proto_perl->Iin_clean_all;
14329
14330     PL_delaymagic_uid   = proto_perl->Idelaymagic_uid;
14331     PL_delaymagic_euid  = proto_perl->Idelaymagic_euid;
14332     PL_delaymagic_gid   = proto_perl->Idelaymagic_gid;
14333     PL_delaymagic_egid  = proto_perl->Idelaymagic_egid;
14334     PL_nomemok          = proto_perl->Inomemok;
14335     PL_an               = proto_perl->Ian;
14336     PL_evalseq          = proto_perl->Ievalseq;
14337     PL_origenviron      = proto_perl->Iorigenviron;     /* XXX not quite right */
14338     PL_origalen         = proto_perl->Iorigalen;
14339
14340     PL_sighandlerp      = proto_perl->Isighandlerp;
14341
14342     PL_runops           = proto_perl->Irunops;
14343
14344     PL_subline          = proto_perl->Isubline;
14345
14346 #ifdef FCRYPT
14347     PL_cryptseen        = proto_perl->Icryptseen;
14348 #endif
14349
14350 #ifdef USE_LOCALE_COLLATE
14351     PL_collation_ix     = proto_perl->Icollation_ix;
14352     PL_collation_standard       = proto_perl->Icollation_standard;
14353     PL_collxfrm_base    = proto_perl->Icollxfrm_base;
14354     PL_collxfrm_mult    = proto_perl->Icollxfrm_mult;
14355 #endif /* USE_LOCALE_COLLATE */
14356
14357 #ifdef USE_LOCALE_NUMERIC
14358     PL_numeric_standard = proto_perl->Inumeric_standard;
14359     PL_numeric_local    = proto_perl->Inumeric_local;
14360 #endif /* !USE_LOCALE_NUMERIC */
14361
14362     /* Did the locale setup indicate UTF-8? */
14363     PL_utf8locale       = proto_perl->Iutf8locale;
14364     PL_in_utf8_CTYPE_locale = proto_perl->Iin_utf8_CTYPE_locale;
14365     /* Unicode features (see perlrun/-C) */
14366     PL_unicode          = proto_perl->Iunicode;
14367
14368     /* Pre-5.8 signals control */
14369     PL_signals          = proto_perl->Isignals;
14370
14371     /* times() ticks per second */
14372     PL_clocktick        = proto_perl->Iclocktick;
14373
14374     /* Recursion stopper for PerlIO_find_layer */
14375     PL_in_load_module   = proto_perl->Iin_load_module;
14376
14377     /* sort() routine */
14378     PL_sort_RealCmp     = proto_perl->Isort_RealCmp;
14379
14380     /* Not really needed/useful since the reenrant_retint is "volatile",
14381      * but do it for consistency's sake. */
14382     PL_reentrant_retint = proto_perl->Ireentrant_retint;
14383
14384     /* Hooks to shared SVs and locks. */
14385     PL_sharehook        = proto_perl->Isharehook;
14386     PL_lockhook         = proto_perl->Ilockhook;
14387     PL_unlockhook       = proto_perl->Iunlockhook;
14388     PL_threadhook       = proto_perl->Ithreadhook;
14389     PL_destroyhook      = proto_perl->Idestroyhook;
14390     PL_signalhook       = proto_perl->Isignalhook;
14391
14392     PL_globhook         = proto_perl->Iglobhook;
14393
14394     /* swatch cache */
14395     PL_last_swash_hv    = NULL; /* reinits on demand */
14396     PL_last_swash_klen  = 0;
14397     PL_last_swash_key[0]= '\0';
14398     PL_last_swash_tmps  = (U8*)NULL;
14399     PL_last_swash_slen  = 0;
14400
14401     PL_srand_called     = proto_perl->Isrand_called;
14402     Copy(&(proto_perl->Irandom_state), &PL_random_state, 1, PL_RANDOM_STATE_TYPE);
14403
14404     if (flags & CLONEf_COPY_STACKS) {
14405         /* next allocation will be PL_tmps_stack[PL_tmps_ix+1] */
14406         PL_tmps_ix              = proto_perl->Itmps_ix;
14407         PL_tmps_max             = proto_perl->Itmps_max;
14408         PL_tmps_floor           = proto_perl->Itmps_floor;
14409
14410         /* next push_scope()/ENTER sets PL_scopestack[PL_scopestack_ix]
14411          * NOTE: unlike the others! */
14412         PL_scopestack_ix        = proto_perl->Iscopestack_ix;
14413         PL_scopestack_max       = proto_perl->Iscopestack_max;
14414
14415         /* next SSPUSHFOO() sets PL_savestack[PL_savestack_ix]
14416          * NOTE: unlike the others! */
14417         PL_savestack_ix         = proto_perl->Isavestack_ix;
14418         PL_savestack_max        = proto_perl->Isavestack_max;
14419     }
14420
14421     PL_start_env        = proto_perl->Istart_env;       /* XXXXXX */
14422     PL_top_env          = &PL_start_env;
14423
14424     PL_op               = proto_perl->Iop;
14425
14426     PL_Sv               = NULL;
14427     PL_Xpv              = (XPV*)NULL;
14428     my_perl->Ina        = proto_perl->Ina;
14429
14430     PL_statbuf          = proto_perl->Istatbuf;
14431     PL_statcache        = proto_perl->Istatcache;
14432
14433 #ifndef NO_TAINT_SUPPORT
14434     PL_tainted          = proto_perl->Itainted;
14435 #else
14436     PL_tainted          = FALSE;
14437 #endif
14438     PL_curpm            = proto_perl->Icurpm;   /* XXX No PMOP ref count */
14439
14440     PL_chopset          = proto_perl->Ichopset; /* XXX never deallocated */
14441
14442     PL_restartjmpenv    = proto_perl->Irestartjmpenv;
14443     PL_restartop        = proto_perl->Irestartop;
14444     PL_in_eval          = proto_perl->Iin_eval;
14445     PL_delaymagic       = proto_perl->Idelaymagic;
14446     PL_phase            = proto_perl->Iphase;
14447     PL_localizing       = proto_perl->Ilocalizing;
14448
14449     PL_hv_fetch_ent_mh  = NULL;
14450     PL_modcount         = proto_perl->Imodcount;
14451     PL_lastgotoprobe    = NULL;
14452     PL_dumpindent       = proto_perl->Idumpindent;
14453
14454     PL_efloatbuf        = NULL;         /* reinits on demand */
14455     PL_efloatsize       = 0;                    /* reinits on demand */
14456
14457     /* regex stuff */
14458
14459     PL_colorset         = 0;            /* reinits PL_colors[] */
14460     /*PL_colors[6]      = {0,0,0,0,0,0};*/
14461
14462     /* Pluggable optimizer */
14463     PL_peepp            = proto_perl->Ipeepp;
14464     PL_rpeepp           = proto_perl->Irpeepp;
14465     /* op_free() hook */
14466     PL_opfreehook       = proto_perl->Iopfreehook;
14467
14468 #ifdef USE_REENTRANT_API
14469     /* XXX: things like -Dm will segfault here in perlio, but doing
14470      *  PERL_SET_CONTEXT(proto_perl);
14471      * breaks too many other things
14472      */
14473     Perl_reentrant_init(aTHX);
14474 #endif
14475
14476     /* create SV map for pointer relocation */
14477     PL_ptr_table = ptr_table_new();
14478
14479     /* initialize these special pointers as early as possible */
14480     init_constants();
14481     ptr_table_store(PL_ptr_table, &proto_perl->Isv_undef, &PL_sv_undef);
14482     ptr_table_store(PL_ptr_table, &proto_perl->Isv_no, &PL_sv_no);
14483     ptr_table_store(PL_ptr_table, &proto_perl->Isv_yes, &PL_sv_yes);
14484
14485     /* create (a non-shared!) shared string table */
14486     PL_strtab           = newHV();
14487     HvSHAREKEYS_off(PL_strtab);
14488     hv_ksplit(PL_strtab, HvTOTALKEYS(proto_perl->Istrtab));
14489     ptr_table_store(PL_ptr_table, proto_perl->Istrtab, PL_strtab);
14490
14491     Zero(PL_sv_consts, SV_CONSTS_COUNT, SV*);
14492
14493     /* This PV will be free'd special way so must set it same way op.c does */
14494     PL_compiling.cop_file    = savesharedpv(PL_compiling.cop_file);
14495     ptr_table_store(PL_ptr_table, proto_perl->Icompiling.cop_file, PL_compiling.cop_file);
14496
14497     ptr_table_store(PL_ptr_table, &proto_perl->Icompiling, &PL_compiling);
14498     PL_compiling.cop_warnings = DUP_WARNINGS(PL_compiling.cop_warnings);
14499     CopHINTHASH_set(&PL_compiling, cophh_copy(CopHINTHASH_get(&PL_compiling)));
14500     PL_curcop           = (COP*)any_dup(proto_perl->Icurcop, proto_perl);
14501
14502     param->stashes      = newAV();  /* Setup array of objects to call clone on */
14503     /* This makes no difference to the implementation, as it always pushes
14504        and shifts pointers to other SVs without changing their reference
14505        count, with the array becoming empty before it is freed. However, it
14506        makes it conceptually clear what is going on, and will avoid some
14507        work inside av.c, filling slots between AvFILL() and AvMAX() with
14508        &PL_sv_undef, and SvREFCNT_dec()ing those.  */
14509     AvREAL_off(param->stashes);
14510
14511     if (!(flags & CLONEf_COPY_STACKS)) {
14512         param->unreferenced = newAV();
14513     }
14514
14515 #ifdef PERLIO_LAYERS
14516     /* Clone PerlIO tables as soon as we can handle general xx_dup() */
14517     PerlIO_clone(aTHX_ proto_perl, param);
14518 #endif
14519
14520     PL_envgv            = gv_dup_inc(proto_perl->Ienvgv, param);
14521     PL_incgv            = gv_dup_inc(proto_perl->Iincgv, param);
14522     PL_hintgv           = gv_dup_inc(proto_perl->Ihintgv, param);
14523     PL_origfilename     = SAVEPV(proto_perl->Iorigfilename);
14524     PL_diehook          = sv_dup_inc(proto_perl->Idiehook, param);
14525     PL_warnhook         = sv_dup_inc(proto_perl->Iwarnhook, param);
14526
14527     /* switches */
14528     PL_patchlevel       = sv_dup_inc(proto_perl->Ipatchlevel, param);
14529     PL_apiversion       = sv_dup_inc(proto_perl->Iapiversion, param);
14530     PL_inplace          = SAVEPV(proto_perl->Iinplace);
14531     PL_e_script         = sv_dup_inc(proto_perl->Ie_script, param);
14532
14533     /* magical thingies */
14534
14535     PL_encoding         = sv_dup(proto_perl->Iencoding, param);
14536
14537     sv_setpvs(PERL_DEBUG_PAD(0), "");   /* For regex debugging. */
14538     sv_setpvs(PERL_DEBUG_PAD(1), "");   /* ext/re needs these */
14539     sv_setpvs(PERL_DEBUG_PAD(2), "");   /* even without DEBUGGING. */
14540
14541    
14542     /* Clone the regex array */
14543     /* ORANGE FIXME for plugins, probably in the SV dup code.
14544        newSViv(PTR2IV(CALLREGDUPE(
14545        INT2PTR(REGEXP *, SvIVX(regex)), param))))
14546     */
14547     PL_regex_padav = av_dup_inc(proto_perl->Iregex_padav, param);
14548     PL_regex_pad = AvARRAY(PL_regex_padav);
14549
14550     PL_stashpadmax      = proto_perl->Istashpadmax;
14551     PL_stashpadix       = proto_perl->Istashpadix ;
14552     Newx(PL_stashpad, PL_stashpadmax, HV *);
14553     {
14554         PADOFFSET o = 0;
14555         for (; o < PL_stashpadmax; ++o)
14556             PL_stashpad[o] = hv_dup(proto_perl->Istashpad[o], param);
14557     }
14558
14559     /* shortcuts to various I/O objects */
14560     PL_ofsgv            = gv_dup_inc(proto_perl->Iofsgv, param);
14561     PL_stdingv          = gv_dup(proto_perl->Istdingv, param);
14562     PL_stderrgv         = gv_dup(proto_perl->Istderrgv, param);
14563     PL_defgv            = gv_dup(proto_perl->Idefgv, param);
14564     PL_argvgv           = gv_dup_inc(proto_perl->Iargvgv, param);
14565     PL_argvoutgv        = gv_dup(proto_perl->Iargvoutgv, param);
14566     PL_argvout_stack    = av_dup_inc(proto_perl->Iargvout_stack, param);
14567
14568     /* shortcuts to regexp stuff */
14569     PL_replgv           = gv_dup_inc(proto_perl->Ireplgv, param);
14570
14571     /* shortcuts to misc objects */
14572     PL_errgv            = gv_dup(proto_perl->Ierrgv, param);
14573
14574     /* shortcuts to debugging objects */
14575     PL_DBgv             = gv_dup_inc(proto_perl->IDBgv, param);
14576     PL_DBline           = gv_dup_inc(proto_perl->IDBline, param);
14577     PL_DBsub            = gv_dup_inc(proto_perl->IDBsub, param);
14578     PL_DBsingle         = sv_dup(proto_perl->IDBsingle, param);
14579     PL_DBtrace          = sv_dup(proto_perl->IDBtrace, param);
14580     PL_DBsignal         = sv_dup(proto_perl->IDBsignal, param);
14581
14582     /* symbol tables */
14583     PL_defstash         = hv_dup_inc(proto_perl->Idefstash, param);
14584     PL_curstash         = hv_dup_inc(proto_perl->Icurstash, param);
14585     PL_debstash         = hv_dup(proto_perl->Idebstash, param);
14586     PL_globalstash      = hv_dup(proto_perl->Iglobalstash, param);
14587     PL_curstname        = sv_dup_inc(proto_perl->Icurstname, param);
14588
14589     PL_beginav          = av_dup_inc(proto_perl->Ibeginav, param);
14590     PL_beginav_save     = av_dup_inc(proto_perl->Ibeginav_save, param);
14591     PL_checkav_save     = av_dup_inc(proto_perl->Icheckav_save, param);
14592     PL_unitcheckav      = av_dup_inc(proto_perl->Iunitcheckav, param);
14593     PL_unitcheckav_save = av_dup_inc(proto_perl->Iunitcheckav_save, param);
14594     PL_endav            = av_dup_inc(proto_perl->Iendav, param);
14595     PL_checkav          = av_dup_inc(proto_perl->Icheckav, param);
14596     PL_initav           = av_dup_inc(proto_perl->Iinitav, param);
14597
14598     PL_isarev           = hv_dup_inc(proto_perl->Iisarev, param);
14599
14600     /* subprocess state */
14601     PL_fdpid            = av_dup_inc(proto_perl->Ifdpid, param);
14602
14603     if (proto_perl->Iop_mask)
14604         PL_op_mask      = SAVEPVN(proto_perl->Iop_mask, PL_maxo);
14605     else
14606         PL_op_mask      = NULL;
14607     /* PL_asserting        = proto_perl->Iasserting; */
14608
14609     /* current interpreter roots */
14610     PL_main_cv          = cv_dup_inc(proto_perl->Imain_cv, param);
14611     OP_REFCNT_LOCK;
14612     PL_main_root        = OpREFCNT_inc(proto_perl->Imain_root);
14613     OP_REFCNT_UNLOCK;
14614
14615     /* runtime control stuff */
14616     PL_curcopdb         = (COP*)any_dup(proto_perl->Icurcopdb, proto_perl);
14617
14618     PL_preambleav       = av_dup_inc(proto_perl->Ipreambleav, param);
14619
14620     PL_ors_sv           = sv_dup_inc(proto_perl->Iors_sv, param);
14621
14622     /* interpreter atexit processing */
14623     PL_exitlistlen      = proto_perl->Iexitlistlen;
14624     if (PL_exitlistlen) {
14625         Newx(PL_exitlist, PL_exitlistlen, PerlExitListEntry);
14626         Copy(proto_perl->Iexitlist, PL_exitlist, PL_exitlistlen, PerlExitListEntry);
14627     }
14628     else
14629         PL_exitlist     = (PerlExitListEntry*)NULL;
14630
14631     PL_my_cxt_size = proto_perl->Imy_cxt_size;
14632     if (PL_my_cxt_size) {
14633         Newx(PL_my_cxt_list, PL_my_cxt_size, void *);
14634         Copy(proto_perl->Imy_cxt_list, PL_my_cxt_list, PL_my_cxt_size, void *);
14635 #ifdef PERL_GLOBAL_STRUCT_PRIVATE
14636         Newx(PL_my_cxt_keys, PL_my_cxt_size, const char *);
14637         Copy(proto_perl->Imy_cxt_keys, PL_my_cxt_keys, PL_my_cxt_size, char *);
14638 #endif
14639     }
14640     else {
14641         PL_my_cxt_list  = (void**)NULL;
14642 #ifdef PERL_GLOBAL_STRUCT_PRIVATE
14643         PL_my_cxt_keys  = (const char**)NULL;
14644 #endif
14645     }
14646     PL_modglobal        = hv_dup_inc(proto_perl->Imodglobal, param);
14647     PL_custom_op_names  = hv_dup_inc(proto_perl->Icustom_op_names,param);
14648     PL_custom_op_descs  = hv_dup_inc(proto_perl->Icustom_op_descs,param);
14649     PL_custom_ops       = hv_dup_inc(proto_perl->Icustom_ops, param);
14650
14651     PL_compcv                   = cv_dup(proto_perl->Icompcv, param);
14652
14653     PAD_CLONE_VARS(proto_perl, param);
14654
14655 #ifdef HAVE_INTERP_INTERN
14656     sys_intern_dup(&proto_perl->Isys_intern, &PL_sys_intern);
14657 #endif
14658
14659     PL_DBcv             = cv_dup(proto_perl->IDBcv, param);
14660
14661 #ifdef PERL_USES_PL_PIDSTATUS
14662     PL_pidstatus        = newHV();                      /* XXX flag for cloning? */
14663 #endif
14664     PL_osname           = SAVEPV(proto_perl->Iosname);
14665     PL_parser           = parser_dup(proto_perl->Iparser, param);
14666
14667     /* XXX this only works if the saved cop has already been cloned */
14668     if (proto_perl->Iparser) {
14669         PL_parser->saved_curcop = (COP*)any_dup(
14670                                     proto_perl->Iparser->saved_curcop,
14671                                     proto_perl);
14672     }
14673
14674     PL_subname          = sv_dup_inc(proto_perl->Isubname, param);
14675
14676 #ifdef USE_LOCALE_COLLATE
14677     PL_collation_name   = SAVEPV(proto_perl->Icollation_name);
14678 #endif /* USE_LOCALE_COLLATE */
14679
14680 #ifdef USE_LOCALE_NUMERIC
14681     PL_numeric_name     = SAVEPV(proto_perl->Inumeric_name);
14682     PL_numeric_radix_sv = sv_dup_inc(proto_perl->Inumeric_radix_sv, param);
14683 #endif /* !USE_LOCALE_NUMERIC */
14684
14685     /* Unicode inversion lists */
14686     PL_Latin1           = sv_dup_inc(proto_perl->ILatin1, param);
14687     PL_UpperLatin1      = sv_dup_inc(proto_perl->IUpperLatin1, param);
14688     PL_AboveLatin1      = sv_dup_inc(proto_perl->IAboveLatin1, param);
14689     PL_InBitmap         = sv_dup_inc(proto_perl->IInBitmap, param);
14690
14691     PL_NonL1NonFinalFold = sv_dup_inc(proto_perl->INonL1NonFinalFold, param);
14692     PL_HasMultiCharFold = sv_dup_inc(proto_perl->IHasMultiCharFold, param);
14693
14694     /* utf8 character class swashes */
14695     for (i = 0; i < POSIX_SWASH_COUNT; i++) {
14696         PL_utf8_swash_ptrs[i] = sv_dup_inc(proto_perl->Iutf8_swash_ptrs[i], param);
14697     }
14698     for (i = 0; i < POSIX_CC_COUNT; i++) {
14699         PL_XPosix_ptrs[i] = sv_dup_inc(proto_perl->IXPosix_ptrs[i], param);
14700     }
14701     PL_utf8_mark        = sv_dup_inc(proto_perl->Iutf8_mark, param);
14702     PL_utf8_X_regular_begin     = sv_dup_inc(proto_perl->Iutf8_X_regular_begin, param);
14703     PL_utf8_X_extend    = sv_dup_inc(proto_perl->Iutf8_X_extend, param);
14704     PL_utf8_toupper     = sv_dup_inc(proto_perl->Iutf8_toupper, param);
14705     PL_utf8_totitle     = sv_dup_inc(proto_perl->Iutf8_totitle, param);
14706     PL_utf8_tolower     = sv_dup_inc(proto_perl->Iutf8_tolower, param);
14707     PL_utf8_tofold      = sv_dup_inc(proto_perl->Iutf8_tofold, param);
14708     PL_utf8_idstart     = sv_dup_inc(proto_perl->Iutf8_idstart, param);
14709     PL_utf8_xidstart    = sv_dup_inc(proto_perl->Iutf8_xidstart, param);
14710     PL_utf8_perl_idstart = sv_dup_inc(proto_perl->Iutf8_perl_idstart, param);
14711     PL_utf8_perl_idcont = sv_dup_inc(proto_perl->Iutf8_perl_idcont, param);
14712     PL_utf8_idcont      = sv_dup_inc(proto_perl->Iutf8_idcont, param);
14713     PL_utf8_xidcont     = sv_dup_inc(proto_perl->Iutf8_xidcont, param);
14714     PL_utf8_foldable    = sv_dup_inc(proto_perl->Iutf8_foldable, param);
14715     PL_utf8_charname_begin = sv_dup_inc(proto_perl->Iutf8_charname_begin, param);
14716     PL_utf8_charname_continue = sv_dup_inc(proto_perl->Iutf8_charname_continue, param);
14717
14718     if (proto_perl->Ipsig_pend) {
14719         Newxz(PL_psig_pend, SIG_SIZE, int);
14720     }
14721     else {
14722         PL_psig_pend    = (int*)NULL;
14723     }
14724
14725     if (proto_perl->Ipsig_name) {
14726         Newx(PL_psig_name, 2 * SIG_SIZE, SV*);
14727         sv_dup_inc_multiple(proto_perl->Ipsig_name, PL_psig_name, 2 * SIG_SIZE,
14728                             param);
14729         PL_psig_ptr = PL_psig_name + SIG_SIZE;
14730     }
14731     else {
14732         PL_psig_ptr     = (SV**)NULL;
14733         PL_psig_name    = (SV**)NULL;
14734     }
14735
14736     if (flags & CLONEf_COPY_STACKS) {
14737         Newx(PL_tmps_stack, PL_tmps_max, SV*);
14738         sv_dup_inc_multiple(proto_perl->Itmps_stack, PL_tmps_stack,
14739                             PL_tmps_ix+1, param);
14740
14741         /* next PUSHMARK() sets *(PL_markstack_ptr+1) */
14742         i = proto_perl->Imarkstack_max - proto_perl->Imarkstack;
14743         Newxz(PL_markstack, i, I32);
14744         PL_markstack_max        = PL_markstack + (proto_perl->Imarkstack_max
14745                                                   - proto_perl->Imarkstack);
14746         PL_markstack_ptr        = PL_markstack + (proto_perl->Imarkstack_ptr
14747                                                   - proto_perl->Imarkstack);
14748         Copy(proto_perl->Imarkstack, PL_markstack,
14749              PL_markstack_ptr - PL_markstack + 1, I32);
14750
14751         /* next push_scope()/ENTER sets PL_scopestack[PL_scopestack_ix]
14752          * NOTE: unlike the others! */
14753         Newxz(PL_scopestack, PL_scopestack_max, I32);
14754         Copy(proto_perl->Iscopestack, PL_scopestack, PL_scopestack_ix, I32);
14755
14756 #ifdef DEBUGGING
14757         Newxz(PL_scopestack_name, PL_scopestack_max, const char *);
14758         Copy(proto_perl->Iscopestack_name, PL_scopestack_name, PL_scopestack_ix, const char *);
14759 #endif
14760         /* reset stack AV to correct length before its duped via
14761          * PL_curstackinfo */
14762         AvFILLp(proto_perl->Icurstack) =
14763                             proto_perl->Istack_sp - proto_perl->Istack_base;
14764
14765         /* NOTE: si_dup() looks at PL_markstack */
14766         PL_curstackinfo         = si_dup(proto_perl->Icurstackinfo, param);
14767
14768         /* PL_curstack          = PL_curstackinfo->si_stack; */
14769         PL_curstack             = av_dup(proto_perl->Icurstack, param);
14770         PL_mainstack            = av_dup(proto_perl->Imainstack, param);
14771
14772         /* next PUSHs() etc. set *(PL_stack_sp+1) */
14773         PL_stack_base           = AvARRAY(PL_curstack);
14774         PL_stack_sp             = PL_stack_base + (proto_perl->Istack_sp
14775                                                    - proto_perl->Istack_base);
14776         PL_stack_max            = PL_stack_base + AvMAX(PL_curstack);
14777
14778         /*Newxz(PL_savestack, PL_savestack_max, ANY);*/
14779         PL_savestack            = ss_dup(proto_perl, param);
14780     }
14781     else {
14782         init_stacks();
14783         ENTER;                  /* perl_destruct() wants to LEAVE; */
14784     }
14785
14786     PL_statgv           = gv_dup(proto_perl->Istatgv, param);
14787     PL_statname         = sv_dup_inc(proto_perl->Istatname, param);
14788
14789     PL_rs               = sv_dup_inc(proto_perl->Irs, param);
14790     PL_last_in_gv       = gv_dup(proto_perl->Ilast_in_gv, param);
14791     PL_defoutgv         = gv_dup_inc(proto_perl->Idefoutgv, param);
14792     PL_toptarget        = sv_dup_inc(proto_perl->Itoptarget, param);
14793     PL_bodytarget       = sv_dup_inc(proto_perl->Ibodytarget, param);
14794     PL_formtarget       = sv_dup(proto_perl->Iformtarget, param);
14795
14796     PL_errors           = sv_dup_inc(proto_perl->Ierrors, param);
14797
14798     PL_sortcop          = (OP*)any_dup(proto_perl->Isortcop, proto_perl);
14799     PL_firstgv          = gv_dup_inc(proto_perl->Ifirstgv, param);
14800     PL_secondgv         = gv_dup_inc(proto_perl->Isecondgv, param);
14801
14802     PL_stashcache       = newHV();
14803
14804     PL_watchaddr        = (char **) ptr_table_fetch(PL_ptr_table,
14805                                             proto_perl->Iwatchaddr);
14806     PL_watchok          = PL_watchaddr ? * PL_watchaddr : NULL;
14807     if (PL_debug && PL_watchaddr) {
14808         PerlIO_printf(Perl_debug_log,
14809           "WATCHING: %"UVxf" cloned as %"UVxf" with value %"UVxf"\n",
14810           PTR2UV(proto_perl->Iwatchaddr), PTR2UV(PL_watchaddr),
14811           PTR2UV(PL_watchok));
14812     }
14813
14814     PL_registered_mros  = hv_dup_inc(proto_perl->Iregistered_mros, param);
14815     PL_blockhooks       = av_dup_inc(proto_perl->Iblockhooks, param);
14816     PL_utf8_foldclosures = hv_dup_inc(proto_perl->Iutf8_foldclosures, param);
14817
14818     /* Call the ->CLONE method, if it exists, for each of the stashes
14819        identified by sv_dup() above.
14820     */
14821     while(av_tindex(param->stashes) != -1) {
14822         HV* const stash = MUTABLE_HV(av_shift(param->stashes));
14823         GV* const cloner = gv_fetchmethod_autoload(stash, "CLONE", 0);
14824         if (cloner && GvCV(cloner)) {
14825             dSP;
14826             ENTER;
14827             SAVETMPS;
14828             PUSHMARK(SP);
14829             mXPUSHs(newSVhek(HvNAME_HEK(stash)));
14830             PUTBACK;
14831             call_sv(MUTABLE_SV(GvCV(cloner)), G_DISCARD);
14832             FREETMPS;
14833             LEAVE;
14834         }
14835     }
14836
14837     if (!(flags & CLONEf_KEEP_PTR_TABLE)) {
14838         ptr_table_free(PL_ptr_table);
14839         PL_ptr_table = NULL;
14840     }
14841
14842     if (!(flags & CLONEf_COPY_STACKS)) {
14843         unreferenced_to_tmp_stack(param->unreferenced);
14844     }
14845
14846     SvREFCNT_dec(param->stashes);
14847
14848     /* orphaned? eg threads->new inside BEGIN or use */
14849     if (PL_compcv && ! SvREFCNT(PL_compcv)) {
14850         SvREFCNT_inc_simple_void(PL_compcv);
14851         SAVEFREESV(PL_compcv);
14852     }
14853
14854     return my_perl;
14855 }
14856
14857 static void
14858 S_unreferenced_to_tmp_stack(pTHX_ AV *const unreferenced)
14859 {
14860     PERL_ARGS_ASSERT_UNREFERENCED_TO_TMP_STACK;
14861     
14862     if (AvFILLp(unreferenced) > -1) {
14863         SV **svp = AvARRAY(unreferenced);
14864         SV **const last = svp + AvFILLp(unreferenced);
14865         SSize_t count = 0;
14866
14867         do {
14868             if (SvREFCNT(*svp) == 1)
14869                 ++count;
14870         } while (++svp <= last);
14871
14872         EXTEND_MORTAL(count);
14873         svp = AvARRAY(unreferenced);
14874
14875         do {
14876             if (SvREFCNT(*svp) == 1) {
14877                 /* Our reference is the only one to this SV. This means that
14878                    in this thread, the scalar effectively has a 0 reference.
14879                    That doesn't work (cleanup never happens), so donate our
14880                    reference to it onto the save stack. */
14881                 PL_tmps_stack[++PL_tmps_ix] = *svp;
14882             } else {
14883                 /* As an optimisation, because we are already walking the
14884                    entire array, instead of above doing either
14885                    SvREFCNT_inc(*svp) or *svp = &PL_sv_undef, we can instead
14886                    release our reference to the scalar, so that at the end of
14887                    the array owns zero references to the scalars it happens to
14888                    point to. We are effectively converting the array from
14889                    AvREAL() on to AvREAL() off. This saves the av_clear()
14890                    (triggered by the SvREFCNT_dec(unreferenced) below) from
14891                    walking the array a second time.  */
14892                 SvREFCNT_dec(*svp);
14893             }
14894
14895         } while (++svp <= last);
14896         AvREAL_off(unreferenced);
14897     }
14898     SvREFCNT_dec_NN(unreferenced);
14899 }
14900
14901 void
14902 Perl_clone_params_del(CLONE_PARAMS *param)
14903 {
14904     /* This seemingly funky ordering keeps the build with PERL_GLOBAL_STRUCT
14905        happy: */
14906     PerlInterpreter *const to = param->new_perl;
14907     dTHXa(to);
14908     PerlInterpreter *const was = PERL_GET_THX;
14909
14910     PERL_ARGS_ASSERT_CLONE_PARAMS_DEL;
14911
14912     if (was != to) {
14913         PERL_SET_THX(to);
14914     }
14915
14916     SvREFCNT_dec(param->stashes);
14917     if (param->unreferenced)
14918         unreferenced_to_tmp_stack(param->unreferenced);
14919
14920     Safefree(param);
14921
14922     if (was != to) {
14923         PERL_SET_THX(was);
14924     }
14925 }
14926
14927 CLONE_PARAMS *
14928 Perl_clone_params_new(PerlInterpreter *const from, PerlInterpreter *const to)
14929 {
14930     dVAR;
14931     /* Need to play this game, as newAV() can call safesysmalloc(), and that
14932        does a dTHX; to get the context from thread local storage.
14933        FIXME - under PERL_CORE Newx(), Safefree() and friends should expand to
14934        a version that passes in my_perl.  */
14935     PerlInterpreter *const was = PERL_GET_THX;
14936     CLONE_PARAMS *param;
14937
14938     PERL_ARGS_ASSERT_CLONE_PARAMS_NEW;
14939
14940     if (was != to) {
14941         PERL_SET_THX(to);
14942     }
14943
14944     /* Given that we've set the context, we can do this unshared.  */
14945     Newx(param, 1, CLONE_PARAMS);
14946
14947     param->flags = 0;
14948     param->proto_perl = from;
14949     param->new_perl = to;
14950     param->stashes = (AV *)Perl_newSV_type(to, SVt_PVAV);
14951     AvREAL_off(param->stashes);
14952     param->unreferenced = (AV *)Perl_newSV_type(to, SVt_PVAV);
14953
14954     if (was != to) {
14955         PERL_SET_THX(was);
14956     }
14957     return param;
14958 }
14959
14960 #endif /* USE_ITHREADS */
14961
14962 void
14963 Perl_init_constants(pTHX)
14964 {
14965     SvREFCNT(&PL_sv_undef)      = SvREFCNT_IMMORTAL;
14966     SvFLAGS(&PL_sv_undef)       = SVf_READONLY|SVf_PROTECT|SVt_NULL;
14967     SvANY(&PL_sv_undef)         = NULL;
14968
14969     SvANY(&PL_sv_no)            = new_XPVNV();
14970     SvREFCNT(&PL_sv_no)         = SvREFCNT_IMMORTAL;
14971     SvFLAGS(&PL_sv_no)          = SVt_PVNV|SVf_READONLY|SVf_PROTECT
14972                                   |SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
14973                                   |SVp_POK|SVf_POK;
14974
14975     SvANY(&PL_sv_yes)           = new_XPVNV();
14976     SvREFCNT(&PL_sv_yes)        = SvREFCNT_IMMORTAL;
14977     SvFLAGS(&PL_sv_yes)         = SVt_PVNV|SVf_READONLY|SVf_PROTECT
14978                                   |SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
14979                                   |SVp_POK|SVf_POK;
14980
14981     SvPV_set(&PL_sv_no, (char*)PL_No);
14982     SvCUR_set(&PL_sv_no, 0);
14983     SvLEN_set(&PL_sv_no, 0);
14984     SvIV_set(&PL_sv_no, 0);
14985     SvNV_set(&PL_sv_no, 0);
14986
14987     SvPV_set(&PL_sv_yes, (char*)PL_Yes);
14988     SvCUR_set(&PL_sv_yes, 1);
14989     SvLEN_set(&PL_sv_yes, 0);
14990     SvIV_set(&PL_sv_yes, 1);
14991     SvNV_set(&PL_sv_yes, 1);
14992 }
14993
14994 /*
14995 =head1 Unicode Support
14996
14997 =for apidoc sv_recode_to_utf8
14998
14999 The encoding is assumed to be an Encode object, on entry the PV
15000 of the sv is assumed to be octets in that encoding, and the sv
15001 will be converted into Unicode (and UTF-8).
15002
15003 If the sv already is UTF-8 (or if it is not POK), or if the encoding
15004 is not a reference, nothing is done to the sv.  If the encoding is not
15005 an C<Encode::XS> Encoding object, bad things will happen.
15006 (See F<lib/encoding.pm> and L<Encode>.)
15007
15008 The PV of the sv is returned.
15009
15010 =cut */
15011
15012 char *
15013 Perl_sv_recode_to_utf8(pTHX_ SV *sv, SV *encoding)
15014 {
15015     PERL_ARGS_ASSERT_SV_RECODE_TO_UTF8;
15016
15017     if (SvPOK(sv) && !SvUTF8(sv) && !IN_BYTES && SvROK(encoding)) {
15018         SV *uni;
15019         STRLEN len;
15020         const char *s;
15021         dSP;
15022         SV *nsv = sv;
15023         ENTER;
15024         PUSHSTACK;
15025         SAVETMPS;
15026         if (SvPADTMP(nsv)) {
15027             nsv = sv_newmortal();
15028             SvSetSV_nosteal(nsv, sv);
15029         }
15030         PUSHMARK(sp);
15031         EXTEND(SP, 3);
15032         PUSHs(encoding);
15033         PUSHs(nsv);
15034 /*
15035   NI-S 2002/07/09
15036   Passing sv_yes is wrong - it needs to be or'ed set of constants
15037   for Encode::XS, while UTf-8 decode (currently) assumes a true value means
15038   remove converted chars from source.
15039
15040   Both will default the value - let them.
15041
15042         XPUSHs(&PL_sv_yes);
15043 */
15044         PUTBACK;
15045         call_method("decode", G_SCALAR);
15046         SPAGAIN;
15047         uni = POPs;
15048         PUTBACK;
15049         s = SvPV_const(uni, len);
15050         if (s != SvPVX_const(sv)) {
15051             SvGROW(sv, len + 1);
15052             Move(s, SvPVX(sv), len + 1, char);
15053             SvCUR_set(sv, len);
15054         }
15055         FREETMPS;
15056         POPSTACK;
15057         LEAVE;
15058         if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
15059             /* clear pos and any utf8 cache */
15060             MAGIC * mg = mg_find(sv, PERL_MAGIC_regex_global);
15061             if (mg)
15062                 mg->mg_len = -1;
15063             if ((mg = mg_find(sv, PERL_MAGIC_utf8)))
15064                 magic_setutf8(sv,mg); /* clear UTF8 cache */
15065         }
15066         SvUTF8_on(sv);
15067         return SvPVX(sv);
15068     }
15069     return SvPOKp(sv) ? SvPVX(sv) : NULL;
15070 }
15071
15072 /*
15073 =for apidoc sv_cat_decode
15074
15075 The encoding is assumed to be an Encode object, the PV of the ssv is
15076 assumed to be octets in that encoding and decoding the input starts
15077 from the position which (PV + *offset) pointed to.  The dsv will be
15078 concatenated the decoded UTF-8 string from ssv.  Decoding will terminate
15079 when the string tstr appears in decoding output or the input ends on
15080 the PV of the ssv.  The value which the offset points will be modified
15081 to the last input position on the ssv.
15082
15083 Returns TRUE if the terminator was found, else returns FALSE.
15084
15085 =cut */
15086
15087 bool
15088 Perl_sv_cat_decode(pTHX_ SV *dsv, SV *encoding,
15089                    SV *ssv, int *offset, char *tstr, int tlen)
15090 {
15091     bool ret = FALSE;
15092
15093     PERL_ARGS_ASSERT_SV_CAT_DECODE;
15094
15095     if (SvPOK(ssv) && SvPOK(dsv) && SvROK(encoding) && offset) {
15096         SV *offsv;
15097         dSP;
15098         ENTER;
15099         SAVETMPS;
15100         PUSHMARK(sp);
15101         EXTEND(SP, 6);
15102         PUSHs(encoding);
15103         PUSHs(dsv);
15104         PUSHs(ssv);
15105         offsv = newSViv(*offset);
15106         mPUSHs(offsv);
15107         mPUSHp(tstr, tlen);
15108         PUTBACK;
15109         call_method("cat_decode", G_SCALAR);
15110         SPAGAIN;
15111         ret = SvTRUE(TOPs);
15112         *offset = SvIV(offsv);
15113         PUTBACK;
15114         FREETMPS;
15115         LEAVE;
15116     }
15117     else
15118         Perl_croak(aTHX_ "Invalid argument to sv_cat_decode");
15119     return ret;
15120
15121 }
15122
15123 /* ---------------------------------------------------------------------
15124  *
15125  * support functions for report_uninit()
15126  */
15127
15128 /* the maxiumum size of array or hash where we will scan looking
15129  * for the undefined element that triggered the warning */
15130
15131 #define FUV_MAX_SEARCH_SIZE 1000
15132
15133 /* Look for an entry in the hash whose value has the same SV as val;
15134  * If so, return a mortal copy of the key. */
15135
15136 STATIC SV*
15137 S_find_hash_subscript(pTHX_ const HV *const hv, const SV *const val)
15138 {
15139     dVAR;
15140     HE **array;
15141     I32 i;
15142
15143     PERL_ARGS_ASSERT_FIND_HASH_SUBSCRIPT;
15144
15145     if (!hv || SvMAGICAL(hv) || !HvARRAY(hv) ||
15146                         (HvTOTALKEYS(hv) > FUV_MAX_SEARCH_SIZE))
15147         return NULL;
15148
15149     array = HvARRAY(hv);
15150
15151     for (i=HvMAX(hv); i>=0; i--) {
15152         HE *entry;
15153         for (entry = array[i]; entry; entry = HeNEXT(entry)) {
15154             if (HeVAL(entry) != val)
15155                 continue;
15156             if (    HeVAL(entry) == &PL_sv_undef ||
15157                     HeVAL(entry) == &PL_sv_placeholder)
15158                 continue;
15159             if (!HeKEY(entry))
15160                 return NULL;
15161             if (HeKLEN(entry) == HEf_SVKEY)
15162                 return sv_mortalcopy(HeKEY_sv(entry));
15163             return sv_2mortal(newSVhek(HeKEY_hek(entry)));
15164         }
15165     }
15166     return NULL;
15167 }
15168
15169 /* Look for an entry in the array whose value has the same SV as val;
15170  * If so, return the index, otherwise return -1. */
15171
15172 STATIC I32
15173 S_find_array_subscript(pTHX_ const AV *const av, const SV *const val)
15174 {
15175     PERL_ARGS_ASSERT_FIND_ARRAY_SUBSCRIPT;
15176
15177     if (!av || SvMAGICAL(av) || !AvARRAY(av) ||
15178                         (AvFILLp(av) > FUV_MAX_SEARCH_SIZE))
15179         return -1;
15180
15181     if (val != &PL_sv_undef) {
15182         SV ** const svp = AvARRAY(av);
15183         I32 i;
15184
15185         for (i=AvFILLp(av); i>=0; i--)
15186             if (svp[i] == val)
15187                 return i;
15188     }
15189     return -1;
15190 }
15191
15192 /* varname(): return the name of a variable, optionally with a subscript.
15193  * If gv is non-zero, use the name of that global, along with gvtype (one
15194  * of "$", "@", "%"); otherwise use the name of the lexical at pad offset
15195  * targ.  Depending on the value of the subscript_type flag, return:
15196  */
15197
15198 #define FUV_SUBSCRIPT_NONE      1       /* "@foo"          */
15199 #define FUV_SUBSCRIPT_ARRAY     2       /* "$foo[aindex]"  */
15200 #define FUV_SUBSCRIPT_HASH      3       /* "$foo{keyname}" */
15201 #define FUV_SUBSCRIPT_WITHIN    4       /* "within @foo"   */
15202
15203 SV*
15204 Perl_varname(pTHX_ const GV *const gv, const char gvtype, PADOFFSET targ,
15205         const SV *const keyname, I32 aindex, int subscript_type)
15206 {
15207
15208     SV * const name = sv_newmortal();
15209     if (gv && isGV(gv)) {
15210         char buffer[2];
15211         buffer[0] = gvtype;
15212         buffer[1] = 0;
15213
15214         /* as gv_fullname4(), but add literal '^' for $^FOO names  */
15215
15216         gv_fullname4(name, gv, buffer, 0);
15217
15218         if ((unsigned int)SvPVX(name)[1] <= 26) {
15219             buffer[0] = '^';
15220             buffer[1] = SvPVX(name)[1] + 'A' - 1;
15221
15222             /* Swap the 1 unprintable control character for the 2 byte pretty
15223                version - ie substr($name, 1, 1) = $buffer; */
15224             sv_insert(name, 1, 1, buffer, 2);
15225         }
15226     }
15227     else {
15228         CV * const cv = gv ? ((CV *)gv) : find_runcv(NULL);
15229         SV *sv;
15230         AV *av;
15231
15232         assert(!cv || SvTYPE(cv) == SVt_PVCV || SvTYPE(cv) == SVt_PVFM);
15233
15234         if (!cv || !CvPADLIST(cv))
15235             return NULL;
15236         av = *PadlistARRAY(CvPADLIST(cv));
15237         sv = *av_fetch(av, targ, FALSE);
15238         sv_setsv_flags(name, sv, 0);
15239     }
15240
15241     if (subscript_type == FUV_SUBSCRIPT_HASH) {
15242         SV * const sv = newSV(0);
15243         *SvPVX(name) = '$';
15244         Perl_sv_catpvf(aTHX_ name, "{%s}",
15245             pv_pretty(sv, SvPVX_const(keyname), SvCUR(keyname), 32, NULL, NULL,
15246                     PERL_PV_PRETTY_DUMP | PERL_PV_ESCAPE_UNI_DETECT ));
15247         SvREFCNT_dec_NN(sv);
15248     }
15249     else if (subscript_type == FUV_SUBSCRIPT_ARRAY) {
15250         *SvPVX(name) = '$';
15251         Perl_sv_catpvf(aTHX_ name, "[%"IVdf"]", (IV)aindex);
15252     }
15253     else if (subscript_type == FUV_SUBSCRIPT_WITHIN) {
15254         /* We know that name has no magic, so can use 0 instead of SV_GMAGIC */
15255         Perl_sv_insert_flags(aTHX_ name, 0, 0,  STR_WITH_LEN("within "), 0);
15256     }
15257
15258     return name;
15259 }
15260
15261
15262 /*
15263 =for apidoc find_uninit_var
15264
15265 Find the name of the undefined variable (if any) that caused the operator
15266 to issue a "Use of uninitialized value" warning.
15267 If match is true, only return a name if its value matches uninit_sv.
15268 So roughly speaking, if a unary operator (such as OP_COS) generates a
15269 warning, then following the direct child of the op may yield an
15270 OP_PADSV or OP_GV that gives the name of the undefined variable.  On the
15271 other hand, with OP_ADD there are two branches to follow, so we only print
15272 the variable name if we get an exact match.
15273
15274 The name is returned as a mortal SV.
15275
15276 Assumes that PL_op is the op that originally triggered the error, and that
15277 PL_comppad/PL_curpad points to the currently executing pad.
15278
15279 =cut
15280 */
15281
15282 STATIC SV *
15283 S_find_uninit_var(pTHX_ const OP *const obase, const SV *const uninit_sv,
15284                   bool match)
15285 {
15286     dVAR;
15287     SV *sv;
15288     const GV *gv;
15289     const OP *o, *o2, *kid;
15290
15291     if (!obase || (match && (!uninit_sv || uninit_sv == &PL_sv_undef ||
15292                             uninit_sv == &PL_sv_placeholder)))
15293         return NULL;
15294
15295     switch (obase->op_type) {
15296
15297     case OP_RV2AV:
15298     case OP_RV2HV:
15299     case OP_PADAV:
15300     case OP_PADHV:
15301       {
15302         const bool pad  = (    obase->op_type == OP_PADAV
15303                             || obase->op_type == OP_PADHV
15304                             || obase->op_type == OP_PADRANGE
15305                           );
15306
15307         const bool hash = (    obase->op_type == OP_PADHV
15308                             || obase->op_type == OP_RV2HV
15309                             || (obase->op_type == OP_PADRANGE
15310                                 && SvTYPE(PAD_SVl(obase->op_targ)) == SVt_PVHV)
15311                           );
15312         I32 index = 0;
15313         SV *keysv = NULL;
15314         int subscript_type = FUV_SUBSCRIPT_WITHIN;
15315
15316         if (pad) { /* @lex, %lex */
15317             sv = PAD_SVl(obase->op_targ);
15318             gv = NULL;
15319         }
15320         else {
15321             if (cUNOPx(obase)->op_first->op_type == OP_GV) {
15322             /* @global, %global */
15323                 gv = cGVOPx_gv(cUNOPx(obase)->op_first);
15324                 if (!gv)
15325                     break;
15326                 sv = hash ? MUTABLE_SV(GvHV(gv)): MUTABLE_SV(GvAV(gv));
15327             }
15328             else if (obase == PL_op) /* @{expr}, %{expr} */
15329                 return find_uninit_var(cUNOPx(obase)->op_first,
15330                                                     uninit_sv, match);
15331             else /* @{expr}, %{expr} as a sub-expression */
15332                 return NULL;
15333         }
15334
15335         /* attempt to find a match within the aggregate */
15336         if (hash) {
15337             keysv = find_hash_subscript((const HV*)sv, uninit_sv);
15338             if (keysv)
15339                 subscript_type = FUV_SUBSCRIPT_HASH;
15340         }
15341         else {
15342             index = find_array_subscript((const AV *)sv, uninit_sv);
15343             if (index >= 0)
15344                 subscript_type = FUV_SUBSCRIPT_ARRAY;
15345         }
15346
15347         if (match && subscript_type == FUV_SUBSCRIPT_WITHIN)
15348             break;
15349
15350         return varname(gv, hash ? '%' : '@', obase->op_targ,
15351                                     keysv, index, subscript_type);
15352       }
15353
15354     case OP_RV2SV:
15355         if (cUNOPx(obase)->op_first->op_type == OP_GV) {
15356             /* $global */
15357             gv = cGVOPx_gv(cUNOPx(obase)->op_first);
15358             if (!gv || !GvSTASH(gv))
15359                 break;
15360             if (match && (GvSV(gv) != uninit_sv))
15361                 break;
15362             return varname(gv, '$', 0, NULL, 0, FUV_SUBSCRIPT_NONE);
15363         }
15364         /* ${expr} */
15365         return find_uninit_var(cUNOPx(obase)->op_first, uninit_sv, 1);
15366
15367     case OP_PADSV:
15368         if (match && PAD_SVl(obase->op_targ) != uninit_sv)
15369             break;
15370         return varname(NULL, '$', obase->op_targ,
15371                                     NULL, 0, FUV_SUBSCRIPT_NONE);
15372
15373     case OP_GVSV:
15374         gv = cGVOPx_gv(obase);
15375         if (!gv || (match && GvSV(gv) != uninit_sv) || !GvSTASH(gv))
15376             break;
15377         return varname(gv, '$', 0, NULL, 0, FUV_SUBSCRIPT_NONE);
15378
15379     case OP_AELEMFAST_LEX:
15380         if (match) {
15381             SV **svp;
15382             AV *av = MUTABLE_AV(PAD_SV(obase->op_targ));
15383             if (!av || SvRMAGICAL(av))
15384                 break;
15385             svp = av_fetch(av, (I8)obase->op_private, FALSE);
15386             if (!svp || *svp != uninit_sv)
15387                 break;
15388         }
15389         return varname(NULL, '$', obase->op_targ,
15390                        NULL, (I8)obase->op_private, FUV_SUBSCRIPT_ARRAY);
15391     case OP_AELEMFAST:
15392         {
15393             gv = cGVOPx_gv(obase);
15394             if (!gv)
15395                 break;
15396             if (match) {
15397                 SV **svp;
15398                 AV *const av = GvAV(gv);
15399                 if (!av || SvRMAGICAL(av))
15400                     break;
15401                 svp = av_fetch(av, (I8)obase->op_private, FALSE);
15402                 if (!svp || *svp != uninit_sv)
15403                     break;
15404             }
15405             return varname(gv, '$', 0,
15406                     NULL, (I8)obase->op_private, FUV_SUBSCRIPT_ARRAY);
15407         }
15408         NOT_REACHED; /* NOTREACHED */
15409
15410     case OP_EXISTS:
15411         o = cUNOPx(obase)->op_first;
15412         if (!o || o->op_type != OP_NULL ||
15413                 ! (o->op_targ == OP_AELEM || o->op_targ == OP_HELEM))
15414             break;
15415         return find_uninit_var(cBINOPo->op_last, uninit_sv, match);
15416
15417     case OP_AELEM:
15418     case OP_HELEM:
15419     {
15420         bool negate = FALSE;
15421
15422         if (PL_op == obase)
15423             /* $a[uninit_expr] or $h{uninit_expr} */
15424             return find_uninit_var(cBINOPx(obase)->op_last, uninit_sv, match);
15425
15426         gv = NULL;
15427         o = cBINOPx(obase)->op_first;
15428         kid = cBINOPx(obase)->op_last;
15429
15430         /* get the av or hv, and optionally the gv */
15431         sv = NULL;
15432         if  (o->op_type == OP_PADAV || o->op_type == OP_PADHV) {
15433             sv = PAD_SV(o->op_targ);
15434         }
15435         else if ((o->op_type == OP_RV2AV || o->op_type == OP_RV2HV)
15436                 && cUNOPo->op_first->op_type == OP_GV)
15437         {
15438             gv = cGVOPx_gv(cUNOPo->op_first);
15439             if (!gv)
15440                 break;
15441             sv = o->op_type
15442                 == OP_RV2HV ? MUTABLE_SV(GvHV(gv)) : MUTABLE_SV(GvAV(gv));
15443         }
15444         if (!sv)
15445             break;
15446
15447         if (kid && kid->op_type == OP_NEGATE) {
15448             negate = TRUE;
15449             kid = cUNOPx(kid)->op_first;
15450         }
15451
15452         if (kid && kid->op_type == OP_CONST && SvOK(cSVOPx_sv(kid))) {
15453             /* index is constant */
15454             SV* kidsv;
15455             if (negate) {
15456                 kidsv = sv_2mortal(newSVpvs("-"));
15457                 sv_catsv(kidsv, cSVOPx_sv(kid));
15458             }
15459             else
15460                 kidsv = cSVOPx_sv(kid);
15461             if (match) {
15462                 if (SvMAGICAL(sv))
15463                     break;
15464                 if (obase->op_type == OP_HELEM) {
15465                     HE* he = hv_fetch_ent(MUTABLE_HV(sv), kidsv, 0, 0);
15466                     if (!he || HeVAL(he) != uninit_sv)
15467                         break;
15468                 }
15469                 else {
15470                     SV * const  opsv = cSVOPx_sv(kid);
15471                     const IV  opsviv = SvIV(opsv);
15472                     SV * const * const svp = av_fetch(MUTABLE_AV(sv),
15473                         negate ? - opsviv : opsviv,
15474                         FALSE);
15475                     if (!svp || *svp != uninit_sv)
15476                         break;
15477                 }
15478             }
15479             if (obase->op_type == OP_HELEM)
15480                 return varname(gv, '%', o->op_targ,
15481                             kidsv, 0, FUV_SUBSCRIPT_HASH);
15482             else
15483                 return varname(gv, '@', o->op_targ, NULL,
15484                     negate ? - SvIV(cSVOPx_sv(kid)) : SvIV(cSVOPx_sv(kid)),
15485                     FUV_SUBSCRIPT_ARRAY);
15486         }
15487         else  {
15488             /* index is an expression;
15489              * attempt to find a match within the aggregate */
15490             if (obase->op_type == OP_HELEM) {
15491                 SV * const keysv = find_hash_subscript((const HV*)sv, uninit_sv);
15492                 if (keysv)
15493                     return varname(gv, '%', o->op_targ,
15494                                                 keysv, 0, FUV_SUBSCRIPT_HASH);
15495             }
15496             else {
15497                 const I32 index
15498                     = find_array_subscript((const AV *)sv, uninit_sv);
15499                 if (index >= 0)
15500                     return varname(gv, '@', o->op_targ,
15501                                         NULL, index, FUV_SUBSCRIPT_ARRAY);
15502             }
15503             if (match)
15504                 break;
15505             return varname(gv,
15506                 (o->op_type == OP_PADAV || o->op_type == OP_RV2AV)
15507                 ? '@' : '%',
15508                 o->op_targ, NULL, 0, FUV_SUBSCRIPT_WITHIN);
15509         }
15510         NOT_REACHED; /* NOTREACHED */
15511     }
15512
15513     case OP_AASSIGN:
15514         /* only examine RHS */
15515         return find_uninit_var(cBINOPx(obase)->op_first, uninit_sv, match);
15516
15517     case OP_OPEN:
15518         o = cUNOPx(obase)->op_first;
15519         if (   o->op_type == OP_PUSHMARK
15520            || (o->op_type == OP_NULL && o->op_targ == OP_PUSHMARK)
15521         )
15522             o = OP_SIBLING(o);
15523
15524         if (!OP_HAS_SIBLING(o)) {
15525             /* one-arg version of open is highly magical */
15526
15527             if (o->op_type == OP_GV) { /* open FOO; */
15528                 gv = cGVOPx_gv(o);
15529                 if (match && GvSV(gv) != uninit_sv)
15530                     break;
15531                 return varname(gv, '$', 0,
15532                             NULL, 0, FUV_SUBSCRIPT_NONE);
15533             }
15534             /* other possibilities not handled are:
15535              * open $x; or open my $x;  should return '${*$x}'
15536              * open expr;               should return '$'.expr ideally
15537              */
15538              break;
15539         }
15540         goto do_op;
15541
15542     /* ops where $_ may be an implicit arg */
15543     case OP_TRANS:
15544     case OP_TRANSR:
15545     case OP_SUBST:
15546     case OP_MATCH:
15547         if ( !(obase->op_flags & OPf_STACKED)) {
15548             if (uninit_sv == ((obase->op_private & OPpTARGET_MY)
15549                                  ? PAD_SVl(obase->op_targ)
15550                                  : DEFSV))
15551             {
15552                 sv = sv_newmortal();
15553                 sv_setpvs(sv, "$_");
15554                 return sv;
15555             }
15556         }
15557         goto do_op;
15558
15559     case OP_PRTF:
15560     case OP_PRINT:
15561     case OP_SAY:
15562         match = 1; /* print etc can return undef on defined args */
15563         /* skip filehandle as it can't produce 'undef' warning  */
15564         o = cUNOPx(obase)->op_first;
15565         if ((obase->op_flags & OPf_STACKED)
15566             &&
15567                (   o->op_type == OP_PUSHMARK
15568                || (o->op_type == OP_NULL && o->op_targ == OP_PUSHMARK)))
15569             o = OP_SIBLING(OP_SIBLING(o));
15570         goto do_op2;
15571
15572
15573     case OP_ENTEREVAL: /* could be eval $undef or $x='$undef'; eval $x */
15574     case OP_CUSTOM: /* XS or custom code could trigger random warnings */
15575
15576         /* the following ops are capable of returning PL_sv_undef even for
15577          * defined arg(s) */
15578
15579     case OP_BACKTICK:
15580     case OP_PIPE_OP:
15581     case OP_FILENO:
15582     case OP_BINMODE:
15583     case OP_TIED:
15584     case OP_GETC:
15585     case OP_SYSREAD:
15586     case OP_SEND:
15587     case OP_IOCTL:
15588     case OP_SOCKET:
15589     case OP_SOCKPAIR:
15590     case OP_BIND:
15591     case OP_CONNECT:
15592     case OP_LISTEN:
15593     case OP_ACCEPT:
15594     case OP_SHUTDOWN:
15595     case OP_SSOCKOPT:
15596     case OP_GETPEERNAME:
15597     case OP_FTRREAD:
15598     case OP_FTRWRITE:
15599     case OP_FTREXEC:
15600     case OP_FTROWNED:
15601     case OP_FTEREAD:
15602     case OP_FTEWRITE:
15603     case OP_FTEEXEC:
15604     case OP_FTEOWNED:
15605     case OP_FTIS:
15606     case OP_FTZERO:
15607     case OP_FTSIZE:
15608     case OP_FTFILE:
15609     case OP_FTDIR:
15610     case OP_FTLINK:
15611     case OP_FTPIPE:
15612     case OP_FTSOCK:
15613     case OP_FTBLK:
15614     case OP_FTCHR:
15615     case OP_FTTTY:
15616     case OP_FTSUID:
15617     case OP_FTSGID:
15618     case OP_FTSVTX:
15619     case OP_FTTEXT:
15620     case OP_FTBINARY:
15621     case OP_FTMTIME:
15622     case OP_FTATIME:
15623     case OP_FTCTIME:
15624     case OP_READLINK:
15625     case OP_OPEN_DIR:
15626     case OP_READDIR:
15627     case OP_TELLDIR:
15628     case OP_SEEKDIR:
15629     case OP_REWINDDIR:
15630     case OP_CLOSEDIR:
15631     case OP_GMTIME:
15632     case OP_ALARM:
15633     case OP_SEMGET:
15634     case OP_GETLOGIN:
15635     case OP_UNDEF:
15636     case OP_SUBSTR:
15637     case OP_AEACH:
15638     case OP_EACH:
15639     case OP_SORT:
15640     case OP_CALLER:
15641     case OP_DOFILE:
15642     case OP_PROTOTYPE:
15643     case OP_NCMP:
15644     case OP_SMARTMATCH:
15645     case OP_UNPACK:
15646     case OP_SYSOPEN:
15647     case OP_SYSSEEK:
15648         match = 1;
15649         goto do_op;
15650
15651     case OP_ENTERSUB:
15652     case OP_GOTO:
15653         /* XXX tmp hack: these two may call an XS sub, and currently
15654           XS subs don't have a SUB entry on the context stack, so CV and
15655           pad determination goes wrong, and BAD things happen. So, just
15656           don't try to determine the value under those circumstances.
15657           Need a better fix at dome point. DAPM 11/2007 */
15658         break;
15659
15660     case OP_FLIP:
15661     case OP_FLOP:
15662     {
15663         GV * const gv = gv_fetchpvs(".", GV_NOTQUAL, SVt_PV);
15664         if (gv && GvSV(gv) == uninit_sv)
15665             return newSVpvs_flags("$.", SVs_TEMP);
15666         goto do_op;
15667     }
15668
15669     case OP_POS:
15670         /* def-ness of rval pos() is independent of the def-ness of its arg */
15671         if ( !(obase->op_flags & OPf_MOD))
15672             break;
15673
15674     case OP_SCHOMP:
15675     case OP_CHOMP:
15676         if (SvROK(PL_rs) && uninit_sv == SvRV(PL_rs))
15677             return newSVpvs_flags("${$/}", SVs_TEMP);
15678         /* FALLTHROUGH */
15679
15680     default:
15681     do_op:
15682         if (!(obase->op_flags & OPf_KIDS))
15683             break;
15684         o = cUNOPx(obase)->op_first;
15685         
15686     do_op2:
15687         if (!o)
15688             break;
15689
15690         /* This loop checks all the kid ops, skipping any that cannot pos-
15691          * sibly be responsible for the uninitialized value; i.e., defined
15692          * constants and ops that return nothing.  If there is only one op
15693          * left that is not skipped, then we *know* it is responsible for
15694          * the uninitialized value.  If there is more than one op left, we
15695          * have to look for an exact match in the while() loop below.
15696          * Note that we skip padrange, because the individual pad ops that
15697          * it replaced are still in the tree, so we work on them instead.
15698          */
15699         o2 = NULL;
15700         for (kid=o; kid; kid = OP_SIBLING(kid)) {
15701             const OPCODE type = kid->op_type;
15702             if ( (type == OP_CONST && SvOK(cSVOPx_sv(kid)))
15703               || (type == OP_NULL  && ! (kid->op_flags & OPf_KIDS))
15704               || (type == OP_PUSHMARK)
15705               || (type == OP_PADRANGE)
15706             )
15707             continue;
15708
15709             if (o2) { /* more than one found */
15710                 o2 = NULL;
15711                 break;
15712             }
15713             o2 = kid;
15714         }
15715         if (o2)
15716             return find_uninit_var(o2, uninit_sv, match);
15717
15718         /* scan all args */
15719         while (o) {
15720             sv = find_uninit_var(o, uninit_sv, 1);
15721             if (sv)
15722                 return sv;
15723             o = OP_SIBLING(o);
15724         }
15725         break;
15726     }
15727     return NULL;
15728 }
15729
15730
15731 /*
15732 =for apidoc report_uninit
15733
15734 Print appropriate "Use of uninitialized variable" warning.
15735
15736 =cut
15737 */
15738
15739 void
15740 Perl_report_uninit(pTHX_ const SV *uninit_sv)
15741 {
15742     if (PL_op) {
15743         SV* varname = NULL;
15744         if (uninit_sv && PL_curpad) {
15745             varname = find_uninit_var(PL_op, uninit_sv,0);
15746             if (varname)
15747                 sv_insert(varname, 0, 0, " ", 1);
15748         }
15749         /* PL_warn_uninit_sv is constant */
15750         GCC_DIAG_IGNORE(-Wformat-nonliteral);
15751         /* diag_listed_as: Use of uninitialized value%s */
15752         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit_sv,
15753                 SVfARG(varname ? varname : &PL_sv_no),
15754                 " in ", OP_DESC(PL_op));
15755         GCC_DIAG_RESTORE;
15756     }
15757     else {
15758         /* PL_warn_uninit is constant */
15759         GCC_DIAG_IGNORE(-Wformat-nonliteral);
15760         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit,
15761                     "", "", "");
15762         GCC_DIAG_RESTORE;
15763     }
15764 }
15765
15766 /*
15767  * Local variables:
15768  * c-indentation-style: bsd
15769  * c-basic-offset: 4
15770  * indent-tabs-mode: nil
15771  * End:
15772  *
15773  * ex: set ts=8 sts=4 sw=4 et:
15774  */