This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
Fix recent double free in S_parse_gv_stash_name()
[perl5.git] / sv.c
1 /*    sv.c
2  *
3  *    Copyright (C) 1991, 1992, 1993, 1994, 1995, 1996, 1997, 1998, 1999, 2000,
4  *    2001, 2002, 2003, 2004, 2005, 2006, 2007, 2008, 2009 by Larry Wall
5  *    and others
6  *
7  *    You may distribute under the terms of either the GNU General Public
8  *    License or the Artistic License, as specified in the README file.
9  *
10  */
11
12 /*
13  * 'I wonder what the Entish is for "yes" and "no",' he thought.
14  *                                                      --Pippin
15  *
16  *     [p.480 of _The Lord of the Rings_, III/iv: "Treebeard"]
17  */
18
19 /*
20  *
21  *
22  * This file contains the code that creates, manipulates and destroys
23  * scalar values (SVs). The other types (AV, HV, GV, etc.) reuse the
24  * structure of an SV, so their creation and destruction is handled
25  * here; higher-level functions are in av.c, hv.c, and so on. Opcode
26  * level functions (eg. substr, split, join) for each of the types are
27  * in the pp*.c files.
28  */
29
30 #include "EXTERN.h"
31 #define PERL_IN_SV_C
32 #include "perl.h"
33 #include "regcomp.h"
34 #ifdef __VMS
35 # include <rms.h>
36 #endif
37
38 #ifdef __Lynx__
39 /* Missing proto on LynxOS */
40   char *gconvert(double, int, int,  char *);
41 #endif
42
43 #ifdef USE_QUADMATH
44 #  define SNPRINTF_G(nv, buffer, size, ndig) \
45     quadmath_snprintf(buffer, size, "%.*Qg", (int)ndig, (NV)(nv))
46 #else
47 #  define SNPRINTF_G(nv, buffer, size, ndig) \
48     PERL_UNUSED_RESULT(Gconvert((NV)(nv), (int)ndig, 0, buffer))
49 #endif
50
51 #ifndef SV_COW_THRESHOLD
52 #    define SV_COW_THRESHOLD                    0   /* COW iff len > K */
53 #endif
54 #ifndef SV_COWBUF_THRESHOLD
55 #    define SV_COWBUF_THRESHOLD                 1250 /* COW iff len > K */
56 #endif
57 #ifndef SV_COW_MAX_WASTE_THRESHOLD
58 #    define SV_COW_MAX_WASTE_THRESHOLD          80   /* COW iff (len - cur) < K */
59 #endif
60 #ifndef SV_COWBUF_WASTE_THRESHOLD
61 #    define SV_COWBUF_WASTE_THRESHOLD           80   /* COW iff (len - cur) < K */
62 #endif
63 #ifndef SV_COW_MAX_WASTE_FACTOR_THRESHOLD
64 #    define SV_COW_MAX_WASTE_FACTOR_THRESHOLD   2    /* COW iff len < (cur * K) */
65 #endif
66 #ifndef SV_COWBUF_WASTE_FACTOR_THRESHOLD
67 #    define SV_COWBUF_WASTE_FACTOR_THRESHOLD    2    /* COW iff len < (cur * K) */
68 #endif
69 /* Work around compiler warnings about unsigned >= THRESHOLD when thres-
70    hold is 0. */
71 #if SV_COW_THRESHOLD
72 # define GE_COW_THRESHOLD(cur) ((cur) >= SV_COW_THRESHOLD)
73 #else
74 # define GE_COW_THRESHOLD(cur) 1
75 #endif
76 #if SV_COWBUF_THRESHOLD
77 # define GE_COWBUF_THRESHOLD(cur) ((cur) >= SV_COWBUF_THRESHOLD)
78 #else
79 # define GE_COWBUF_THRESHOLD(cur) 1
80 #endif
81 #if SV_COW_MAX_WASTE_THRESHOLD
82 # define GE_COW_MAX_WASTE_THRESHOLD(cur,len) (((len)-(cur)) < SV_COW_MAX_WASTE_THRESHOLD)
83 #else
84 # define GE_COW_MAX_WASTE_THRESHOLD(cur,len) 1
85 #endif
86 #if SV_COWBUF_WASTE_THRESHOLD
87 # define GE_COWBUF_WASTE_THRESHOLD(cur,len) (((len)-(cur)) < SV_COWBUF_WASTE_THRESHOLD)
88 #else
89 # define GE_COWBUF_WASTE_THRESHOLD(cur,len) 1
90 #endif
91 #if SV_COW_MAX_WASTE_FACTOR_THRESHOLD
92 # define GE_COW_MAX_WASTE_FACTOR_THRESHOLD(cur,len) ((len) < SV_COW_MAX_WASTE_FACTOR_THRESHOLD * (cur))
93 #else
94 # define GE_COW_MAX_WASTE_FACTOR_THRESHOLD(cur,len) 1
95 #endif
96 #if SV_COWBUF_WASTE_FACTOR_THRESHOLD
97 # define GE_COWBUF_WASTE_FACTOR_THRESHOLD(cur,len) ((len) < SV_COWBUF_WASTE_FACTOR_THRESHOLD * (cur))
98 #else
99 # define GE_COWBUF_WASTE_FACTOR_THRESHOLD(cur,len) 1
100 #endif
101
102 #define CHECK_COW_THRESHOLD(cur,len) (\
103     GE_COW_THRESHOLD((cur)) && \
104     GE_COW_MAX_WASTE_THRESHOLD((cur),(len)) && \
105     GE_COW_MAX_WASTE_FACTOR_THRESHOLD((cur),(len)) \
106 )
107 #define CHECK_COWBUF_THRESHOLD(cur,len) (\
108     GE_COWBUF_THRESHOLD((cur)) && \
109     GE_COWBUF_WASTE_THRESHOLD((cur),(len)) && \
110     GE_COWBUF_WASTE_FACTOR_THRESHOLD((cur),(len)) \
111 )
112
113 #ifdef PERL_UTF8_CACHE_ASSERT
114 /* if adding more checks watch out for the following tests:
115  *   t/op/index.t t/op/length.t t/op/pat.t t/op/substr.t
116  *   lib/utf8.t lib/Unicode/Collate/t/index.t
117  * --jhi
118  */
119 #   define ASSERT_UTF8_CACHE(cache) \
120     STMT_START { if (cache) { assert((cache)[0] <= (cache)[1]); \
121                               assert((cache)[2] <= (cache)[3]); \
122                               assert((cache)[3] <= (cache)[1]);} \
123                               } STMT_END
124 #else
125 #   define ASSERT_UTF8_CACHE(cache) NOOP
126 #endif
127
128 static const char S_destroy[] = "DESTROY";
129 #define S_destroy_len (sizeof(S_destroy)-1)
130
131 /* ============================================================================
132
133 =head1 Allocation and deallocation of SVs.
134
135 An SV (or AV, HV, etc.) is allocated in two parts: the head (struct
136 sv, av, hv...) contains type and reference count information, and for
137 many types, a pointer to the body (struct xrv, xpv, xpviv...), which
138 contains fields specific to each type.  Some types store all they need
139 in the head, so don't have a body.
140
141 In all but the most memory-paranoid configurations (ex: PURIFY), heads
142 and bodies are allocated out of arenas, which by default are
143 approximately 4K chunks of memory parcelled up into N heads or bodies.
144 Sv-bodies are allocated by their sv-type, guaranteeing size
145 consistency needed to allocate safely from arrays.
146
147 For SV-heads, the first slot in each arena is reserved, and holds a
148 link to the next arena, some flags, and a note of the number of slots.
149 Snaked through each arena chain is a linked list of free items; when
150 this becomes empty, an extra arena is allocated and divided up into N
151 items which are threaded into the free list.
152
153 SV-bodies are similar, but they use arena-sets by default, which
154 separate the link and info from the arena itself, and reclaim the 1st
155 slot in the arena.  SV-bodies are further described later.
156
157 The following global variables are associated with arenas:
158
159  PL_sv_arenaroot     pointer to list of SV arenas
160  PL_sv_root          pointer to list of free SV structures
161
162  PL_body_arenas      head of linked-list of body arenas
163  PL_body_roots[]     array of pointers to list of free bodies of svtype
164                      arrays are indexed by the svtype needed
165
166 A few special SV heads are not allocated from an arena, but are
167 instead directly created in the interpreter structure, eg PL_sv_undef.
168 The size of arenas can be changed from the default by setting
169 PERL_ARENA_SIZE appropriately at compile time.
170
171 The SV arena serves the secondary purpose of allowing still-live SVs
172 to be located and destroyed during final cleanup.
173
174 At the lowest level, the macros new_SV() and del_SV() grab and free
175 an SV head.  (If debugging with -DD, del_SV() calls the function S_del_sv()
176 to return the SV to the free list with error checking.) new_SV() calls
177 more_sv() / sv_add_arena() to add an extra arena if the free list is empty.
178 SVs in the free list have their SvTYPE field set to all ones.
179
180 At the time of very final cleanup, sv_free_arenas() is called from
181 perl_destruct() to physically free all the arenas allocated since the
182 start of the interpreter.
183
184 The function visit() scans the SV arenas list, and calls a specified
185 function for each SV it finds which is still live - ie which has an SvTYPE
186 other than all 1's, and a non-zero SvREFCNT. visit() is used by the
187 following functions (specified as [function that calls visit()] / [function
188 called by visit() for each SV]):
189
190     sv_report_used() / do_report_used()
191                         dump all remaining SVs (debugging aid)
192
193     sv_clean_objs() / do_clean_objs(),do_clean_named_objs(),
194                       do_clean_named_io_objs(),do_curse()
195                         Attempt to free all objects pointed to by RVs,
196                         try to do the same for all objects indir-
197                         ectly referenced by typeglobs too, and
198                         then do a final sweep, cursing any
199                         objects that remain.  Called once from
200                         perl_destruct(), prior to calling sv_clean_all()
201                         below.
202
203     sv_clean_all() / do_clean_all()
204                         SvREFCNT_dec(sv) each remaining SV, possibly
205                         triggering an sv_free(). It also sets the
206                         SVf_BREAK flag on the SV to indicate that the
207                         refcnt has been artificially lowered, and thus
208                         stopping sv_free() from giving spurious warnings
209                         about SVs which unexpectedly have a refcnt
210                         of zero.  called repeatedly from perl_destruct()
211                         until there are no SVs left.
212
213 =head2 Arena allocator API Summary
214
215 Private API to rest of sv.c
216
217     new_SV(),  del_SV(),
218
219     new_XPVNV(), del_XPVGV(),
220     etc
221
222 Public API:
223
224     sv_report_used(), sv_clean_objs(), sv_clean_all(), sv_free_arenas()
225
226 =cut
227
228  * ========================================================================= */
229
230 /*
231  * "A time to plant, and a time to uproot what was planted..."
232  */
233
234 #ifdef PERL_MEM_LOG
235 #  define MEM_LOG_NEW_SV(sv, file, line, func)  \
236             Perl_mem_log_new_sv(sv, file, line, func)
237 #  define MEM_LOG_DEL_SV(sv, file, line, func)  \
238             Perl_mem_log_del_sv(sv, file, line, func)
239 #else
240 #  define MEM_LOG_NEW_SV(sv, file, line, func)  NOOP
241 #  define MEM_LOG_DEL_SV(sv, file, line, func)  NOOP
242 #endif
243
244 #ifdef DEBUG_LEAKING_SCALARS
245 #  define FREE_SV_DEBUG_FILE(sv) STMT_START { \
246         if ((sv)->sv_debug_file) PerlMemShared_free((sv)->sv_debug_file); \
247     } STMT_END
248 #  define DEBUG_SV_SERIAL(sv)                                               \
249     DEBUG_m(PerlIO_printf(Perl_debug_log, "0x%" UVxf ": (%05ld) del_SV\n",    \
250             PTR2UV(sv), (long)(sv)->sv_debug_serial))
251 #else
252 #  define FREE_SV_DEBUG_FILE(sv)
253 #  define DEBUG_SV_SERIAL(sv)   NOOP
254 #endif
255
256 #ifdef PERL_POISON
257 #  define SvARENA_CHAIN(sv)     ((sv)->sv_u.svu_rv)
258 #  define SvARENA_CHAIN_SET(sv,val)     (sv)->sv_u.svu_rv = MUTABLE_SV((val))
259 /* Whilst I'd love to do this, it seems that things like to check on
260    unreferenced scalars
261 #  define POISON_SV_HEAD(sv)    PoisonNew(sv, 1, struct STRUCT_SV)
262 */
263 #  define POISON_SV_HEAD(sv)    PoisonNew(&SvANY(sv), 1, void *), \
264                                 PoisonNew(&SvREFCNT(sv), 1, U32)
265 #else
266 #  define SvARENA_CHAIN(sv)     SvANY(sv)
267 #  define SvARENA_CHAIN_SET(sv,val)     SvANY(sv) = (void *)(val)
268 #  define POISON_SV_HEAD(sv)
269 #endif
270
271 /* Mark an SV head as unused, and add to free list.
272  *
273  * If SVf_BREAK is set, skip adding it to the free list, as this SV had
274  * its refcount artificially decremented during global destruction, so
275  * there may be dangling pointers to it. The last thing we want in that
276  * case is for it to be reused. */
277
278 #define plant_SV(p) \
279     STMT_START {                                        \
280         const U32 old_flags = SvFLAGS(p);                       \
281         MEM_LOG_DEL_SV(p, __FILE__, __LINE__, FUNCTION__);  \
282         DEBUG_SV_SERIAL(p);                             \
283         FREE_SV_DEBUG_FILE(p);                          \
284         POISON_SV_HEAD(p);                              \
285         SvFLAGS(p) = SVTYPEMASK;                        \
286         if (!(old_flags & SVf_BREAK)) {         \
287             SvARENA_CHAIN_SET(p, PL_sv_root);   \
288             PL_sv_root = (p);                           \
289         }                                               \
290         --PL_sv_count;                                  \
291     } STMT_END
292
293 #define uproot_SV(p) \
294     STMT_START {                                        \
295         (p) = PL_sv_root;                               \
296         PL_sv_root = MUTABLE_SV(SvARENA_CHAIN(p));              \
297         ++PL_sv_count;                                  \
298     } STMT_END
299
300
301 /* make some more SVs by adding another arena */
302
303 STATIC SV*
304 S_more_sv(pTHX)
305 {
306     SV* sv;
307     char *chunk;                /* must use New here to match call to */
308     Newx(chunk,PERL_ARENA_SIZE,char);  /* Safefree() in sv_free_arenas() */
309     sv_add_arena(chunk, PERL_ARENA_SIZE, 0);
310     uproot_SV(sv);
311     return sv;
312 }
313
314 /* new_SV(): return a new, empty SV head */
315
316 #ifdef DEBUG_LEAKING_SCALARS
317 /* provide a real function for a debugger to play with */
318 STATIC SV*
319 S_new_SV(pTHX_ const char *file, int line, const char *func)
320 {
321     SV* sv;
322
323     if (PL_sv_root)
324         uproot_SV(sv);
325     else
326         sv = S_more_sv(aTHX);
327     SvANY(sv) = 0;
328     SvREFCNT(sv) = 1;
329     SvFLAGS(sv) = 0;
330     sv->sv_debug_optype = PL_op ? PL_op->op_type : 0;
331     sv->sv_debug_line = (U16) (PL_parser && PL_parser->copline != NOLINE
332                 ? PL_parser->copline
333                 :  PL_curcop
334                     ? CopLINE(PL_curcop)
335                     : 0
336             );
337     sv->sv_debug_inpad = 0;
338     sv->sv_debug_parent = NULL;
339     sv->sv_debug_file = PL_curcop ? savesharedpv(CopFILE(PL_curcop)): NULL;
340
341     sv->sv_debug_serial = PL_sv_serial++;
342
343     MEM_LOG_NEW_SV(sv, file, line, func);
344     DEBUG_m(PerlIO_printf(Perl_debug_log, "0x%" UVxf ": (%05ld) new_SV (from %s:%d [%s])\n",
345             PTR2UV(sv), (long)sv->sv_debug_serial, file, line, func));
346
347     return sv;
348 }
349 #  define new_SV(p) (p)=S_new_SV(aTHX_ __FILE__, __LINE__, FUNCTION__)
350
351 #else
352 #  define new_SV(p) \
353     STMT_START {                                        \
354         if (PL_sv_root)                                 \
355             uproot_SV(p);                               \
356         else                                            \
357             (p) = S_more_sv(aTHX);                      \
358         SvANY(p) = 0;                                   \
359         SvREFCNT(p) = 1;                                \
360         SvFLAGS(p) = 0;                                 \
361         MEM_LOG_NEW_SV(p, __FILE__, __LINE__, FUNCTION__);  \
362     } STMT_END
363 #endif
364
365
366 /* del_SV(): return an empty SV head to the free list */
367
368 #ifdef DEBUGGING
369
370 #define del_SV(p) \
371     STMT_START {                                        \
372         if (DEBUG_D_TEST)                               \
373             del_sv(p);                                  \
374         else                                            \
375             plant_SV(p);                                \
376     } STMT_END
377
378 STATIC void
379 S_del_sv(pTHX_ SV *p)
380 {
381     PERL_ARGS_ASSERT_DEL_SV;
382
383     if (DEBUG_D_TEST) {
384         SV* sva;
385         bool ok = 0;
386         for (sva = PL_sv_arenaroot; sva; sva = MUTABLE_SV(SvANY(sva))) {
387             const SV * const sv = sva + 1;
388             const SV * const svend = &sva[SvREFCNT(sva)];
389             if (p >= sv && p < svend) {
390                 ok = 1;
391                 break;
392             }
393         }
394         if (!ok) {
395             Perl_ck_warner_d(aTHX_ packWARN(WARN_INTERNAL),
396                              "Attempt to free non-arena SV: 0x%" UVxf
397                              pTHX__FORMAT, PTR2UV(p) pTHX__VALUE);
398             return;
399         }
400     }
401     plant_SV(p);
402 }
403
404 #else /* ! DEBUGGING */
405
406 #define del_SV(p)   plant_SV(p)
407
408 #endif /* DEBUGGING */
409
410
411 /*
412 =head1 SV Manipulation Functions
413
414 =for apidoc sv_add_arena
415
416 Given a chunk of memory, link it to the head of the list of arenas,
417 and split it into a list of free SVs.
418
419 =cut
420 */
421
422 static void
423 S_sv_add_arena(pTHX_ char *const ptr, const U32 size, const U32 flags)
424 {
425     SV *const sva = MUTABLE_SV(ptr);
426     SV* sv;
427     SV* svend;
428
429     PERL_ARGS_ASSERT_SV_ADD_ARENA;
430
431     /* The first SV in an arena isn't an SV. */
432     SvANY(sva) = (void *) PL_sv_arenaroot;              /* ptr to next arena */
433     SvREFCNT(sva) = size / sizeof(SV);          /* number of SV slots */
434     SvFLAGS(sva) = flags;                       /* FAKE if not to be freed */
435
436     PL_sv_arenaroot = sva;
437     PL_sv_root = sva + 1;
438
439     svend = &sva[SvREFCNT(sva) - 1];
440     sv = sva + 1;
441     while (sv < svend) {
442         SvARENA_CHAIN_SET(sv, (sv + 1));
443 #ifdef DEBUGGING
444         SvREFCNT(sv) = 0;
445 #endif
446         /* Must always set typemask because it's always checked in on cleanup
447            when the arenas are walked looking for objects.  */
448         SvFLAGS(sv) = SVTYPEMASK;
449         sv++;
450     }
451     SvARENA_CHAIN_SET(sv, 0);
452 #ifdef DEBUGGING
453     SvREFCNT(sv) = 0;
454 #endif
455     SvFLAGS(sv) = SVTYPEMASK;
456 }
457
458 /* visit(): call the named function for each non-free SV in the arenas
459  * whose flags field matches the flags/mask args. */
460
461 STATIC I32
462 S_visit(pTHX_ SVFUNC_t f, const U32 flags, const U32 mask)
463 {
464     SV* sva;
465     I32 visited = 0;
466
467     PERL_ARGS_ASSERT_VISIT;
468
469     for (sva = PL_sv_arenaroot; sva; sva = MUTABLE_SV(SvANY(sva))) {
470         const SV * const svend = &sva[SvREFCNT(sva)];
471         SV* sv;
472         for (sv = sva + 1; sv < svend; ++sv) {
473             if (SvTYPE(sv) != (svtype)SVTYPEMASK
474                     && (sv->sv_flags & mask) == flags
475                     && SvREFCNT(sv))
476             {
477                 (*f)(aTHX_ sv);
478                 ++visited;
479             }
480         }
481     }
482     return visited;
483 }
484
485 #ifdef DEBUGGING
486
487 /* called by sv_report_used() for each live SV */
488
489 static void
490 do_report_used(pTHX_ SV *const sv)
491 {
492     if (SvTYPE(sv) != (svtype)SVTYPEMASK) {
493         PerlIO_printf(Perl_debug_log, "****\n");
494         sv_dump(sv);
495     }
496 }
497 #endif
498
499 /*
500 =for apidoc sv_report_used
501
502 Dump the contents of all SVs not yet freed (debugging aid).
503
504 =cut
505 */
506
507 void
508 Perl_sv_report_used(pTHX)
509 {
510 #ifdef DEBUGGING
511     visit(do_report_used, 0, 0);
512 #else
513     PERL_UNUSED_CONTEXT;
514 #endif
515 }
516
517 /* called by sv_clean_objs() for each live SV */
518
519 static void
520 do_clean_objs(pTHX_ SV *const ref)
521 {
522     assert (SvROK(ref));
523     {
524         SV * const target = SvRV(ref);
525         if (SvOBJECT(target)) {
526             DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning object ref:\n "), sv_dump(ref)));
527             if (SvWEAKREF(ref)) {
528                 sv_del_backref(target, ref);
529                 SvWEAKREF_off(ref);
530                 SvRV_set(ref, NULL);
531             } else {
532                 SvROK_off(ref);
533                 SvRV_set(ref, NULL);
534                 SvREFCNT_dec_NN(target);
535             }
536         }
537     }
538 }
539
540
541 /* clear any slots in a GV which hold objects - except IO;
542  * called by sv_clean_objs() for each live GV */
543
544 static void
545 do_clean_named_objs(pTHX_ SV *const sv)
546 {
547     SV *obj;
548     assert(SvTYPE(sv) == SVt_PVGV);
549     assert(isGV_with_GP(sv));
550     if (!GvGP(sv))
551         return;
552
553     /* freeing GP entries may indirectly free the current GV;
554      * hold onto it while we mess with the GP slots */
555     SvREFCNT_inc(sv);
556
557     if ( ((obj = GvSV(sv) )) && SvOBJECT(obj)) {
558         DEBUG_D((PerlIO_printf(Perl_debug_log,
559                 "Cleaning named glob SV object:\n "), sv_dump(obj)));
560         GvSV(sv) = NULL;
561         SvREFCNT_dec_NN(obj);
562     }
563     if ( ((obj = MUTABLE_SV(GvAV(sv)) )) && SvOBJECT(obj)) {
564         DEBUG_D((PerlIO_printf(Perl_debug_log,
565                 "Cleaning named glob AV object:\n "), sv_dump(obj)));
566         GvAV(sv) = NULL;
567         SvREFCNT_dec_NN(obj);
568     }
569     if ( ((obj = MUTABLE_SV(GvHV(sv)) )) && SvOBJECT(obj)) {
570         DEBUG_D((PerlIO_printf(Perl_debug_log,
571                 "Cleaning named glob HV object:\n "), sv_dump(obj)));
572         GvHV(sv) = NULL;
573         SvREFCNT_dec_NN(obj);
574     }
575     if ( ((obj = MUTABLE_SV(GvCV(sv)) )) && SvOBJECT(obj)) {
576         DEBUG_D((PerlIO_printf(Perl_debug_log,
577                 "Cleaning named glob CV object:\n "), sv_dump(obj)));
578         GvCV_set(sv, NULL);
579         SvREFCNT_dec_NN(obj);
580     }
581     SvREFCNT_dec_NN(sv); /* undo the inc above */
582 }
583
584 /* clear any IO slots in a GV which hold objects (except stderr, defout);
585  * called by sv_clean_objs() for each live GV */
586
587 static void
588 do_clean_named_io_objs(pTHX_ SV *const sv)
589 {
590     SV *obj;
591     assert(SvTYPE(sv) == SVt_PVGV);
592     assert(isGV_with_GP(sv));
593     if (!GvGP(sv) || sv == (SV*)PL_stderrgv || sv == (SV*)PL_defoutgv)
594         return;
595
596     SvREFCNT_inc(sv);
597     if ( ((obj = MUTABLE_SV(GvIO(sv)) )) && SvOBJECT(obj)) {
598         DEBUG_D((PerlIO_printf(Perl_debug_log,
599                 "Cleaning named glob IO object:\n "), sv_dump(obj)));
600         GvIOp(sv) = NULL;
601         SvREFCNT_dec_NN(obj);
602     }
603     SvREFCNT_dec_NN(sv); /* undo the inc above */
604 }
605
606 /* Void wrapper to pass to visit() */
607 static void
608 do_curse(pTHX_ SV * const sv) {
609     if ((PL_stderrgv && GvGP(PL_stderrgv) && (SV*)GvIO(PL_stderrgv) == sv)
610      || (PL_defoutgv && GvGP(PL_defoutgv) && (SV*)GvIO(PL_defoutgv) == sv))
611         return;
612     (void)curse(sv, 0);
613 }
614
615 /*
616 =for apidoc sv_clean_objs
617
618 Attempt to destroy all objects not yet freed.
619
620 =cut
621 */
622
623 void
624 Perl_sv_clean_objs(pTHX)
625 {
626     GV *olddef, *olderr;
627     PL_in_clean_objs = TRUE;
628     visit(do_clean_objs, SVf_ROK, SVf_ROK);
629     /* Some barnacles may yet remain, clinging to typeglobs.
630      * Run the non-IO destructors first: they may want to output
631      * error messages, close files etc */
632     visit(do_clean_named_objs, SVt_PVGV|SVpgv_GP, SVTYPEMASK|SVp_POK|SVpgv_GP);
633     visit(do_clean_named_io_objs, SVt_PVGV|SVpgv_GP, SVTYPEMASK|SVp_POK|SVpgv_GP);
634     /* And if there are some very tenacious barnacles clinging to arrays,
635        closures, or what have you.... */
636     visit(do_curse, SVs_OBJECT, SVs_OBJECT);
637     olddef = PL_defoutgv;
638     PL_defoutgv = NULL; /* disable skip of PL_defoutgv */
639     if (olddef && isGV_with_GP(olddef))
640         do_clean_named_io_objs(aTHX_ MUTABLE_SV(olddef));
641     olderr = PL_stderrgv;
642     PL_stderrgv = NULL; /* disable skip of PL_stderrgv */
643     if (olderr && isGV_with_GP(olderr))
644         do_clean_named_io_objs(aTHX_ MUTABLE_SV(olderr));
645     SvREFCNT_dec(olddef);
646     PL_in_clean_objs = FALSE;
647 }
648
649 /* called by sv_clean_all() for each live SV */
650
651 static void
652 do_clean_all(pTHX_ SV *const sv)
653 {
654     if (sv == (const SV *) PL_fdpid || sv == (const SV *)PL_strtab) {
655         /* don't clean pid table and strtab */
656         return;
657     }
658     DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning loops: SV at 0x%" UVxf "\n", PTR2UV(sv)) ));
659     SvFLAGS(sv) |= SVf_BREAK;
660     SvREFCNT_dec_NN(sv);
661 }
662
663 /*
664 =for apidoc sv_clean_all
665
666 Decrement the refcnt of each remaining SV, possibly triggering a
667 cleanup.  This function may have to be called multiple times to free
668 SVs which are in complex self-referential hierarchies.
669
670 =cut
671 */
672
673 I32
674 Perl_sv_clean_all(pTHX)
675 {
676     I32 cleaned;
677     PL_in_clean_all = TRUE;
678     cleaned = visit(do_clean_all, 0,0);
679     return cleaned;
680 }
681
682 /*
683   ARENASETS: a meta-arena implementation which separates arena-info
684   into struct arena_set, which contains an array of struct
685   arena_descs, each holding info for a single arena.  By separating
686   the meta-info from the arena, we recover the 1st slot, formerly
687   borrowed for list management.  The arena_set is about the size of an
688   arena, avoiding the needless malloc overhead of a naive linked-list.
689
690   The cost is 1 arena-set malloc per ~320 arena-mallocs, + the unused
691   memory in the last arena-set (1/2 on average).  In trade, we get
692   back the 1st slot in each arena (ie 1.7% of a CV-arena, less for
693   smaller types).  The recovery of the wasted space allows use of
694   small arenas for large, rare body types, by changing array* fields
695   in body_details_by_type[] below.
696 */
697 struct arena_desc {
698     char       *arena;          /* the raw storage, allocated aligned */
699     size_t      size;           /* its size ~4k typ */
700     svtype      utype;          /* bodytype stored in arena */
701 };
702
703 struct arena_set;
704
705 /* Get the maximum number of elements in set[] such that struct arena_set
706    will fit within PERL_ARENA_SIZE, which is probably just under 4K, and
707    therefore likely to be 1 aligned memory page.  */
708
709 #define ARENAS_PER_SET  ((PERL_ARENA_SIZE - sizeof(struct arena_set*) \
710                           - 2 * sizeof(int)) / sizeof (struct arena_desc))
711
712 struct arena_set {
713     struct arena_set* next;
714     unsigned int   set_size;    /* ie ARENAS_PER_SET */
715     unsigned int   curr;        /* index of next available arena-desc */
716     struct arena_desc set[ARENAS_PER_SET];
717 };
718
719 /*
720 =for apidoc sv_free_arenas
721
722 Deallocate the memory used by all arenas.  Note that all the individual SV
723 heads and bodies within the arenas must already have been freed.
724
725 =cut
726
727 */
728 void
729 Perl_sv_free_arenas(pTHX)
730 {
731     SV* sva;
732     SV* svanext;
733     unsigned int i;
734
735     /* Free arenas here, but be careful about fake ones.  (We assume
736        contiguity of the fake ones with the corresponding real ones.) */
737
738     for (sva = PL_sv_arenaroot; sva; sva = svanext) {
739         svanext = MUTABLE_SV(SvANY(sva));
740         while (svanext && SvFAKE(svanext))
741             svanext = MUTABLE_SV(SvANY(svanext));
742
743         if (!SvFAKE(sva))
744             Safefree(sva);
745     }
746
747     {
748         struct arena_set *aroot = (struct arena_set*) PL_body_arenas;
749
750         while (aroot) {
751             struct arena_set *current = aroot;
752             i = aroot->curr;
753             while (i--) {
754                 assert(aroot->set[i].arena);
755                 Safefree(aroot->set[i].arena);
756             }
757             aroot = aroot->next;
758             Safefree(current);
759         }
760     }
761     PL_body_arenas = 0;
762
763     i = PERL_ARENA_ROOTS_SIZE;
764     while (i--)
765         PL_body_roots[i] = 0;
766
767     PL_sv_arenaroot = 0;
768     PL_sv_root = 0;
769 }
770
771 /*
772   Here are mid-level routines that manage the allocation of bodies out
773   of the various arenas.  There are 4 kinds of arenas:
774
775   1. SV-head arenas, which are discussed and handled above
776   2. regular body arenas
777   3. arenas for reduced-size bodies
778   4. Hash-Entry arenas
779
780   Arena types 2 & 3 are chained by body-type off an array of
781   arena-root pointers, which is indexed by svtype.  Some of the
782   larger/less used body types are malloced singly, since a large
783   unused block of them is wasteful.  Also, several svtypes dont have
784   bodies; the data fits into the sv-head itself.  The arena-root
785   pointer thus has a few unused root-pointers (which may be hijacked
786   later for arena type 4)
787
788   3 differs from 2 as an optimization; some body types have several
789   unused fields in the front of the structure (which are kept in-place
790   for consistency).  These bodies can be allocated in smaller chunks,
791   because the leading fields arent accessed.  Pointers to such bodies
792   are decremented to point at the unused 'ghost' memory, knowing that
793   the pointers are used with offsets to the real memory.
794
795 Allocation of SV-bodies is similar to SV-heads, differing as follows;
796 the allocation mechanism is used for many body types, so is somewhat
797 more complicated, it uses arena-sets, and has no need for still-live
798 SV detection.
799
800 At the outermost level, (new|del)_X*V macros return bodies of the
801 appropriate type.  These macros call either (new|del)_body_type or
802 (new|del)_body_allocated macro pairs, depending on specifics of the
803 type.  Most body types use the former pair, the latter pair is used to
804 allocate body types with "ghost fields".
805
806 "ghost fields" are fields that are unused in certain types, and
807 consequently don't need to actually exist.  They are declared because
808 they're part of a "base type", which allows use of functions as
809 methods.  The simplest examples are AVs and HVs, 2 aggregate types
810 which don't use the fields which support SCALAR semantics.
811
812 For these types, the arenas are carved up into appropriately sized
813 chunks, we thus avoid wasted memory for those unaccessed members.
814 When bodies are allocated, we adjust the pointer back in memory by the
815 size of the part not allocated, so it's as if we allocated the full
816 structure.  (But things will all go boom if you write to the part that
817 is "not there", because you'll be overwriting the last members of the
818 preceding structure in memory.)
819
820 We calculate the correction using the STRUCT_OFFSET macro on the first
821 member present.  If the allocated structure is smaller (no initial NV
822 actually allocated) then the net effect is to subtract the size of the NV
823 from the pointer, to return a new pointer as if an initial NV were actually
824 allocated.  (We were using structures named *_allocated for this, but
825 this turned out to be a subtle bug, because a structure without an NV
826 could have a lower alignment constraint, but the compiler is allowed to
827 optimised accesses based on the alignment constraint of the actual pointer
828 to the full structure, for example, using a single 64 bit load instruction
829 because it "knows" that two adjacent 32 bit members will be 8-byte aligned.)
830
831 This is the same trick as was used for NV and IV bodies.  Ironically it
832 doesn't need to be used for NV bodies any more, because NV is now at
833 the start of the structure.  IV bodies, and also in some builds NV bodies,
834 don't need it either, because they are no longer allocated.
835
836 In turn, the new_body_* allocators call S_new_body(), which invokes
837 new_body_inline macro, which takes a lock, and takes a body off the
838 linked list at PL_body_roots[sv_type], calling Perl_more_bodies() if
839 necessary to refresh an empty list.  Then the lock is released, and
840 the body is returned.
841
842 Perl_more_bodies allocates a new arena, and carves it up into an array of N
843 bodies, which it strings into a linked list.  It looks up arena-size
844 and body-size from the body_details table described below, thus
845 supporting the multiple body-types.
846
847 If PURIFY is defined, or PERL_ARENA_SIZE=0, arenas are not used, and
848 the (new|del)_X*V macros are mapped directly to malloc/free.
849
850 For each sv-type, struct body_details bodies_by_type[] carries
851 parameters which control these aspects of SV handling:
852
853 Arena_size determines whether arenas are used for this body type, and if
854 so, how big they are.  PURIFY or PERL_ARENA_SIZE=0 set this field to
855 zero, forcing individual mallocs and frees.
856
857 Body_size determines how big a body is, and therefore how many fit into
858 each arena.  Offset carries the body-pointer adjustment needed for
859 "ghost fields", and is used in *_allocated macros.
860
861 But its main purpose is to parameterize info needed in
862 Perl_sv_upgrade().  The info here dramatically simplifies the function
863 vs the implementation in 5.8.8, making it table-driven.  All fields
864 are used for this, except for arena_size.
865
866 For the sv-types that have no bodies, arenas are not used, so those
867 PL_body_roots[sv_type] are unused, and can be overloaded.  In
868 something of a special case, SVt_NULL is borrowed for HE arenas;
869 PL_body_roots[HE_SVSLOT=SVt_NULL] is filled by S_more_he, but the
870 bodies_by_type[SVt_NULL] slot is not used, as the table is not
871 available in hv.c.
872
873 */
874
875 struct body_details {
876     U8 body_size;       /* Size to allocate  */
877     U8 copy;            /* Size of structure to copy (may be shorter)  */
878     U8 offset;          /* Size of unalloced ghost fields to first alloced field*/
879     PERL_BITFIELD8 type : 4;        /* We have space for a sanity check. */
880     PERL_BITFIELD8 cant_upgrade : 1;/* Cannot upgrade this type */
881     PERL_BITFIELD8 zero_nv : 1;     /* zero the NV when upgrading from this */
882     PERL_BITFIELD8 arena : 1;       /* Allocated from an arena */
883     U32 arena_size;                 /* Size of arena to allocate */
884 };
885
886 #define HADNV FALSE
887 #define NONV TRUE
888
889
890 #ifdef PURIFY
891 /* With -DPURFIY we allocate everything directly, and don't use arenas.
892    This seems a rather elegant way to simplify some of the code below.  */
893 #define HASARENA FALSE
894 #else
895 #define HASARENA TRUE
896 #endif
897 #define NOARENA FALSE
898
899 /* Size the arenas to exactly fit a given number of bodies.  A count
900    of 0 fits the max number bodies into a PERL_ARENA_SIZE.block,
901    simplifying the default.  If count > 0, the arena is sized to fit
902    only that many bodies, allowing arenas to be used for large, rare
903    bodies (XPVFM, XPVIO) without undue waste.  The arena size is
904    limited by PERL_ARENA_SIZE, so we can safely oversize the
905    declarations.
906  */
907 #define FIT_ARENA0(body_size)                           \
908     ((size_t)(PERL_ARENA_SIZE / body_size) * body_size)
909 #define FIT_ARENAn(count,body_size)                     \
910     ( count * body_size <= PERL_ARENA_SIZE)             \
911     ? count * body_size                                 \
912     : FIT_ARENA0 (body_size)
913 #define FIT_ARENA(count,body_size)                      \
914    (U32)(count                                          \
915     ? FIT_ARENAn (count, body_size)                     \
916     : FIT_ARENA0 (body_size))
917
918 /* Calculate the length to copy. Specifically work out the length less any
919    final padding the compiler needed to add.  See the comment in sv_upgrade
920    for why copying the padding proved to be a bug.  */
921
922 #define copy_length(type, last_member) \
923         STRUCT_OFFSET(type, last_member) \
924         + sizeof (((type*)SvANY((const SV *)0))->last_member)
925
926 static const struct body_details bodies_by_type[] = {
927     /* HEs use this offset for their arena.  */
928     { 0, 0, 0, SVt_NULL, FALSE, NONV, NOARENA, 0 },
929
930     /* IVs are in the head, so the allocation size is 0.  */
931     { 0,
932       sizeof(IV), /* This is used to copy out the IV body.  */
933       STRUCT_OFFSET(XPVIV, xiv_iv), SVt_IV, FALSE, NONV,
934       NOARENA /* IVS don't need an arena  */, 0
935     },
936
937 #if NVSIZE <= IVSIZE
938     { 0, sizeof(NV),
939       STRUCT_OFFSET(XPVNV, xnv_u),
940       SVt_NV, FALSE, HADNV, NOARENA, 0 },
941 #else
942     { sizeof(NV), sizeof(NV),
943       STRUCT_OFFSET(XPVNV, xnv_u),
944       SVt_NV, FALSE, HADNV, HASARENA, FIT_ARENA(0, sizeof(NV)) },
945 #endif
946
947     { sizeof(XPV) - STRUCT_OFFSET(XPV, xpv_cur),
948       copy_length(XPV, xpv_len) - STRUCT_OFFSET(XPV, xpv_cur),
949       + STRUCT_OFFSET(XPV, xpv_cur),
950       SVt_PV, FALSE, NONV, HASARENA,
951       FIT_ARENA(0, sizeof(XPV) - STRUCT_OFFSET(XPV, xpv_cur)) },
952
953     { sizeof(XINVLIST) - STRUCT_OFFSET(XPV, xpv_cur),
954       copy_length(XINVLIST, is_offset) - STRUCT_OFFSET(XPV, xpv_cur),
955       + STRUCT_OFFSET(XPV, xpv_cur),
956       SVt_INVLIST, TRUE, NONV, HASARENA,
957       FIT_ARENA(0, sizeof(XINVLIST) - STRUCT_OFFSET(XPV, xpv_cur)) },
958
959     { sizeof(XPVIV) - STRUCT_OFFSET(XPV, xpv_cur),
960       copy_length(XPVIV, xiv_u) - STRUCT_OFFSET(XPV, xpv_cur),
961       + STRUCT_OFFSET(XPV, xpv_cur),
962       SVt_PVIV, FALSE, NONV, HASARENA,
963       FIT_ARENA(0, sizeof(XPVIV) - STRUCT_OFFSET(XPV, xpv_cur)) },
964
965     { sizeof(XPVNV) - STRUCT_OFFSET(XPV, xpv_cur),
966       copy_length(XPVNV, xnv_u) - STRUCT_OFFSET(XPV, xpv_cur),
967       + STRUCT_OFFSET(XPV, xpv_cur),
968       SVt_PVNV, FALSE, HADNV, HASARENA,
969       FIT_ARENA(0, sizeof(XPVNV) - STRUCT_OFFSET(XPV, xpv_cur)) },
970
971     { sizeof(XPVMG), copy_length(XPVMG, xnv_u), 0, SVt_PVMG, FALSE, HADNV,
972       HASARENA, FIT_ARENA(0, sizeof(XPVMG)) },
973
974     { sizeof(regexp),
975       sizeof(regexp),
976       0,
977       SVt_REGEXP, TRUE, NONV, HASARENA,
978       FIT_ARENA(0, sizeof(regexp))
979     },
980
981     { sizeof(XPVGV), sizeof(XPVGV), 0, SVt_PVGV, TRUE, HADNV,
982       HASARENA, FIT_ARENA(0, sizeof(XPVGV)) },
983     
984     { sizeof(XPVLV), sizeof(XPVLV), 0, SVt_PVLV, TRUE, HADNV,
985       HASARENA, FIT_ARENA(0, sizeof(XPVLV)) },
986
987     { sizeof(XPVAV),
988       copy_length(XPVAV, xav_alloc),
989       0,
990       SVt_PVAV, TRUE, NONV, HASARENA,
991       FIT_ARENA(0, sizeof(XPVAV)) },
992
993     { sizeof(XPVHV),
994       copy_length(XPVHV, xhv_max),
995       0,
996       SVt_PVHV, TRUE, NONV, HASARENA,
997       FIT_ARENA(0, sizeof(XPVHV)) },
998
999     { sizeof(XPVCV),
1000       sizeof(XPVCV),
1001       0,
1002       SVt_PVCV, TRUE, NONV, HASARENA,
1003       FIT_ARENA(0, sizeof(XPVCV)) },
1004
1005     { sizeof(XPVFM),
1006       sizeof(XPVFM),
1007       0,
1008       SVt_PVFM, TRUE, NONV, NOARENA,
1009       FIT_ARENA(20, sizeof(XPVFM)) },
1010
1011     { sizeof(XPVIO),
1012       sizeof(XPVIO),
1013       0,
1014       SVt_PVIO, TRUE, NONV, HASARENA,
1015       FIT_ARENA(24, sizeof(XPVIO)) },
1016 };
1017
1018 #define new_body_allocated(sv_type)             \
1019     (void *)((char *)S_new_body(aTHX_ sv_type)  \
1020              - bodies_by_type[sv_type].offset)
1021
1022 /* return a thing to the free list */
1023
1024 #define del_body(thing, root)                           \
1025     STMT_START {                                        \
1026         void ** const thing_copy = (void **)thing;      \
1027         *thing_copy = *root;                            \
1028         *root = (void*)thing_copy;                      \
1029     } STMT_END
1030
1031 #ifdef PURIFY
1032 #if !(NVSIZE <= IVSIZE)
1033 #  define new_XNV()     safemalloc(sizeof(XPVNV))
1034 #endif
1035 #define new_XPVNV()     safemalloc(sizeof(XPVNV))
1036 #define new_XPVMG()     safemalloc(sizeof(XPVMG))
1037
1038 #define del_XPVGV(p)    safefree(p)
1039
1040 #else /* !PURIFY */
1041
1042 #if !(NVSIZE <= IVSIZE)
1043 #  define new_XNV()     new_body_allocated(SVt_NV)
1044 #endif
1045 #define new_XPVNV()     new_body_allocated(SVt_PVNV)
1046 #define new_XPVMG()     new_body_allocated(SVt_PVMG)
1047
1048 #define del_XPVGV(p)    del_body(p + bodies_by_type[SVt_PVGV].offset,   \
1049                                  &PL_body_roots[SVt_PVGV])
1050
1051 #endif /* PURIFY */
1052
1053 /* no arena for you! */
1054
1055 #define new_NOARENA(details) \
1056         safemalloc((details)->body_size + (details)->offset)
1057 #define new_NOARENAZ(details) \
1058         safecalloc((details)->body_size + (details)->offset, 1)
1059
1060 void *
1061 Perl_more_bodies (pTHX_ const svtype sv_type, const size_t body_size,
1062                   const size_t arena_size)
1063 {
1064     void ** const root = &PL_body_roots[sv_type];
1065     struct arena_desc *adesc;
1066     struct arena_set *aroot = (struct arena_set *) PL_body_arenas;
1067     unsigned int curr;
1068     char *start;
1069     const char *end;
1070     const size_t good_arena_size = Perl_malloc_good_size(arena_size);
1071 #if defined(DEBUGGING) && defined(PERL_GLOBAL_STRUCT)
1072     dVAR;
1073 #endif
1074 #if defined(DEBUGGING) && !defined(PERL_GLOBAL_STRUCT)
1075     static bool done_sanity_check;
1076
1077     /* PERL_GLOBAL_STRUCT cannot coexist with global
1078      * variables like done_sanity_check. */
1079     if (!done_sanity_check) {
1080         unsigned int i = SVt_LAST;
1081
1082         done_sanity_check = TRUE;
1083
1084         while (i--)
1085             assert (bodies_by_type[i].type == i);
1086     }
1087 #endif
1088
1089     assert(arena_size);
1090
1091     /* may need new arena-set to hold new arena */
1092     if (!aroot || aroot->curr >= aroot->set_size) {
1093         struct arena_set *newroot;
1094         Newxz(newroot, 1, struct arena_set);
1095         newroot->set_size = ARENAS_PER_SET;
1096         newroot->next = aroot;
1097         aroot = newroot;
1098         PL_body_arenas = (void *) newroot;
1099         DEBUG_m(PerlIO_printf(Perl_debug_log, "new arenaset %p\n", (void*)aroot));
1100     }
1101
1102     /* ok, now have arena-set with at least 1 empty/available arena-desc */
1103     curr = aroot->curr++;
1104     adesc = &(aroot->set[curr]);
1105     assert(!adesc->arena);
1106     
1107     Newx(adesc->arena, good_arena_size, char);
1108     adesc->size = good_arena_size;
1109     adesc->utype = sv_type;
1110     DEBUG_m(PerlIO_printf(Perl_debug_log, "arena %d added: %p size %" UVuf "\n",
1111                           curr, (void*)adesc->arena, (UV)good_arena_size));
1112
1113     start = (char *) adesc->arena;
1114
1115     /* Get the address of the byte after the end of the last body we can fit.
1116        Remember, this is integer division:  */
1117     end = start + good_arena_size / body_size * body_size;
1118
1119     /* computed count doesn't reflect the 1st slot reservation */
1120 #if defined(MYMALLOC) || defined(HAS_MALLOC_GOOD_SIZE)
1121     DEBUG_m(PerlIO_printf(Perl_debug_log,
1122                           "arena %p end %p arena-size %d (from %d) type %d "
1123                           "size %d ct %d\n",
1124                           (void*)start, (void*)end, (int)good_arena_size,
1125                           (int)arena_size, sv_type, (int)body_size,
1126                           (int)good_arena_size / (int)body_size));
1127 #else
1128     DEBUG_m(PerlIO_printf(Perl_debug_log,
1129                           "arena %p end %p arena-size %d type %d size %d ct %d\n",
1130                           (void*)start, (void*)end,
1131                           (int)arena_size, sv_type, (int)body_size,
1132                           (int)good_arena_size / (int)body_size));
1133 #endif
1134     *root = (void *)start;
1135
1136     while (1) {
1137         /* Where the next body would start:  */
1138         char * const next = start + body_size;
1139
1140         if (next >= end) {
1141             /* This is the last body:  */
1142             assert(next == end);
1143
1144             *(void **)start = 0;
1145             return *root;
1146         }
1147
1148         *(void**) start = (void *)next;
1149         start = next;
1150     }
1151 }
1152
1153 /* grab a new thing from the free list, allocating more if necessary.
1154    The inline version is used for speed in hot routines, and the
1155    function using it serves the rest (unless PURIFY).
1156 */
1157 #define new_body_inline(xpv, sv_type) \
1158     STMT_START { \
1159         void ** const r3wt = &PL_body_roots[sv_type]; \
1160         xpv = (PTR_TBL_ENT_t*) (*((void **)(r3wt))      \
1161           ? *((void **)(r3wt)) : Perl_more_bodies(aTHX_ sv_type, \
1162                                              bodies_by_type[sv_type].body_size,\
1163                                              bodies_by_type[sv_type].arena_size)); \
1164         *(r3wt) = *(void**)(xpv); \
1165     } STMT_END
1166
1167 #ifndef PURIFY
1168
1169 STATIC void *
1170 S_new_body(pTHX_ const svtype sv_type)
1171 {
1172     void *xpv;
1173     new_body_inline(xpv, sv_type);
1174     return xpv;
1175 }
1176
1177 #endif
1178
1179 static const struct body_details fake_rv =
1180     { 0, 0, 0, SVt_IV, FALSE, NONV, NOARENA, 0 };
1181
1182 /*
1183 =for apidoc sv_upgrade
1184
1185 Upgrade an SV to a more complex form.  Generally adds a new body type to the
1186 SV, then copies across as much information as possible from the old body.
1187 It croaks if the SV is already in a more complex form than requested.  You
1188 generally want to use the C<SvUPGRADE> macro wrapper, which checks the type
1189 before calling C<sv_upgrade>, and hence does not croak.  See also
1190 C<L</svtype>>.
1191
1192 =cut
1193 */
1194
1195 void
1196 Perl_sv_upgrade(pTHX_ SV *const sv, svtype new_type)
1197 {
1198     void*       old_body;
1199     void*       new_body;
1200     const svtype old_type = SvTYPE(sv);
1201     const struct body_details *new_type_details;
1202     const struct body_details *old_type_details
1203         = bodies_by_type + old_type;
1204     SV *referent = NULL;
1205
1206     PERL_ARGS_ASSERT_SV_UPGRADE;
1207
1208     if (old_type == new_type)
1209         return;
1210
1211     /* This clause was purposefully added ahead of the early return above to
1212        the shared string hackery for (sort {$a <=> $b} keys %hash), with the
1213        inference by Nick I-S that it would fix other troublesome cases. See
1214        changes 7162, 7163 (f130fd4589cf5fbb24149cd4db4137c8326f49c1 and parent)
1215
1216        Given that shared hash key scalars are no longer PVIV, but PV, there is
1217        no longer need to unshare so as to free up the IVX slot for its proper
1218        purpose. So it's safe to move the early return earlier.  */
1219
1220     if (new_type > SVt_PVMG && SvIsCOW(sv)) {
1221         sv_force_normal_flags(sv, 0);
1222     }
1223
1224     old_body = SvANY(sv);
1225
1226     /* Copying structures onto other structures that have been neatly zeroed
1227        has a subtle gotcha. Consider XPVMG
1228
1229        +------+------+------+------+------+-------+-------+
1230        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |
1231        +------+------+------+------+------+-------+-------+
1232        0      4      8     12     16     20      24      28
1233
1234        where NVs are aligned to 8 bytes, so that sizeof that structure is
1235        actually 32 bytes long, with 4 bytes of padding at the end:
1236
1237        +------+------+------+------+------+-------+-------+------+
1238        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH | ???  |
1239        +------+------+------+------+------+-------+-------+------+
1240        0      4      8     12     16     20      24      28     32
1241
1242        so what happens if you allocate memory for this structure:
1243
1244        +------+------+------+------+------+-------+-------+------+------+...
1245        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |  GP  | NAME |
1246        +------+------+------+------+------+-------+-------+------+------+...
1247        0      4      8     12     16     20      24      28     32     36
1248
1249        zero it, then copy sizeof(XPVMG) bytes on top of it? Not quite what you
1250        expect, because you copy the area marked ??? onto GP. Now, ??? may have
1251        started out as zero once, but it's quite possible that it isn't. So now,
1252        rather than a nicely zeroed GP, you have it pointing somewhere random.
1253        Bugs ensue.
1254
1255        (In fact, GP ends up pointing at a previous GP structure, because the
1256        principle cause of the padding in XPVMG getting garbage is a copy of
1257        sizeof(XPVMG) bytes from a XPVGV structure in sv_unglob. Right now
1258        this happens to be moot because XPVGV has been re-ordered, with GP
1259        no longer after STASH)
1260
1261        So we are careful and work out the size of used parts of all the
1262        structures.  */
1263
1264     switch (old_type) {
1265     case SVt_NULL:
1266         break;
1267     case SVt_IV:
1268         if (SvROK(sv)) {
1269             referent = SvRV(sv);
1270             old_type_details = &fake_rv;
1271             if (new_type == SVt_NV)
1272                 new_type = SVt_PVNV;
1273         } else {
1274             if (new_type < SVt_PVIV) {
1275                 new_type = (new_type == SVt_NV)
1276                     ? SVt_PVNV : SVt_PVIV;
1277             }
1278         }
1279         break;
1280     case SVt_NV:
1281         if (new_type < SVt_PVNV) {
1282             new_type = SVt_PVNV;
1283         }
1284         break;
1285     case SVt_PV:
1286         assert(new_type > SVt_PV);
1287         STATIC_ASSERT_STMT(SVt_IV < SVt_PV);
1288         STATIC_ASSERT_STMT(SVt_NV < SVt_PV);
1289         break;
1290     case SVt_PVIV:
1291         break;
1292     case SVt_PVNV:
1293         break;
1294     case SVt_PVMG:
1295         /* Because the XPVMG of PL_mess_sv isn't allocated from the arena,
1296            there's no way that it can be safely upgraded, because perl.c
1297            expects to Safefree(SvANY(PL_mess_sv))  */
1298         assert(sv != PL_mess_sv);
1299         break;
1300     default:
1301         if (UNLIKELY(old_type_details->cant_upgrade))
1302             Perl_croak(aTHX_ "Can't upgrade %s (%" UVuf ") to %" UVuf,
1303                        sv_reftype(sv, 0), (UV) old_type, (UV) new_type);
1304     }
1305
1306     if (UNLIKELY(old_type > new_type))
1307         Perl_croak(aTHX_ "sv_upgrade from type %d down to type %d",
1308                 (int)old_type, (int)new_type);
1309
1310     new_type_details = bodies_by_type + new_type;
1311
1312     SvFLAGS(sv) &= ~SVTYPEMASK;
1313     SvFLAGS(sv) |= new_type;
1314
1315     /* This can't happen, as SVt_NULL is <= all values of new_type, so one of
1316        the return statements above will have triggered.  */
1317     assert (new_type != SVt_NULL);
1318     switch (new_type) {
1319     case SVt_IV:
1320         assert(old_type == SVt_NULL);
1321         SET_SVANY_FOR_BODYLESS_IV(sv);
1322         SvIV_set(sv, 0);
1323         return;
1324     case SVt_NV:
1325         assert(old_type == SVt_NULL);
1326 #if NVSIZE <= IVSIZE
1327         SET_SVANY_FOR_BODYLESS_NV(sv);
1328 #else
1329         SvANY(sv) = new_XNV();
1330 #endif
1331         SvNV_set(sv, 0);
1332         return;
1333     case SVt_PVHV:
1334     case SVt_PVAV:
1335         assert(new_type_details->body_size);
1336
1337 #ifndef PURIFY  
1338         assert(new_type_details->arena);
1339         assert(new_type_details->arena_size);
1340         /* This points to the start of the allocated area.  */
1341         new_body_inline(new_body, new_type);
1342         Zero(new_body, new_type_details->body_size, char);
1343         new_body = ((char *)new_body) - new_type_details->offset;
1344 #else
1345         /* We always allocated the full length item with PURIFY. To do this
1346            we fake things so that arena is false for all 16 types..  */
1347         new_body = new_NOARENAZ(new_type_details);
1348 #endif
1349         SvANY(sv) = new_body;
1350         if (new_type == SVt_PVAV) {
1351             AvMAX(sv)   = -1;
1352             AvFILLp(sv) = -1;
1353             AvREAL_only(sv);
1354             if (old_type_details->body_size) {
1355                 AvALLOC(sv) = 0;
1356             } else {
1357                 /* It will have been zeroed when the new body was allocated.
1358                    Lets not write to it, in case it confuses a write-back
1359                    cache.  */
1360             }
1361         } else {
1362             assert(!SvOK(sv));
1363             SvOK_off(sv);
1364 #ifndef NODEFAULT_SHAREKEYS
1365             HvSHAREKEYS_on(sv);         /* key-sharing on by default */
1366 #endif
1367             /* start with PERL_HASH_DEFAULT_HvMAX+1 buckets: */
1368             HvMAX(sv) = PERL_HASH_DEFAULT_HvMAX;
1369         }
1370
1371         /* SVt_NULL isn't the only thing upgraded to AV or HV.
1372            The target created by newSVrv also is, and it can have magic.
1373            However, it never has SvPVX set.
1374         */
1375         if (old_type == SVt_IV) {
1376             assert(!SvROK(sv));
1377         } else if (old_type >= SVt_PV) {
1378             assert(SvPVX_const(sv) == 0);
1379         }
1380
1381         if (old_type >= SVt_PVMG) {
1382             SvMAGIC_set(sv, ((XPVMG*)old_body)->xmg_u.xmg_magic);
1383             SvSTASH_set(sv, ((XPVMG*)old_body)->xmg_stash);
1384         } else {
1385             sv->sv_u.svu_array = NULL; /* or svu_hash  */
1386         }
1387         break;
1388
1389     case SVt_PVIV:
1390         /* XXX Is this still needed?  Was it ever needed?   Surely as there is
1391            no route from NV to PVIV, NOK can never be true  */
1392         assert(!SvNOKp(sv));
1393         assert(!SvNOK(sv));
1394         /* FALLTHROUGH */
1395     case SVt_PVIO:
1396     case SVt_PVFM:
1397     case SVt_PVGV:
1398     case SVt_PVCV:
1399     case SVt_PVLV:
1400     case SVt_INVLIST:
1401     case SVt_REGEXP:
1402     case SVt_PVMG:
1403     case SVt_PVNV:
1404     case SVt_PV:
1405
1406         assert(new_type_details->body_size);
1407         /* We always allocated the full length item with PURIFY. To do this
1408            we fake things so that arena is false for all 16 types..  */
1409         if(new_type_details->arena) {
1410             /* This points to the start of the allocated area.  */
1411             new_body_inline(new_body, new_type);
1412             Zero(new_body, new_type_details->body_size, char);
1413             new_body = ((char *)new_body) - new_type_details->offset;
1414         } else {
1415             new_body = new_NOARENAZ(new_type_details);
1416         }
1417         SvANY(sv) = new_body;
1418
1419         if (old_type_details->copy) {
1420             /* There is now the potential for an upgrade from something without
1421                an offset (PVNV or PVMG) to something with one (PVCV, PVFM)  */
1422             int offset = old_type_details->offset;
1423             int length = old_type_details->copy;
1424
1425             if (new_type_details->offset > old_type_details->offset) {
1426                 const int difference
1427                     = new_type_details->offset - old_type_details->offset;
1428                 offset += difference;
1429                 length -= difference;
1430             }
1431             assert (length >= 0);
1432                 
1433             Copy((char *)old_body + offset, (char *)new_body + offset, length,
1434                  char);
1435         }
1436
1437 #ifndef NV_ZERO_IS_ALLBITS_ZERO
1438         /* If NV 0.0 is stores as all bits 0 then Zero() already creates a
1439          * correct 0.0 for us.  Otherwise, if the old body didn't have an
1440          * NV slot, but the new one does, then we need to initialise the
1441          * freshly created NV slot with whatever the correct bit pattern is
1442          * for 0.0  */
1443         if (old_type_details->zero_nv && !new_type_details->zero_nv
1444             && !isGV_with_GP(sv))
1445             SvNV_set(sv, 0);
1446 #endif
1447
1448         if (UNLIKELY(new_type == SVt_PVIO)) {
1449             IO * const io = MUTABLE_IO(sv);
1450             GV *iogv = gv_fetchpvs("IO::File::", GV_ADD, SVt_PVHV);
1451
1452             SvOBJECT_on(io);
1453             /* Clear the stashcache because a new IO could overrule a package
1454                name */
1455             DEBUG_o(Perl_deb(aTHX_ "sv_upgrade clearing PL_stashcache\n"));
1456             hv_clear(PL_stashcache);
1457
1458             SvSTASH_set(io, MUTABLE_HV(SvREFCNT_inc(GvHV(iogv))));
1459             IoPAGE_LEN(sv) = 60;
1460         }
1461         if (old_type < SVt_PV) {
1462             /* referent will be NULL unless the old type was SVt_IV emulating
1463                SVt_RV */
1464             sv->sv_u.svu_rv = referent;
1465         }
1466         break;
1467     default:
1468         Perl_croak(aTHX_ "panic: sv_upgrade to unknown type %lu",
1469                    (unsigned long)new_type);
1470     }
1471
1472     /* if this is zero, this is a body-less SVt_NULL, SVt_IV/SVt_RV,
1473        and sometimes SVt_NV */
1474     if (old_type_details->body_size) {
1475 #ifdef PURIFY
1476         safefree(old_body);
1477 #else
1478         /* Note that there is an assumption that all bodies of types that
1479            can be upgraded came from arenas. Only the more complex non-
1480            upgradable types are allowed to be directly malloc()ed.  */
1481         assert(old_type_details->arena);
1482         del_body((void*)((char*)old_body + old_type_details->offset),
1483                  &PL_body_roots[old_type]);
1484 #endif
1485     }
1486 }
1487
1488 /*
1489 =for apidoc sv_backoff
1490
1491 Remove any string offset.  You should normally use the C<SvOOK_off> macro
1492 wrapper instead.
1493
1494 =cut
1495 */
1496
1497 /* prior to 5.000 stable, this function returned the new OOK-less SvFLAGS
1498    prior to 5.23.4 this function always returned 0
1499 */
1500
1501 void
1502 Perl_sv_backoff(SV *const sv)
1503 {
1504     STRLEN delta;
1505     const char * const s = SvPVX_const(sv);
1506
1507     PERL_ARGS_ASSERT_SV_BACKOFF;
1508
1509     assert(SvOOK(sv));
1510     assert(SvTYPE(sv) != SVt_PVHV);
1511     assert(SvTYPE(sv) != SVt_PVAV);
1512
1513     SvOOK_offset(sv, delta);
1514     
1515     SvLEN_set(sv, SvLEN(sv) + delta);
1516     SvPV_set(sv, SvPVX(sv) - delta);
1517     SvFLAGS(sv) &= ~SVf_OOK;
1518     Move(s, SvPVX(sv), SvCUR(sv)+1, char);
1519     return;
1520 }
1521
1522
1523 /* forward declaration */
1524 static void S_sv_uncow(pTHX_ SV * const sv, const U32 flags);
1525
1526
1527 /*
1528 =for apidoc sv_grow
1529
1530 Expands the character buffer in the SV.  If necessary, uses C<sv_unref> and
1531 upgrades the SV to C<SVt_PV>.  Returns a pointer to the character buffer.
1532 Use the C<SvGROW> wrapper instead.
1533
1534 =cut
1535 */
1536
1537
1538 char *
1539 Perl_sv_grow(pTHX_ SV *const sv, STRLEN newlen)
1540 {
1541     char *s;
1542
1543     PERL_ARGS_ASSERT_SV_GROW;
1544
1545     if (SvROK(sv))
1546         sv_unref(sv);
1547     if (SvTYPE(sv) < SVt_PV) {
1548         sv_upgrade(sv, SVt_PV);
1549         s = SvPVX_mutable(sv);
1550     }
1551     else if (SvOOK(sv)) {       /* pv is offset? */
1552         sv_backoff(sv);
1553         s = SvPVX_mutable(sv);
1554         if (newlen > SvLEN(sv))
1555             newlen += 10 * (newlen - SvCUR(sv)); /* avoid copy each time */
1556     }
1557     else
1558     {
1559         if (SvIsCOW(sv)) S_sv_uncow(aTHX_ sv, 0);
1560         s = SvPVX_mutable(sv);
1561     }
1562
1563 #ifdef PERL_COPY_ON_WRITE
1564     /* the new COW scheme uses SvPVX(sv)[SvLEN(sv)-1] (if spare)
1565      * to store the COW count. So in general, allocate one more byte than
1566      * asked for, to make it likely this byte is always spare: and thus
1567      * make more strings COW-able.
1568      *
1569      * Only increment if the allocation isn't MEM_SIZE_MAX,
1570      * otherwise it will wrap to 0.
1571      */
1572     if ( newlen != MEM_SIZE_MAX )
1573         newlen++;
1574 #endif
1575
1576 #if defined(PERL_USE_MALLOC_SIZE) && defined(Perl_safesysmalloc_size)
1577 #define PERL_UNWARANTED_CHUMMINESS_WITH_MALLOC
1578 #endif
1579
1580     if (newlen > SvLEN(sv)) {           /* need more room? */
1581         STRLEN minlen = SvCUR(sv);
1582         minlen += (minlen >> PERL_STRLEN_EXPAND_SHIFT) + 10;
1583         if (newlen < minlen)
1584             newlen = minlen;
1585 #ifndef PERL_UNWARANTED_CHUMMINESS_WITH_MALLOC
1586
1587         /* Don't round up on the first allocation, as odds are pretty good that
1588          * the initial request is accurate as to what is really needed */
1589         if (SvLEN(sv)) {
1590             STRLEN rounded = PERL_STRLEN_ROUNDUP(newlen);
1591             if (rounded > newlen)
1592                 newlen = rounded;
1593         }
1594 #endif
1595         if (SvLEN(sv) && s) {
1596             s = (char*)saferealloc(s, newlen);
1597         }
1598         else {
1599             s = (char*)safemalloc(newlen);
1600             if (SvPVX_const(sv) && SvCUR(sv)) {
1601                 Move(SvPVX_const(sv), s, SvCUR(sv), char);
1602             }
1603         }
1604         SvPV_set(sv, s);
1605 #ifdef PERL_UNWARANTED_CHUMMINESS_WITH_MALLOC
1606         /* Do this here, do it once, do it right, and then we will never get
1607            called back into sv_grow() unless there really is some growing
1608            needed.  */
1609         SvLEN_set(sv, Perl_safesysmalloc_size(s));
1610 #else
1611         SvLEN_set(sv, newlen);
1612 #endif
1613     }
1614     return s;
1615 }
1616
1617 /*
1618 =for apidoc sv_setiv
1619
1620 Copies an integer into the given SV, upgrading first if necessary.
1621 Does not handle 'set' magic.  See also C<L</sv_setiv_mg>>.
1622
1623 =cut
1624 */
1625
1626 void
1627 Perl_sv_setiv(pTHX_ SV *const sv, const IV i)
1628 {
1629     PERL_ARGS_ASSERT_SV_SETIV;
1630
1631     SV_CHECK_THINKFIRST_COW_DROP(sv);
1632     switch (SvTYPE(sv)) {
1633     case SVt_NULL:
1634     case SVt_NV:
1635         sv_upgrade(sv, SVt_IV);
1636         break;
1637     case SVt_PV:
1638         sv_upgrade(sv, SVt_PVIV);
1639         break;
1640
1641     case SVt_PVGV:
1642         if (!isGV_with_GP(sv))
1643             break;
1644         /* FALLTHROUGH */
1645     case SVt_PVAV:
1646     case SVt_PVHV:
1647     case SVt_PVCV:
1648     case SVt_PVFM:
1649     case SVt_PVIO:
1650         /* diag_listed_as: Can't coerce %s to %s in %s */
1651         Perl_croak(aTHX_ "Can't coerce %s to integer in %s", sv_reftype(sv,0),
1652                    OP_DESC(PL_op));
1653         NOT_REACHED; /* NOTREACHED */
1654         break;
1655     default: NOOP;
1656     }
1657     (void)SvIOK_only(sv);                       /* validate number */
1658     SvIV_set(sv, i);
1659     SvTAINT(sv);
1660 }
1661
1662 /*
1663 =for apidoc sv_setiv_mg
1664
1665 Like C<sv_setiv>, but also handles 'set' magic.
1666
1667 =cut
1668 */
1669
1670 void
1671 Perl_sv_setiv_mg(pTHX_ SV *const sv, const IV i)
1672 {
1673     PERL_ARGS_ASSERT_SV_SETIV_MG;
1674
1675     sv_setiv(sv,i);
1676     SvSETMAGIC(sv);
1677 }
1678
1679 /*
1680 =for apidoc sv_setuv
1681
1682 Copies an unsigned integer into the given SV, upgrading first if necessary.
1683 Does not handle 'set' magic.  See also C<L</sv_setuv_mg>>.
1684
1685 =cut
1686 */
1687
1688 void
1689 Perl_sv_setuv(pTHX_ SV *const sv, const UV u)
1690 {
1691     PERL_ARGS_ASSERT_SV_SETUV;
1692
1693     /* With the if statement to ensure that integers are stored as IVs whenever
1694        possible:
1695        u=1.49  s=0.52  cu=72.49  cs=10.64  scripts=270  tests=20865
1696
1697        without
1698        u=1.35  s=0.47  cu=73.45  cs=11.43  scripts=270  tests=20865
1699
1700        If you wish to remove the following if statement, so that this routine
1701        (and its callers) always return UVs, please benchmark to see what the
1702        effect is. Modern CPUs may be different. Or may not :-)
1703     */
1704     if (u <= (UV)IV_MAX) {
1705        sv_setiv(sv, (IV)u);
1706        return;
1707     }
1708     sv_setiv(sv, 0);
1709     SvIsUV_on(sv);
1710     SvUV_set(sv, u);
1711 }
1712
1713 /*
1714 =for apidoc sv_setuv_mg
1715
1716 Like C<sv_setuv>, but also handles 'set' magic.
1717
1718 =cut
1719 */
1720
1721 void
1722 Perl_sv_setuv_mg(pTHX_ SV *const sv, const UV u)
1723 {
1724     PERL_ARGS_ASSERT_SV_SETUV_MG;
1725
1726     sv_setuv(sv,u);
1727     SvSETMAGIC(sv);
1728 }
1729
1730 /*
1731 =for apidoc sv_setnv
1732
1733 Copies a double into the given SV, upgrading first if necessary.
1734 Does not handle 'set' magic.  See also C<L</sv_setnv_mg>>.
1735
1736 =cut
1737 */
1738
1739 void
1740 Perl_sv_setnv(pTHX_ SV *const sv, const NV num)
1741 {
1742     PERL_ARGS_ASSERT_SV_SETNV;
1743
1744     SV_CHECK_THINKFIRST_COW_DROP(sv);
1745     switch (SvTYPE(sv)) {
1746     case SVt_NULL:
1747     case SVt_IV:
1748         sv_upgrade(sv, SVt_NV);
1749         break;
1750     case SVt_PV:
1751     case SVt_PVIV:
1752         sv_upgrade(sv, SVt_PVNV);
1753         break;
1754
1755     case SVt_PVGV:
1756         if (!isGV_with_GP(sv))
1757             break;
1758         /* FALLTHROUGH */
1759     case SVt_PVAV:
1760     case SVt_PVHV:
1761     case SVt_PVCV:
1762     case SVt_PVFM:
1763     case SVt_PVIO:
1764         /* diag_listed_as: Can't coerce %s to %s in %s */
1765         Perl_croak(aTHX_ "Can't coerce %s to number in %s", sv_reftype(sv,0),
1766                    OP_DESC(PL_op));
1767         NOT_REACHED; /* NOTREACHED */
1768         break;
1769     default: NOOP;
1770     }
1771     SvNV_set(sv, num);
1772     (void)SvNOK_only(sv);                       /* validate number */
1773     SvTAINT(sv);
1774 }
1775
1776 /*
1777 =for apidoc sv_setnv_mg
1778
1779 Like C<sv_setnv>, but also handles 'set' magic.
1780
1781 =cut
1782 */
1783
1784 void
1785 Perl_sv_setnv_mg(pTHX_ SV *const sv, const NV num)
1786 {
1787     PERL_ARGS_ASSERT_SV_SETNV_MG;
1788
1789     sv_setnv(sv,num);
1790     SvSETMAGIC(sv);
1791 }
1792
1793 /* Return a cleaned-up, printable version of sv, for non-numeric, or
1794  * not incrementable warning display.
1795  * Originally part of S_not_a_number().
1796  * The return value may be != tmpbuf.
1797  */
1798
1799 STATIC const char *
1800 S_sv_display(pTHX_ SV *const sv, char *tmpbuf, STRLEN tmpbuf_size) {
1801     const char *pv;
1802
1803      PERL_ARGS_ASSERT_SV_DISPLAY;
1804
1805      if (DO_UTF8(sv)) {
1806           SV *dsv = newSVpvs_flags("", SVs_TEMP);
1807           pv = sv_uni_display(dsv, sv, 32, UNI_DISPLAY_ISPRINT);
1808      } else {
1809           char *d = tmpbuf;
1810           const char * const limit = tmpbuf + tmpbuf_size - 8;
1811           /* each *s can expand to 4 chars + "...\0",
1812              i.e. need room for 8 chars */
1813         
1814           const char *s = SvPVX_const(sv);
1815           const char * const end = s + SvCUR(sv);
1816           for ( ; s < end && d < limit; s++ ) {
1817                int ch = *s & 0xFF;
1818                if (! isASCII(ch) && !isPRINT_LC(ch)) {
1819                     *d++ = 'M';
1820                     *d++ = '-';
1821
1822                     /* Map to ASCII "equivalent" of Latin1 */
1823                     ch = LATIN1_TO_NATIVE(NATIVE_TO_LATIN1(ch) & 127);
1824                }
1825                if (ch == '\n') {
1826                     *d++ = '\\';
1827                     *d++ = 'n';
1828                }
1829                else if (ch == '\r') {
1830                     *d++ = '\\';
1831                     *d++ = 'r';
1832                }
1833                else if (ch == '\f') {
1834                     *d++ = '\\';
1835                     *d++ = 'f';
1836                }
1837                else if (ch == '\\') {
1838                     *d++ = '\\';
1839                     *d++ = '\\';
1840                }
1841                else if (ch == '\0') {
1842                     *d++ = '\\';
1843                     *d++ = '0';
1844                }
1845                else if (isPRINT_LC(ch))
1846                     *d++ = ch;
1847                else {
1848                     *d++ = '^';
1849                     *d++ = toCTRL(ch);
1850                }
1851           }
1852           if (s < end) {
1853                *d++ = '.';
1854                *d++ = '.';
1855                *d++ = '.';
1856           }
1857           *d = '\0';
1858           pv = tmpbuf;
1859     }
1860
1861     return pv;
1862 }
1863
1864 /* Print an "isn't numeric" warning, using a cleaned-up,
1865  * printable version of the offending string
1866  */
1867
1868 STATIC void
1869 S_not_a_number(pTHX_ SV *const sv)
1870 {
1871      char tmpbuf[64];
1872      const char *pv;
1873
1874      PERL_ARGS_ASSERT_NOT_A_NUMBER;
1875
1876      pv = sv_display(sv, tmpbuf, sizeof(tmpbuf));
1877
1878     if (PL_op)
1879         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1880                     /* diag_listed_as: Argument "%s" isn't numeric%s */
1881                     "Argument \"%s\" isn't numeric in %s", pv,
1882                     OP_DESC(PL_op));
1883     else
1884         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1885                     /* diag_listed_as: Argument "%s" isn't numeric%s */
1886                     "Argument \"%s\" isn't numeric", pv);
1887 }
1888
1889 STATIC void
1890 S_not_incrementable(pTHX_ SV *const sv) {
1891      char tmpbuf[64];
1892      const char *pv;
1893
1894      PERL_ARGS_ASSERT_NOT_INCREMENTABLE;
1895
1896      pv = sv_display(sv, tmpbuf, sizeof(tmpbuf));
1897
1898      Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1899                  "Argument \"%s\" treated as 0 in increment (++)", pv);
1900 }
1901
1902 /*
1903 =for apidoc looks_like_number
1904
1905 Test if the content of an SV looks like a number (or is a number).
1906 C<Inf> and C<Infinity> are treated as numbers (so will not issue a
1907 non-numeric warning), even if your C<atof()> doesn't grok them.  Get-magic is
1908 ignored.
1909
1910 =cut
1911 */
1912
1913 I32
1914 Perl_looks_like_number(pTHX_ SV *const sv)
1915 {
1916     const char *sbegin;
1917     STRLEN len;
1918     int numtype;
1919
1920     PERL_ARGS_ASSERT_LOOKS_LIKE_NUMBER;
1921
1922     if (SvPOK(sv) || SvPOKp(sv)) {
1923         sbegin = SvPV_nomg_const(sv, len);
1924     }
1925     else
1926         return SvFLAGS(sv) & (SVf_NOK|SVp_NOK|SVf_IOK|SVp_IOK);
1927     numtype = grok_number(sbegin, len, NULL);
1928     return ((numtype & IS_NUMBER_TRAILING)) ? 0 : numtype;
1929 }
1930
1931 STATIC bool
1932 S_glob_2number(pTHX_ GV * const gv)
1933 {
1934     PERL_ARGS_ASSERT_GLOB_2NUMBER;
1935
1936     /* We know that all GVs stringify to something that is not-a-number,
1937         so no need to test that.  */
1938     if (ckWARN(WARN_NUMERIC))
1939     {
1940         SV *const buffer = sv_newmortal();
1941         gv_efullname3(buffer, gv, "*");
1942         not_a_number(buffer);
1943     }
1944     /* We just want something true to return, so that S_sv_2iuv_common
1945         can tail call us and return true.  */
1946     return TRUE;
1947 }
1948
1949 /* Actually, ISO C leaves conversion of UV to IV undefined, but
1950    until proven guilty, assume that things are not that bad... */
1951
1952 /*
1953    NV_PRESERVES_UV:
1954
1955    As 64 bit platforms often have an NV that doesn't preserve all bits of
1956    an IV (an assumption perl has been based on to date) it becomes necessary
1957    to remove the assumption that the NV always carries enough precision to
1958    recreate the IV whenever needed, and that the NV is the canonical form.
1959    Instead, IV/UV and NV need to be given equal rights. So as to not lose
1960    precision as a side effect of conversion (which would lead to insanity
1961    and the dragon(s) in t/op/numconvert.t getting very angry) the intent is
1962    1) to distinguish between IV/UV/NV slots that have a valid conversion cached
1963       where precision was lost, and IV/UV/NV slots that have a valid conversion
1964       which has lost no precision
1965    2) to ensure that if a numeric conversion to one form is requested that
1966       would lose precision, the precise conversion (or differently
1967       imprecise conversion) is also performed and cached, to prevent
1968       requests for different numeric formats on the same SV causing
1969       lossy conversion chains. (lossless conversion chains are perfectly
1970       acceptable (still))
1971
1972
1973    flags are used:
1974    SvIOKp is true if the IV slot contains a valid value
1975    SvIOK  is true only if the IV value is accurate (UV if SvIOK_UV true)
1976    SvNOKp is true if the NV slot contains a valid value
1977    SvNOK  is true only if the NV value is accurate
1978
1979    so
1980    while converting from PV to NV, check to see if converting that NV to an
1981    IV(or UV) would lose accuracy over a direct conversion from PV to
1982    IV(or UV). If it would, cache both conversions, return NV, but mark
1983    SV as IOK NOKp (ie not NOK).
1984
1985    While converting from PV to IV, check to see if converting that IV to an
1986    NV would lose accuracy over a direct conversion from PV to NV. If it
1987    would, cache both conversions, flag similarly.
1988
1989    Before, the SV value "3.2" could become NV=3.2 IV=3 NOK, IOK quite
1990    correctly because if IV & NV were set NV *always* overruled.
1991    Now, "3.2" will become NV=3.2 IV=3 NOK, IOKp, because the flag's meaning
1992    changes - now IV and NV together means that the two are interchangeable:
1993    SvIVX == (IV) SvNVX && SvNVX == (NV) SvIVX;
1994
1995    The benefit of this is that operations such as pp_add know that if
1996    SvIOK is true for both left and right operands, then integer addition
1997    can be used instead of floating point (for cases where the result won't
1998    overflow). Before, floating point was always used, which could lead to
1999    loss of precision compared with integer addition.
2000
2001    * making IV and NV equal status should make maths accurate on 64 bit
2002      platforms
2003    * may speed up maths somewhat if pp_add and friends start to use
2004      integers when possible instead of fp. (Hopefully the overhead in
2005      looking for SvIOK and checking for overflow will not outweigh the
2006      fp to integer speedup)
2007    * will slow down integer operations (callers of SvIV) on "inaccurate"
2008      values, as the change from SvIOK to SvIOKp will cause a call into
2009      sv_2iv each time rather than a macro access direct to the IV slot
2010    * should speed up number->string conversion on integers as IV is
2011      favoured when IV and NV are equally accurate
2012
2013    ####################################################################
2014    You had better be using SvIOK_notUV if you want an IV for arithmetic:
2015    SvIOK is true if (IV or UV), so you might be getting (IV)SvUV.
2016    On the other hand, SvUOK is true iff UV.
2017    ####################################################################
2018
2019    Your mileage will vary depending your CPU's relative fp to integer
2020    performance ratio.
2021 */
2022
2023 #ifndef NV_PRESERVES_UV
2024 #  define IS_NUMBER_UNDERFLOW_IV 1
2025 #  define IS_NUMBER_UNDERFLOW_UV 2
2026 #  define IS_NUMBER_IV_AND_UV    2
2027 #  define IS_NUMBER_OVERFLOW_IV  4
2028 #  define IS_NUMBER_OVERFLOW_UV  5
2029
2030 /* sv_2iuv_non_preserve(): private routine for use by sv_2iv() and sv_2uv() */
2031
2032 /* For sv_2nv these three cases are "SvNOK and don't bother casting"  */
2033 STATIC int
2034 S_sv_2iuv_non_preserve(pTHX_ SV *const sv
2035 #  ifdef DEBUGGING
2036                        , I32 numtype
2037 #  endif
2038                        )
2039 {
2040     PERL_ARGS_ASSERT_SV_2IUV_NON_PRESERVE;
2041     PERL_UNUSED_CONTEXT;
2042
2043     DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_2iuv_non '%s', IV=0x%" UVxf " NV=%" NVgf " inttype=%" UVXf "\n", SvPVX_const(sv), SvIVX(sv), SvNVX(sv), (UV)numtype));
2044     if (SvNVX(sv) < (NV)IV_MIN) {
2045         (void)SvIOKp_on(sv);
2046         (void)SvNOK_on(sv);
2047         SvIV_set(sv, IV_MIN);
2048         return IS_NUMBER_UNDERFLOW_IV;
2049     }
2050     if (SvNVX(sv) > (NV)UV_MAX) {
2051         (void)SvIOKp_on(sv);
2052         (void)SvNOK_on(sv);
2053         SvIsUV_on(sv);
2054         SvUV_set(sv, UV_MAX);
2055         return IS_NUMBER_OVERFLOW_UV;
2056     }
2057     (void)SvIOKp_on(sv);
2058     (void)SvNOK_on(sv);
2059     /* Can't use strtol etc to convert this string.  (See truth table in
2060        sv_2iv  */
2061     if (SvNVX(sv) <= (UV)IV_MAX) {
2062         SvIV_set(sv, I_V(SvNVX(sv)));
2063         if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
2064             SvIOK_on(sv); /* Integer is precise. NOK, IOK */
2065         } else {
2066             /* Integer is imprecise. NOK, IOKp */
2067         }
2068         return SvNVX(sv) < 0 ? IS_NUMBER_UNDERFLOW_UV : IS_NUMBER_IV_AND_UV;
2069     }
2070     SvIsUV_on(sv);
2071     SvUV_set(sv, U_V(SvNVX(sv)));
2072     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
2073         if (SvUVX(sv) == UV_MAX) {
2074             /* As we know that NVs don't preserve UVs, UV_MAX cannot
2075                possibly be preserved by NV. Hence, it must be overflow.
2076                NOK, IOKp */
2077             return IS_NUMBER_OVERFLOW_UV;
2078         }
2079         SvIOK_on(sv); /* Integer is precise. NOK, UOK */
2080     } else {
2081         /* Integer is imprecise. NOK, IOKp */
2082     }
2083     return IS_NUMBER_OVERFLOW_IV;
2084 }
2085 #endif /* !NV_PRESERVES_UV*/
2086
2087 /* If numtype is infnan, set the NV of the sv accordingly.
2088  * If numtype is anything else, try setting the NV using Atof(PV). */
2089 #ifdef USING_MSVC6
2090 #  pragma warning(push)
2091 #  pragma warning(disable:4756;disable:4056)
2092 #endif
2093 static void
2094 S_sv_setnv(pTHX_ SV* sv, int numtype)
2095 {
2096     bool pok = cBOOL(SvPOK(sv));
2097     bool nok = FALSE;
2098 #ifdef NV_INF
2099     if ((numtype & IS_NUMBER_INFINITY)) {
2100         SvNV_set(sv, (numtype & IS_NUMBER_NEG) ? -NV_INF : NV_INF);
2101         nok = TRUE;
2102     } else
2103 #endif
2104 #ifdef NV_NAN
2105     if ((numtype & IS_NUMBER_NAN)) {
2106         SvNV_set(sv, NV_NAN);
2107         nok = TRUE;
2108     } else
2109 #endif
2110     if (pok) {
2111         SvNV_set(sv, Atof(SvPVX_const(sv)));
2112         /* Purposefully no true nok here, since we don't want to blow
2113          * away the possible IOK/UV of an existing sv. */
2114     }
2115     if (nok) {
2116         SvNOK_only(sv); /* No IV or UV please, this is pure infnan. */
2117         if (pok)
2118             SvPOK_on(sv); /* PV is okay, though. */
2119     }
2120 }
2121 #ifdef USING_MSVC6
2122 #  pragma warning(pop)
2123 #endif
2124
2125 STATIC bool
2126 S_sv_2iuv_common(pTHX_ SV *const sv)
2127 {
2128     PERL_ARGS_ASSERT_SV_2IUV_COMMON;
2129
2130     if (SvNOKp(sv)) {
2131         /* erm. not sure. *should* never get NOKp (without NOK) from sv_2nv
2132          * without also getting a cached IV/UV from it at the same time
2133          * (ie PV->NV conversion should detect loss of accuracy and cache
2134          * IV or UV at same time to avoid this. */
2135         /* IV-over-UV optimisation - choose to cache IV if possible */
2136
2137         if (SvTYPE(sv) == SVt_NV)
2138             sv_upgrade(sv, SVt_PVNV);
2139
2140         (void)SvIOKp_on(sv);    /* Must do this first, to clear any SvOOK */
2141         /* < not <= as for NV doesn't preserve UV, ((NV)IV_MAX+1) will almost
2142            certainly cast into the IV range at IV_MAX, whereas the correct
2143            answer is the UV IV_MAX +1. Hence < ensures that dodgy boundary
2144            cases go to UV */
2145 #if defined(NAN_COMPARE_BROKEN) && defined(Perl_isnan)
2146         if (Perl_isnan(SvNVX(sv))) {
2147             SvUV_set(sv, 0);
2148             SvIsUV_on(sv);
2149             return FALSE;
2150         }
2151 #endif
2152         if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2153             SvIV_set(sv, I_V(SvNVX(sv)));
2154             if (SvNVX(sv) == (NV) SvIVX(sv)
2155 #ifndef NV_PRESERVES_UV
2156                 && SvIVX(sv) != IV_MIN /* avoid negating IV_MIN below */
2157                 && (((UV)1 << NV_PRESERVES_UV_BITS) >
2158                     (UV)(SvIVX(sv) > 0 ? SvIVX(sv) : -SvIVX(sv)))
2159                 /* Don't flag it as "accurately an integer" if the number
2160                    came from a (by definition imprecise) NV operation, and
2161                    we're outside the range of NV integer precision */
2162 #endif
2163                 ) {
2164                 if (SvNOK(sv))
2165                     SvIOK_on(sv);  /* Can this go wrong with rounding? NWC */
2166                 else {
2167                     /* scalar has trailing garbage, eg "42a" */
2168                 }
2169                 DEBUG_c(PerlIO_printf(Perl_debug_log,
2170                                       "0x%" UVxf " iv(%" NVgf " => %" IVdf ") (precise)\n",
2171                                       PTR2UV(sv),
2172                                       SvNVX(sv),
2173                                       SvIVX(sv)));
2174
2175             } else {
2176                 /* IV not precise.  No need to convert from PV, as NV
2177                    conversion would already have cached IV if it detected
2178                    that PV->IV would be better than PV->NV->IV
2179                    flags already correct - don't set public IOK.  */
2180                 DEBUG_c(PerlIO_printf(Perl_debug_log,
2181                                       "0x%" UVxf " iv(%" NVgf " => %" IVdf ") (imprecise)\n",
2182                                       PTR2UV(sv),
2183                                       SvNVX(sv),
2184                                       SvIVX(sv)));
2185             }
2186             /* Can the above go wrong if SvIVX == IV_MIN and SvNVX < IV_MIN,
2187                but the cast (NV)IV_MIN rounds to a the value less (more
2188                negative) than IV_MIN which happens to be equal to SvNVX ??
2189                Analogous to 0xFFFFFFFFFFFFFFFF rounding up to NV (2**64) and
2190                NV rounding back to 0xFFFFFFFFFFFFFFFF, so UVX == UV(NVX) and
2191                (NV)UVX == NVX are both true, but the values differ. :-(
2192                Hopefully for 2s complement IV_MIN is something like
2193                0x8000000000000000 which will be exact. NWC */
2194         }
2195         else {
2196             SvUV_set(sv, U_V(SvNVX(sv)));
2197             if (
2198                 (SvNVX(sv) == (NV) SvUVX(sv))
2199 #ifndef  NV_PRESERVES_UV
2200                 /* Make sure it's not 0xFFFFFFFFFFFFFFFF */
2201                 /*&& (SvUVX(sv) != UV_MAX) irrelevant with code below */
2202                 && (((UV)1 << NV_PRESERVES_UV_BITS) > SvUVX(sv))
2203                 /* Don't flag it as "accurately an integer" if the number
2204                    came from a (by definition imprecise) NV operation, and
2205                    we're outside the range of NV integer precision */
2206 #endif
2207                 && SvNOK(sv)
2208                 )
2209                 SvIOK_on(sv);
2210             SvIsUV_on(sv);
2211             DEBUG_c(PerlIO_printf(Perl_debug_log,
2212                                   "0x%" UVxf " 2iv(%" UVuf " => %" IVdf ") (as unsigned)\n",
2213                                   PTR2UV(sv),
2214                                   SvUVX(sv),
2215                                   SvUVX(sv)));
2216         }
2217     }
2218     else if (SvPOKp(sv)) {
2219         UV value;
2220         int numtype;
2221         const char *s = SvPVX_const(sv);
2222         const STRLEN cur = SvCUR(sv);
2223
2224         /* short-cut for a single digit string like "1" */
2225
2226         if (cur == 1) {
2227             char c = *s;
2228             if (isDIGIT(c)) {
2229                 if (SvTYPE(sv) < SVt_PVIV)
2230                     sv_upgrade(sv, SVt_PVIV);
2231                 (void)SvIOK_on(sv);
2232                 SvIV_set(sv, (IV)(c - '0'));
2233                 return FALSE;
2234             }
2235         }
2236
2237         numtype = grok_number(s, cur, &value);
2238         /* We want to avoid a possible problem when we cache an IV/ a UV which
2239            may be later translated to an NV, and the resulting NV is not
2240            the same as the direct translation of the initial string
2241            (eg 123.456 can shortcut to the IV 123 with atol(), but we must
2242            be careful to ensure that the value with the .456 is around if the
2243            NV value is requested in the future).
2244         
2245            This means that if we cache such an IV/a UV, we need to cache the
2246            NV as well.  Moreover, we trade speed for space, and do not
2247            cache the NV if we are sure it's not needed.
2248          */
2249
2250         /* SVt_PVNV is one higher than SVt_PVIV, hence this order  */
2251         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2252              == IS_NUMBER_IN_UV) {
2253             /* It's definitely an integer, only upgrade to PVIV */
2254             if (SvTYPE(sv) < SVt_PVIV)
2255                 sv_upgrade(sv, SVt_PVIV);
2256             (void)SvIOK_on(sv);
2257         } else if (SvTYPE(sv) < SVt_PVNV)
2258             sv_upgrade(sv, SVt_PVNV);
2259
2260         if ((numtype & (IS_NUMBER_INFINITY | IS_NUMBER_NAN))) {
2261             if (ckWARN(WARN_NUMERIC) && ((numtype & IS_NUMBER_TRAILING)))
2262                 not_a_number(sv);
2263             S_sv_setnv(aTHX_ sv, numtype);
2264             return FALSE;
2265         }
2266
2267         /* If NVs preserve UVs then we only use the UV value if we know that
2268            we aren't going to call atof() below. If NVs don't preserve UVs
2269            then the value returned may have more precision than atof() will
2270            return, even though value isn't perfectly accurate.  */
2271         if ((numtype & (IS_NUMBER_IN_UV
2272 #ifdef NV_PRESERVES_UV
2273                         | IS_NUMBER_NOT_INT
2274 #endif
2275             )) == IS_NUMBER_IN_UV) {
2276             /* This won't turn off the public IOK flag if it was set above  */
2277             (void)SvIOKp_on(sv);
2278
2279             if (!(numtype & IS_NUMBER_NEG)) {
2280                 /* positive */;
2281                 if (value <= (UV)IV_MAX) {
2282                     SvIV_set(sv, (IV)value);
2283                 } else {
2284                     /* it didn't overflow, and it was positive. */
2285                     SvUV_set(sv, value);
2286                     SvIsUV_on(sv);
2287                 }
2288             } else {
2289                 /* 2s complement assumption  */
2290                 if (value <= (UV)IV_MIN) {
2291                     SvIV_set(sv, value == (UV)IV_MIN
2292                                     ? IV_MIN : -(IV)value);
2293                 } else {
2294                     /* Too negative for an IV.  This is a double upgrade, but
2295                        I'm assuming it will be rare.  */
2296                     if (SvTYPE(sv) < SVt_PVNV)
2297                         sv_upgrade(sv, SVt_PVNV);
2298                     SvNOK_on(sv);
2299                     SvIOK_off(sv);
2300                     SvIOKp_on(sv);
2301                     SvNV_set(sv, -(NV)value);
2302                     SvIV_set(sv, IV_MIN);
2303                 }
2304             }
2305         }
2306         /* For !NV_PRESERVES_UV and IS_NUMBER_IN_UV and IS_NUMBER_NOT_INT we
2307            will be in the previous block to set the IV slot, and the next
2308            block to set the NV slot.  So no else here.  */
2309         
2310         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2311             != IS_NUMBER_IN_UV) {
2312             /* It wasn't an (integer that doesn't overflow the UV). */
2313             S_sv_setnv(aTHX_ sv, numtype);
2314
2315             if (! numtype && ckWARN(WARN_NUMERIC))
2316                 not_a_number(sv);
2317
2318             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%" UVxf " 2iv(%" NVgf ")\n",
2319                                   PTR2UV(sv), SvNVX(sv)));
2320
2321 #ifdef NV_PRESERVES_UV
2322             (void)SvIOKp_on(sv);
2323             (void)SvNOK_on(sv);
2324 #if defined(NAN_COMPARE_BROKEN) && defined(Perl_isnan)
2325             if (Perl_isnan(SvNVX(sv))) {
2326                 SvUV_set(sv, 0);
2327                 SvIsUV_on(sv);
2328                 return FALSE;
2329             }
2330 #endif
2331             if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2332                 SvIV_set(sv, I_V(SvNVX(sv)));
2333                 if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
2334                     SvIOK_on(sv);
2335                 } else {
2336                     NOOP;  /* Integer is imprecise. NOK, IOKp */
2337                 }
2338                 /* UV will not work better than IV */
2339             } else {
2340                 if (SvNVX(sv) > (NV)UV_MAX) {
2341                     SvIsUV_on(sv);
2342                     /* Integer is inaccurate. NOK, IOKp, is UV */
2343                     SvUV_set(sv, UV_MAX);
2344                 } else {
2345                     SvUV_set(sv, U_V(SvNVX(sv)));
2346                     /* 0xFFFFFFFFFFFFFFFF not an issue in here, NVs
2347                        NV preservse UV so can do correct comparison.  */
2348                     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
2349                         SvIOK_on(sv);
2350                     } else {
2351                         NOOP;   /* Integer is imprecise. NOK, IOKp, is UV */
2352                     }
2353                 }
2354                 SvIsUV_on(sv);
2355             }
2356 #else /* NV_PRESERVES_UV */
2357             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2358                 == (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT)) {
2359                 /* The IV/UV slot will have been set from value returned by
2360                    grok_number above.  The NV slot has just been set using
2361                    Atof.  */
2362                 SvNOK_on(sv);
2363                 assert (SvIOKp(sv));
2364             } else {
2365                 if (((UV)1 << NV_PRESERVES_UV_BITS) >
2366                     U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2367                     /* Small enough to preserve all bits. */
2368                     (void)SvIOKp_on(sv);
2369                     SvNOK_on(sv);
2370                     SvIV_set(sv, I_V(SvNVX(sv)));
2371                     if ((NV)(SvIVX(sv)) == SvNVX(sv))
2372                         SvIOK_on(sv);
2373                     /* Assumption: first non-preserved integer is < IV_MAX,
2374                        this NV is in the preserved range, therefore: */
2375                     if (!(U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))
2376                           < (UV)IV_MAX)) {
2377                         Perl_croak(aTHX_ "sv_2iv assumed (U_V(fabs((double)SvNVX(sv))) < (UV)IV_MAX) but SvNVX(sv)=%" NVgf " U_V is 0x%" UVxf ", IV_MAX is 0x%" UVxf "\n", SvNVX(sv), U_V(SvNVX(sv)), (UV)IV_MAX);
2378                     }
2379                 } else {
2380                     /* IN_UV NOT_INT
2381                          0      0       already failed to read UV.
2382                          0      1       already failed to read UV.
2383                          1      0       you won't get here in this case. IV/UV
2384                                         slot set, public IOK, Atof() unneeded.
2385                          1      1       already read UV.
2386                        so there's no point in sv_2iuv_non_preserve() attempting
2387                        to use atol, strtol, strtoul etc.  */
2388 #  ifdef DEBUGGING
2389                     sv_2iuv_non_preserve (sv, numtype);
2390 #  else
2391                     sv_2iuv_non_preserve (sv);
2392 #  endif
2393                 }
2394             }
2395 #endif /* NV_PRESERVES_UV */
2396         /* It might be more code efficient to go through the entire logic above
2397            and conditionally set with SvIOKp_on() rather than SvIOK(), but it
2398            gets complex and potentially buggy, so more programmer efficient
2399            to do it this way, by turning off the public flags:  */
2400         if (!numtype)
2401             SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK);
2402         }
2403     }
2404     else  {
2405         if (isGV_with_GP(sv))
2406             return glob_2number(MUTABLE_GV(sv));
2407
2408         if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
2409                 report_uninit(sv);
2410         if (SvTYPE(sv) < SVt_IV)
2411             /* Typically the caller expects that sv_any is not NULL now.  */
2412             sv_upgrade(sv, SVt_IV);
2413         /* Return 0 from the caller.  */
2414         return TRUE;
2415     }
2416     return FALSE;
2417 }
2418
2419 /*
2420 =for apidoc sv_2iv_flags
2421
2422 Return the integer value of an SV, doing any necessary string
2423 conversion.  If C<flags> has the C<SV_GMAGIC> bit set, does an C<mg_get()> first.
2424 Normally used via the C<SvIV(sv)> and C<SvIVx(sv)> macros.
2425
2426 =cut
2427 */
2428
2429 IV
2430 Perl_sv_2iv_flags(pTHX_ SV *const sv, const I32 flags)
2431 {
2432     PERL_ARGS_ASSERT_SV_2IV_FLAGS;
2433
2434     assert (SvTYPE(sv) != SVt_PVAV && SvTYPE(sv) != SVt_PVHV
2435          && SvTYPE(sv) != SVt_PVFM);
2436
2437     if (SvGMAGICAL(sv) && (flags & SV_GMAGIC))
2438         mg_get(sv);
2439
2440     if (SvROK(sv)) {
2441         if (SvAMAGIC(sv)) {
2442             SV * tmpstr;
2443             if (flags & SV_SKIP_OVERLOAD)
2444                 return 0;
2445             tmpstr = AMG_CALLunary(sv, numer_amg);
2446             if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2447                 return SvIV(tmpstr);
2448             }
2449         }
2450         return PTR2IV(SvRV(sv));
2451     }
2452
2453     if (SvVALID(sv) || isREGEXP(sv)) {
2454         /* FBMs use the space for SvIVX and SvNVX for other purposes, so
2455            must not let them cache IVs.
2456            In practice they are extremely unlikely to actually get anywhere
2457            accessible by user Perl code - the only way that I'm aware of is when
2458            a constant subroutine which is used as the second argument to index.
2459
2460            Regexps have no SvIVX and SvNVX fields.
2461         */
2462         assert(SvPOKp(sv));
2463         {
2464             UV value;
2465             const char * const ptr =
2466                 isREGEXP(sv) ? RX_WRAPPED((REGEXP*)sv) : SvPVX_const(sv);
2467             const int numtype
2468                 = grok_number(ptr, SvCUR(sv), &value);
2469
2470             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2471                 == IS_NUMBER_IN_UV) {
2472                 /* It's definitely an integer */
2473                 if (numtype & IS_NUMBER_NEG) {
2474                     if (value < (UV)IV_MIN)
2475                         return -(IV)value;
2476                 } else {
2477                     if (value < (UV)IV_MAX)
2478                         return (IV)value;
2479                 }
2480             }
2481
2482             /* Quite wrong but no good choices. */
2483             if ((numtype & IS_NUMBER_INFINITY)) {
2484                 return (numtype & IS_NUMBER_NEG) ? IV_MIN : IV_MAX;
2485             } else if ((numtype & IS_NUMBER_NAN)) {
2486                 return 0; /* So wrong. */
2487             }
2488
2489             if (!numtype) {
2490                 if (ckWARN(WARN_NUMERIC))
2491                     not_a_number(sv);
2492             }
2493             return I_V(Atof(ptr));
2494         }
2495     }
2496
2497     if (SvTHINKFIRST(sv)) {
2498         if (SvREADONLY(sv) && !SvOK(sv)) {
2499             if (ckWARN(WARN_UNINITIALIZED))
2500                 report_uninit(sv);
2501             return 0;
2502         }
2503     }
2504
2505     if (!SvIOKp(sv)) {
2506         if (S_sv_2iuv_common(aTHX_ sv))
2507             return 0;
2508     }
2509
2510     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%" UVxf " 2iv(%" IVdf ")\n",
2511         PTR2UV(sv),SvIVX(sv)));
2512     return SvIsUV(sv) ? (IV)SvUVX(sv) : SvIVX(sv);
2513 }
2514
2515 /*
2516 =for apidoc sv_2uv_flags
2517
2518 Return the unsigned integer value of an SV, doing any necessary string
2519 conversion.  If C<flags> has the C<SV_GMAGIC> bit set, does an C<mg_get()> first.
2520 Normally used via the C<SvUV(sv)> and C<SvUVx(sv)> macros.
2521
2522 =cut
2523 */
2524
2525 UV
2526 Perl_sv_2uv_flags(pTHX_ SV *const sv, const I32 flags)
2527 {
2528     PERL_ARGS_ASSERT_SV_2UV_FLAGS;
2529
2530     if (SvGMAGICAL(sv) && (flags & SV_GMAGIC))
2531         mg_get(sv);
2532
2533     if (SvROK(sv)) {
2534         if (SvAMAGIC(sv)) {
2535             SV *tmpstr;
2536             if (flags & SV_SKIP_OVERLOAD)
2537                 return 0;
2538             tmpstr = AMG_CALLunary(sv, numer_amg);
2539             if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2540                 return SvUV(tmpstr);
2541             }
2542         }
2543         return PTR2UV(SvRV(sv));
2544     }
2545
2546     if (SvVALID(sv) || isREGEXP(sv)) {
2547         /* FBMs use the space for SvIVX and SvNVX for other purposes, and use
2548            the same flag bit as SVf_IVisUV, so must not let them cache IVs.  
2549            Regexps have no SvIVX and SvNVX fields. */
2550         assert(SvPOKp(sv));
2551         {
2552             UV value;
2553             const char * const ptr =
2554                 isREGEXP(sv) ? RX_WRAPPED((REGEXP*)sv) : SvPVX_const(sv);
2555             const int numtype
2556                 = grok_number(ptr, SvCUR(sv), &value);
2557
2558             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2559                 == IS_NUMBER_IN_UV) {
2560                 /* It's definitely an integer */
2561                 if (!(numtype & IS_NUMBER_NEG))
2562                     return value;
2563             }
2564
2565             /* Quite wrong but no good choices. */
2566             if ((numtype & IS_NUMBER_INFINITY)) {
2567                 return UV_MAX; /* So wrong. */
2568             } else if ((numtype & IS_NUMBER_NAN)) {
2569                 return 0; /* So wrong. */
2570             }
2571
2572             if (!numtype) {
2573                 if (ckWARN(WARN_NUMERIC))
2574                     not_a_number(sv);
2575             }
2576             return U_V(Atof(ptr));
2577         }
2578     }
2579
2580     if (SvTHINKFIRST(sv)) {
2581         if (SvREADONLY(sv) && !SvOK(sv)) {
2582             if (ckWARN(WARN_UNINITIALIZED))
2583                 report_uninit(sv);
2584             return 0;
2585         }
2586     }
2587
2588     if (!SvIOKp(sv)) {
2589         if (S_sv_2iuv_common(aTHX_ sv))
2590             return 0;
2591     }
2592
2593     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%" UVxf " 2uv(%" UVuf ")\n",
2594                           PTR2UV(sv),SvUVX(sv)));
2595     return SvIsUV(sv) ? SvUVX(sv) : (UV)SvIVX(sv);
2596 }
2597
2598 /*
2599 =for apidoc sv_2nv_flags
2600
2601 Return the num value of an SV, doing any necessary string or integer
2602 conversion.  If C<flags> has the C<SV_GMAGIC> bit set, does an C<mg_get()> first.
2603 Normally used via the C<SvNV(sv)> and C<SvNVx(sv)> macros.
2604
2605 =cut
2606 */
2607
2608 NV
2609 Perl_sv_2nv_flags(pTHX_ SV *const sv, const I32 flags)
2610 {
2611     PERL_ARGS_ASSERT_SV_2NV_FLAGS;
2612
2613     assert (SvTYPE(sv) != SVt_PVAV && SvTYPE(sv) != SVt_PVHV
2614          && SvTYPE(sv) != SVt_PVFM);
2615     if (SvGMAGICAL(sv) || SvVALID(sv) || isREGEXP(sv)) {
2616         /* FBMs use the space for SvIVX and SvNVX for other purposes, and use
2617            the same flag bit as SVf_IVisUV, so must not let them cache NVs.
2618            Regexps have no SvIVX and SvNVX fields.  */
2619         const char *ptr;
2620         if (flags & SV_GMAGIC)
2621             mg_get(sv);
2622         if (SvNOKp(sv))
2623             return SvNVX(sv);
2624         if (SvPOKp(sv) && !SvIOKp(sv)) {
2625             ptr = SvPVX_const(sv);
2626             if (!SvIOKp(sv) && ckWARN(WARN_NUMERIC) &&
2627                 !grok_number(ptr, SvCUR(sv), NULL))
2628                 not_a_number(sv);
2629             return Atof(ptr);
2630         }
2631         if (SvIOKp(sv)) {
2632             if (SvIsUV(sv))
2633                 return (NV)SvUVX(sv);
2634             else
2635                 return (NV)SvIVX(sv);
2636         }
2637         if (SvROK(sv)) {
2638             goto return_rok;
2639         }
2640         assert(SvTYPE(sv) >= SVt_PVMG);
2641         /* This falls through to the report_uninit near the end of the
2642            function. */
2643     } else if (SvTHINKFIRST(sv)) {
2644         if (SvROK(sv)) {
2645         return_rok:
2646             if (SvAMAGIC(sv)) {
2647                 SV *tmpstr;
2648                 if (flags & SV_SKIP_OVERLOAD)
2649                     return 0;
2650                 tmpstr = AMG_CALLunary(sv, numer_amg);
2651                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2652                     return SvNV(tmpstr);
2653                 }
2654             }
2655             return PTR2NV(SvRV(sv));
2656         }
2657         if (SvREADONLY(sv) && !SvOK(sv)) {
2658             if (ckWARN(WARN_UNINITIALIZED))
2659                 report_uninit(sv);
2660             return 0.0;
2661         }
2662     }
2663     if (SvTYPE(sv) < SVt_NV) {
2664         /* The logic to use SVt_PVNV if necessary is in sv_upgrade.  */
2665         sv_upgrade(sv, SVt_NV);
2666         CLANG_DIAG_IGNORE_STMT(-Wthread-safety);
2667         DEBUG_c({
2668             DECLARATION_FOR_LC_NUMERIC_MANIPULATION;
2669             STORE_LC_NUMERIC_SET_STANDARD();
2670             PerlIO_printf(Perl_debug_log,
2671                           "0x%" UVxf " num(%" NVgf ")\n",
2672                           PTR2UV(sv), SvNVX(sv));
2673             RESTORE_LC_NUMERIC();
2674         });
2675         CLANG_DIAG_RESTORE_STMT;
2676
2677     }
2678     else if (SvTYPE(sv) < SVt_PVNV)
2679         sv_upgrade(sv, SVt_PVNV);
2680     if (SvNOKp(sv)) {
2681         return SvNVX(sv);
2682     }
2683     if (SvIOKp(sv)) {
2684         SvNV_set(sv, SvIsUV(sv) ? (NV)SvUVX(sv) : (NV)SvIVX(sv));
2685 #ifdef NV_PRESERVES_UV
2686         if (SvIOK(sv))
2687             SvNOK_on(sv);
2688         else
2689             SvNOKp_on(sv);
2690 #else
2691         /* Only set the public NV OK flag if this NV preserves the IV  */
2692         /* Check it's not 0xFFFFFFFFFFFFFFFF */
2693         if (SvIOK(sv) &&
2694             SvIsUV(sv) ? ((SvUVX(sv) != UV_MAX)&&(SvUVX(sv) == U_V(SvNVX(sv))))
2695                        : (SvIVX(sv) == I_V(SvNVX(sv))))
2696             SvNOK_on(sv);
2697         else
2698             SvNOKp_on(sv);
2699 #endif
2700     }
2701     else if (SvPOKp(sv)) {
2702         UV value;
2703         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2704         if (!SvIOKp(sv) && !numtype && ckWARN(WARN_NUMERIC))
2705             not_a_number(sv);
2706 #ifdef NV_PRESERVES_UV
2707         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2708             == IS_NUMBER_IN_UV) {
2709             /* It's definitely an integer */
2710             SvNV_set(sv, (numtype & IS_NUMBER_NEG) ? -(NV)value : (NV)value);
2711         } else {
2712             S_sv_setnv(aTHX_ sv, numtype);
2713         }
2714         if (numtype)
2715             SvNOK_on(sv);
2716         else
2717             SvNOKp_on(sv);
2718 #else
2719         SvNV_set(sv, Atof(SvPVX_const(sv)));
2720         /* Only set the public NV OK flag if this NV preserves the value in
2721            the PV at least as well as an IV/UV would.
2722            Not sure how to do this 100% reliably. */
2723         /* if that shift count is out of range then Configure's test is
2724            wonky. We shouldn't be in here with NV_PRESERVES_UV_BITS ==
2725            UV_BITS */
2726         if (((UV)1 << NV_PRESERVES_UV_BITS) >
2727             U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2728             SvNOK_on(sv); /* Definitely small enough to preserve all bits */
2729         } else if (!(numtype & IS_NUMBER_IN_UV)) {
2730             /* Can't use strtol etc to convert this string, so don't try.
2731                sv_2iv and sv_2uv will use the NV to convert, not the PV.  */
2732             SvNOK_on(sv);
2733         } else {
2734             /* value has been set.  It may not be precise.  */
2735             if ((numtype & IS_NUMBER_NEG) && (value >= (UV)IV_MIN)) {
2736                 /* 2s complement assumption for (UV)IV_MIN  */
2737                 SvNOK_on(sv); /* Integer is too negative.  */
2738             } else {
2739                 SvNOKp_on(sv);
2740                 SvIOKp_on(sv);
2741
2742                 if (numtype & IS_NUMBER_NEG) {
2743                     /* -IV_MIN is undefined, but we should never reach
2744                      * this point with both IS_NUMBER_NEG and value ==
2745                      * (UV)IV_MIN */
2746                     assert(value != (UV)IV_MIN);
2747                     SvIV_set(sv, -(IV)value);
2748                 } else if (value <= (UV)IV_MAX) {
2749                     SvIV_set(sv, (IV)value);
2750                 } else {
2751                     SvUV_set(sv, value);
2752                     SvIsUV_on(sv);
2753                 }
2754
2755                 if (numtype & IS_NUMBER_NOT_INT) {
2756                     /* I believe that even if the original PV had decimals,
2757                        they are lost beyond the limit of the FP precision.
2758                        However, neither is canonical, so both only get p
2759                        flags.  NWC, 2000/11/25 */
2760                     /* Both already have p flags, so do nothing */
2761                 } else {
2762                     const NV nv = SvNVX(sv);
2763                     /* XXX should this spot have NAN_COMPARE_BROKEN, too? */
2764                     if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2765                         if (SvIVX(sv) == I_V(nv)) {
2766                             SvNOK_on(sv);
2767                         } else {
2768                             /* It had no "." so it must be integer.  */
2769                         }
2770                         SvIOK_on(sv);
2771                     } else {
2772                         /* between IV_MAX and NV(UV_MAX).
2773                            Could be slightly > UV_MAX */
2774
2775                         if (numtype & IS_NUMBER_NOT_INT) {
2776                             /* UV and NV both imprecise.  */
2777                         } else {
2778                             const UV nv_as_uv = U_V(nv);
2779
2780                             if (value == nv_as_uv && SvUVX(sv) != UV_MAX) {
2781                                 SvNOK_on(sv);
2782                             }
2783                             SvIOK_on(sv);
2784                         }
2785                     }
2786                 }
2787             }
2788         }
2789         /* It might be more code efficient to go through the entire logic above
2790            and conditionally set with SvNOKp_on() rather than SvNOK(), but it
2791            gets complex and potentially buggy, so more programmer efficient
2792            to do it this way, by turning off the public flags:  */
2793         if (!numtype)
2794             SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK);
2795 #endif /* NV_PRESERVES_UV */
2796     }
2797     else  {
2798         if (isGV_with_GP(sv)) {
2799             glob_2number(MUTABLE_GV(sv));
2800             return 0.0;
2801         }
2802
2803         if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
2804             report_uninit(sv);
2805         assert (SvTYPE(sv) >= SVt_NV);
2806         /* Typically the caller expects that sv_any is not NULL now.  */
2807         /* XXX Ilya implies that this is a bug in callers that assume this
2808            and ideally should be fixed.  */
2809         return 0.0;
2810     }
2811     CLANG_DIAG_IGNORE_STMT(-Wthread-safety);
2812     DEBUG_c({
2813         DECLARATION_FOR_LC_NUMERIC_MANIPULATION;
2814         STORE_LC_NUMERIC_SET_STANDARD();
2815         PerlIO_printf(Perl_debug_log, "0x%" UVxf " 2nv(%" NVgf ")\n",
2816                       PTR2UV(sv), SvNVX(sv));
2817         RESTORE_LC_NUMERIC();
2818     });
2819     CLANG_DIAG_RESTORE_STMT;
2820     return SvNVX(sv);
2821 }
2822
2823 /*
2824 =for apidoc sv_2num
2825
2826 Return an SV with the numeric value of the source SV, doing any necessary
2827 reference or overload conversion.  The caller is expected to have handled
2828 get-magic already.
2829
2830 =cut
2831 */
2832
2833 SV *
2834 Perl_sv_2num(pTHX_ SV *const sv)
2835 {
2836     PERL_ARGS_ASSERT_SV_2NUM;
2837
2838     if (!SvROK(sv))
2839         return sv;
2840     if (SvAMAGIC(sv)) {
2841         SV * const tmpsv = AMG_CALLunary(sv, numer_amg);
2842         TAINT_IF(tmpsv && SvTAINTED(tmpsv));
2843         if (tmpsv && (!SvROK(tmpsv) || (SvRV(tmpsv) != SvRV(sv))))
2844             return sv_2num(tmpsv);
2845     }
2846     return sv_2mortal(newSVuv(PTR2UV(SvRV(sv))));
2847 }
2848
2849 /* int2str_table: lookup table containing string representations of all
2850  * two digit numbers. For example, int2str_table.arr[0] is "00" and
2851  * int2str_table.arr[12*2] is "12".
2852  *
2853  * We are going to read two bytes at a time, so we have to ensure that
2854  * the array is aligned to a 2 byte boundary. That's why it was made a
2855  * union with a dummy U16 member. */
2856 static const union {
2857     char arr[200];
2858     U16 dummy;
2859 } int2str_table = {{
2860     '0', '0', '0', '1', '0', '2', '0', '3', '0', '4', '0', '5', '0', '6',
2861     '0', '7', '0', '8', '0', '9', '1', '0', '1', '1', '1', '2', '1', '3',
2862     '1', '4', '1', '5', '1', '6', '1', '7', '1', '8', '1', '9', '2', '0',
2863     '2', '1', '2', '2', '2', '3', '2', '4', '2', '5', '2', '6', '2', '7',
2864     '2', '8', '2', '9', '3', '0', '3', '1', '3', '2', '3', '3', '3', '4',
2865     '3', '5', '3', '6', '3', '7', '3', '8', '3', '9', '4', '0', '4', '1',
2866     '4', '2', '4', '3', '4', '4', '4', '5', '4', '6', '4', '7', '4', '8',
2867     '4', '9', '5', '0', '5', '1', '5', '2', '5', '3', '5', '4', '5', '5',
2868     '5', '6', '5', '7', '5', '8', '5', '9', '6', '0', '6', '1', '6', '2',
2869     '6', '3', '6', '4', '6', '5', '6', '6', '6', '7', '6', '8', '6', '9',
2870     '7', '0', '7', '1', '7', '2', '7', '3', '7', '4', '7', '5', '7', '6',
2871     '7', '7', '7', '8', '7', '9', '8', '0', '8', '1', '8', '2', '8', '3',
2872     '8', '4', '8', '5', '8', '6', '8', '7', '8', '8', '8', '9', '9', '0',
2873     '9', '1', '9', '2', '9', '3', '9', '4', '9', '5', '9', '6', '9', '7',
2874     '9', '8', '9', '9'
2875 }};
2876
2877 /* uiv_2buf(): private routine for use by sv_2pv_flags(): print an IV or
2878  * UV as a string towards the end of buf, and return pointers to start and
2879  * end of it.
2880  *
2881  * We assume that buf is at least TYPE_CHARS(UV) long.
2882  */
2883
2884 PERL_STATIC_INLINE char *
2885 S_uiv_2buf(char *const buf, const IV iv, UV uv, const int is_uv, char **const peob)
2886 {
2887     char *ptr = buf + TYPE_CHARS(UV);
2888     char * const ebuf = ptr;
2889     int sign;
2890     U16 *word_ptr, *word_table;
2891
2892     PERL_ARGS_ASSERT_UIV_2BUF;
2893
2894     /* ptr has to be properly aligned, because we will cast it to U16* */
2895     assert(PTR2nat(ptr) % 2 == 0);
2896     /* we are going to read/write two bytes at a time */
2897     word_ptr = (U16*)ptr;
2898     word_table = (U16*)int2str_table.arr;
2899
2900     if (UNLIKELY(is_uv))
2901         sign = 0;
2902     else if (iv >= 0) {
2903         uv = iv;
2904         sign = 0;
2905     } else {
2906         uv = -(UV)iv;
2907         sign = 1;
2908     }
2909
2910     while (uv > 99) {
2911         *--word_ptr = word_table[uv % 100];
2912         uv /= 100;
2913     }
2914     ptr = (char*)word_ptr;
2915
2916     if (uv < 10)
2917         *--ptr = (char)uv + '0';
2918     else {
2919         *--word_ptr = word_table[uv];
2920         ptr = (char*)word_ptr;
2921     }
2922
2923     if (sign)
2924         *--ptr = '-';
2925
2926     *peob = ebuf;
2927     return ptr;
2928 }
2929
2930 /* Helper for sv_2pv_flags and sv_vcatpvfn_flags.  If the NV is an
2931  * infinity or a not-a-number, writes the appropriate strings to the
2932  * buffer, including a zero byte.  On success returns the written length,
2933  * excluding the zero byte, on failure (not an infinity, not a nan)
2934  * returns zero, assert-fails on maxlen being too short.
2935  *
2936  * XXX for "Inf", "-Inf", and "NaN", we could have three read-only
2937  * shared string constants we point to, instead of generating a new
2938  * string for each instance. */
2939 STATIC size_t
2940 S_infnan_2pv(NV nv, char* buffer, size_t maxlen, char plus) {
2941     char* s = buffer;
2942     assert(maxlen >= 4);
2943     if (Perl_isinf(nv)) {
2944         if (nv < 0) {
2945             if (maxlen < 5) /* "-Inf\0"  */
2946                 return 0;
2947             *s++ = '-';
2948         } else if (plus) {
2949             *s++ = '+';
2950         }
2951         *s++ = 'I';
2952         *s++ = 'n';
2953         *s++ = 'f';
2954     }
2955     else if (Perl_isnan(nv)) {
2956         *s++ = 'N';
2957         *s++ = 'a';
2958         *s++ = 'N';
2959         /* XXX optionally output the payload mantissa bits as
2960          * "(unsigned)" (to match the nan("...") C99 function,
2961          * or maybe as "(0xhhh...)"  would make more sense...
2962          * provide a format string so that the user can decide?
2963          * NOTE: would affect the maxlen and assert() logic.*/
2964     }
2965     else {
2966       return 0;
2967     }
2968     assert((s == buffer + 3) || (s == buffer + 4));
2969     *s = 0;
2970     return s - buffer;
2971 }
2972
2973 /*
2974 =for apidoc sv_2pv_flags
2975
2976 Returns a pointer to the string value of an SV, and sets C<*lp> to its length.
2977 If flags has the C<SV_GMAGIC> bit set, does an C<mg_get()> first.  Coerces C<sv> to a
2978 string if necessary.  Normally invoked via the C<SvPV_flags> macro.
2979 C<sv_2pv()> and C<sv_2pv_nomg> usually end up here too.
2980
2981 =cut
2982 */
2983
2984 char *
2985 Perl_sv_2pv_flags(pTHX_ SV *const sv, STRLEN *const lp, const I32 flags)
2986 {
2987     char *s;
2988
2989     PERL_ARGS_ASSERT_SV_2PV_FLAGS;
2990
2991     assert (SvTYPE(sv) != SVt_PVAV && SvTYPE(sv) != SVt_PVHV
2992          && SvTYPE(sv) != SVt_PVFM);
2993     if (SvGMAGICAL(sv) && (flags & SV_GMAGIC))
2994         mg_get(sv);
2995     if (SvROK(sv)) {
2996         if (SvAMAGIC(sv)) {
2997             SV *tmpstr;
2998             if (flags & SV_SKIP_OVERLOAD)
2999                 return NULL;
3000             tmpstr = AMG_CALLunary(sv, string_amg);
3001             TAINT_IF(tmpstr && SvTAINTED(tmpstr));
3002             if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
3003                 /* Unwrap this:  */
3004                 /* char *pv = lp ? SvPV(tmpstr, *lp) : SvPV_nolen(tmpstr);
3005                  */
3006
3007                 char *pv;
3008                 if ((SvFLAGS(tmpstr) & (SVf_POK)) == SVf_POK) {
3009                     if (flags & SV_CONST_RETURN) {
3010                         pv = (char *) SvPVX_const(tmpstr);
3011                     } else {
3012                         pv = (flags & SV_MUTABLE_RETURN)
3013                             ? SvPVX_mutable(tmpstr) : SvPVX(tmpstr);
3014                     }
3015                     if (lp)
3016                         *lp = SvCUR(tmpstr);
3017                 } else {
3018                     pv = sv_2pv_flags(tmpstr, lp, flags);
3019                 }
3020                 if (SvUTF8(tmpstr))
3021                     SvUTF8_on(sv);
3022                 else
3023                     SvUTF8_off(sv);
3024                 return pv;
3025             }
3026         }
3027         {
3028             STRLEN len;
3029             char *retval;
3030             char *buffer;
3031             SV *const referent = SvRV(sv);
3032
3033             if (!referent) {
3034                 len = 7;
3035                 retval = buffer = savepvn("NULLREF", len);
3036             } else if (SvTYPE(referent) == SVt_REGEXP &&
3037                        (!(PL_curcop->cop_hints & HINT_NO_AMAGIC) ||
3038                         amagic_is_enabled(string_amg))) {
3039                 REGEXP * const re = (REGEXP *)MUTABLE_PTR(referent);
3040
3041                 assert(re);
3042                         
3043                 /* If the regex is UTF-8 we want the containing scalar to
3044                    have an UTF-8 flag too */
3045                 if (RX_UTF8(re))
3046                     SvUTF8_on(sv);
3047                 else
3048                     SvUTF8_off(sv);     
3049
3050                 if (lp)
3051                     *lp = RX_WRAPLEN(re);
3052  
3053                 return RX_WRAPPED(re);
3054             } else {
3055                 const char *const typestr = sv_reftype(referent, 0);
3056                 const STRLEN typelen = strlen(typestr);
3057                 UV addr = PTR2UV(referent);
3058                 const char *stashname = NULL;
3059                 STRLEN stashnamelen = 0; /* hush, gcc */
3060                 const char *buffer_end;
3061
3062                 if (SvOBJECT(referent)) {
3063                     const HEK *const name = HvNAME_HEK(SvSTASH(referent));
3064
3065                     if (name) {
3066                         stashname = HEK_KEY(name);
3067                         stashnamelen = HEK_LEN(name);
3068
3069                         if (HEK_UTF8(name)) {
3070                             SvUTF8_on(sv);
3071                         } else {
3072                             SvUTF8_off(sv);
3073                         }
3074                     } else {
3075                         stashname = "__ANON__";
3076                         stashnamelen = 8;
3077                     }
3078                     len = stashnamelen + 1 /* = */ + typelen + 3 /* (0x */
3079                         + 2 * sizeof(UV) + 2 /* )\0 */;
3080                 } else {
3081                     len = typelen + 3 /* (0x */
3082                         + 2 * sizeof(UV) + 2 /* )\0 */;
3083                 }
3084
3085                 Newx(buffer, len, char);
3086                 buffer_end = retval = buffer + len;
3087
3088                 /* Working backwards  */
3089                 *--retval = '\0';
3090                 *--retval = ')';
3091                 do {
3092                     *--retval = PL_hexdigit[addr & 15];
3093                 } while (addr >>= 4);
3094                 *--retval = 'x';
3095                 *--retval = '0';
3096                 *--retval = '(';
3097
3098                 retval -= typelen;
3099                 memcpy(retval, typestr, typelen);
3100
3101                 if (stashname) {
3102                     *--retval = '=';
3103                     retval -= stashnamelen;
3104                     memcpy(retval, stashname, stashnamelen);
3105                 }
3106                 /* retval may not necessarily have reached the start of the
3107                    buffer here.  */
3108                 assert (retval >= buffer);
3109
3110                 len = buffer_end - retval - 1; /* -1 for that \0  */
3111             }
3112             if (lp)
3113                 *lp = len;
3114             SAVEFREEPV(buffer);
3115             return retval;
3116         }
3117     }
3118
3119     if (SvPOKp(sv)) {
3120         if (lp)
3121             *lp = SvCUR(sv);
3122         if (flags & SV_MUTABLE_RETURN)
3123             return SvPVX_mutable(sv);
3124         if (flags & SV_CONST_RETURN)
3125             return (char *)SvPVX_const(sv);
3126         return SvPVX(sv);
3127     }
3128
3129     if (SvIOK(sv)) {
3130         /* I'm assuming that if both IV and NV are equally valid then
3131            converting the IV is going to be more efficient */
3132         const U32 isUIOK = SvIsUV(sv);
3133         /* The purpose of this union is to ensure that arr is aligned on
3134            a 2 byte boundary, because that is what uiv_2buf() requires */
3135         union {
3136             char arr[TYPE_CHARS(UV)];
3137             U16 dummy;
3138         } buf;
3139         char *ebuf, *ptr;
3140         STRLEN len;
3141
3142         if (SvTYPE(sv) < SVt_PVIV)
3143             sv_upgrade(sv, SVt_PVIV);
3144         ptr = uiv_2buf(buf.arr, SvIVX(sv), SvUVX(sv), isUIOK, &ebuf);
3145         len = ebuf - ptr;
3146         /* inlined from sv_setpvn */
3147         s = SvGROW_mutable(sv, len + 1);
3148         Move(ptr, s, len, char);
3149         s += len;
3150         *s = '\0';
3151         SvPOK_on(sv);
3152     }
3153     else if (SvNOK(sv)) {
3154         if (SvTYPE(sv) < SVt_PVNV)
3155             sv_upgrade(sv, SVt_PVNV);
3156         if (SvNVX(sv) == 0.0
3157 #if defined(NAN_COMPARE_BROKEN) && defined(Perl_isnan)
3158             && !Perl_isnan(SvNVX(sv))
3159 #endif
3160         ) {
3161             s = SvGROW_mutable(sv, 2);
3162             *s++ = '0';
3163             *s = '\0';
3164         } else {
3165             STRLEN len;
3166             STRLEN size = 5; /* "-Inf\0" */
3167
3168             s = SvGROW_mutable(sv, size);
3169             len = S_infnan_2pv(SvNVX(sv), s, size, 0);
3170             if (len > 0) {
3171                 s += len;
3172                 SvPOK_on(sv);
3173             }
3174             else {
3175                 /* some Xenix systems wipe out errno here */
3176                 dSAVE_ERRNO;
3177
3178                 size =
3179                     1 + /* sign */
3180                     1 + /* "." */
3181                     NV_DIG +
3182                     1 + /* "e" */
3183                     1 + /* sign */
3184                     5 + /* exponent digits */
3185                     1 + /* \0 */
3186                     2; /* paranoia */
3187
3188                 s = SvGROW_mutable(sv, size);
3189 #ifndef USE_LOCALE_NUMERIC
3190                 SNPRINTF_G(SvNVX(sv), s, SvLEN(sv), NV_DIG);
3191
3192                 SvPOK_on(sv);
3193 #else
3194                 {
3195                     bool local_radix;
3196                     DECLARATION_FOR_LC_NUMERIC_MANIPULATION;
3197                     STORE_LC_NUMERIC_SET_TO_NEEDED();
3198
3199                     local_radix = _NOT_IN_NUMERIC_STANDARD;
3200                     if (local_radix && SvCUR(PL_numeric_radix_sv) > 1) {
3201                         size += SvCUR(PL_numeric_radix_sv) - 1;
3202                         s = SvGROW_mutable(sv, size);
3203                     }
3204
3205                     SNPRINTF_G(SvNVX(sv), s, SvLEN(sv), NV_DIG);
3206
3207                     /* If the radix character is UTF-8, and actually is in the
3208                      * output, turn on the UTF-8 flag for the scalar */
3209                     if (   local_radix
3210                         && SvUTF8(PL_numeric_radix_sv)
3211                         && instr(s, SvPVX_const(PL_numeric_radix_sv)))
3212                     {
3213                         SvUTF8_on(sv);
3214                     }
3215
3216                     RESTORE_LC_NUMERIC();
3217                 }
3218
3219                 /* We don't call SvPOK_on(), because it may come to
3220                  * pass that the locale changes so that the
3221                  * stringification we just did is no longer correct.  We
3222                  * will have to re-stringify every time it is needed */
3223 #endif
3224                 RESTORE_ERRNO;
3225             }
3226             while (*s) s++;
3227         }
3228     }
3229     else if (isGV_with_GP(sv)) {
3230         GV *const gv = MUTABLE_GV(sv);
3231         SV *const buffer = sv_newmortal();
3232
3233         gv_efullname3(buffer, gv, "*");
3234
3235         assert(SvPOK(buffer));
3236         if (SvUTF8(buffer))
3237             SvUTF8_on(sv);
3238         else
3239             SvUTF8_off(sv);
3240         if (lp)
3241             *lp = SvCUR(buffer);
3242         return SvPVX(buffer);
3243     }
3244     else {
3245         if (lp)
3246             *lp = 0;
3247         if (flags & SV_UNDEF_RETURNS_NULL)
3248             return NULL;
3249         if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
3250             report_uninit(sv);
3251         /* Typically the caller expects that sv_any is not NULL now.  */
3252         if (!SvREADONLY(sv) && SvTYPE(sv) < SVt_PV)
3253             sv_upgrade(sv, SVt_PV);
3254         return (char *)"";
3255     }
3256
3257     {
3258         const STRLEN len = s - SvPVX_const(sv);
3259         if (lp) 
3260             *lp = len;
3261         SvCUR_set(sv, len);
3262     }
3263     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%" UVxf " 2pv(%s)\n",
3264                           PTR2UV(sv),SvPVX_const(sv)));
3265     if (flags & SV_CONST_RETURN)
3266         return (char *)SvPVX_const(sv);
3267     if (flags & SV_MUTABLE_RETURN)
3268         return SvPVX_mutable(sv);
3269     return SvPVX(sv);
3270 }
3271
3272 /*
3273 =for apidoc sv_copypv
3274
3275 Copies a stringified representation of the source SV into the
3276 destination SV.  Automatically performs any necessary C<mg_get> and
3277 coercion of numeric values into strings.  Guaranteed to preserve
3278 C<UTF8> flag even from overloaded objects.  Similar in nature to
3279 C<sv_2pv[_flags]> but operates directly on an SV instead of just the
3280 string.  Mostly uses C<sv_2pv_flags> to do its work, except when that
3281 would lose the UTF-8'ness of the PV.
3282
3283 =for apidoc sv_copypv_nomg
3284
3285 Like C<sv_copypv>, but doesn't invoke get magic first.
3286
3287 =for apidoc sv_copypv_flags
3288
3289 Implementation of C<sv_copypv> and C<sv_copypv_nomg>.  Calls get magic iff flags
3290 has the C<SV_GMAGIC> bit set.
3291
3292 =cut
3293 */
3294
3295 void
3296 Perl_sv_copypv_flags(pTHX_ SV *const dsv, SV *const ssv, const I32 flags)
3297 {
3298     STRLEN len;
3299     const char *s;
3300
3301     PERL_ARGS_ASSERT_SV_COPYPV_FLAGS;
3302
3303     s = SvPV_flags_const(ssv,len,(flags & SV_GMAGIC));
3304     sv_setpvn(dsv,s,len);
3305     if (SvUTF8(ssv))
3306         SvUTF8_on(dsv);
3307     else
3308         SvUTF8_off(dsv);
3309 }
3310
3311 /*
3312 =for apidoc sv_2pvbyte
3313
3314 Return a pointer to the byte-encoded representation of the SV, and set C<*lp>
3315 to its length.  May cause the SV to be downgraded from UTF-8 as a
3316 side-effect.
3317
3318 Usually accessed via the C<SvPVbyte> macro.
3319
3320 =cut
3321 */
3322
3323 char *
3324 Perl_sv_2pvbyte(pTHX_ SV *sv, STRLEN *const lp)
3325 {
3326     PERL_ARGS_ASSERT_SV_2PVBYTE;
3327
3328     SvGETMAGIC(sv);
3329     if (((SvREADONLY(sv) || SvFAKE(sv)) && !SvIsCOW(sv))
3330      || isGV_with_GP(sv) || SvROK(sv)) {
3331         SV *sv2 = sv_newmortal();
3332         sv_copypv_nomg(sv2,sv);
3333         sv = sv2;
3334     }
3335     sv_utf8_downgrade(sv,0);
3336     return lp ? SvPV_nomg(sv,*lp) : SvPV_nomg_nolen(sv);
3337 }
3338
3339 /*
3340 =for apidoc sv_2pvutf8
3341
3342 Return a pointer to the UTF-8-encoded representation of the SV, and set C<*lp>
3343 to its length.  May cause the SV to be upgraded to UTF-8 as a side-effect.
3344
3345 Usually accessed via the C<SvPVutf8> macro.
3346
3347 =cut
3348 */
3349
3350 char *
3351 Perl_sv_2pvutf8(pTHX_ SV *sv, STRLEN *const lp)
3352 {
3353     PERL_ARGS_ASSERT_SV_2PVUTF8;
3354
3355     if (((SvREADONLY(sv) || SvFAKE(sv)) && !SvIsCOW(sv))
3356      || isGV_with_GP(sv) || SvROK(sv))
3357         sv = sv_mortalcopy(sv);
3358     else
3359         SvGETMAGIC(sv);
3360     sv_utf8_upgrade_nomg(sv);
3361     return lp ? SvPV_nomg(sv,*lp) : SvPV_nomg_nolen(sv);
3362 }
3363
3364
3365 /*
3366 =for apidoc sv_2bool
3367
3368 This macro is only used by C<sv_true()> or its macro equivalent, and only if
3369 the latter's argument is neither C<SvPOK>, C<SvIOK> nor C<SvNOK>.
3370 It calls C<sv_2bool_flags> with the C<SV_GMAGIC> flag.
3371
3372 =for apidoc sv_2bool_flags
3373
3374 This function is only used by C<sv_true()> and friends,  and only if
3375 the latter's argument is neither C<SvPOK>, C<SvIOK> nor C<SvNOK>.  If the flags
3376 contain C<SV_GMAGIC>, then it does an C<mg_get()> first.
3377
3378
3379 =cut
3380 */
3381
3382 bool
3383 Perl_sv_2bool_flags(pTHX_ SV *sv, I32 flags)
3384 {
3385     PERL_ARGS_ASSERT_SV_2BOOL_FLAGS;
3386
3387     restart:
3388     if(flags & SV_GMAGIC) SvGETMAGIC(sv);
3389
3390     if (!SvOK(sv))
3391         return 0;
3392     if (SvROK(sv)) {
3393         if (SvAMAGIC(sv)) {
3394             SV * const tmpsv = AMG_CALLunary(sv, bool__amg);
3395             if (tmpsv && (!SvROK(tmpsv) || (SvRV(tmpsv) != SvRV(sv)))) {
3396                 bool svb;
3397                 sv = tmpsv;
3398                 if(SvGMAGICAL(sv)) {
3399                     flags = SV_GMAGIC;
3400                     goto restart; /* call sv_2bool */
3401                 }
3402                 /* expanded SvTRUE_common(sv, (flags = 0, goto restart)) */
3403                 else if(!SvOK(sv)) {
3404                     svb = 0;
3405                 }
3406                 else if(SvPOK(sv)) {
3407                     svb = SvPVXtrue(sv);
3408                 }
3409                 else if((SvFLAGS(sv) & (SVf_IOK|SVf_NOK))) {
3410                     svb = (SvIOK(sv) && SvIVX(sv) != 0)
3411                         || (SvNOK(sv) && SvNVX(sv) != 0.0);
3412                 }
3413                 else {
3414                     flags = 0;
3415                     goto restart; /* call sv_2bool_nomg */
3416                 }
3417                 return cBOOL(svb);
3418             }
3419         }
3420         assert(SvRV(sv));
3421         return TRUE;
3422     }
3423     if (isREGEXP(sv))
3424         return
3425           RX_WRAPLEN(sv) > 1 || (RX_WRAPLEN(sv) && *RX_WRAPPED(sv) != '0');
3426
3427     if (SvNOK(sv) && !SvPOK(sv))
3428         return SvNVX(sv) != 0.0;
3429
3430     return SvTRUE_common(sv, isGV_with_GP(sv) ? 1 : 0);
3431 }
3432
3433 /*
3434 =for apidoc sv_utf8_upgrade
3435
3436 Converts the PV of an SV to its UTF-8-encoded form.
3437 Forces the SV to string form if it is not already.
3438 Will C<mg_get> on C<sv> if appropriate.
3439 Always sets the C<SvUTF8> flag to avoid future validity checks even
3440 if the whole string is the same in UTF-8 as not.
3441 Returns the number of bytes in the converted string
3442
3443 This is not a general purpose byte encoding to Unicode interface:
3444 use the Encode extension for that.
3445
3446 =for apidoc sv_utf8_upgrade_nomg
3447
3448 Like C<sv_utf8_upgrade>, but doesn't do magic on C<sv>.
3449
3450 =for apidoc sv_utf8_upgrade_flags
3451
3452 Converts the PV of an SV to its UTF-8-encoded form.
3453 Forces the SV to string form if it is not already.
3454 Always sets the SvUTF8 flag to avoid future validity checks even
3455 if all the bytes are invariant in UTF-8.
3456 If C<flags> has C<SV_GMAGIC> bit set,
3457 will C<mg_get> on C<sv> if appropriate, else not.
3458
3459 The C<SV_FORCE_UTF8_UPGRADE> flag is now ignored.
3460
3461 Returns the number of bytes in the converted string.
3462
3463 This is not a general purpose byte encoding to Unicode interface:
3464 use the Encode extension for that.
3465
3466 =for apidoc sv_utf8_upgrade_flags_grow
3467
3468 Like C<sv_utf8_upgrade_flags>, but has an additional parameter C<extra>, which is
3469 the number of unused bytes the string of C<sv> is guaranteed to have free after
3470 it upon return.  This allows the caller to reserve extra space that it intends
3471 to fill, to avoid extra grows.
3472
3473 C<sv_utf8_upgrade>, C<sv_utf8_upgrade_nomg>, and C<sv_utf8_upgrade_flags>
3474 are implemented in terms of this function.
3475
3476 Returns the number of bytes in the converted string (not including the spares).
3477
3478 =cut
3479
3480 If the routine itself changes the string, it adds a trailing C<NUL>.  Such a
3481 C<NUL> isn't guaranteed due to having other routines do the work in some input
3482 cases, or if the input is already flagged as being in utf8.
3483
3484 */
3485
3486 STRLEN
3487 Perl_sv_utf8_upgrade_flags_grow(pTHX_ SV *const sv, const I32 flags, STRLEN extra)
3488 {
3489     PERL_ARGS_ASSERT_SV_UTF8_UPGRADE_FLAGS_GROW;
3490
3491     if (sv == &PL_sv_undef)
3492         return 0;
3493     if (!SvPOK_nog(sv)) {
3494         STRLEN len = 0;
3495         if (SvREADONLY(sv) && (SvPOKp(sv) || SvIOKp(sv) || SvNOKp(sv))) {
3496             (void) sv_2pv_flags(sv,&len, flags);
3497             if (SvUTF8(sv)) {
3498                 if (extra) SvGROW(sv, SvCUR(sv) + extra);
3499                 return len;
3500             }
3501         } else {
3502             (void) SvPV_force_flags(sv,len,flags & SV_GMAGIC);
3503         }
3504     }
3505
3506     /* SVt_REGEXP's shouldn't be upgraded to UTF8 - they're already
3507      * compiled and individual nodes will remain non-utf8 even if the
3508      * stringified version of the pattern gets upgraded. Whether the
3509      * PVX of a REGEXP should be grown or we should just croak, I don't
3510      * know - DAPM */
3511     if (SvUTF8(sv) || isREGEXP(sv)) {
3512         if (extra) SvGROW(sv, SvCUR(sv) + extra);
3513         return SvCUR(sv);
3514     }
3515
3516     if (SvIsCOW(sv)) {
3517         S_sv_uncow(aTHX_ sv, 0);
3518     }
3519
3520     if (SvCUR(sv) == 0) {
3521         if (extra) SvGROW(sv, extra + 1); /* Make sure is room for a trailing
3522                                              byte */
3523     } else { /* Assume Latin-1/EBCDIC */
3524         /* This function could be much more efficient if we
3525          * had a FLAG in SVs to signal if there are any variant
3526          * chars in the PV.  Given that there isn't such a flag
3527          * make the loop as fast as possible. */
3528         U8 * s = (U8 *) SvPVX_const(sv);
3529         U8 *t = s;
3530         
3531         if (is_utf8_invariant_string_loc(s, SvCUR(sv), (const U8 **) &t)) {
3532
3533             /* utf8 conversion not needed because all are invariants.  Mark
3534              * as UTF-8 even if no variant - saves scanning loop */
3535             SvUTF8_on(sv);
3536             if (extra) SvGROW(sv, SvCUR(sv) + extra);
3537             return SvCUR(sv);
3538         }
3539
3540         /* Here, there is at least one variant (t points to the first one), so
3541          * the string should be converted to utf8.  Everything from 's' to
3542          * 't - 1' will occupy only 1 byte each on output.
3543          *
3544          * Note that the incoming SV may not have a trailing '\0', as certain
3545          * code in pp_formline can send us partially built SVs.
3546          *
3547          * There are two main ways to convert.  One is to create a new string
3548          * and go through the input starting from the beginning, appending each
3549          * converted value onto the new string as we go along.  Going this
3550          * route, it's probably best to initially allocate enough space in the
3551          * string rather than possibly running out of space and having to
3552          * reallocate and then copy what we've done so far.  Since everything
3553          * from 's' to 't - 1' is invariant, the destination can be initialized
3554          * with these using a fast memory copy.  To be sure to allocate enough
3555          * space, one could use the worst case scenario, where every remaining
3556          * byte expands to two under UTF-8, or one could parse it and count
3557          * exactly how many do expand.
3558          *
3559          * The other way is to unconditionally parse the remainder of the
3560          * string to figure out exactly how big the expanded string will be,
3561          * growing if needed.  Then start at the end of the string and place
3562          * the character there at the end of the unfilled space in the expanded
3563          * one, working backwards until reaching 't'.
3564          *
3565          * The problem with assuming the worst case scenario is that for very
3566          * long strings, we could allocate much more memory than actually
3567          * needed, which can create performance problems.  If we have to parse
3568          * anyway, the second method is the winner as it may avoid an extra
3569          * copy.  The code used to use the first method under some
3570          * circumstances, but now that there is faster variant counting on
3571          * ASCII platforms, the second method is used exclusively, eliminating
3572          * some code that no longer has to be maintained. */
3573
3574         {
3575             /* Count the total number of variants there are.  We can start
3576              * just beyond the first one, which is known to be at 't' */
3577             const Size_t invariant_length = t - s;
3578             U8 * e = (U8 *) SvEND(sv);
3579
3580             /* The length of the left overs, plus 1. */
3581             const Size_t remaining_length_p1 = e - t;
3582
3583             /* We expand by 1 for the variant at 't' and one for each remaining
3584              * variant (we start looking at 't+1') */
3585             Size_t expansion = 1 + variant_under_utf8_count(t + 1, e);
3586
3587             /* +1 = trailing NUL */
3588             Size_t need = SvCUR(sv) + expansion + extra + 1;
3589             U8 * d;
3590
3591             /* Grow if needed */
3592             if (SvLEN(sv) < need) {
3593                 t = invariant_length + (U8*) SvGROW(sv, need);
3594                 e = t + remaining_length_p1;
3595             }
3596             SvCUR_set(sv, invariant_length + remaining_length_p1 + expansion);
3597
3598             /* Set the NUL at the end */
3599             d = (U8 *) SvEND(sv);
3600             *d-- = '\0';
3601
3602             /* Having decremented d, it points to the position to put the
3603              * very last byte of the expanded string.  Go backwards through
3604              * the string, copying and expanding as we go, stopping when we
3605              * get to the part that is invariant the rest of the way down */
3606
3607             e--;
3608             while (e >= t) {
3609                 if (NATIVE_BYTE_IS_INVARIANT(*e)) {
3610                     *d-- = *e;
3611                 } else {
3612                     *d-- = UTF8_EIGHT_BIT_LO(*e);
3613                     *d-- = UTF8_EIGHT_BIT_HI(*e);
3614                 }
3615                 e--;
3616             }
3617
3618             if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
3619                 /* Update pos. We do it at the end rather than during
3620                  * the upgrade, to avoid slowing down the common case
3621                  * (upgrade without pos).
3622                  * pos can be stored as either bytes or characters.  Since
3623                  * this was previously a byte string we can just turn off
3624                  * the bytes flag. */
3625                 MAGIC * mg = mg_find(sv, PERL_MAGIC_regex_global);
3626                 if (mg) {
3627                     mg->mg_flags &= ~MGf_BYTES;
3628                 }
3629                 if ((mg = mg_find(sv, PERL_MAGIC_utf8)))
3630                     magic_setutf8(sv,mg); /* clear UTF8 cache */
3631             }
3632         }
3633     }
3634
3635     SvUTF8_on(sv);
3636     return SvCUR(sv);
3637 }
3638
3639 /*
3640 =for apidoc sv_utf8_downgrade
3641
3642 Attempts to convert the PV of an SV from characters to bytes.
3643 If the PV contains a character that cannot fit
3644 in a byte, this conversion will fail;
3645 in this case, either returns false or, if C<fail_ok> is not
3646 true, croaks.
3647
3648 This is not a general purpose Unicode to byte encoding interface:
3649 use the C<Encode> extension for that.
3650
3651 =cut
3652 */
3653
3654 bool
3655 Perl_sv_utf8_downgrade(pTHX_ SV *const sv, const bool fail_ok)
3656 {
3657     PERL_ARGS_ASSERT_SV_UTF8_DOWNGRADE;
3658
3659     if (SvPOKp(sv) && SvUTF8(sv)) {
3660         if (SvCUR(sv)) {
3661             U8 *s;
3662             STRLEN len;
3663             int mg_flags = SV_GMAGIC;
3664
3665             if (SvIsCOW(sv)) {
3666                 S_sv_uncow(aTHX_ sv, 0);
3667             }
3668             if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
3669                 /* update pos */
3670                 MAGIC * mg = mg_find(sv, PERL_MAGIC_regex_global);
3671                 if (mg && mg->mg_len > 0 && mg->mg_flags & MGf_BYTES) {
3672                         mg->mg_len = sv_pos_b2u_flags(sv, mg->mg_len,
3673                                                 SV_GMAGIC|SV_CONST_RETURN);
3674                         mg_flags = 0; /* sv_pos_b2u does get magic */
3675                 }
3676                 if ((mg = mg_find(sv, PERL_MAGIC_utf8)))
3677                     magic_setutf8(sv,mg); /* clear UTF8 cache */
3678
3679             }
3680             s = (U8 *) SvPV_flags(sv, len, mg_flags);
3681
3682             if (!utf8_to_bytes(s, &len)) {
3683                 if (fail_ok)
3684                     return FALSE;
3685                 else {
3686                     if (PL_op)
3687                         Perl_croak(aTHX_ "Wide character in %s",
3688                                    OP_DESC(PL_op));
3689                     else
3690                         Perl_croak(aTHX_ "Wide character");
3691                 }
3692             }
3693             SvCUR_set(sv, len);
3694         }
3695     }
3696     SvUTF8_off(sv);
3697     return TRUE;
3698 }
3699
3700 /*
3701 =for apidoc sv_utf8_encode
3702
3703 Converts the PV of an SV to UTF-8, but then turns the C<SvUTF8>
3704 flag off so that it looks like octets again.
3705
3706 =cut
3707 */
3708
3709 void
3710 Perl_sv_utf8_encode(pTHX_ SV *const sv)
3711 {
3712     PERL_ARGS_ASSERT_SV_UTF8_ENCODE;
3713
3714     if (SvREADONLY(sv)) {
3715         sv_force_normal_flags(sv, 0);
3716     }
3717     (void) sv_utf8_upgrade(sv);
3718     SvUTF8_off(sv);
3719 }
3720
3721 /*
3722 =for apidoc sv_utf8_decode
3723
3724 If the PV of the SV is an octet sequence in Perl's extended UTF-8
3725 and contains a multiple-byte character, the C<SvUTF8> flag is turned on
3726 so that it looks like a character.  If the PV contains only single-byte
3727 characters, the C<SvUTF8> flag stays off.
3728 Scans PV for validity and returns FALSE if the PV is invalid UTF-8.
3729
3730 =cut
3731 */
3732
3733 bool
3734 Perl_sv_utf8_decode(pTHX_ SV *const sv)
3735 {
3736     PERL_ARGS_ASSERT_SV_UTF8_DECODE;
3737
3738     if (SvPOKp(sv)) {
3739         const U8 *start, *c, *first_variant;
3740
3741         /* The octets may have got themselves encoded - get them back as
3742          * bytes
3743          */
3744         if (!sv_utf8_downgrade(sv, TRUE))
3745             return FALSE;
3746
3747         /* it is actually just a matter of turning the utf8 flag on, but
3748          * we want to make sure everything inside is valid utf8 first.
3749          */
3750         c = start = (const U8 *) SvPVX_const(sv);
3751         if (! is_utf8_invariant_string_loc(c, SvCUR(sv), &first_variant)) {
3752             if (!is_utf8_string(first_variant, SvCUR(sv) - (first_variant -c)))
3753                 return FALSE;
3754             SvUTF8_on(sv);
3755         }
3756         if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
3757             /* XXX Is this dead code?  XS_utf8_decode calls SvSETMAGIC
3758                    after this, clearing pos.  Does anything on CPAN
3759                    need this? */
3760             /* adjust pos to the start of a UTF8 char sequence */
3761             MAGIC * mg = mg_find(sv, PERL_MAGIC_regex_global);
3762             if (mg) {
3763                 I32 pos = mg->mg_len;
3764                 if (pos > 0) {
3765                     for (c = start + pos; c > start; c--) {
3766                         if (UTF8_IS_START(*c))
3767                             break;
3768                     }
3769                     mg->mg_len  = c - start;
3770                 }
3771             }
3772             if ((mg = mg_find(sv, PERL_MAGIC_utf8)))
3773                 magic_setutf8(sv,mg); /* clear UTF8 cache */
3774         }
3775     }
3776     return TRUE;
3777 }
3778
3779 /*
3780 =for apidoc sv_setsv
3781
3782 Copies the contents of the source SV C<ssv> into the destination SV
3783 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3784 function if the source SV needs to be reused.  Does not handle 'set' magic on
3785 destination SV.  Calls 'get' magic on source SV.  Loosely speaking, it
3786 performs a copy-by-value, obliterating any previous content of the
3787 destination.
3788
3789 You probably want to use one of the assortment of wrappers, such as
3790 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3791 C<SvSetMagicSV_nosteal>.
3792
3793 =for apidoc sv_setsv_flags
3794
3795 Copies the contents of the source SV C<ssv> into the destination SV
3796 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3797 function if the source SV needs to be reused.  Does not handle 'set' magic.
3798 Loosely speaking, it performs a copy-by-value, obliterating any previous
3799 content of the destination.
3800 If the C<flags> parameter has the C<SV_GMAGIC> bit set, will C<mg_get> on
3801 C<ssv> if appropriate, else not.  If the C<flags>
3802 parameter has the C<SV_NOSTEAL> bit set then the
3803 buffers of temps will not be stolen.  C<sv_setsv>
3804 and C<sv_setsv_nomg> are implemented in terms of this function.
3805
3806 You probably want to use one of the assortment of wrappers, such as
3807 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3808 C<SvSetMagicSV_nosteal>.
3809
3810 This is the primary function for copying scalars, and most other
3811 copy-ish functions and macros use this underneath.
3812
3813 =cut
3814 */
3815
3816 static void
3817 S_glob_assign_glob(pTHX_ SV *const dstr, SV *const sstr, const int dtype)
3818 {
3819     I32 mro_changes = 0; /* 1 = method, 2 = isa, 3 = recursive isa */
3820     HV *old_stash = NULL;
3821
3822     PERL_ARGS_ASSERT_GLOB_ASSIGN_GLOB;
3823
3824     if (dtype != SVt_PVGV && !isGV_with_GP(dstr)) {
3825         const char * const name = GvNAME(sstr);
3826         const STRLEN len = GvNAMELEN(sstr);
3827         {
3828             if (dtype >= SVt_PV) {
3829                 SvPV_free(dstr);
3830                 SvPV_set(dstr, 0);
3831                 SvLEN_set(dstr, 0);
3832                 SvCUR_set(dstr, 0);
3833             }
3834             SvUPGRADE(dstr, SVt_PVGV);
3835             (void)SvOK_off(dstr);
3836             isGV_with_GP_on(dstr);
3837         }
3838         GvSTASH(dstr) = GvSTASH(sstr);
3839         if (GvSTASH(dstr))
3840             Perl_sv_add_backref(aTHX_ MUTABLE_SV(GvSTASH(dstr)), dstr);
3841         gv_name_set(MUTABLE_GV(dstr), name, len,
3842                         GV_ADD | (GvNAMEUTF8(sstr) ? SVf_UTF8 : 0 ));
3843         SvFAKE_on(dstr);        /* can coerce to non-glob */
3844     }
3845
3846     if(GvGP(MUTABLE_GV(sstr))) {
3847         /* If source has method cache entry, clear it */
3848         if(GvCVGEN(sstr)) {
3849             SvREFCNT_dec(GvCV(sstr));
3850             GvCV_set(sstr, NULL);
3851             GvCVGEN(sstr) = 0;
3852         }
3853         /* If source has a real method, then a method is
3854            going to change */
3855         else if(
3856          GvCV((const GV *)sstr) && GvSTASH(dstr) && HvENAME(GvSTASH(dstr))
3857         ) {
3858             mro_changes = 1;
3859         }
3860     }
3861
3862     /* If dest already had a real method, that's a change as well */
3863     if(
3864         !mro_changes && GvGP(MUTABLE_GV(dstr)) && GvCVu((const GV *)dstr)
3865      && GvSTASH(dstr) && HvENAME(GvSTASH(dstr))
3866     ) {
3867         mro_changes = 1;
3868     }
3869
3870     /* We don't need to check the name of the destination if it was not a
3871        glob to begin with. */
3872     if(dtype == SVt_PVGV) {
3873         const char * const name = GvNAME((const GV *)dstr);
3874         const STRLEN len = GvNAMELEN(dstr);
3875         if(memEQs(name, len, "ISA")
3876          /* The stash may have been detached from the symbol table, so
3877             check its name. */
3878          && GvSTASH(dstr) && HvENAME(GvSTASH(dstr))
3879         )
3880             mro_changes = 2;
3881         else {
3882             if ((len > 1 && name[len-2] == ':' && name[len-1] == ':')
3883              || (len == 1 && name[0] == ':')) {
3884                 mro_changes = 3;
3885
3886                 /* Set aside the old stash, so we can reset isa caches on
3887                    its subclasses. */
3888                 if((old_stash = GvHV(dstr)))
3889                     /* Make sure we do not lose it early. */
3890                     SvREFCNT_inc_simple_void_NN(
3891                      sv_2mortal((SV *)old_stash)
3892                     );
3893             }
3894         }
3895
3896         SvREFCNT_inc_simple_void_NN(sv_2mortal(dstr));
3897     }
3898
3899     /* freeing dstr's GP might free sstr (e.g. *x = $x),
3900      * so temporarily protect it */
3901     ENTER;
3902     SAVEFREESV(SvREFCNT_inc_simple_NN(sstr));
3903     gp_free(MUTABLE_GV(dstr));
3904     GvINTRO_off(dstr);          /* one-shot flag */
3905     GvGP_set(dstr, gp_ref(GvGP(sstr)));
3906     LEAVE;
3907
3908     if (SvTAINTED(sstr))
3909         SvTAINT(dstr);
3910     if (GvIMPORTED(dstr) != GVf_IMPORTED
3911         && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3912         {
3913             GvIMPORTED_on(dstr);
3914         }
3915     GvMULTI_on(dstr);
3916     if(mro_changes == 2) {
3917       if (GvAV((const GV *)sstr)) {
3918         MAGIC *mg;
3919         SV * const sref = (SV *)GvAV((const GV *)dstr);
3920         if (SvSMAGICAL(sref) && (mg = mg_find(sref, PERL_MAGIC_isa))) {
3921             if (SvTYPE(mg->mg_obj) != SVt_PVAV) {
3922                 AV * const ary = newAV();
3923                 av_push(ary, mg->mg_obj); /* takes the refcount */
3924                 mg->mg_obj = (SV *)ary;
3925             }
3926             av_push((AV *)mg->mg_obj, SvREFCNT_inc_simple_NN(dstr));
3927         }
3928         else sv_magic(sref, dstr, PERL_MAGIC_isa, NULL, 0);
3929       }
3930       mro_isa_changed_in(GvSTASH(dstr));
3931     }
3932     else if(mro_changes == 3) {
3933         HV * const stash = GvHV(dstr);
3934         if(old_stash ? (HV *)HvENAME_get(old_stash) : stash)
3935             mro_package_moved(
3936                 stash, old_stash,
3937                 (GV *)dstr, 0
3938             );
3939     }
3940     else if(mro_changes) mro_method_changed_in(GvSTASH(dstr));
3941     if (GvIO(dstr) && dtype == SVt_PVGV) {
3942         DEBUG_o(Perl_deb(aTHX_
3943                         "glob_assign_glob clearing PL_stashcache\n"));
3944         /* It's a cache. It will rebuild itself quite happily.
3945            It's a lot of effort to work out exactly which key (or keys)
3946            might be invalidated by the creation of the this file handle.
3947          */
3948         hv_clear(PL_stashcache);
3949     }
3950     return;
3951 }
3952
3953 void
3954 Perl_gv_setref(pTHX_ SV *const dstr, SV *const sstr)
3955 {
3956     SV * const sref = SvRV(sstr);
3957     SV *dref;
3958     const int intro = GvINTRO(dstr);
3959     SV **location;
3960     U8 import_flag = 0;
3961     const U32 stype = SvTYPE(sref);
3962
3963     PERL_ARGS_ASSERT_GV_SETREF;
3964
3965     if (intro) {
3966         GvINTRO_off(dstr);      /* one-shot flag */
3967         GvLINE(dstr) = CopLINE(PL_curcop);
3968         GvEGV(dstr) = MUTABLE_GV(dstr);
3969     }
3970     GvMULTI_on(dstr);
3971     switch (stype) {
3972     case SVt_PVCV:
3973         location = (SV **) &(GvGP(dstr)->gp_cv); /* XXX bypassing GvCV_set */
3974         import_flag = GVf_IMPORTED_CV;
3975         goto common;
3976     case SVt_PVHV:
3977         location = (SV **) &GvHV(dstr);
3978         import_flag = GVf_IMPORTED_HV;
3979         goto common;
3980     case SVt_PVAV:
3981         location = (SV **) &GvAV(dstr);
3982         import_flag = GVf_IMPORTED_AV;
3983         goto common;
3984     case SVt_PVIO:
3985         location = (SV **) &GvIOp(dstr);
3986         goto common;
3987     case SVt_PVFM:
3988         location = (SV **) &GvFORM(dstr);
3989         goto common;
3990     default:
3991         location = &GvSV(dstr);
3992         import_flag = GVf_IMPORTED_SV;
3993     common:
3994         if (intro) {
3995             if (stype == SVt_PVCV) {
3996                 /*if (GvCVGEN(dstr) && (GvCV(dstr) != (const CV *)sref || GvCVGEN(dstr))) {*/
3997                 if (GvCVGEN(dstr)) {
3998                     SvREFCNT_dec(GvCV(dstr));
3999                     GvCV_set(dstr, NULL);
4000                     GvCVGEN(dstr) = 0; /* Switch off cacheness. */
4001                 }
4002             }
4003             /* SAVEt_GVSLOT takes more room on the savestack and has more
4004                overhead in leave_scope than SAVEt_GENERIC_SV.  But for CVs
4005                leave_scope needs access to the GV so it can reset method
4006                caches.  We must use SAVEt_GVSLOT whenever the type is
4007                SVt_PVCV, even if the stash is anonymous, as the stash may
4008                gain a name somehow before leave_scope. */
4009             if (stype == SVt_PVCV) {
4010                 /* There is no save_pushptrptrptr.  Creating it for this
4011                    one call site would be overkill.  So inline the ss add
4012                    routines here. */
4013                 dSS_ADD;
4014                 SS_ADD_PTR(dstr);
4015                 SS_ADD_PTR(location);
4016                 SS_ADD_PTR(SvREFCNT_inc(*location));
4017                 SS_ADD_UV(SAVEt_GVSLOT);
4018                 SS_ADD_END(4);
4019             }
4020             else SAVEGENERICSV(*location);
4021         }
4022         dref = *location;
4023         if (stype == SVt_PVCV && (*location != sref || GvCVGEN(dstr))) {
4024             CV* const cv = MUTABLE_CV(*location);
4025             if (cv) {
4026                 if (!GvCVGEN((const GV *)dstr) &&
4027                     (CvROOT(cv) || CvXSUB(cv)) &&
4028                     /* redundant check that avoids creating the extra SV
4029                        most of the time: */
4030                     (CvCONST(cv) || ckWARN(WARN_REDEFINE)))
4031                     {
4032                         SV * const new_const_sv =
4033                             CvCONST((const CV *)sref)
4034                                  ? cv_const_sv((const CV *)sref)
4035                                  : NULL;
4036                         HV * const stash = GvSTASH((const GV *)dstr);
4037                         report_redefined_cv(
4038                            sv_2mortal(
4039                              stash
4040                                ? Perl_newSVpvf(aTHX_
4041                                     "%" HEKf "::%" HEKf,
4042                                     HEKfARG(HvNAME_HEK(stash)),
4043                                     HEKfARG(GvENAME_HEK(MUTABLE_GV(dstr))))
4044                                : Perl_newSVpvf(aTHX_
4045                                     "%" HEKf,
4046                                     HEKfARG(GvENAME_HEK(MUTABLE_GV(dstr))))
4047                            ),
4048                            cv,
4049                            CvCONST((const CV *)sref) ? &new_const_sv : NULL
4050                         );
4051                     }
4052                 if (!intro)
4053                     cv_ckproto_len_flags(cv, (const GV *)dstr,
4054                                    SvPOK(sref) ? CvPROTO(sref) : NULL,
4055                                    SvPOK(sref) ? CvPROTOLEN(sref) : 0,
4056                                    SvPOK(sref) ? SvUTF8(sref) : 0);
4057             }
4058             GvCVGEN(dstr) = 0; /* Switch off cacheness. */
4059             GvASSUMECV_on(dstr);
4060             if(GvSTASH(dstr)) { /* sub foo { 1 } sub bar { 2 } *bar = \&foo */
4061                 if (intro && GvREFCNT(dstr) > 1) {
4062                     /* temporary remove extra savestack's ref */
4063                     --GvREFCNT(dstr);
4064                     gv_method_changed(dstr);
4065                     ++GvREFCNT(dstr);
4066                 }
4067                 else gv_method_changed(dstr);
4068             }
4069         }
4070         *location = SvREFCNT_inc_simple_NN(sref);
4071         if (import_flag && !(GvFLAGS(dstr) & import_flag)
4072             && CopSTASH_ne(PL_curcop, GvSTASH(dstr))) {
4073             GvFLAGS(dstr) |= import_flag;
4074         }
4075
4076         if (stype == SVt_PVHV) {
4077             const char * const name = GvNAME((GV*)dstr);
4078             const STRLEN len = GvNAMELEN(dstr);
4079             if (
4080                 (
4081                    (len > 1 && name[len-2] == ':' && name[len-1] == ':')
4082                 || (len == 1 && name[0] == ':')
4083                 )
4084              && (!dref || HvENAME_get(dref))
4085             ) {
4086                 mro_package_moved(
4087                     (HV *)sref, (HV *)dref,
4088                     (GV *)dstr, 0
4089                 );
4090             }
4091         }
4092         else if (
4093             stype == SVt_PVAV && sref != dref
4094          && memEQs(GvNAME((GV*)dstr), GvNAMELEN((GV*)dstr), "ISA")
4095          /* The stash may have been detached from the symbol table, so
4096             check its name before doing anything. */
4097          && GvSTASH(dstr) && HvENAME(GvSTASH(dstr))
4098         ) {
4099             MAGIC *mg;
4100             MAGIC * const omg = dref && SvSMAGICAL(dref)
4101                                  ? mg_find(dref, PERL_MAGIC_isa)
4102                                  : NULL;
4103             if (SvSMAGICAL(sref) && (mg = mg_find(sref, PERL_MAGIC_isa))) {
4104                 if (SvTYPE(mg->mg_obj) != SVt_PVAV) {
4105                     AV * const ary = newAV();
4106                     av_push(ary, mg->mg_obj); /* takes the refcount */
4107                     mg->mg_obj = (SV *)ary;
4108                 }
4109                 if (omg) {
4110                     if (SvTYPE(omg->mg_obj) == SVt_PVAV) {
4111                         SV **svp = AvARRAY((AV *)omg->mg_obj);
4112                         I32 items = AvFILLp((AV *)omg->mg_obj) + 1;
4113                         while (items--)
4114                             av_push(
4115                              (AV *)mg->mg_obj,
4116                              SvREFCNT_inc_simple_NN(*svp++)
4117                             );
4118                     }
4119                     else
4120                         av_push(
4121                          (AV *)mg->mg_obj,
4122                          SvREFCNT_inc_simple_NN(omg->mg_obj)
4123                         );
4124                 }
4125                 else
4126                     av_push((AV *)mg->mg_obj,SvREFCNT_inc_simple_NN(dstr));
4127             }
4128             else
4129             {
4130                 SSize_t i;
4131                 sv_magic(
4132                  sref, omg ? omg->mg_obj : dstr, PERL_MAGIC_isa, NULL, 0
4133                 );
4134                 for (i = 0; i <= AvFILL(sref); ++i) {
4135                     SV **elem = av_fetch ((AV*)sref, i, 0);
4136                     if (elem) {
4137                         sv_magic(
4138                           *elem, sref, PERL_MAGIC_isaelem, NULL, i
4139                         );
4140                     }
4141                 }
4142                 mg = mg_find(sref, PERL_MAGIC_isa);
4143             }
4144             /* Since the *ISA assignment could have affected more than
4145                one stash, don't call mro_isa_changed_in directly, but let
4146                magic_clearisa do it for us, as it already has the logic for
4147                dealing with globs vs arrays of globs. */
4148             assert(mg);
4149             Perl_magic_clearisa(aTHX_ NULL, mg);
4150         }
4151         else if (stype == SVt_PVIO) {
4152             DEBUG_o(Perl_deb(aTHX_ "gv_setref clearing PL_stashcache\n"));
4153             /* It's a cache. It will rebuild itself quite happily.
4154                It's a lot of effort to work out exactly which key (or keys)
4155                might be invalidated by the creation of the this file handle.
4156             */
4157             hv_clear(PL_stashcache);
4158         }
4159         break;
4160     }
4161     if (!intro) SvREFCNT_dec(dref);
4162     if (SvTAINTED(sstr))
4163         SvTAINT(dstr);
4164     return;
4165 }
4166
4167
4168
4169
4170 #ifdef PERL_DEBUG_READONLY_COW
4171 # include <sys/mman.h>
4172
4173 # ifndef PERL_MEMORY_DEBUG_HEADER_SIZE
4174 #  define PERL_MEMORY_DEBUG_HEADER_SIZE 0
4175 # endif
4176
4177 void
4178 Perl_sv_buf_to_ro(pTHX_ SV *sv)
4179 {
4180     struct perl_memory_debug_header * const header =
4181         (struct perl_memory_debug_header *)(SvPVX(sv)-PERL_MEMORY_DEBUG_HEADER_SIZE);
4182     const MEM_SIZE len = header->size;
4183     PERL_ARGS_ASSERT_SV_BUF_TO_RO;
4184 # ifdef PERL_TRACK_MEMPOOL
4185     if (!header->readonly) header->readonly = 1;
4186 # endif
4187     if (mprotect(header, len, PROT_READ))
4188         Perl_warn(aTHX_ "mprotect RW for COW string %p %lu failed with %d",
4189                          header, len, errno);
4190 }
4191
4192 static void
4193 S_sv_buf_to_rw(pTHX_ SV *sv)
4194 {
4195     struct perl_memory_debug_header * const header =
4196         (struct perl_memory_debug_header *)(SvPVX(sv)-PERL_MEMORY_DEBUG_HEADER_SIZE);
4197     const MEM_SIZE len = header->size;
4198     PERL_ARGS_ASSERT_SV_BUF_TO_RW;
4199     if (mprotect(header, len, PROT_READ|PROT_WRITE))
4200         Perl_warn(aTHX_ "mprotect for COW string %p %lu failed with %d",
4201                          header, len, errno);
4202 # ifdef PERL_TRACK_MEMPOOL
4203     header->readonly = 0;
4204 # endif
4205 }
4206
4207 #else
4208 # define sv_buf_to_ro(sv)       NOOP
4209 # define sv_buf_to_rw(sv)       NOOP
4210 #endif
4211
4212 void
4213 Perl_sv_setsv_flags(pTHX_ SV *dstr, SV* sstr, const I32 flags)
4214 {
4215     U32 sflags;
4216     int dtype;
4217     svtype stype;
4218     unsigned int both_type;
4219
4220     PERL_ARGS_ASSERT_SV_SETSV_FLAGS;
4221
4222     if (UNLIKELY( sstr == dstr ))
4223         return;
4224
4225     if (UNLIKELY( !sstr ))
4226         sstr = &PL_sv_undef;
4227
4228     stype = SvTYPE(sstr);
4229     dtype = SvTYPE(dstr);
4230     both_type = (stype | dtype);
4231
4232     /* with these values, we can check that both SVs are NULL/IV (and not
4233      * freed) just by testing the or'ed types */
4234     STATIC_ASSERT_STMT(SVt_NULL == 0);
4235     STATIC_ASSERT_STMT(SVt_IV   == 1);
4236     if (both_type <= 1) {
4237         /* both src and dst are UNDEF/IV/RV, so we can do a lot of
4238          * special-casing */
4239         U32 sflags;
4240         U32 new_dflags;
4241         SV *old_rv = NULL;
4242
4243         /* minimal subset of SV_CHECK_THINKFIRST_COW_DROP(dstr) */
4244         if (SvREADONLY(dstr))
4245             Perl_croak_no_modify();
4246         if (SvROK(dstr)) {
4247             if (SvWEAKREF(dstr))
4248                 sv_unref_flags(dstr, 0);
4249             else
4250                 old_rv = SvRV(dstr);
4251         }
4252
4253         assert(!SvGMAGICAL(sstr));
4254         assert(!SvGMAGICAL(dstr));
4255
4256         sflags = SvFLAGS(sstr);
4257         if (sflags & (SVf_IOK|SVf_ROK)) {
4258             SET_SVANY_FOR_BODYLESS_IV(dstr);
4259             new_dflags = SVt_IV;
4260
4261             if (sflags & SVf_ROK) {
4262                 dstr->sv_u.svu_rv = SvREFCNT_inc(SvRV(sstr));
4263                 new_dflags |= SVf_ROK;
4264             }
4265             else {
4266                 /* both src and dst are <= SVt_IV, so sv_any points to the
4267                  * head; so access the head directly
4268                  */
4269                 assert(    &(sstr->sv_u.svu_iv)
4270                         == &(((XPVIV*) SvANY(sstr))->xiv_iv));
4271                 assert(    &(dstr->sv_u.svu_iv)
4272                         == &(((XPVIV*) SvANY(dstr))->xiv_iv));
4273                 dstr->sv_u.svu_iv = sstr->sv_u.svu_iv;
4274                 new_dflags |= (SVf_IOK|SVp_IOK|(sflags & SVf_IVisUV));
4275             }
4276         }
4277         else {
4278             new_dflags = dtype; /* turn off everything except the type */
4279         }
4280         SvFLAGS(dstr) = new_dflags;
4281         SvREFCNT_dec(old_rv);
4282
4283         return;
4284     }
4285
4286     if (UNLIKELY(both_type == SVTYPEMASK)) {
4287         if (SvIS_FREED(dstr)) {
4288             Perl_croak(aTHX_ "panic: attempt to copy value %" SVf
4289                        " to a freed scalar %p", SVfARG(sstr), (void *)dstr);
4290         }
4291         if (SvIS_FREED(sstr)) {
4292             Perl_croak(aTHX_ "panic: attempt to copy freed scalar %p to %p",
4293                        (void*)sstr, (void*)dstr);
4294         }
4295     }
4296
4297
4298
4299     SV_CHECK_THINKFIRST_COW_DROP(dstr);
4300     dtype = SvTYPE(dstr); /* THINKFIRST may have changed type */
4301
4302     /* There's a lot of redundancy below but we're going for speed here */
4303
4304     switch (stype) {
4305     case SVt_NULL:
4306       undef_sstr:
4307         if (LIKELY( dtype != SVt_PVGV && dtype != SVt_PVLV )) {
4308             (void)SvOK_off(dstr);
4309             return;
4310         }
4311         break;
4312     case SVt_IV:
4313         if (SvIOK(sstr)) {
4314             switch (dtype) {
4315             case SVt_NULL:
4316                 /* For performance, we inline promoting to type SVt_IV. */
4317                 /* We're starting from SVt_NULL, so provided that define is
4318                  * actual 0, we don't have to unset any SV type flags
4319                  * to promote to SVt_IV. */
4320                 STATIC_ASSERT_STMT(SVt_NULL == 0);
4321                 SET_SVANY_FOR_BODYLESS_IV(dstr);
4322                 SvFLAGS(dstr) |= SVt_IV;
4323                 break;
4324             case SVt_NV:
4325             case SVt_PV:
4326                 sv_upgrade(dstr, SVt_PVIV);
4327                 break;
4328             case SVt_PVGV:
4329             case SVt_PVLV:
4330                 goto end_of_first_switch;
4331             }
4332             (void)SvIOK_only(dstr);
4333             SvIV_set(dstr,  SvIVX(sstr));
4334             if (SvIsUV(sstr))
4335                 SvIsUV_on(dstr);
4336             /* SvTAINTED can only be true if the SV has taint magic, which in
4337                turn means that the SV type is PVMG (or greater). This is the
4338                case statement for SVt_IV, so this cannot be true (whatever gcov
4339                may say).  */
4340             assert(!SvTAINTED(sstr));
4341             return;
4342         }
4343         if (!SvROK(sstr))
4344             goto undef_sstr;
4345         if (dtype < SVt_PV && dtype != SVt_IV)
4346             sv_upgrade(dstr, SVt_IV);
4347         break;
4348
4349     case SVt_NV:
4350         if (LIKELY( SvNOK(sstr) )) {
4351             switch (dtype) {
4352             case SVt_NULL:
4353             case SVt_IV:
4354                 sv_upgrade(dstr, SVt_NV);
4355                 break;
4356             case SVt_PV:
4357             case SVt_PVIV:
4358                 sv_upgrade(dstr, SVt_PVNV);
4359                 break;
4360             case SVt_PVGV:
4361             case SVt_PVLV:
4362                 goto end_of_first_switch;
4363             }
4364             SvNV_set(dstr, SvNVX(sstr));
4365             (void)SvNOK_only(dstr);
4366             /* SvTAINTED can only be true if the SV has taint magic, which in
4367                turn means that the SV type is PVMG (or greater). This is the
4368                case statement for SVt_NV, so this cannot be true (whatever gcov
4369                may say).  */
4370             assert(!SvTAINTED(sstr));
4371             return;
4372         }
4373         goto undef_sstr;
4374
4375     case SVt_PV:
4376         if (dtype < SVt_PV)
4377             sv_upgrade(dstr, SVt_PV);
4378         break;
4379     case SVt_PVIV:
4380         if (dtype < SVt_PVIV)
4381             sv_upgrade(dstr, SVt_PVIV);
4382         break;
4383     case SVt_PVNV:
4384         if (dtype < SVt_PVNV)
4385             sv_upgrade(dstr, SVt_PVNV);
4386         break;
4387
4388     case SVt_INVLIST:
4389         invlist_clone(sstr, dstr);
4390         break;
4391     default:
4392         {
4393         const char * const type = sv_reftype(sstr,0);
4394         if (PL_op)
4395             /* diag_listed_as: Bizarre copy of %s */
4396             Perl_croak(aTHX_ "Bizarre copy of %s in %s", type, OP_DESC(PL_op));
4397         else
4398             Perl_croak(aTHX_ "Bizarre copy of %s", type);
4399         }
4400         NOT_REACHED; /* NOTREACHED */
4401
4402     case SVt_REGEXP:
4403       upgregexp:
4404         if (dtype < SVt_REGEXP)
4405             sv_upgrade(dstr, SVt_REGEXP);
4406         break;
4407
4408     case SVt_PVLV:
4409     case SVt_PVGV:
4410     case SVt_PVMG:
4411         if (SvGMAGICAL(sstr) && (flags & SV_GMAGIC)) {
4412             mg_get(sstr);
4413             if (SvTYPE(sstr) != stype)
4414                 stype = SvTYPE(sstr);
4415         }
4416         if (isGV_with_GP(sstr) && dtype <= SVt_PVLV) {
4417                     glob_assign_glob(dstr, sstr, dtype);
4418                     return;
4419         }
4420         if (stype == SVt_PVLV)
4421         {
4422             if (isREGEXP(sstr)) goto upgregexp;
4423             SvUPGRADE(dstr, SVt_PVNV);
4424         }
4425         else
4426             SvUPGRADE(dstr, (svtype)stype);
4427     }
4428  end_of_first_switch:
4429
4430     /* dstr may have been upgraded.  */
4431     dtype = SvTYPE(dstr);
4432     sflags = SvFLAGS(sstr);
4433
4434     if (UNLIKELY( dtype == SVt_PVCV )) {
4435         /* Assigning to a subroutine sets the prototype.  */
4436         if (SvOK(sstr)) {
4437             STRLEN len;
4438             const char *const ptr = SvPV_const(sstr, len);
4439
4440             SvGROW(dstr, len + 1);
4441             Copy(ptr, SvPVX(dstr), len + 1, char);
4442             SvCUR_set(dstr, len);
4443             SvPOK_only(dstr);
4444             SvFLAGS(dstr) |= sflags & SVf_UTF8;
4445             CvAUTOLOAD_off(dstr);
4446         } else {
4447             SvOK_off(dstr);
4448         }
4449     }
4450     else if (UNLIKELY(dtype == SVt_PVAV || dtype == SVt_PVHV
4451              || dtype == SVt_PVFM))
4452     {
4453         const char * const type = sv_reftype(dstr,0);
4454         if (PL_op)
4455             /* diag_listed_as: Cannot copy to %s */
4456             Perl_croak(aTHX_ "Cannot copy to %s in %s", type, OP_DESC(PL_op));
4457         else
4458             Perl_croak(aTHX_ "Cannot copy to %s", type);
4459     } else if (sflags & SVf_ROK) {
4460         if (isGV_with_GP(dstr)
4461             && SvTYPE(SvRV(sstr)) == SVt_PVGV && isGV_with_GP(SvRV(sstr))) {
4462             sstr = SvRV(sstr);
4463             if (sstr == dstr) {
4464                 if (GvIMPORTED(dstr) != GVf_IMPORTED
4465                     && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
4466                 {
4467                     GvIMPORTED_on(dstr);
4468                 }
4469                 GvMULTI_on(dstr);
4470                 return;
4471             }
4472             glob_assign_glob(dstr, sstr, dtype);
4473             return;
4474         }
4475
4476         if (dtype >= SVt_PV) {
4477             if (isGV_with_GP(dstr)) {
4478                 gv_setref(dstr, sstr);
4479                 return;
4480             }
4481             if (SvPVX_const(dstr)) {
4482                 SvPV_free(dstr);
4483                 SvLEN_set(dstr, 0);
4484                 SvCUR_set(dstr, 0);
4485             }
4486         }
4487         (void)SvOK_off(dstr);
4488         SvRV_set(dstr, SvREFCNT_inc(SvRV(sstr)));
4489         SvFLAGS(dstr) |= sflags & SVf_ROK;
4490         assert(!(sflags & SVp_NOK));
4491         assert(!(sflags & SVp_IOK));
4492         assert(!(sflags & SVf_NOK));
4493         assert(!(sflags & SVf_IOK));
4494     }
4495     else if (isGV_with_GP(dstr)) {
4496         if (!(sflags & SVf_OK)) {
4497             Perl_ck_warner(aTHX_ packWARN(WARN_MISC),
4498                            "Undefined value assigned to typeglob");
4499         }
4500         else {
4501             GV *gv = gv_fetchsv_nomg(sstr, GV_ADD, SVt_PVGV);
4502             if (dstr != (const SV *)gv) {
4503                 const char * const name = GvNAME((const GV *)dstr);
4504                 const STRLEN len = GvNAMELEN(dstr);
4505                 HV *old_stash = NULL;
4506                 bool reset_isa = FALSE;
4507                 if ((len > 1 && name[len-2] == ':' && name[len-1] == ':')
4508                  || (len == 1 && name[0] == ':')) {
4509                     /* Set aside the old stash, so we can reset isa caches
4510                        on its subclasses. */
4511                     if((old_stash = GvHV(dstr))) {
4512                         /* Make sure we do not lose it early. */
4513                         SvREFCNT_inc_simple_void_NN(
4514                          sv_2mortal((SV *)old_stash)
4515                         );
4516                     }
4517                     reset_isa = TRUE;
4518                 }
4519
4520                 if (GvGP(dstr)) {
4521                     SvREFCNT_inc_simple_void_NN(sv_2mortal(dstr));
4522                     gp_free(MUTABLE_GV(dstr));
4523                 }
4524                 GvGP_set(dstr, gp_ref(GvGP(gv)));
4525
4526                 if (reset_isa) {
4527                     HV * const stash = GvHV(dstr);
4528                     if(
4529                         old_stash ? (HV *)HvENAME_get(old_stash) : stash
4530                     )
4531                         mro_package_moved(
4532                          stash, old_stash,
4533                          (GV *)dstr, 0
4534                         );
4535                 }
4536             }
4537         }
4538     }
4539     else if ((dtype == SVt_REGEXP || dtype == SVt_PVLV)
4540           && (stype == SVt_REGEXP || isREGEXP(sstr))) {
4541         reg_temp_copy((REGEXP*)dstr, (REGEXP*)sstr);
4542     }
4543     else if (sflags & SVp_POK) {
4544         const STRLEN cur = SvCUR(sstr);
4545         const STRLEN len = SvLEN(sstr);
4546
4547         /*
4548          * We have three basic ways to copy the string:
4549          *
4550          *  1. Swipe
4551          *  2. Copy-on-write
4552          *  3. Actual copy
4553          * 
4554          * Which we choose is based on various factors.  The following
4555          * things are listed in order of speed, fastest to slowest:
4556          *  - Swipe
4557          *  - Copying a short string
4558          *  - Copy-on-write bookkeeping
4559          *  - malloc
4560          *  - Copying a long string
4561          * 
4562          * We swipe the string (steal the string buffer) if the SV on the
4563          * rhs is about to be freed anyway (TEMP and refcnt==1).  This is a
4564          * big win on long strings.  It should be a win on short strings if
4565          * SvPVX_const(dstr) has to be allocated.  If not, it should not 
4566          * slow things down, as SvPVX_const(sstr) would have been freed
4567          * soon anyway.
4568          * 
4569          * We also steal the buffer from a PADTMP (operator target) if it
4570          * is â€˜long enough’.  For short strings, a swipe does not help
4571          * here, as it causes more malloc calls the next time the target
4572          * is used.  Benchmarks show that even if SvPVX_const(dstr) has to
4573          * be allocated it is still not worth swiping PADTMPs for short
4574          * strings, as the savings here are small.
4575          * 
4576          * If swiping is not an option, then we see whether it is
4577          * worth using copy-on-write.  If the lhs already has a buf-
4578          * fer big enough and the string is short, we skip it and fall back
4579          * to method 3, since memcpy is faster for short strings than the
4580          * later bookkeeping overhead that copy-on-write entails.
4581
4582          * If the rhs is not a copy-on-write string yet, then we also
4583          * consider whether the buffer is too large relative to the string
4584          * it holds.  Some operations such as readline allocate a large
4585          * buffer in the expectation of reusing it.  But turning such into
4586          * a COW buffer is counter-productive because it increases memory
4587          * usage by making readline allocate a new large buffer the sec-
4588          * ond time round.  So, if the buffer is too large, again, we use
4589          * method 3 (copy).
4590          * 
4591          * Finally, if there is no buffer on the left, or the buffer is too 
4592          * small, then we use copy-on-write and make both SVs share the
4593          * string buffer.
4594          *
4595          */
4596
4597         /* Whichever path we take through the next code, we want this true,
4598            and doing it now facilitates the COW check.  */
4599         (void)SvPOK_only(dstr);
4600
4601         if (
4602                  (              /* Either ... */
4603                                 /* slated for free anyway (and not COW)? */
4604                     (sflags & (SVs_TEMP|SVf_IsCOW)) == SVs_TEMP
4605                                 /* or a swipable TARG */
4606                  || ((sflags &
4607                            (SVs_PADTMP|SVf_READONLY|SVf_PROTECT|SVf_IsCOW))
4608                        == SVs_PADTMP
4609                                 /* whose buffer is worth stealing */
4610                      && CHECK_COWBUF_THRESHOLD(cur,len)
4611                     )
4612                  ) &&
4613                  !(sflags & SVf_OOK) &&   /* and not involved in OOK hack? */
4614                  (!(flags & SV_NOSTEAL)) &&
4615                                         /* and we're allowed to steal temps */
4616                  SvREFCNT(sstr) == 1 &&   /* and no other references to it? */
4617                  len)             /* and really is a string */
4618         {       /* Passes the swipe test.  */
4619             if (SvPVX_const(dstr))      /* we know that dtype >= SVt_PV */
4620                 SvPV_free(dstr);
4621             SvPV_set(dstr, SvPVX_mutable(sstr));
4622             SvLEN_set(dstr, SvLEN(sstr));
4623             SvCUR_set(dstr, SvCUR(sstr));
4624
4625             SvTEMP_off(dstr);
4626             (void)SvOK_off(sstr);       /* NOTE: nukes most SvFLAGS on sstr */
4627             SvPV_set(sstr, NULL);
4628             SvLEN_set(sstr, 0);
4629             SvCUR_set(sstr, 0);
4630             SvTEMP_off(sstr);
4631         }
4632         else if (flags & SV_COW_SHARED_HASH_KEYS
4633               &&
4634 #ifdef PERL_COPY_ON_WRITE
4635                  (sflags & SVf_IsCOW
4636                    ? (!len ||
4637                        (  (CHECK_COWBUF_THRESHOLD(cur,len) || SvLEN(dstr) < cur+1)
4638                           /* If this is a regular (non-hek) COW, only so
4639                              many COW "copies" are possible. */
4640                        && CowREFCNT(sstr) != SV_COW_REFCNT_MAX  ))
4641                    : (  (sflags & CAN_COW_MASK) == CAN_COW_FLAGS
4642                      && !(SvFLAGS(dstr) & SVf_BREAK)
4643                      && CHECK_COW_THRESHOLD(cur,len) && cur+1 < len
4644                      && (CHECK_COWBUF_THRESHOLD(cur,len) || SvLEN(dstr) < cur+1)
4645                     ))
4646 #else
4647                  sflags & SVf_IsCOW
4648               && !(SvFLAGS(dstr) & SVf_BREAK)
4649 #endif
4650             ) {
4651             /* Either it's a shared hash key, or it's suitable for
4652                copy-on-write.  */
4653 #ifdef DEBUGGING
4654             if (DEBUG_C_TEST) {
4655                 PerlIO_printf(Perl_debug_log, "Copy on write: sstr --> dstr\n");
4656                 sv_dump(sstr);
4657                 sv_dump(dstr);
4658             }
4659 #endif
4660 #ifdef PERL_ANY_COW
4661             if (!(sflags & SVf_IsCOW)) {
4662                     SvIsCOW_on(sstr);
4663                     CowREFCNT(sstr) = 0;
4664             }
4665 #endif
4666             if (SvPVX_const(dstr)) {    /* we know that dtype >= SVt_PV */
4667                 SvPV_free(dstr);
4668             }
4669
4670 #ifdef PERL_ANY_COW
4671             if (len) {
4672                     if (sflags & SVf_IsCOW) {
4673                         sv_buf_to_rw(sstr);
4674                     }
4675                     CowREFCNT(sstr)++;
4676                     SvPV_set(dstr, SvPVX_mutable(sstr));
4677                     sv_buf_to_ro(sstr);
4678             } else
4679 #endif
4680             {
4681                     /* SvIsCOW_shared_hash */
4682                     DEBUG_C(PerlIO_printf(Perl_debug_log,
4683                                           "Copy on write: Sharing hash\n"));
4684
4685                     assert (SvTYPE(dstr) >= SVt_PV);
4686                     SvPV_set(dstr,
4687                              HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)))));
4688             }
4689             SvLEN_set(dstr, len);
4690             SvCUR_set(dstr, cur);
4691             SvIsCOW_on(dstr);
4692         } else {
4693             /* Failed the swipe test, and we cannot do copy-on-write either.
4694                Have to copy the string.  */
4695             SvGROW(dstr, cur + 1);      /* inlined from sv_setpvn */
4696             Move(SvPVX_const(sstr),SvPVX(dstr),cur,char);
4697             SvCUR_set(dstr, cur);
4698             *SvEND(dstr) = '\0';
4699         }
4700         if (sflags & SVp_NOK) {
4701             SvNV_set(dstr, SvNVX(sstr));
4702         }
4703         if (sflags & SVp_IOK) {
4704             SvIV_set(dstr, SvIVX(sstr));
4705             if (sflags & SVf_IVisUV)
4706                 SvIsUV_on(dstr);
4707         }
4708         SvFLAGS(dstr) |= sflags & (SVf_IOK|SVp_IOK|SVf_NOK|SVp_NOK|SVf_UTF8);
4709         {
4710             const MAGIC * const smg = SvVSTRING_mg(sstr);
4711             if (smg) {
4712                 sv_magic(dstr, NULL, PERL_MAGIC_vstring,
4713                          smg->mg_ptr, smg->mg_len);
4714                 SvRMAGICAL_on(dstr);
4715             }
4716         }
4717     }
4718     else if (sflags & (SVp_IOK|SVp_NOK)) {
4719         (void)SvOK_off(dstr);
4720         SvFLAGS(dstr) |= sflags & (SVf_IOK|SVp_IOK|SVf_IVisUV|SVf_NOK|SVp_NOK);
4721         if (sflags & SVp_IOK) {
4722             /* XXXX Do we want to set IsUV for IV(ROK)?  Be extra safe... */
4723             SvIV_set(dstr, SvIVX(sstr));
4724         }
4725         if (sflags & SVp_NOK) {
4726             SvNV_set(dstr, SvNVX(sstr));
4727         }
4728     }
4729     else {
4730         if (isGV_with_GP(sstr)) {
4731             gv_efullname3(dstr, MUTABLE_GV(sstr), "*");
4732         }
4733         else
4734             (void)SvOK_off(dstr);
4735     }
4736     if (SvTAINTED(sstr))
4737         SvTAINT(dstr);
4738 }
4739
4740
4741 /*
4742 =for apidoc sv_set_undef
4743
4744 Equivalent to C<sv_setsv(sv, &PL_sv_undef)>, but more efficient.
4745 Doesn't handle set magic.
4746
4747 The perl equivalent is C<$sv = undef;>. Note that it doesn't free any string
4748 buffer, unlike C<undef $sv>.
4749
4750 Introduced in perl 5.25.12.
4751
4752 =cut
4753 */
4754
4755 void
4756 Perl_sv_set_undef(pTHX_ SV *sv)
4757 {
4758     U32 type = SvTYPE(sv);
4759
4760     PERL_ARGS_ASSERT_SV_SET_UNDEF;
4761
4762     /* shortcut, NULL, IV, RV */
4763
4764     if (type <= SVt_IV) {
4765         assert(!SvGMAGICAL(sv));
4766         if (SvREADONLY(sv)) {
4767             /* does undeffing PL_sv_undef count as modifying a read-only
4768              * variable? Some XS code does this */
4769             if (sv == &PL_sv_undef)
4770                 return;
4771             Perl_croak_no_modify();
4772         }
4773
4774         if (SvROK(sv)) {
4775             if (SvWEAKREF(sv))
4776                 sv_unref_flags(sv, 0);
4777             else {
4778                 SV *rv = SvRV(sv);
4779                 SvFLAGS(sv) = type; /* quickly turn off all flags */
4780                 SvREFCNT_dec_NN(rv);
4781                 return;
4782             }
4783         }
4784         SvFLAGS(sv) = type; /* quickly turn off all flags */
4785         return;
4786     }
4787
4788     if (SvIS_FREED(sv))
4789         Perl_croak(aTHX_ "panic: attempt to undefine a freed scalar %p",
4790             (void *)sv);
4791
4792     SV_CHECK_THINKFIRST_COW_DROP(sv);
4793
4794     if (isGV_with_GP(sv))
4795         Perl_ck_warner(aTHX_ packWARN(WARN_MISC),
4796                        "Undefined value assigned to typeglob");
4797     else
4798         SvOK_off(sv);
4799 }
4800
4801
4802
4803 /*
4804 =for apidoc sv_setsv_mg
4805
4806 Like C<sv_setsv>, but also handles 'set' magic.
4807
4808 =cut
4809 */
4810
4811 void
4812 Perl_sv_setsv_mg(pTHX_ SV *const dstr, SV *const sstr)
4813 {
4814     PERL_ARGS_ASSERT_SV_SETSV_MG;
4815
4816     sv_setsv(dstr,sstr);
4817     SvSETMAGIC(dstr);
4818 }
4819
4820 #ifdef PERL_ANY_COW
4821 #  define SVt_COW SVt_PV
4822 SV *
4823 Perl_sv_setsv_cow(pTHX_ SV *dstr, SV *sstr)
4824 {
4825     STRLEN cur = SvCUR(sstr);
4826     STRLEN len = SvLEN(sstr);
4827     char *new_pv;
4828 #if defined(PERL_DEBUG_READONLY_COW) && defined(PERL_COPY_ON_WRITE)
4829     const bool already = cBOOL(SvIsCOW(sstr));
4830 #endif
4831
4832     PERL_ARGS_ASSERT_SV_SETSV_COW;
4833 #ifdef DEBUGGING
4834     if (DEBUG_C_TEST) {
4835         PerlIO_printf(Perl_debug_log, "Fast copy on write: %p -> %p\n",
4836                       (void*)sstr, (void*)dstr);
4837         sv_dump(sstr);
4838         if (dstr)
4839                     sv_dump(dstr);
4840     }
4841 #endif
4842     if (dstr) {
4843         if (SvTHINKFIRST(dstr))
4844             sv_force_normal_flags(dstr, SV_COW_DROP_PV);
4845         else if (SvPVX_const(dstr))
4846             Safefree(SvPVX_mutable(dstr));
4847     }
4848     else
4849         new_SV(dstr);
4850     SvUPGRADE(dstr, SVt_COW);
4851
4852     assert (SvPOK(sstr));
4853     assert (SvPOKp(sstr));
4854
4855     if (SvIsCOW(sstr)) {
4856
4857         if (SvLEN(sstr) == 0) {
4858             /* source is a COW shared hash key.  */
4859             DEBUG_C(PerlIO_printf(Perl_debug_log,
4860                                   "Fast copy on write: Sharing hash\n"));
4861             new_pv = HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr))));
4862             goto common_exit;
4863         }
4864         assert(SvCUR(sstr)+1 < SvLEN(sstr));
4865         assert(CowREFCNT(sstr) < SV_COW_REFCNT_MAX);
4866     } else {
4867         assert ((SvFLAGS(sstr) & CAN_COW_MASK) == CAN_COW_FLAGS);
4868         SvUPGRADE(sstr, SVt_COW);
4869         SvIsCOW_on(sstr);
4870         DEBUG_C(PerlIO_printf(Perl_debug_log,
4871                               "Fast copy on write: Converting sstr to COW\n"));
4872         CowREFCNT(sstr) = 0;    
4873     }
4874 #  ifdef PERL_DEBUG_READONLY_COW
4875     if (already) sv_buf_to_rw(sstr);
4876 #  endif
4877     CowREFCNT(sstr)++;  
4878     new_pv = SvPVX_mutable(sstr);
4879     sv_buf_to_ro(sstr);
4880
4881   common_exit:
4882     SvPV_set(dstr, new_pv);
4883     SvFLAGS(dstr) = (SVt_COW|SVf_POK|SVp_POK|SVf_IsCOW);
4884     if (SvUTF8(sstr))
4885         SvUTF8_on(dstr);
4886     SvLEN_set(dstr, len);
4887     SvCUR_set(dstr, cur);
4888 #ifdef DEBUGGING
4889     if (DEBUG_C_TEST)
4890                 sv_dump(dstr);
4891 #endif
4892     return dstr;
4893 }
4894 #endif
4895
4896 /*
4897 =for apidoc sv_setpv_bufsize
4898
4899 Sets the SV to be a string of cur bytes length, with at least
4900 len bytes available. Ensures that there is a null byte at SvEND.
4901 Returns a char * pointer to the SvPV buffer.
4902
4903 =cut
4904 */
4905
4906 char *
4907 Perl_sv_setpv_bufsize(pTHX_ SV *const sv, const STRLEN cur, const STRLEN len)
4908 {
4909     char *pv;
4910
4911     PERL_ARGS_ASSERT_SV_SETPV_BUFSIZE;
4912
4913     SV_CHECK_THINKFIRST_COW_DROP(sv);
4914     SvUPGRADE(sv, SVt_PV);
4915     pv = SvGROW(sv, len + 1);
4916     SvCUR_set(sv, cur);
4917     *(SvEND(sv))= '\0';
4918     (void)SvPOK_only_UTF8(sv);                /* validate pointer */
4919
4920     SvTAINT(sv);
4921     if (SvTYPE(sv) == SVt_PVCV) CvAUTOLOAD_off(sv);
4922     return pv;
4923 }
4924
4925 /*
4926 =for apidoc sv_setpvn
4927
4928 Copies a string (possibly containing embedded C<NUL> characters) into an SV.
4929 The C<len> parameter indicates the number of
4930 bytes to be copied.  If the C<ptr> argument is NULL the SV will become
4931 undefined.  Does not handle 'set' magic.  See C<L</sv_setpvn_mg>>.
4932
4933 =cut
4934 */
4935
4936 void
4937 Perl_sv_setpvn(pTHX_ SV *const sv, const char *const ptr, const STRLEN len)
4938 {
4939     char *dptr;
4940
4941     PERL_ARGS_ASSERT_SV_SETPVN;
4942
4943     SV_CHECK_THINKFIRST_COW_DROP(sv);
4944     if (isGV_with_GP(sv))
4945         Perl_croak_no_modify();
4946     if (!ptr) {
4947         (void)SvOK_off(sv);
4948         return;
4949     }
4950     else {
4951         /* len is STRLEN which is unsigned, need to copy to signed */
4952         const IV iv = len;
4953         if (iv < 0)
4954             Perl_croak(aTHX_ "panic: sv_setpvn called with negative strlen %"
4955                        IVdf, iv);
4956     }
4957     SvUPGRADE(sv, SVt_PV);
4958
4959     dptr = SvGROW(sv, len + 1);
4960     Move(ptr,dptr,len,char);
4961     dptr[len] = '\0';
4962     SvCUR_set(sv, len);
4963     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4964     SvTAINT(sv);
4965     if (SvTYPE(sv) == SVt_PVCV) CvAUTOLOAD_off(sv);
4966 }
4967
4968 /*
4969 =for apidoc sv_setpvn_mg
4970
4971 Like C<sv_setpvn>, but also handles 'set' magic.
4972
4973 =cut
4974 */
4975
4976 void
4977 Perl_sv_setpvn_mg(pTHX_ SV *const sv, const char *const ptr, const STRLEN len)
4978 {
4979     PERL_ARGS_ASSERT_SV_SETPVN_MG;
4980
4981     sv_setpvn(sv,ptr,len);
4982     SvSETMAGIC(sv);
4983 }
4984
4985 /*
4986 =for apidoc sv_setpv
4987
4988 Copies a string into an SV.  The string must be terminated with a C<NUL>
4989 character, and not contain embeded C<NUL>'s.
4990 Does not handle 'set' magic.  See C<L</sv_setpv_mg>>.
4991
4992 =cut
4993 */
4994
4995 void
4996 Perl_sv_setpv(pTHX_ SV *const sv, const char *const ptr)
4997 {
4998     STRLEN len;
4999
5000     PERL_ARGS_ASSERT_SV_SETPV;
5001
5002     SV_CHECK_THINKFIRST_COW_DROP(sv);
5003     if (!ptr) {
5004         (void)SvOK_off(sv);
5005         return;
5006     }
5007     len = strlen(ptr);
5008     SvUPGRADE(sv, SVt_PV);
5009
5010     SvGROW(sv, len + 1);
5011     Move(ptr,SvPVX(sv),len+1,char);
5012     SvCUR_set(sv, len);
5013     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
5014     SvTAINT(sv);
5015     if (SvTYPE(sv) == SVt_PVCV) CvAUTOLOAD_off(sv);
5016 }
5017
5018 /*
5019 =for apidoc sv_setpv_mg
5020
5021 Like C<sv_setpv>, but also handles 'set' magic.
5022
5023 =cut
5024 */
5025
5026 void
5027 Perl_sv_setpv_mg(pTHX_ SV *const sv, const char *const ptr)
5028 {
5029     PERL_ARGS_ASSERT_SV_SETPV_MG;
5030
5031     sv_setpv(sv,ptr);
5032     SvSETMAGIC(sv);
5033 }
5034
5035 void
5036 Perl_sv_sethek(pTHX_ SV *const sv, const HEK *const hek)
5037 {
5038     PERL_ARGS_ASSERT_SV_SETHEK;
5039
5040     if (!hek) {
5041         return;
5042     }
5043
5044     if (HEK_LEN(hek) == HEf_SVKEY) {
5045         sv_setsv(sv, *(SV**)HEK_KEY(hek));
5046         return;
5047     } else {
5048         const int flags = HEK_FLAGS(hek);
5049         if (flags & HVhek_WASUTF8) {
5050             STRLEN utf8_len = HEK_LEN(hek);
5051             char *as_utf8 = (char *)bytes_to_utf8((U8*)HEK_KEY(hek), &utf8_len);
5052             sv_usepvn_flags(sv, as_utf8, utf8_len, SV_HAS_TRAILING_NUL);
5053             SvUTF8_on(sv);
5054             return;
5055         } else if (flags & HVhek_UNSHARED) {
5056             sv_setpvn(sv, HEK_KEY(hek), HEK_LEN(hek));
5057             if (HEK_UTF8(hek))
5058                 SvUTF8_on(sv);
5059             else SvUTF8_off(sv);
5060             return;
5061         }
5062         {
5063             SV_CHECK_THINKFIRST_COW_DROP(sv);
5064             SvUPGRADE(sv, SVt_PV);
5065             SvPV_free(sv);
5066             SvPV_set(sv,(char *)HEK_KEY(share_hek_hek(hek)));
5067             SvCUR_set(sv, HEK_LEN(hek));
5068             SvLEN_set(sv, 0);
5069             SvIsCOW_on(sv);
5070             SvPOK_on(sv);
5071             if (HEK_UTF8(hek))
5072                 SvUTF8_on(sv);
5073             else SvUTF8_off(sv);
5074             return;
5075         }
5076     }
5077 }
5078
5079
5080 /*
5081 =for apidoc sv_usepvn_flags
5082
5083 Tells an SV to use C<ptr> to find its string value.  Normally the
5084 string is stored inside the SV, but sv_usepvn allows the SV to use an
5085 outside string.  C<ptr> should point to memory that was allocated
5086 by L<C<Newx>|perlclib/Memory Management and String Handling>.  It must be
5087 the start of a C<Newx>-ed block of memory, and not a pointer to the
5088 middle of it (beware of L<C<OOK>|perlguts/Offsets> and copy-on-write),
5089 and not be from a non-C<Newx> memory allocator like C<malloc>.  The
5090 string length, C<len>, must be supplied.  By default this function
5091 will C<Renew> (i.e. realloc, move) the memory pointed to by C<ptr>,
5092 so that pointer should not be freed or used by the programmer after
5093 giving it to C<sv_usepvn>, and neither should any pointers from "behind"
5094 that pointer (e.g. ptr + 1) be used.
5095
5096 If S<C<flags & SV_SMAGIC>> is true, will call C<SvSETMAGIC>.  If
5097 S<C<flags & SV_HAS_TRAILING_NUL>> is true, then C<ptr[len]> must be C<NUL>,
5098 and the realloc
5099 will be skipped (i.e. the buffer is actually at least 1 byte longer than
5100 C<len>, and already meets the requirements for storing in C<SvPVX>).
5101
5102 =cut
5103 */
5104
5105 void
5106 Perl_sv_usepvn_flags(pTHX_ SV *const sv, char *ptr, const STRLEN len, const U32 flags)
5107 {
5108     STRLEN allocate;
5109
5110     PERL_ARGS_ASSERT_SV_USEPVN_FLAGS;
5111
5112     SV_CHECK_THINKFIRST_COW_DROP(sv);
5113     SvUPGRADE(sv, SVt_PV);
5114     if (!ptr) {
5115         (void)SvOK_off(sv);
5116         if (flags & SV_SMAGIC)
5117             SvSETMAGIC(sv);
5118         return;
5119     }
5120     if (SvPVX_const(sv))
5121         SvPV_free(sv);
5122
5123 #ifdef DEBUGGING
5124     if (flags & SV_HAS_TRAILING_NUL)
5125         assert(ptr[len] == '\0');
5126 #endif
5127
5128     allocate = (flags & SV_HAS_TRAILING_NUL)
5129         ? len + 1 :
5130 #ifdef Perl_safesysmalloc_size
5131         len + 1;
5132 #else 
5133         PERL_STRLEN_ROUNDUP(len + 1);
5134 #endif
5135     if (flags & SV_HAS_TRAILING_NUL) {
5136         /* It's long enough - do nothing.
5137            Specifically Perl_newCONSTSUB is relying on this.  */
5138     } else {
5139 #ifdef DEBUGGING
5140         /* Force a move to shake out bugs in callers.  */
5141         char *new_ptr = (char*)safemalloc(allocate);
5142         Copy(ptr, new_ptr, len, char);
5143         PoisonFree(ptr,len,char);
5144         Safefree(ptr);
5145         ptr = new_ptr;
5146 #else
5147         ptr = (char*) saferealloc (ptr, allocate);
5148 #endif
5149     }
5150 #ifdef Perl_safesysmalloc_size
5151     SvLEN_set(sv, Perl_safesysmalloc_size(ptr));
5152 #else
5153     SvLEN_set(sv, allocate);
5154 #endif
5155     SvCUR_set(sv, len);
5156     SvPV_set(sv, ptr);
5157     if (!(flags & SV_HAS_TRAILING_NUL)) {
5158         ptr[len] = '\0';
5159     }
5160     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
5161     SvTAINT(sv);
5162     if (flags & SV_SMAGIC)
5163         SvSETMAGIC(sv);
5164 }
5165
5166
5167 static void
5168 S_sv_uncow(pTHX_ SV * const sv, const U32 flags)
5169 {
5170     assert(SvIsCOW(sv));
5171     {
5172 #ifdef PERL_ANY_COW
5173         const char * const pvx = SvPVX_const(sv);
5174         const STRLEN len = SvLEN(sv);
5175         const STRLEN cur = SvCUR(sv);
5176
5177 #ifdef DEBUGGING
5178         if (DEBUG_C_TEST) {
5179                 PerlIO_printf(Perl_debug_log,
5180                               "Copy on write: Force normal %ld\n",
5181                               (long) flags);
5182                 sv_dump(sv);
5183         }
5184 #endif
5185         SvIsCOW_off(sv);
5186 # ifdef PERL_COPY_ON_WRITE
5187         if (len) {
5188             /* Must do this first, since the CowREFCNT uses SvPVX and
5189             we need to write to CowREFCNT, or de-RO the whole buffer if we are
5190             the only owner left of the buffer. */
5191             sv_buf_to_rw(sv); /* NOOP if RO-ing not supported */
5192             {
5193                 U8 cowrefcnt = CowREFCNT(sv);
5194                 if(cowrefcnt != 0) {
5195                     cowrefcnt--;
5196                     CowREFCNT(sv) = cowrefcnt;
5197                     sv_buf_to_ro(sv);
5198                     goto copy_over;
5199                 }
5200             }
5201             /* Else we are the only owner of the buffer. */
5202         }
5203         else
5204 # endif
5205         {
5206             /* This SV doesn't own the buffer, so need to Newx() a new one:  */
5207             copy_over:
5208             SvPV_set(sv, NULL);
5209             SvCUR_set(sv, 0);
5210             SvLEN_set(sv, 0);
5211             if (flags & SV_COW_DROP_PV) {
5212                 /* OK, so we don't need to copy our buffer.  */
5213                 SvPOK_off(sv);
5214             } else {
5215                 SvGROW(sv, cur + 1);
5216                 Move(pvx,SvPVX(sv),cur,char);
5217                 SvCUR_set(sv, cur);
5218                 *SvEND(sv) = '\0';
5219             }
5220             if (! len) {
5221                         unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
5222             }
5223 #ifdef DEBUGGING
5224             if (DEBUG_C_TEST)
5225                 sv_dump(sv);
5226 #endif
5227         }
5228 #else
5229             const char * const pvx = SvPVX_const(sv);
5230             const STRLEN len = SvCUR(sv);
5231             SvIsCOW_off(sv);
5232             SvPV_set(sv, NULL);
5233             SvLEN_set(sv, 0);
5234             if (flags & SV_COW_DROP_PV) {
5235                 /* OK, so we don't need to copy our buffer.  */
5236                 SvPOK_off(sv);
5237             } else {
5238                 SvGROW(sv, len + 1);
5239                 Move(pvx,SvPVX(sv),len,char);
5240                 *SvEND(sv) = '\0';
5241             }
5242             unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
5243 #endif
5244     }
5245 }
5246
5247
5248 /*
5249 =for apidoc sv_force_normal_flags
5250
5251 Undo various types of fakery on an SV, where fakery means
5252 "more than" a string: if the PV is a shared string, make
5253 a private copy; if we're a ref, stop refing; if we're a glob, downgrade to
5254 an C<xpvmg>; if we're a copy-on-write scalar, this is the on-write time when
5255 we do the copy, and is also used locally; if this is a
5256 vstring, drop the vstring magic.  If C<SV_COW_DROP_PV> is set
5257 then a copy-on-write scalar drops its PV buffer (if any) and becomes
5258 C<SvPOK_off> rather than making a copy.  (Used where this
5259 scalar is about to be set to some other value.)  In addition,
5260 the C<flags> parameter gets passed to C<sv_unref_flags()>
5261 when unreffing.  C<sv_force_normal> calls this function
5262 with flags set to 0.
5263
5264 This function is expected to be used to signal to perl that this SV is
5265 about to be written to, and any extra book-keeping needs to be taken care
5266 of.  Hence, it croaks on read-only values.
5267
5268 =cut
5269 */
5270
5271 void
5272 Perl_sv_force_normal_flags(pTHX_ SV *const sv, const U32 flags)
5273 {
5274     PERL_ARGS_ASSERT_SV_FORCE_NORMAL_FLAGS;
5275
5276     if (SvREADONLY(sv))
5277         Perl_croak_no_modify();
5278     else if (SvIsCOW(sv) && LIKELY(SvTYPE(sv) != SVt_PVHV))
5279         S_sv_uncow(aTHX_ sv, flags);
5280     if (SvROK(sv))
5281         sv_unref_flags(sv, flags);
5282     else if (SvFAKE(sv) && isGV_with_GP(sv))
5283         sv_unglob(sv, flags);
5284     else if (SvFAKE(sv) && isREGEXP(sv)) {
5285         /* Need to downgrade the REGEXP to a simple(r) scalar. This is analogous
5286            to sv_unglob. We only need it here, so inline it.  */
5287         const bool islv = SvTYPE(sv) == SVt_PVLV;
5288         const svtype new_type =
5289           islv ? SVt_NULL : SvMAGIC(sv) || SvSTASH(sv) ? SVt_PVMG : SVt_PV;
5290         SV *const temp = newSV_type(new_type);
5291         regexp *old_rx_body;
5292
5293         if (new_type == SVt_PVMG) {
5294             SvMAGIC_set(temp, SvMAGIC(sv));
5295             SvMAGIC_set(sv, NULL);
5296             SvSTASH_set(temp, SvSTASH(sv));
5297             SvSTASH_set(sv, NULL);
5298         }
5299         if (!islv)
5300             SvCUR_set(temp, SvCUR(sv));
5301         /* Remember that SvPVX is in the head, not the body. */
5302         assert(ReANY((REGEXP *)sv)->mother_re);
5303
5304         if (islv) {
5305             /* LV-as-regex has sv->sv_any pointing to an XPVLV body,
5306              * whose xpvlenu_rx field points to the regex body */
5307             XPV *xpv = (XPV*)(SvANY(sv));
5308             old_rx_body = xpv->xpv_len_u.xpvlenu_rx;
5309             xpv->xpv_len_u.xpvlenu_rx = NULL;
5310         }
5311         else
5312             old_rx_body = ReANY((REGEXP *)sv);
5313
5314         /* Their buffer is already owned by someone else. */
5315         if (flags & SV_COW_DROP_PV) {
5316             /* SvLEN is already 0.  For SVt_REGEXP, we have a brand new
5317                zeroed body.  For SVt_PVLV, we zeroed it above (len field
5318                a union with xpvlenu_rx) */
5319             assert(!SvLEN(islv ? sv : temp));
5320             sv->sv_u.svu_pv = 0;
5321         }
5322         else {
5323             sv->sv_u.svu_pv = savepvn(RX_WRAPPED((REGEXP *)sv), SvCUR(sv));
5324             SvLEN_set(islv ? sv : temp, SvCUR(sv)+1);
5325             SvPOK_on(sv);
5326         }
5327
5328         /* Now swap the rest of the bodies. */
5329
5330         SvFAKE_off(sv);
5331         if (!islv) {
5332             SvFLAGS(sv) &= ~SVTYPEMASK;
5333             SvFLAGS(sv) |= new_type;
5334             SvANY(sv) = SvANY(temp);
5335         }
5336
5337         SvFLAGS(temp) &= ~(SVTYPEMASK);
5338         SvFLAGS(temp) |= SVt_REGEXP|SVf_FAKE;
5339         SvANY(temp) = old_rx_body;
5340
5341         SvREFCNT_dec_NN(temp);
5342     }
5343     else if (SvVOK(sv)) sv_unmagic(sv, PERL_MAGIC_vstring);
5344 }
5345
5346 /*
5347 =for apidoc sv_chop
5348
5349 Efficient removal of characters from the beginning of the string buffer.
5350 C<SvPOK(sv)>, or at least C<SvPOKp(sv)>, must be true and C<ptr> must be a
5351 pointer to somewhere inside the string buffer.  C<ptr> becomes the first
5352 character of the adjusted string.  Uses the C<OOK> hack.  On return, only
5353 C<SvPOK(sv)> and C<SvPOKp(sv)> among the C<OK> flags will be true.
5354
5355 Beware: after this function returns, C<ptr> and SvPVX_const(sv) may no longer
5356 refer to the same chunk of data.
5357
5358 The unfortunate similarity of this function's name to that of Perl's C<chop>
5359 operator is strictly coincidental.  This function works from the left;
5360 C<chop> works from the right.
5361
5362 =cut
5363 */
5364
5365 void
5366 Perl_sv_chop(pTHX_ SV *const sv, const char *const ptr)
5367 {
5368     STRLEN delta;
5369     STRLEN old_delta;
5370     U8 *p;
5371 #ifdef DEBUGGING
5372     const U8 *evacp;
5373     STRLEN evacn;
5374 #endif
5375     STRLEN max_delta;
5376
5377     PERL_ARGS_ASSERT_SV_CHOP;
5378
5379     if (!ptr || !SvPOKp(sv))
5380         return;
5381     delta = ptr - SvPVX_const(sv);
5382     if (!delta) {
5383         /* Nothing to do.  */
5384         return;
5385     }
5386     max_delta = SvLEN(sv) ? SvLEN(sv) : SvCUR(sv);
5387     if (delta > max_delta)
5388         Perl_croak(aTHX_ "panic: sv_chop ptr=%p, start=%p, end=%p",
5389                    ptr, SvPVX_const(sv), SvPVX_const(sv) + max_delta);
5390     /* SvPVX(sv) may move in SV_CHECK_THINKFIRST(sv), so don't use ptr any more */
5391     SV_CHECK_THINKFIRST(sv);
5392     SvPOK_only_UTF8(sv);
5393
5394     if (!SvOOK(sv)) {
5395         if (!SvLEN(sv)) { /* make copy of shared string */
5396             const char *pvx = SvPVX_const(sv);
5397             const STRLEN len = SvCUR(sv);
5398             SvGROW(sv, len + 1);
5399             Move(pvx,SvPVX(sv),len,char);
5400             *SvEND(sv) = '\0';
5401         }
5402         SvOOK_on(sv);
5403         old_delta = 0;
5404     } else {
5405         SvOOK_offset(sv, old_delta);
5406     }
5407     SvLEN_set(sv, SvLEN(sv) - delta);
5408     SvCUR_set(sv, SvCUR(sv) - delta);
5409     SvPV_set(sv, SvPVX(sv) + delta);
5410
5411     p = (U8 *)SvPVX_const(sv);
5412
5413 #ifdef DEBUGGING
5414     /* how many bytes were evacuated?  we will fill them with sentinel
5415        bytes, except for the part holding the new offset of course. */
5416     evacn = delta;
5417     if (old_delta)
5418         evacn += (old_delta < 0x100 ? 1 : 1 + sizeof(STRLEN));
5419     assert(evacn);
5420     assert(evacn <= delta + old_delta);
5421     evacp = p - evacn;
5422 #endif
5423
5424     /* This sets 'delta' to the accumulated value of all deltas so far */
5425     delta += old_delta;
5426     assert(delta);
5427
5428     /* If 'delta' fits in a byte, store it just prior to the new beginning of
5429      * the string; otherwise store a 0 byte there and store 'delta' just prior
5430      * to that, using as many bytes as a STRLEN occupies.  Thus it overwrites a
5431      * portion of the chopped part of the string */
5432     if (delta < 0x100) {
5433         *--p = (U8) delta;
5434     } else {
5435         *--p = 0;
5436         p -= sizeof(STRLEN);
5437         Copy((U8*)&delta, p, sizeof(STRLEN), U8);
5438     }
5439
5440 #ifdef DEBUGGING
5441     /* Fill the preceding buffer with sentinals to verify that no-one is
5442        using it.  */
5443     while (p > evacp) {
5444         --p;
5445         *p = (U8)PTR2UV(p);
5446     }
5447 #endif
5448 }
5449
5450 /*
5451 =for apidoc sv_catpvn
5452
5453 Concatenates the string onto the end of the string which is in the SV.
5454 C<len> indicates number of bytes to copy.  If the SV has the UTF-8
5455 status set, then the bytes appended should be valid UTF-8.
5456 Handles 'get' magic, but not 'set' magic.  See C<L</sv_catpvn_mg>>.
5457
5458 =for apidoc sv_catpvn_flags
5459
5460 Concatenates the string onto the end of the string which is in the SV.  The
5461 C<len> indicates number of bytes to copy.
5462
5463 By default, the string appended is assumed to be valid UTF-8 if the SV has
5464 the UTF-8 status set, and a string of bytes otherwise.  One can force the
5465 appended string to be interpreted as UTF-8 by supplying the C<SV_CATUTF8>
5466 flag, and as bytes by supplying the C<SV_CATBYTES> flag; the SV or the
5467 string appended will be upgraded to UTF-8 if necessary.
5468
5469 If C<flags> has the C<SV_SMAGIC> bit set, will
5470 C<mg_set> on C<dsv> afterwards if appropriate.
5471 C<sv_catpvn> and C<sv_catpvn_nomg> are implemented
5472 in terms of this function.
5473
5474 =cut
5475 */
5476
5477 void
5478 Perl_sv_catpvn_flags(pTHX_ SV *const dsv, const char *sstr, const STRLEN slen, const I32 flags)
5479 {
5480     STRLEN dlen;
5481     const char * const dstr = SvPV_force_flags(dsv, dlen, flags);
5482
5483     PERL_ARGS_ASSERT_SV_CATPVN_FLAGS;
5484     assert((flags & (SV_CATBYTES|SV_CATUTF8)) != (SV_CATBYTES|SV_CATUTF8));
5485
5486     if (!(flags & SV_CATBYTES) || !SvUTF8(dsv)) {
5487       if (flags & SV_CATUTF8 && !SvUTF8(dsv)) {
5488          sv_utf8_upgrade_flags_grow(dsv, 0, slen + 1);
5489          dlen = SvCUR(dsv);
5490       }
5491       else SvGROW(dsv, dlen + slen + 3);
5492       if (sstr == dstr)
5493         sstr = SvPVX_const(dsv);
5494       Move(sstr, SvPVX(dsv) + dlen, slen, char);
5495       SvCUR_set(dsv, SvCUR(dsv) + slen);
5496     }
5497     else {
5498         /* We inline bytes_to_utf8, to avoid an extra malloc. */
5499         const char * const send = sstr + slen;
5500         U8 *d;
5501
5502         /* Something this code does not account for, which I think is
5503            impossible; it would require the same pv to be treated as
5504            bytes *and* utf8, which would indicate a bug elsewhere. */
5505         assert(sstr != dstr);
5506
5507         SvGROW(dsv, dlen + slen * 2 + 3);
5508         d = (U8 *)SvPVX(dsv) + dlen;
5509
5510         while (sstr < send) {
5511             append_utf8_from_native_byte(*sstr, &d);
5512             sstr++;
5513         }
5514         SvCUR_set(dsv, d-(const U8 *)SvPVX(dsv));
5515     }
5516     *SvEND(dsv) = '\0';
5517     (void)SvPOK_only_UTF8(dsv);         /* validate pointer */
5518     SvTAINT(dsv);
5519     if (flags & SV_SMAGIC)
5520         SvSETMAGIC(dsv);
5521 }
5522
5523 /*
5524 =for apidoc sv_catsv
5525
5526 Concatenates the string from SV C<ssv> onto the end of the string in SV
5527 C<dsv>.  If C<ssv> is null, does nothing; otherwise modifies only C<dsv>.
5528 Handles 'get' magic on both SVs, but no 'set' magic.  See C<L</sv_catsv_mg>>
5529 and C<L</sv_catsv_nomg>>.
5530
5531 =for apidoc sv_catsv_flags
5532
5533 Concatenates the string from SV C<ssv> onto the end of the string in SV
5534 C<dsv>.  If C<ssv> is null, does nothing; otherwise modifies only C<dsv>.
5535 If C<flags> has the C<SV_GMAGIC> bit set, will call C<mg_get> on both SVs if
5536 appropriate.  If C<flags> has the C<SV_SMAGIC> bit set, C<mg_set> will be called on
5537 the modified SV afterward, if appropriate.  C<sv_catsv>, C<sv_catsv_nomg>,
5538 and C<sv_catsv_mg> are implemented in terms of this function.
5539
5540 =cut */
5541
5542 void
5543 Perl_sv_catsv_flags(pTHX_ SV *const dsv, SV *const ssv, const I32 flags)
5544 {
5545     PERL_ARGS_ASSERT_SV_CATSV_FLAGS;
5546
5547     if (ssv) {
5548         STRLEN slen;
5549         const char *spv = SvPV_flags_const(ssv, slen, flags);
5550         if (flags & SV_GMAGIC)
5551                 SvGETMAGIC(dsv);
5552         sv_catpvn_flags(dsv, spv, slen,
5553                             DO_UTF8(ssv) ? SV_CATUTF8 : SV_CATBYTES);
5554         if (flags & SV_SMAGIC)
5555                 SvSETMAGIC(dsv);
5556     }
5557 }
5558
5559 /*
5560 =for apidoc sv_catpv
5561
5562 Concatenates the C<NUL>-terminated string onto the end of the string which is
5563 in the SV.
5564 If the SV has the UTF-8 status set, then the bytes appended should be
5565 valid UTF-8.  Handles 'get' magic, but not 'set' magic.  See
5566 C<L</sv_catpv_mg>>.
5567
5568 =cut */
5569
5570 void
5571 Perl_sv_catpv(pTHX_ SV *const sv, const char *ptr)
5572 {
5573     STRLEN len;
5574     STRLEN tlen;
5575     char *junk;
5576
5577     PERL_ARGS_ASSERT_SV_CATPV;
5578
5579     if (!ptr)
5580         return;
5581     junk = SvPV_force(sv, tlen);
5582     len = strlen(ptr);
5583     SvGROW(sv, tlen + len + 1);
5584     if (ptr == junk)
5585         ptr = SvPVX_const(sv);
5586     Move(ptr,SvPVX(sv)+tlen,len+1,char);
5587     SvCUR_set(sv, SvCUR(sv) + len);
5588     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
5589     SvTAINT(sv);
5590 }
5591
5592 /*
5593 =for apidoc sv_catpv_flags
5594
5595 Concatenates the C<NUL>-terminated string onto the end of the string which is
5596 in the SV.
5597 If the SV has the UTF-8 status set, then the bytes appended should
5598 be valid UTF-8.  If C<flags> has the C<SV_SMAGIC> bit set, will C<mg_set>
5599 on the modified SV if appropriate.
5600
5601 =cut
5602 */
5603
5604 void
5605 Perl_sv_catpv_flags(pTHX_ SV *dstr, const char *sstr, const I32 flags)
5606 {
5607     PERL_ARGS_ASSERT_SV_CATPV_FLAGS;
5608     sv_catpvn_flags(dstr, sstr, strlen(sstr), flags);
5609 }
5610
5611 /*
5612 =for apidoc sv_catpv_mg
5613
5614 Like C<sv_catpv>, but also handles 'set' magic.
5615
5616 =cut
5617 */
5618
5619 void
5620 Perl_sv_catpv_mg(pTHX_ SV *const sv, const char *const ptr)
5621 {
5622     PERL_ARGS_ASSERT_SV_CATPV_MG;
5623
5624     sv_catpv(sv,ptr);
5625     SvSETMAGIC(sv);
5626 }
5627
5628 /*
5629 =for apidoc newSV
5630
5631 Creates a new SV.  A non-zero C<len> parameter indicates the number of
5632 bytes of preallocated string space the SV should have.  An extra byte for a
5633 trailing C<NUL> is also reserved.  (C<SvPOK> is not set for the SV even if string
5634 space is allocated.)  The reference count for the new SV is set to 1.
5635
5636 In 5.9.3, C<newSV()> replaces the older C<NEWSV()> API, and drops the first
5637 parameter, I<x>, a debug aid which allowed callers to identify themselves.
5638 This aid has been superseded by a new build option, C<PERL_MEM_LOG> (see
5639 L<perlhacktips/PERL_MEM_LOG>).  The older API is still there for use in XS
5640 modules supporting older perls.
5641
5642 =cut
5643 */
5644
5645 SV *
5646 Perl_newSV(pTHX_ const STRLEN len)
5647 {
5648     SV *sv;
5649
5650     new_SV(sv);
5651     if (len) {
5652         sv_grow(sv, len + 1);
5653     }
5654     return sv;
5655 }
5656 /*
5657 =for apidoc sv_magicext
5658
5659 Adds magic to an SV, upgrading it if necessary.  Applies the
5660 supplied C<vtable> and returns a pointer to the magic added.
5661
5662 Note that C<sv_magicext> will allow things that C<sv_magic> will not.
5663 In particular, you can add magic to C<SvREADONLY> SVs, and add more than
5664 one instance of the same C<how>.
5665
5666 If C<namlen> is greater than zero then a C<savepvn> I<copy> of C<name> is
5667 stored, if C<namlen> is zero then C<name> is stored as-is and - as another
5668 special case - if C<(name && namlen == HEf_SVKEY)> then C<name> is assumed
5669 to contain an SV* and is stored as-is with its C<REFCNT> incremented.
5670
5671 (This is now used as a subroutine by C<sv_magic>.)
5672
5673 =cut
5674 */
5675 MAGIC * 
5676 Perl_sv_magicext(pTHX_ SV *const sv, SV *const obj, const int how, 
5677                 const MGVTBL *const vtable, const char *const name, const I32 namlen)
5678 {
5679     MAGIC* mg;
5680
5681     PERL_ARGS_ASSERT_SV_MAGICEXT;
5682
5683     SvUPGRADE(sv, SVt_PVMG);
5684     Newxz(mg, 1, MAGIC);
5685     mg->mg_moremagic = SvMAGIC(sv);
5686     SvMAGIC_set(sv, mg);
5687
5688     /* Sometimes a magic contains a reference loop, where the sv and
5689        object refer to each other.  To prevent a reference loop that
5690        would prevent such objects being freed, we look for such loops
5691        and if we find one we avoid incrementing the object refcount.
5692
5693        Note we cannot do this to avoid self-tie loops as intervening RV must
5694        have its REFCNT incremented to keep it in existence.
5695
5696     */
5697     if (!obj || obj == sv ||
5698         how == PERL_MAGIC_arylen ||
5699         how == PERL_MAGIC_regdata ||
5700         how == PERL_MAGIC_regdatum ||
5701         how == PERL_MAGIC_symtab ||
5702         (SvTYPE(obj) == SVt_PVGV &&
5703             (GvSV(obj) == sv || GvHV(obj) == (const HV *)sv
5704              || GvAV(obj) == (const AV *)sv || GvCV(obj) == (const CV *)sv
5705              || GvIOp(obj) == (const IO *)sv || GvFORM(obj) == (const CV *)sv)))
5706     {
5707         mg->mg_obj = obj;
5708     }
5709     else {
5710         mg->mg_obj = SvREFCNT_inc_simple(obj);
5711         mg->mg_flags |= MGf_REFCOUNTED;
5712     }
5713
5714     /* Normal self-ties simply pass a null object, and instead of
5715        using mg_obj directly, use the SvTIED_obj macro to produce a
5716        new RV as needed.  For glob "self-ties", we are tieing the PVIO
5717        with an RV obj pointing to the glob containing the PVIO.  In
5718        this case, to avoid a reference loop, we need to weaken the
5719        reference.
5720     */
5721
5722     if (how == PERL_MAGIC_tiedscalar && SvTYPE(sv) == SVt_PVIO &&
5723         obj && SvROK(obj) && GvIO(SvRV(obj)) == (const IO *)sv)
5724     {
5725       sv_rvweaken(obj);
5726     }
5727
5728     mg->mg_type = how;
5729     mg->mg_len = namlen;
5730     if (name) {
5731         if (namlen > 0)
5732             mg->mg_ptr = savepvn(name, namlen);
5733         else if (namlen == HEf_SVKEY) {
5734             /* Yes, this is casting away const. This is only for the case of
5735                HEf_SVKEY. I think we need to document this aberation of the
5736                constness of the API, rather than making name non-const, as
5737                that change propagating outwards a long way.  */
5738             mg->mg_ptr = (char*)SvREFCNT_inc_simple_NN((SV *)name);
5739         } else
5740             mg->mg_ptr = (char *) name;
5741     }
5742     mg->mg_virtual = (MGVTBL *) vtable;
5743
5744     mg_magical(sv);
5745     return mg;
5746 }
5747
5748 MAGIC *
5749 Perl_sv_magicext_mglob(pTHX_ SV *sv)
5750 {
5751     PERL_ARGS_ASSERT_SV_MAGICEXT_MGLOB;
5752     if (SvTYPE(sv) == SVt_PVLV && LvTYPE(sv) == 'y') {
5753         /* This sv is only a delegate.  //g magic must be attached to
5754            its target. */
5755         vivify_defelem(sv);
5756         sv = LvTARG(sv);
5757     }
5758     return sv_magicext(sv, NULL, PERL_MAGIC_regex_global,
5759                        &PL_vtbl_mglob, 0, 0);
5760 }
5761
5762 /*
5763 =for apidoc sv_magic
5764
5765 Adds magic to an SV.  First upgrades C<sv> to type C<SVt_PVMG> if
5766 necessary, then adds a new magic item of type C<how> to the head of the
5767 magic list.
5768
5769 See C<L</sv_magicext>> (which C<sv_magic> now calls) for a description of the
5770 handling of the C<name> and C<namlen> arguments.
5771
5772 You need to use C<sv_magicext> to add magic to C<SvREADONLY> SVs and also
5773 to add more than one instance of the same C<how>.
5774
5775 =cut
5776 */
5777
5778 void
5779 Perl_sv_magic(pTHX_ SV *const sv, SV *const obj, const int how,
5780              const char *const name, const I32 namlen)
5781 {
5782     const MGVTBL *vtable;
5783     MAGIC* mg;
5784     unsigned int flags;
5785     unsigned int vtable_index;
5786
5787     PERL_ARGS_ASSERT_SV_MAGIC;
5788
5789     if (how < 0 || (unsigned)how >= C_ARRAY_LENGTH(PL_magic_data)
5790         || ((flags = PL_magic_data[how]),
5791             (vtable_index = flags & PERL_MAGIC_VTABLE_MASK)
5792             > magic_vtable_max))
5793         Perl_croak(aTHX_ "Don't know how to handle magic of type \\%o", how);
5794
5795     /* PERL_MAGIC_ext is reserved for use by extensions not perl internals.
5796        Useful for attaching extension internal data to perl vars.
5797        Note that multiple extensions may clash if magical scalars
5798        etc holding private data from one are passed to another. */
5799
5800     vtable = (vtable_index == magic_vtable_max)
5801         ? NULL : PL_magic_vtables + vtable_index;
5802
5803     if (SvREADONLY(sv)) {
5804         if (
5805             !PERL_MAGIC_TYPE_READONLY_ACCEPTABLE(how)
5806            )
5807         {
5808             Perl_croak_no_modify();
5809         }
5810     }
5811     if (SvMAGICAL(sv) || (how == PERL_MAGIC_taint && SvTYPE(sv) >= SVt_PVMG)) {
5812         if (SvMAGIC(sv) && (mg = mg_find(sv, how))) {
5813             /* sv_magic() refuses to add a magic of the same 'how' as an
5814                existing one
5815              */
5816             if (how == PERL_MAGIC_taint)
5817                 mg->mg_len |= 1;
5818             return;
5819         }
5820     }
5821
5822     /* Force pos to be stored as characters, not bytes. */
5823     if (SvMAGICAL(sv) && DO_UTF8(sv)
5824       && (mg = mg_find(sv, PERL_MAGIC_regex_global))
5825       && mg->mg_len != -1
5826       && mg->mg_flags & MGf_BYTES) {
5827         mg->mg_len = (SSize_t)sv_pos_b2u_flags(sv, (STRLEN)mg->mg_len,
5828                                                SV_CONST_RETURN);
5829         mg->mg_flags &= ~MGf_BYTES;
5830     }
5831
5832     /* Rest of work is done else where */
5833     mg = sv_magicext(sv,obj,how,vtable,name,namlen);
5834
5835     switch (how) {
5836     case PERL_MAGIC_taint:
5837         mg->mg_len = 1;
5838         break;
5839     case PERL_MAGIC_ext:
5840     case PERL_MAGIC_dbfile:
5841         SvRMAGICAL_on(sv);
5842         break;
5843     }
5844 }
5845
5846 static int
5847 S_sv_unmagicext_flags(pTHX_ SV *const sv, const int type, MGVTBL *vtbl, const U32 flags)
5848 {
5849     MAGIC* mg;
5850     MAGIC** mgp;
5851
5852     assert(flags <= 1);
5853
5854     if (SvTYPE(sv) < SVt_PVMG || !SvMAGIC(sv))
5855         return 0;
5856     mgp = &(((XPVMG*) SvANY(sv))->xmg_u.xmg_magic);
5857     for (mg = *mgp; mg; mg = *mgp) {
5858         const MGVTBL* const virt = mg->mg_virtual;
5859         if (mg->mg_type == type && (!flags || virt == vtbl)) {
5860             *mgp = mg->mg_moremagic;
5861             if (virt && virt->svt_free)
5862                 virt->svt_free(aTHX_ sv, mg);
5863             if (mg->mg_ptr && mg->mg_type != PERL_MAGIC_regex_global) {
5864                 if (mg->mg_len > 0)
5865                     Safefree(mg->mg_ptr);
5866                 else if (mg->mg_len == HEf_SVKEY)
5867                     SvREFCNT_dec(MUTABLE_SV(mg->mg_ptr));
5868                 else if (mg->mg_type == PERL_MAGIC_utf8)
5869                     Safefree(mg->mg_ptr);
5870             }
5871             if (mg->mg_flags & MGf_REFCOUNTED)
5872                 SvREFCNT_dec(mg->mg_obj);
5873             Safefree(mg);
5874         }
5875         else
5876             mgp = &mg->mg_moremagic;
5877     }
5878     if (SvMAGIC(sv)) {
5879         if (SvMAGICAL(sv))      /* if we're under save_magic, wait for restore_magic; */
5880             mg_magical(sv);     /*    else fix the flags now */
5881     }
5882     else
5883         SvMAGICAL_off(sv);
5884
5885     return 0;
5886 }
5887
5888 /*
5889 =for apidoc sv_unmagic
5890
5891 Removes all magic of type C<type> from an SV.
5892
5893 =cut
5894 */
5895
5896 int
5897 Perl_sv_unmagic(pTHX_ SV *const sv, const int type)
5898 {
5899     PERL_ARGS_ASSERT_SV_UNMAGIC;
5900     return S_sv_unmagicext_flags(aTHX_ sv, type, NULL, 0);
5901 }
5902
5903 /*
5904 =for apidoc sv_unmagicext
5905
5906 Removes all magic of type C<type> with the specified C<vtbl> from an SV.
5907
5908 =cut
5909 */
5910
5911 int
5912 Perl_sv_unmagicext(pTHX_ SV *const sv, const int type, MGVTBL *vtbl)
5913 {
5914     PERL_ARGS_ASSERT_SV_UNMAGICEXT;
5915     return S_sv_unmagicext_flags(aTHX_ sv, type, vtbl, 1);
5916 }
5917
5918 /*
5919 =for apidoc sv_rvweaken
5920
5921 Weaken a reference: set the C<SvWEAKREF> flag on this RV; give the
5922 referred-to SV C<PERL_MAGIC_backref> magic if it hasn't already; and
5923 push a back-reference to this RV onto the array of backreferences
5924 associated with that magic.  If the RV is magical, set magic will be
5925 called after the RV is cleared.  Silently ignores C<undef> and warns
5926 on already-weak references.
5927
5928 =cut
5929 */
5930
5931 SV *
5932 Perl_sv_rvweaken(pTHX_ SV *const sv)
5933 {
5934     SV *tsv;
5935
5936     PERL_ARGS_ASSERT_SV_RVWEAKEN;
5937
5938     if (!SvOK(sv))  /* let undefs pass */
5939         return sv;
5940     if (!SvROK(sv))
5941         Perl_croak(aTHX_ "Can't weaken a nonreference");
5942     else if (SvWEAKREF(sv)) {
5943         Perl_ck_warner(aTHX_ packWARN(WARN_MISC), "Reference is already weak");
5944         return sv;
5945     }
5946     else if (SvREADONLY(sv)) croak_no_modify();
5947     tsv = SvRV(sv);
5948     Perl_sv_add_backref(aTHX_ tsv, sv);
5949     SvWEAKREF_on(sv);
5950     SvREFCNT_dec_NN(tsv);
5951     return sv;
5952 }
5953
5954 /*
5955 =for apidoc sv_rvunweaken
5956
5957 Unweaken a reference: Clear the C<SvWEAKREF> flag on this RV; remove
5958 the backreference to this RV from the array of backreferences
5959 associated with the target SV, increment the refcount of the target.
5960 Silently ignores C<undef> and warns on non-weak references.
5961
5962 =cut
5963 */
5964
5965 SV *
5966 Perl_sv_rvunweaken(pTHX_ SV *const sv)
5967 {
5968     SV *tsv;
5969
5970     PERL_ARGS_ASSERT_SV_RVUNWEAKEN;
5971
5972     if (!SvOK(sv)) /* let undefs pass */
5973         return sv;
5974     if (!SvROK(sv))
5975         Perl_croak(aTHX_ "Can't unweaken a nonreference");
5976     else if (!SvWEAKREF(sv)) {
5977         Perl_ck_warner(aTHX_ packWARN(WARN_MISC), "Reference is not weak");
5978         return sv;
5979     }
5980     else if (SvREADONLY(sv)) croak_no_modify();
5981
5982     tsv = SvRV(sv);
5983     SvWEAKREF_off(sv);
5984     SvROK_on(sv);
5985     SvREFCNT_inc_NN(tsv);
5986     Perl_sv_del_backref(aTHX_ tsv, sv);
5987     return sv;
5988 }
5989
5990 /*
5991 =for apidoc sv_get_backrefs
5992
5993 If C<sv> is the target of a weak reference then it returns the back
5994 references structure associated with the sv; otherwise return C<NULL>.
5995
5996 When returning a non-null result the type of the return is relevant. If it
5997 is an AV then the elements of the AV are the weak reference RVs which
5998 point at this item. If it is any other type then the item itself is the
5999 weak reference.
6000
6001 See also C<Perl_sv_add_backref()>, C<Perl_sv_del_backref()>,
6002 C<Perl_sv_kill_backrefs()>
6003
6004 =cut
6005 */
6006
6007 SV *
6008 Perl_sv_get_backrefs(SV *const sv)
6009 {
6010     SV *backrefs= NULL;
6011
6012     PERL_ARGS_ASSERT_SV_GET_BACKREFS;
6013
6014     /* find slot to store array or singleton backref */
6015
6016     if (SvTYPE(sv) == SVt_PVHV) {
6017         if (SvOOK(sv)) {
6018             struct xpvhv_aux * const iter = HvAUX((HV *)sv);
6019             backrefs = (SV *)iter->xhv_backreferences;
6020         }
6021     } else if (SvMAGICAL(sv)) {
6022         MAGIC *mg = mg_find(sv, PERL_MAGIC_backref);
6023         if (mg)
6024             backrefs = mg->mg_obj;
6025     }
6026     return backrefs;
6027 }
6028
6029 /* Give tsv backref magic if it hasn't already got it, then push a
6030  * back-reference to sv onto the array associated with the backref magic.
6031  *
6032  * As an optimisation, if there's only one backref and it's not an AV,
6033  * store it directly in the HvAUX or mg_obj slot, avoiding the need to
6034  * allocate an AV. (Whether the slot holds an AV tells us whether this is
6035  * active.)
6036  */
6037
6038 /* A discussion about the backreferences array and its refcount:
6039  *
6040  * The AV holding the backreferences is pointed to either as the mg_obj of
6041  * PERL_MAGIC_backref, or in the specific case of a HV, from the
6042  * xhv_backreferences field. The array is created with a refcount
6043  * of 2. This means that if during global destruction the array gets
6044  * picked on before its parent to have its refcount decremented by the
6045  * random zapper, it won't actually be freed, meaning it's still there for
6046  * when its parent gets freed.
6047  *
6048  * When the parent SV is freed, the extra ref is killed by
6049  * Perl_sv_kill_backrefs.  The other ref is killed, in the case of magic,
6050  * by mg_free() / MGf_REFCOUNTED, or for a hash, by Perl_hv_kill_backrefs.
6051  *
6052  * When a single backref SV is stored directly, it is not reference
6053  * counted.
6054  */
6055
6056 void
6057 Perl_sv_add_backref(pTHX_ SV *const tsv, SV *const sv)
6058 {
6059     SV **svp;
6060     AV *av = NULL;
6061     MAGIC *mg = NULL;
6062
6063     PERL_ARGS_ASSERT_SV_ADD_BACKREF;
6064
6065     /* find slot to store array or singleton backref */
6066
6067     if (SvTYPE(tsv) == SVt_PVHV) {
6068         svp = (SV**)Perl_hv_backreferences_p(aTHX_ MUTABLE_HV(tsv));
6069     } else {
6070         if (SvMAGICAL(tsv))
6071             mg = mg_find(tsv, PERL_MAGIC_backref);
6072         if (!mg)
6073             mg = sv_magicext(tsv, NULL, PERL_MAGIC_backref, &PL_vtbl_backref, NULL, 0);
6074         svp = &(mg->mg_obj);
6075     }
6076
6077     /* create or retrieve the array */
6078
6079     if (   (!*svp && SvTYPE(sv) == SVt_PVAV)
6080         || (*svp && SvTYPE(*svp) != SVt_PVAV)
6081     ) {
6082         /* create array */
6083         if (mg)
6084             mg->mg_flags |= MGf_REFCOUNTED;
6085         av = newAV();
6086         AvREAL_off(av);
6087         SvREFCNT_inc_simple_void_NN(av);
6088         /* av now has a refcnt of 2; see discussion above */
6089         av_extend(av, *svp ? 2 : 1);
6090         if (*svp) {
6091             /* move single existing backref to the array */
6092             AvARRAY(av)[++AvFILLp(av)] = *svp; /* av_push() */
6093         }
6094         *svp = (SV*)av;
6095     }
6096     else {
6097         av = MUTABLE_AV(*svp);
6098         if (!av) {
6099             /* optimisation: store single backref directly in HvAUX or mg_obj */
6100             *svp = sv;
6101             return;
6102         }
6103         assert(SvTYPE(av) == SVt_PVAV);
6104         if (AvFILLp(av) >= AvMAX(av)) {
6105             av_extend(av, AvFILLp(av)+1);
6106         }
6107     }
6108     /* push new backref */
6109     AvARRAY(av)[++AvFILLp(av)] = sv; /* av_push() */
6110 }
6111
6112 /* delete a back-reference to ourselves from the backref magic associated
6113  * with the SV we point to.
6114  */
6115
6116 void
6117 Perl_sv_del_backref(pTHX_ SV *const tsv, SV *const sv)
6118 {
6119     SV **svp = NULL;
6120
6121     PERL_ARGS_ASSERT_SV_DEL_BACKREF;
6122
6123     if (SvTYPE(tsv) == SVt_PVHV) {
6124         if (SvOOK(tsv))
6125             svp = (SV**)Perl_hv_backreferences_p(aTHX_ MUTABLE_HV(tsv));
6126     }
6127     else if (SvIS_FREED(tsv) && PL_phase == PERL_PHASE_DESTRUCT) {
6128         /* It's possible for the the last (strong) reference to tsv to have
6129            become freed *before* the last thing holding a weak reference.
6130            If both survive longer than the backreferences array, then when
6131            the referent's reference count drops to 0 and it is freed, it's
6132            not able to chase the backreferences, so they aren't NULLed.
6133
6134            For example, a CV holds a weak reference to its stash. If both the
6135            CV and the stash survive longer than the backreferences array,
6136            and the CV gets picked for the SvBREAK() treatment first,
6137            *and* it turns out that the stash is only being kept alive because
6138            of an our variable in the pad of the CV, then midway during CV
6139            destruction the stash gets freed, but CvSTASH() isn't set to NULL.
6140            It ends up pointing to the freed HV. Hence it's chased in here, and
6141            if this block wasn't here, it would hit the !svp panic just below.
6142
6143            I don't believe that "better" destruction ordering is going to help
6144            here - during global destruction there's always going to be the
6145            chance that something goes out of order. We've tried to make it
6146            foolproof before, and it only resulted in evolutionary pressure on
6147            fools. Which made us look foolish for our hubris. :-(
6148         */
6149         return;
6150     }
6151     else {
6152         MAGIC *const mg
6153             = SvMAGICAL(tsv) ? mg_find(tsv, PERL_MAGIC_backref) : NULL;
6154         svp =  mg ? &(mg->mg_obj) : NULL;
6155     }
6156
6157     if (!svp)
6158         Perl_croak(aTHX_ "panic: del_backref, svp=0");
6159     if (!*svp) {
6160         /* It's possible that sv is being freed recursively part way through the
6161            freeing of tsv. If this happens, the backreferences array of tsv has
6162            already been freed, and so svp will be NULL. If this is the case,
6163            we should not panic. Instead, nothing needs doing, so return.  */
6164         if (PL_phase == PERL_PHASE_DESTRUCT && SvREFCNT(tsv) == 0)
6165             return;
6166         Perl_croak(aTHX_ "panic: del_backref, *svp=%p phase=%s refcnt=%" UVuf,
6167                    (void*)*svp, PL_phase_names[PL_phase], (UV)SvREFCNT(tsv));
6168     }
6169
6170     if (SvTYPE(*svp) == SVt_PVAV) {
6171 #ifdef DEBUGGING
6172         int count = 1;
6173 #endif
6174         AV * const av = (AV*)*svp;
6175         SSize_t fill;
6176         assert(!SvIS_FREED(av));
6177         fill = AvFILLp(av);
6178         assert(fill > -1);
6179         svp = AvARRAY(av);
6180         /* for an SV with N weak references to it, if all those
6181          * weak refs are deleted, then sv_del_backref will be called
6182          * N times and O(N^2) compares will be done within the backref
6183          * array. To ameliorate this potential slowness, we:
6184          * 1) make sure this code is as tight as possible;
6185          * 2) when looking for SV, look for it at both the head and tail of the
6186          *    array first before searching the rest, since some create/destroy
6187          *    patterns will cause the backrefs to be freed in order.
6188          */
6189         if (*svp == sv) {
6190             AvARRAY(av)++;
6191             AvMAX(av)--;
6192         }
6193         else {
6194             SV **p = &svp[fill];
6195             SV *const topsv = *p;
6196             if (topsv != sv) {
6197 #ifdef DEBUGGING
6198                 count = 0;
6199 #endif
6200                 while (--p > svp) {
6201                     if (*p == sv) {
6202                         /* We weren't the last entry.
6203                            An unordered list has this property that you
6204                            can take the last element off the end to fill
6205                            the hole, and it's still an unordered list :-)
6206                         */
6207                         *p = topsv;
6208 #ifdef DEBUGGING
6209                         count++;
6210 #else
6211                         break; /* should only be one */
6212 #endif
6213                     }
6214                 }
6215             }
6216         }
6217         assert(count ==1);
6218         AvFILLp(av) = fill-1;
6219     }
6220     else if (SvIS_FREED(*svp) && PL_phase == PERL_PHASE_DESTRUCT) {
6221         /* freed AV; skip */
6222     }
6223     else {
6224         /* optimisation: only a single backref, stored directly */
6225         if (*svp != sv)
6226             Perl_croak(aTHX_ "panic: del_backref, *svp=%p, sv=%p",
6227                        (void*)*svp, (void*)sv);
6228         *svp = NULL;
6229     }
6230
6231 }
6232
6233 void
6234 Perl_sv_kill_backrefs(pTHX_ SV *const sv, AV *const av)
6235 {
6236     SV **svp;
6237     SV **last;
6238     bool is_array;
6239
6240     PERL_ARGS_ASSERT_SV_KILL_BACKREFS;
6241
6242     if (!av)
6243         return;
6244
6245     /* after multiple passes through Perl_sv_clean_all() for a thingy
6246      * that has badly leaked, the backref array may have gotten freed,
6247      * since we only protect it against 1 round of cleanup */
6248     if (SvIS_FREED(av)) {
6249         if (PL_in_clean_all) /* All is fair */
6250             return;
6251         Perl_croak(aTHX_
6252                    "panic: magic_killbackrefs (freed backref AV/SV)");
6253     }
6254
6255
6256     is_array = (SvTYPE(av) == SVt_PVAV);
6257     if (is_array) {
6258         assert(!SvIS_FREED(av));
6259         svp = AvARRAY(av);
6260         if (svp)
6261             last = svp + AvFILLp(av);
6262     }
6263     else {
6264         /* optimisation: only a single backref, stored directly */
6265         svp = (SV**)&av;
6266         last = svp;
6267     }
6268
6269     if (svp) {
6270         while (svp <= last) {
6271             if (*svp) {
6272                 SV *const referrer = *svp;
6273                 if (SvWEAKREF(referrer)) {
6274                     /* XXX Should we check that it hasn't changed? */
6275                     assert(SvROK(referrer));
6276                     SvRV_set(referrer, 0);
6277                     SvOK_off(referrer);
6278                     SvWEAKREF_off(referrer);
6279                     SvSETMAGIC(referrer);
6280                 } else if (SvTYPE(referrer) == SVt_PVGV ||
6281                            SvTYPE(referrer) == SVt_PVLV) {
6282                     assert(SvTYPE(sv) == SVt_PVHV); /* stash backref */
6283                     /* You lookin' at me?  */
6284                     assert(GvSTASH(referrer));
6285                     assert(GvSTASH(referrer) == (const HV *)sv);
6286                     GvSTASH(referrer) = 0;
6287                 } else if (SvTYPE(referrer) == SVt_PVCV ||
6288                            SvTYPE(referrer) == SVt_PVFM) {
6289                     if (SvTYPE(sv) == SVt_PVHV) { /* stash backref */
6290                         /* You lookin' at me?  */
6291                         assert(CvSTASH(referrer));
6292                         assert(CvSTASH(referrer) == (const HV *)sv);
6293                         SvANY(MUTABLE_CV(referrer))->xcv_stash = 0;
6294                     }
6295                     else {
6296                         assert(SvTYPE(sv) == SVt_PVGV);
6297                         /* You lookin' at me?  */
6298                         assert(CvGV(referrer));
6299                         assert(CvGV(referrer) == (const GV *)sv);
6300                         anonymise_cv_maybe(MUTABLE_GV(sv),
6301                                                 MUTABLE_CV(referrer));
6302                     }
6303
6304                 } else {
6305                     Perl_croak(aTHX_
6306                                "panic: magic_killbackrefs (flags=%" UVxf ")",
6307                                (UV)SvFLAGS(referrer));
6308                 }
6309
6310                 if (is_array)
6311                     *svp = NULL;
6312             }
6313             svp++;
6314         }
6315     }
6316     if (is_array) {
6317         AvFILLp(av) = -1;
6318         SvREFCNT_dec_NN(av); /* remove extra count added by sv_add_backref() */
6319     }
6320     return;
6321 }
6322
6323 /*
6324 =for apidoc sv_insert
6325
6326 Inserts and/or replaces a string at the specified offset/length within the SV.
6327 Similar to the Perl C<substr()> function, with C<littlelen> bytes starting at
6328 C<little> replacing C<len> bytes of the string in C<bigstr> starting at
6329 C<offset>.  Handles get magic.
6330
6331 =for apidoc sv_insert_flags
6332
6333 Same as C<sv_insert>, but the extra C<flags> are passed to the
6334 C<SvPV_force_flags> that applies to C<bigstr>.
6335
6336 =cut
6337 */
6338
6339 void
6340 Perl_sv_insert_flags(pTHX_ SV *const bigstr, const STRLEN offset, const STRLEN len, const char *little, const STRLEN littlelen, const U32 flags)
6341 {
6342     char *big;
6343     char *mid;
6344     char *midend;
6345     char *bigend;
6346     SSize_t i;          /* better be sizeof(STRLEN) or bad things happen */
6347     STRLEN curlen;
6348
6349     PERL_ARGS_ASSERT_SV_INSERT_FLAGS;
6350
6351     SvPV_force_flags(bigstr, curlen, flags);
6352     (void)SvPOK_only_UTF8(bigstr);
6353
6354     if (little >= SvPVX(bigstr) &&
6355         little < SvPVX(bigstr) + (SvLEN(bigstr) ? SvLEN(bigstr) : SvCUR(bigstr))) {
6356         /* little is a pointer to within bigstr, since we can reallocate bigstr,
6357            or little...little+littlelen might overlap offset...offset+len we make a copy
6358         */
6359         little = savepvn(little, littlelen);
6360         SAVEFREEPV(little);
6361     }
6362
6363     if (offset + len > curlen) {
6364         SvGROW(bigstr, offset+len+1);
6365         Zero(SvPVX(bigstr)+curlen, offset+len-curlen, char);
6366         SvCUR_set(bigstr, offset+len);
6367     }
6368
6369     SvTAINT(bigstr);
6370     i = littlelen - len;
6371     if (i > 0) {                        /* string might grow */
6372         big = SvGROW(bigstr, SvCUR(bigstr) + i + 1);
6373         mid = big + offset + len;
6374         midend = bigend = big + SvCUR(bigstr);
6375         bigend += i;
6376         *bigend = '\0';
6377         while (midend > mid)            /* shove everything down */
6378             *--bigend = *--midend;
6379         Move(little,big+offset,littlelen,char);
6380         SvCUR_set(bigstr, SvCUR(bigstr) + i);
6381         SvSETMAGIC(bigstr);
6382         return;
6383     }
6384     else if (i == 0) {
6385         Move(little,SvPVX(bigstr)+offset,len,char);
6386         SvSETMAGIC(bigstr);
6387         return;
6388     }
6389
6390     big = SvPVX(bigstr);
6391     mid = big + offset;
6392     midend = mid + len;
6393     bigend = big + SvCUR(bigstr);
6394
6395     if (midend > bigend)
6396         Perl_croak(aTHX_ "panic: sv_insert, midend=%p, bigend=%p",
6397                    midend, bigend);
6398
6399     if (mid - big > bigend - midend) {  /* faster to shorten from end */
6400         if (littlelen) {
6401             Move(little, mid, littlelen,char);
6402             mid += littlelen;
6403         }
6404         i = bigend - midend;
6405         if (i > 0) {
6406             Move(midend, mid, i,char);
6407             mid += i;
6408         }
6409         *mid = '\0';
6410         SvCUR_set(bigstr, mid - big);
6411     }
6412     else if ((i = mid - big)) { /* faster from front */
6413         midend -= littlelen;
6414         mid = midend;
6415         Move(big, midend - i, i, char);
6416         sv_chop(bigstr,midend-i);
6417         if (littlelen)
6418             Move(little, mid, littlelen,char);
6419     }
6420     else if (littlelen) {
6421         midend -= littlelen;
6422         sv_chop(bigstr,midend);
6423         Move(little,midend,littlelen,char);
6424     }
6425     else {
6426         sv_chop(bigstr,midend);
6427     }
6428     SvSETMAGIC(bigstr);
6429 }
6430
6431 /*
6432 =for apidoc sv_replace
6433
6434 Make the first argument a copy of the second, then delete the original.
6435 The target SV physically takes over ownership of the body of the source SV
6436 and inherits its flags; however, the target keeps any magic it owns,
6437 and any magic in the source is discarded.
6438 Note that this is a rather specialist SV copying operation; most of the
6439 time you'll want to use C<sv_setsv> or one of its many macro front-ends.
6440
6441 =cut
6442 */
6443
6444 void
6445 Perl_sv_replace(pTHX_ SV *const sv, SV *const nsv)
6446 {
6447     const U32 refcnt = SvREFCNT(sv);
6448
6449     PERL_ARGS_ASSERT_SV_REPLACE;
6450
6451     SV_CHECK_THINKFIRST_COW_DROP(sv);
6452     if (SvREFCNT(nsv) != 1) {
6453         Perl_croak(aTHX_ "panic: reference miscount on nsv in sv_replace()"
6454                    " (%" UVuf " != 1)", (UV) SvREFCNT(nsv));
6455     }
6456     if (SvMAGICAL(sv)) {
6457         if (SvMAGICAL(nsv))
6458             mg_free(nsv);
6459         else
6460             sv_upgrade(nsv, SVt_PVMG);
6461         SvMAGIC_set(nsv, SvMAGIC(sv));
6462         SvFLAGS(nsv) |= SvMAGICAL(sv);
6463         SvMAGICAL_off(sv);
6464         SvMAGIC_set(sv, NULL);
6465     }
6466     SvREFCNT(sv) = 0;
6467     sv_clear(sv);
6468     assert(!SvREFCNT(sv));
6469 #ifdef DEBUG_LEAKING_SCALARS
6470     sv->sv_flags  = nsv->sv_flags;
6471     sv->sv_any    = nsv->sv_any;
6472     sv->sv_refcnt = nsv->sv_refcnt;
6473     sv->sv_u      = nsv->sv_u;
6474 #else
6475     StructCopy(nsv,sv,SV);
6476 #endif
6477     if(SvTYPE(sv) == SVt_IV) {
6478         SET_SVANY_FOR_BODYLESS_IV(sv);
6479     }
6480         
6481
6482     SvREFCNT(sv) = refcnt;
6483     SvFLAGS(nsv) |= SVTYPEMASK;         /* Mark as freed */
6484     SvREFCNT(nsv) = 0;
6485     del_SV(nsv);
6486 }
6487
6488 /* We're about to free a GV which has a CV that refers back to us.
6489  * If that CV will outlive us, make it anonymous (i.e. fix up its CvGV
6490  * field) */
6491
6492 STATIC void
6493 S_anonymise_cv_maybe(pTHX_ GV *gv, CV* cv)
6494 {
6495     SV *gvname;
6496     GV *anongv;
6497
6498     PERL_ARGS_ASSERT_ANONYMISE_CV_MAYBE;
6499
6500     /* be assertive! */
6501     assert(SvREFCNT(gv) == 0);
6502     assert(isGV(gv) && isGV_with_GP(gv));
6503     assert(GvGP(gv));
6504     assert(!CvANON(cv));
6505     assert(CvGV(cv) == gv);
6506     assert(!CvNAMED(cv));
6507
6508     /* will the CV shortly be freed by gp_free() ? */
6509     if (GvCV(gv) == cv && GvGP(gv)->gp_refcnt < 2 && SvREFCNT(cv) < 2) {
6510         SvANY(cv)->xcv_gv_u.xcv_gv = NULL;
6511         return;
6512     }
6513
6514     /* if not, anonymise: */
6515     gvname = (GvSTASH(gv) && HvNAME(GvSTASH(gv)) && HvENAME(GvSTASH(gv)))
6516                     ? newSVhek(HvENAME_HEK(GvSTASH(gv)))
6517                     : newSVpvn_flags( "__ANON__", 8, 0 );
6518     sv_catpvs(gvname, "::__ANON__");
6519     anongv = gv_fetchsv(gvname, GV_ADDMULTI, SVt_PVCV);
6520     SvREFCNT_dec_NN(gvname);
6521
6522     CvANON_on(cv);
6523     CvCVGV_RC_on(cv);
6524     SvANY(cv)->xcv_gv_u.xcv_gv = MUTABLE_GV(SvREFCNT_inc(anongv));
6525 }
6526
6527
6528 /*
6529 =for apidoc sv_clear
6530
6531 Clear an SV: call any destructors, free up any memory used by the body,
6532 and free the body itself.  The SV's head is I<not> freed, although
6533 its type is set to all 1's so that it won't inadvertently be assumed
6534 to be live during global destruction etc.
6535 This function should only be called when C<REFCNT> is zero.  Most of the time
6536 you'll want to call C<sv_free()> (or its macro wrapper C<SvREFCNT_dec>)
6537 instead.
6538
6539 =cut
6540 */
6541
6542 void
6543 Perl_sv_clear(pTHX_ SV *const orig_sv)
6544 {
6545     dVAR;
6546     HV *stash;
6547     U32 type;
6548     const struct body_details *sv_type_details;
6549     SV* iter_sv = NULL;
6550     SV* next_sv = NULL;
6551     SV *sv = orig_sv;
6552     STRLEN hash_index = 0; /* initialise to make Coverity et al happy.
6553                               Not strictly necessary */
6554
6555     PERL_ARGS_ASSERT_SV_CLEAR;
6556
6557     /* within this loop, sv is the SV currently being freed, and
6558      * iter_sv is the most recent AV or whatever that's being iterated
6559      * over to provide more SVs */
6560
6561     while (sv) {
6562
6563         type = SvTYPE(sv);
6564
6565         assert(SvREFCNT(sv) == 0);
6566         assert(SvTYPE(sv) != (svtype)SVTYPEMASK);
6567
6568         if (type <= SVt_IV) {
6569             /* See the comment in sv.h about the collusion between this
6570              * early return and the overloading of the NULL slots in the
6571              * size table.  */
6572             if (SvROK(sv))
6573                 goto free_rv;
6574             SvFLAGS(sv) &= SVf_BREAK;
6575             SvFLAGS(sv) |= SVTYPEMASK;
6576             goto free_head;
6577         }
6578
6579         /* objs are always >= MG, but pad names use the SVs_OBJECT flag
6580            for another purpose  */
6581         assert(!SvOBJECT(sv) || type >= SVt_PVMG);
6582
6583         if (type >= SVt_PVMG) {
6584             if (SvOBJECT(sv)) {
6585                 if (!curse(sv, 1)) goto get_next_sv;
6586                 type = SvTYPE(sv); /* destructor may have changed it */
6587             }
6588             /* Free back-references before magic, in case the magic calls
6589              * Perl code that has weak references to sv. */
6590             if (type == SVt_PVHV) {
6591                 Perl_hv_kill_backrefs(aTHX_ MUTABLE_HV(sv));
6592                 if (SvMAGIC(sv))
6593                     mg_free(sv);
6594             }
6595             else if (SvMAGIC(sv)) {
6596                 /* Free back-references before other types of magic. */
6597                 sv_unmagic(sv, PERL_MAGIC_backref);
6598                 mg_free(sv);
6599             }
6600             SvMAGICAL_off(sv);
6601         }
6602         switch (type) {
6603             /* case SVt_INVLIST: */
6604         case SVt_PVIO:
6605             if (IoIFP(sv) &&
6606                 IoIFP(sv) != PerlIO_stdin() &&
6607                 IoIFP(sv) != PerlIO_stdout() &&
6608                 IoIFP(sv) != PerlIO_stderr() &&
6609                 !(IoFLAGS(sv) & IOf_FAKE_DIRP))
6610             {
6611                 io_close(MUTABLE_IO(sv), NULL, FALSE,
6612                          (IoTYPE(sv) == IoTYPE_WRONLY ||
6613                           IoTYPE(sv) == IoTYPE_RDWR   ||
6614                           IoTYPE(sv) == IoTYPE_APPEND));
6615             }
6616             if (IoDIRP(sv) && !(IoFLAGS(sv) & IOf_FAKE_DIRP))
6617                 PerlDir_close(IoDIRP(sv));
6618             IoDIRP(sv) = (DIR*)NULL;
6619             Safefree(IoTOP_NAME(sv));
6620             Safefree(IoFMT_NAME(sv));
6621             Safefree(IoBOTTOM_NAME(sv));
6622             if ((const GV *)sv == PL_statgv)
6623                 PL_statgv = NULL;
6624             goto freescalar;
6625         case SVt_REGEXP:
6626             /* FIXME for plugins */
6627             pregfree2((REGEXP*) sv);
6628             goto freescalar;
6629         case SVt_PVCV:
6630         case SVt_PVFM:
6631             cv_undef(MUTABLE_CV(sv));
6632             /* If we're in a stash, we don't own a reference to it.
6633              * However it does have a back reference to us, which needs to
6634              * be cleared.  */
6635             if ((stash = CvSTASH(sv)))
6636                 sv_del_backref(MUTABLE_SV(stash), sv);
6637             goto freescalar;
6638         case SVt_PVHV:
6639             if (PL_last_swash_hv == (const HV *)sv) {
6640                 PL_last_swash_hv = NULL;
6641             }
6642             if (HvTOTALKEYS((HV*)sv) > 0) {
6643                 const HEK *hek;
6644                 /* this statement should match the one at the beginning of
6645                  * hv_undef_flags() */
6646                 if (   PL_phase != PERL_PHASE_DESTRUCT
6647                     && (hek = HvNAME_HEK((HV*)sv)))
6648                 {
6649                     if (PL_stashcache) {
6650                         DEBUG_o(Perl_deb(aTHX_
6651                             "sv_clear clearing PL_stashcache for '%" HEKf
6652                             "'\n",
6653                              HEKfARG(hek)));
6654                         (void)hv_deletehek(PL_stashcache,
6655                                            hek, G_DISCARD);
6656                     }
6657                     hv_name_set((HV*)sv, NULL, 0, 0);
6658                 }
6659
6660                 /* save old iter_sv in unused SvSTASH field */
6661                 assert(!SvOBJECT(sv));
6662                 SvSTASH(sv) = (HV*)iter_sv;
6663                 iter_sv = sv;
6664
6665                 /* save old hash_index in unused SvMAGIC field */
6666                 assert(!SvMAGICAL(sv));
6667                 assert(!SvMAGIC(sv));
6668                 ((XPVMG*) SvANY(sv))->xmg_u.xmg_hash_index = hash_index;
6669                 hash_index = 0;
6670
6671                 next_sv = Perl_hfree_next_entry(aTHX_ (HV*)sv, &hash_index);
6672                 goto get_next_sv; /* process this new sv */
6673             }
6674             /* free empty hash */
6675             Perl_hv_undef_flags(aTHX_ MUTABLE_HV(sv), HV_NAME_SETALL);
6676             assert(!HvARRAY((HV*)sv));
6677             break;
6678         case SVt_PVAV:
6679             {
6680                 AV* av = MUTABLE_AV(sv);
6681                 if (PL_comppad == av) {
6682                     PL_comppad = NULL;
6683                     PL_curpad = NULL;
6684                 }
6685                 if (AvREAL(av) && AvFILLp(av) > -1) {
6686                     next_sv = AvARRAY(av)[AvFILLp(av)--];
6687                     /* save old iter_sv in top-most slot of AV,
6688                      * and pray that it doesn't get wiped in the meantime */
6689                     AvARRAY(av)[AvMAX(av)] = iter_sv;
6690                     iter_sv = sv;
6691                     goto get_next_sv; /* process this new sv */
6692                 }
6693                 Safefree(AvALLOC(av));
6694             }
6695
6696             break;
6697         case SVt_PVLV:
6698             if (LvTYPE(sv) == 'T') { /* for tie: return HE to pool */
6699                 SvREFCNT_dec(HeKEY_sv((HE*)LvTARG(sv)));
6700                 HeNEXT((HE*)LvTARG(sv)) = PL_hv_fetch_ent_mh;
6701                 PL_hv_fetch_ent_mh = (HE*)LvTARG(sv);
6702             }
6703             else if (LvTYPE(sv) != 't') /* unless tie: unrefcnted fake SV**  */
6704                 SvREFCNT_dec(LvTARG(sv));
6705             if (isREGEXP(sv)) {
6706                 /* SvLEN points to a regex body. Free the body, then
6707                  * set SvLEN to whatever value was in the now-freed
6708                  * regex body. The PVX buffer is shared by multiple re's
6709                  * and only freed once, by the re whose len in non-null */
6710                 STRLEN len = ReANY(sv)->xpv_len;
6711                 pregfree2((REGEXP*) sv);
6712                 SvLEN_set((sv), len);
6713                 goto freescalar;
6714             }
6715             /* FALLTHROUGH */
6716         case SVt_PVGV:
6717             if (isGV_with_GP(sv)) {
6718                 if(GvCVu((const GV *)sv) && (stash = GvSTASH(MUTABLE_GV(sv)))
6719                    && HvENAME_get(stash))
6720                     mro_method_changed_in(stash);
6721                 gp_free(MUTABLE_GV(sv));
6722                 if (GvNAME_HEK(sv))
6723                     unshare_hek(GvNAME_HEK(sv));
6724                 /* If we're in a stash, we don't own a reference to it.
6725                  * However it does have a back reference to us, which
6726                  * needs to be cleared.  */
6727                 if ((stash = GvSTASH(sv)))
6728                         sv_del_backref(MUTABLE_SV(stash), sv);
6729             }
6730             /* FIXME. There are probably more unreferenced pointers to SVs
6731              * in the interpreter struct that we should check and tidy in
6732              * a similar fashion to this:  */
6733             /* See also S_sv_unglob, which does the same thing. */
6734             if ((const GV *)sv == PL_last_in_gv)
6735                 PL_last_in_gv = NULL;
6736             else if ((const GV *)sv == PL_statgv)
6737                 PL_statgv = NULL;
6738             else if ((const GV *)sv == PL_stderrgv)
6739                 PL_stderrgv = NULL;
6740             /* FALLTHROUGH */
6741         case SVt_PVMG:
6742         case SVt_PVNV:
6743         case SVt_PVIV:
6744         case SVt_INVLIST:
6745         case SVt_PV:
6746           freescalar:
6747             /* Don't bother with SvOOK_off(sv); as we're only going to
6748              * free it.  */
6749             if (SvOOK(sv)) {
6750                 STRLEN offset;
6751                 SvOOK_offset(sv, offset);
6752                 SvPV_set(sv, SvPVX_mutable(sv) - offset);
6753                 /* Don't even bother with turning off the OOK flag.  */
6754             }
6755             if (SvROK(sv)) {
6756             free_rv:
6757                 {
6758                     SV * const target = SvRV(sv);
6759                     if (SvWEAKREF(sv))
6760                         sv_del_backref(target, sv);
6761                     else
6762                         next_sv = target;
6763                 }
6764             }
6765 #ifdef PERL_ANY_COW
6766             else if (SvPVX_const(sv)
6767                      && !(SvTYPE(sv) == SVt_PVIO
6768                      && !(IoFLAGS(sv) & IOf_FAKE_DIRP)))
6769             {
6770                 if (SvIsCOW(sv)) {
6771 #ifdef DEBUGGING
6772                     if (DEBUG_C_TEST) {
6773                         PerlIO_printf(Perl_debug_log, "Copy on write: clear\n");
6774                         sv_dump(sv);
6775                     }
6776 #endif
6777                     if (SvLEN(sv)) {
6778                         if (CowREFCNT(sv)) {
6779                             sv_buf_to_rw(sv);
6780                             CowREFCNT(sv)--;
6781                             sv_buf_to_ro(sv);
6782                             SvLEN_set(sv, 0);
6783                         }
6784                     } else {
6785                         unshare_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sv)));
6786                     }
6787
6788                 }
6789                 if (SvLEN(sv)) {
6790                     Safefree(SvPVX_mutable(sv));
6791                 }
6792             }
6793 #else
6794             else if (SvPVX_const(sv) && SvLEN(sv)
6795                      && !(SvTYPE(sv) == SVt_PVIO
6796                      && !(IoFLAGS(sv) & IOf_FAKE_DIRP)))
6797                 Safefree(SvPVX_mutable(sv));
6798             else if (SvPVX_const(sv) && SvIsCOW(sv)) {
6799                 unshare_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sv)));
6800             }
6801 #endif
6802             break;
6803         case SVt_NV:
6804             break;
6805         }
6806
6807       free_body:
6808
6809         SvFLAGS(sv) &= SVf_BREAK;
6810         SvFLAGS(sv) |= SVTYPEMASK;
6811
6812         sv_type_details = bodies_by_type + type;
6813         if (sv_type_details->arena) {
6814             del_body(((char *)SvANY(sv) + sv_type_details->offset),
6815                      &PL_body_roots[type]);
6816         }
6817         else if (sv_type_details->body_size) {
6818             safefree(SvANY(sv));
6819         }
6820
6821       free_head:
6822         /* caller is responsible for freeing the head of the original sv */
6823         if (sv != orig_sv && !SvREFCNT(sv))
6824             del_SV(sv);
6825
6826         /* grab and free next sv, if any */
6827       get_next_sv:
6828         while (1) {
6829             sv = NULL;
6830             if (next_sv) {
6831                 sv = next_sv;
6832                 next_sv = NULL;
6833             }
6834             else if (!iter_sv) {
6835                 break;
6836             } else if (SvTYPE(iter_sv) == SVt_PVAV) {
6837                 AV *const av = (AV*)iter_sv;
6838                 if (AvFILLp(av) > -1) {
6839                     sv = AvARRAY(av)[AvFILLp(av)--];
6840                 }
6841                 else { /* no more elements of current AV to free */
6842                     sv = iter_sv;
6843                     type = SvTYPE(sv);
6844                     /* restore previous value, squirrelled away */
6845                     iter_sv = AvARRAY(av)[AvMAX(av)];
6846                     Safefree(AvALLOC(av));
6847                     goto free_body;
6848                 }
6849             } else if (SvTYPE(iter_sv) == SVt_PVHV) {
6850                 sv = Perl_hfree_next_entry(aTHX_ (HV*)iter_sv, &hash_index);
6851                 if (!sv && !HvTOTALKEYS((HV *)iter_sv)) {
6852                     /* no more elements of current HV to free */
6853                     sv = iter_sv;
6854                     type = SvTYPE(sv);
6855                     /* Restore previous values of iter_sv and hash_index,
6856                      * squirrelled away */
6857                     assert(!SvOBJECT(sv));
6858                     iter_sv = (SV*)SvSTASH(sv);
6859                     assert(!SvMAGICAL(sv));
6860                     hash_index = ((XPVMG*) SvANY(sv))->xmg_u.xmg_hash_index;
6861 #ifdef DEBUGGING
6862                     /* perl -DA does not like rubbish in SvMAGIC. */
6863                     SvMAGIC_set(sv, 0);
6864 #endif
6865
6866                     /* free any remaining detritus from the hash struct */
6867                     Perl_hv_undef_flags(aTHX_ MUTABLE_HV(sv), HV_NAME_SETALL);
6868                     assert(!HvARRAY((HV*)sv));
6869                     goto free_body;
6870                 }
6871             }
6872
6873             /* unrolled SvREFCNT_dec and sv_free2 follows: */
6874
6875             if (!sv)
6876                 continue;
6877             if (!SvREFCNT(sv)) {
6878                 sv_free(sv);
6879                 continue;
6880             }
6881             if (--(SvREFCNT(sv)))
6882                 continue;
6883 #ifdef DEBUGGING
6884             if (SvTEMP(sv)) {
6885                 Perl_ck_warner_d(aTHX_ packWARN(WARN_DEBUGGING),
6886                          "Attempt to free temp prematurely: SV 0x%" UVxf
6887                          pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
6888                 continue;
6889             }
6890 #endif
6891             if (SvIMMORTAL(sv)) {
6892                 /* make sure SvREFCNT(sv)==0 happens very seldom */
6893                 SvREFCNT(sv) = SvREFCNT_IMMORTAL;
6894                 continue;
6895             }
6896             break;
6897         } /* while 1 */
6898
6899     } /* while sv */
6900 }
6901
6902 /* This routine curses the sv itself, not the object referenced by sv. So
6903    sv does not have to be ROK. */
6904
6905 static bool
6906 S_curse(pTHX_ SV * const sv, const bool check_refcnt) {
6907     PERL_ARGS_ASSERT_CURSE;
6908     assert(SvOBJECT(sv));
6909
6910     if (PL_defstash &&  /* Still have a symbol table? */
6911         SvDESTROYABLE(sv))
6912     {
6913         dSP;
6914         HV* stash;
6915         do {
6916           stash = SvSTASH(sv);
6917           assert(SvTYPE(stash) == SVt_PVHV);
6918           if (HvNAME(stash)) {
6919             CV* destructor = NULL;
6920             struct mro_meta *meta;
6921
6922             assert (SvOOK(stash));
6923
6924             DEBUG_o( Perl_deb(aTHX_ "Looking for DESTROY method for %s\n",
6925                          HvNAME(stash)) );
6926
6927             /* don't make this an initialization above the assert, since it needs
6928                an AUX structure */
6929             meta = HvMROMETA(stash);
6930             if (meta->destroy_gen && meta->destroy_gen == PL_sub_generation) {
6931                 destructor = meta->destroy;
6932                 DEBUG_o( Perl_deb(aTHX_ "Using cached DESTROY method %p for %s\n",
6933                              (void *)destructor, HvNAME(stash)) );
6934             }
6935             else {
6936                 bool autoload = FALSE;
6937                 GV *gv =
6938                     gv_fetchmeth_pvn(stash, S_destroy, S_destroy_len, -1, 0);
6939                 if (gv)
6940                     destructor = GvCV(gv);
6941                 if (!destructor) {
6942                     gv = gv_autoload_pvn(stash, S_destroy, S_destroy_len,
6943                                          GV_AUTOLOAD_ISMETHOD);
6944                     if (gv)
6945                         destructor = GvCV(gv);
6946                     if (destructor)
6947                         autoload = TRUE;
6948                 }
6949                 /* we don't cache AUTOLOAD for DESTROY, since this code
6950                    would then need to set $__PACKAGE__::AUTOLOAD, or the
6951                    equivalent for XS AUTOLOADs */
6952                 if (!autoload) {
6953                     meta->destroy_gen = PL_sub_generation;
6954                     meta->destroy = destructor;
6955
6956                     DEBUG_o( Perl_deb(aTHX_ "Set cached DESTROY method %p for %s\n",
6957                                       (void *)destructor, HvNAME(stash)) );
6958                 }
6959                 else {
6960                     DEBUG_o( Perl_deb(aTHX_ "Not caching AUTOLOAD for DESTROY method for %s\n",
6961                                       HvNAME(stash)) );
6962                 }
6963             }
6964             assert(!destructor || SvTYPE(destructor) == SVt_PVCV);
6965             if (destructor
6966                 /* A constant subroutine can have no side effects, so
6967                    don't bother calling it.  */
6968                 && !CvCONST(destructor)
6969                 /* Don't bother calling an empty destructor or one that
6970                    returns immediately. */
6971                 && (CvISXSUB(destructor)
6972                 || (CvSTART(destructor)
6973                     && (CvSTART(destructor)->op_next->op_type
6974                                         != OP_LEAVESUB)
6975                     && (CvSTART(destructor)->op_next->op_type
6976                                         != OP_PUSHMARK
6977                         || CvSTART(destructor)->op_next->op_next->op_type
6978                                         != OP_RETURN
6979                        )
6980                    ))
6981                )
6982             {
6983                 SV* const tmpref = newRV(sv);
6984                 SvREADONLY_on(tmpref); /* DESTROY() could be naughty */
6985                 ENTER;
6986                 PUSHSTACKi(PERLSI_DESTROY);
6987                 EXTEND(SP, 2);
6988                 PUSHMARK(SP);
6989                 PUSHs(tmpref);
6990                 PUTBACK;
6991                 call_sv(MUTABLE_SV(destructor),
6992                             G_DISCARD|G_EVAL|G_KEEPERR|G_VOID);
6993                 POPSTACK;
6994                 SPAGAIN;
6995                 LEAVE;
6996                 if(SvREFCNT(tmpref) < 2) {
6997                     /* tmpref is not kept alive! */
6998                     SvREFCNT(sv)--;
6999                     SvRV_set(tmpref, NULL);
7000                     SvROK_off(tmpref);
7001                 }
7002                 SvREFCNT_dec_NN(tmpref);
7003             }
7004           }
7005         } while (SvOBJECT(sv) && SvSTASH(sv) != stash);
7006
7007
7008         if (check_refcnt && SvREFCNT(sv)) {
7009             if (PL_in_clean_objs)
7010                 Perl_croak(aTHX_
7011                   "DESTROY created new reference to dead object '%" HEKf "'",
7012                    HEKfARG(HvNAME_HEK(stash)));
7013             /* DESTROY gave object new lease on life */
7014             return FALSE;
7015         }
7016     }
7017
7018     if (SvOBJECT(sv)) {
7019         HV * const stash = SvSTASH(sv);
7020         /* Curse before freeing the stash, as freeing the stash could cause
7021            a recursive call into S_curse. */
7022         SvOBJECT_off(sv);       /* Curse the object. */
7023         SvSTASH_set(sv,0);      /* SvREFCNT_dec may try to read this */
7024         SvREFCNT_dec(stash); /* possibly of changed persuasion */
7025     }
7026     return TRUE;
7027 }
7028
7029 /*
7030 =for apidoc sv_newref
7031
7032 Increment an SV's reference count.  Use the C<SvREFCNT_inc()> wrapper
7033 instead.
7034
7035 =cut
7036 */
7037
7038 SV *
7039 Perl_sv_newref(pTHX_ SV *const sv)
7040 {
7041     PERL_UNUSED_CONTEXT;
7042     if (sv)
7043         (SvREFCNT(sv))++;
7044     return sv;
7045 }
7046
7047 /*
7048 =for apidoc sv_free
7049
7050 Decrement an SV's reference count, and if it drops to zero, call
7051 C<sv_clear> to invoke destructors and free up any memory used by
7052 the body; finally, deallocating the SV's head itself.
7053 Normally called via a wrapper macro C<SvREFCNT_dec>.
7054
7055 =cut
7056 */
7057
7058 void
7059 Perl_sv_free(pTHX_ SV *const sv)
7060 {
7061     SvREFCNT_dec(sv);
7062 }
7063
7064
7065 /* Private helper function for SvREFCNT_dec().
7066  * Called with rc set to original SvREFCNT(sv), where rc == 0 or 1 */
7067
7068 void
7069 Perl_sv_free2(pTHX_ SV *const sv, const U32 rc)
7070 {
7071     dVAR;
7072
7073     PERL_ARGS_ASSERT_SV_FREE2;
7074
7075     if (LIKELY( rc == 1 )) {
7076         /* normal case */
7077         SvREFCNT(sv) = 0;
7078
7079 #ifdef DEBUGGING
7080         if (SvTEMP(sv)) {
7081             Perl_ck_warner_d(aTHX_ packWARN(WARN_DEBUGGING),
7082                              "Attempt to free temp prematurely: SV 0x%" UVxf
7083                              pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
7084             return;
7085         }
7086 #endif
7087         if (SvIMMORTAL(sv)) {
7088             /* make sure SvREFCNT(sv)==0 happens very seldom */
7089             SvREFCNT(sv) = SvREFCNT_IMMORTAL;
7090             return;
7091         }
7092         sv_clear(sv);
7093         if (! SvREFCNT(sv)) /* may have have been resurrected */
7094             del_SV(sv);
7095         return;
7096     }
7097
7098     /* handle exceptional cases */
7099
7100     assert(rc == 0);
7101
7102     if (SvFLAGS(sv) & SVf_BREAK)
7103         /* this SV's refcnt has been artificially decremented to
7104          * trigger cleanup */
7105         return;
7106     if (PL_in_clean_all) /* All is fair */
7107         return;
7108     if (SvIMMORTAL(sv)) {
7109         /* make sure SvREFCNT(sv)==0 happens very seldom */
7110         SvREFCNT(sv) = SvREFCNT_IMMORTAL;
7111         return;
7112     }
7113     if (ckWARN_d(WARN_INTERNAL)) {
7114 #ifdef DEBUG_LEAKING_SCALARS_FORK_DUMP
7115         Perl_dump_sv_child(aTHX_ sv);
7116 #else
7117     #ifdef DEBUG_LEAKING_SCALARS
7118         sv_dump(sv);
7119     #endif
7120 #ifdef DEBUG_LEAKING_SCALARS_ABORT
7121         if (PL_warnhook == PERL_WARNHOOK_FATAL
7122             || ckDEAD(packWARN(WARN_INTERNAL))) {
7123             /* Don't let Perl_warner cause us to escape our fate:  */
7124             abort();
7125         }
7126 #endif
7127         /* This may not return:  */
7128         Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
7129                     "Attempt to free unreferenced scalar: SV 0x%" UVxf
7130                     pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
7131 #endif
7132     }
7133 #ifdef DEBUG_LEAKING_SCALARS_ABORT
7134     abort();
7135 #endif
7136
7137 }
7138
7139
7140 /*
7141 =for apidoc sv_len
7142
7143 Returns the length of the string in the SV.  Handles magic and type
7144 coercion and sets the UTF8 flag appropriately.  See also C<L</SvCUR>>, which
7145 gives raw access to the C<xpv_cur> slot.
7146
7147 =cut
7148 */
7149
7150 STRLEN
7151 Perl_sv_len(pTHX_ SV *const sv)
7152 {
7153     STRLEN len;
7154
7155     if (!sv)
7156         return 0;
7157
7158     (void)SvPV_const(sv, len);
7159     return len;
7160 }
7161
7162 /*
7163 =for apidoc sv_len_utf8
7164
7165 Returns the number of characters in the string in an SV, counting wide
7166 UTF-8 bytes as a single character.  Handles magic and type coercion.
7167
7168 =cut
7169 */
7170
7171 /*
7172  * The length is cached in PERL_MAGIC_utf8, in the mg_len field.  Also the
7173  * mg_ptr is used, by sv_pos_u2b() and sv_pos_b2u() - see the comments below.
7174  * (Note that the mg_len is not the length of the mg_ptr field.
7175  * This allows the cache to store the character length of the string without
7176  * needing to malloc() extra storage to attach to the mg_ptr.)
7177  *
7178  */
7179
7180 STRLEN
7181 Perl_sv_len_utf8(pTHX_ SV *const sv)
7182 {
7183     if (!sv)
7184         return 0;
7185
7186     SvGETMAGIC(sv);
7187     return sv_len_utf8_nomg(sv);
7188 }
7189
7190 STRLEN
7191 Perl_sv_len_utf8_nomg(pTHX_ SV * const sv)
7192 {
7193     STRLEN len;
7194     const U8 *s = (U8*)SvPV_nomg_const(sv, len);
7195
7196     PERL_ARGS_ASSERT_SV_LEN_UTF8_NOMG;
7197
7198     if (PL_utf8cache && SvUTF8(sv)) {
7199             STRLEN ulen;
7200             MAGIC *mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_utf8) : NULL;
7201
7202             if (mg && (mg->mg_len != -1 || mg->mg_ptr)) {
7203                 if (mg->mg_len != -1)
7204                     ulen = mg->mg_len;
7205                 else {
7206                     /* We can use the offset cache for a headstart.
7207                        The longer value is stored in the first pair.  */
7208                     STRLEN *cache = (STRLEN *) mg->mg_ptr;
7209
7210                     ulen = cache[0] + Perl_utf8_length(aTHX_ s + cache[1],
7211                                                        s + len);
7212                 }
7213                 
7214                 if (PL_utf8cache < 0) {
7215                     const STRLEN real = Perl_utf8_length(aTHX_ s, s + len);
7216                     assert_uft8_cache_coherent("sv_len_utf8", ulen, real, sv);
7217                 }
7218             }
7219             else {
7220                 ulen = Perl_utf8_length(aTHX_ s, s + len);
7221                 utf8_mg_len_cache_update(sv, &mg, ulen);
7222             }
7223             return ulen;
7224     }
7225     return SvUTF8(sv) ? Perl_utf8_length(aTHX_ s, s + len) : len;
7226 }
7227
7228 /* Walk forwards to find the byte corresponding to the passed in UTF-8
7229    offset.  */
7230 static STRLEN
7231 S_sv_pos_u2b_forwards(const U8 *const start, const U8 *const send,
7232                       STRLEN *const uoffset_p, bool *const at_end)
7233 {
7234     const U8 *s = start;
7235     STRLEN uoffset = *uoffset_p;
7236
7237     PERL_ARGS_ASSERT_SV_POS_U2B_FORWARDS;
7238
7239     while (s < send && uoffset) {
7240         --uoffset;
7241         s += UTF8SKIP(s);
7242     }
7243     if (s == send) {
7244         *at_end = TRUE;
7245     }
7246     else if (s > send) {
7247         *at_end = TRUE;
7248         /* This is the existing behaviour. Possibly it should be a croak, as
7249            it's actually a bounds error  */
7250         s = send;
7251     }
7252     *uoffset_p -= uoffset;
7253     return s - start;
7254 }
7255
7256 /* Given the length of the string in both bytes and UTF-8 characters, decide
7257    whether to walk forwards or backwards to find the byte corresponding to
7258    the passed in UTF-8 offset.  */
7259 static STRLEN
7260 S_sv_pos_u2b_midway(const U8 *const start, const U8 *send,
7261                     STRLEN uoffset, const STRLEN uend)
7262 {
7263     STRLEN backw = uend - uoffset;
7264
7265     PERL_ARGS_ASSERT_SV_POS_U2B_MIDWAY;
7266
7267     if (uoffset < 2 * backw) {
7268         /* The assumption is that going forwards is twice the speed of going
7269            forward (that's where the 2 * backw comes from).
7270            (The real figure of course depends on the UTF-8 data.)  */
7271         const U8 *s = start;
7272
7273         while (s < send && uoffset--)
7274             s += UTF8SKIP(s);
7275         assert (s <= send);
7276         if (s > send)
7277             s = send;
7278         return s - start;
7279     }
7280
7281     while (backw--) {
7282         send--;
7283         while (UTF8_IS_CONTINUATION(*send))
7284             send--;
7285     }
7286     return send - start;
7287 }
7288
7289 /* For the string representation of the given scalar, find the byte
7290    corresponding to the passed in UTF-8 offset.  uoffset0 and boffset0
7291    give another position in the string, *before* the sought offset, which
7292    (which is always true, as 0, 0 is a valid pair of positions), which should
7293    help reduce the amount of linear searching.
7294    If *mgp is non-NULL, it should point to the UTF-8 cache magic, which
7295    will be used to reduce the amount of linear searching. The cache will be
7296    created if necessary, and the found value offered to it for update.  */
7297 static STRLEN
7298 S_sv_pos_u2b_cached(pTHX_ SV *const sv, MAGIC **const mgp, const U8 *const start,
7299                     const U8 *const send, STRLEN uoffset,
7300                     STRLEN uoffset0, STRLEN boffset0)
7301 {
7302     STRLEN boffset = 0; /* Actually always set, but let's keep gcc happy.  */
7303     bool found = FALSE;
7304     bool at_end = FALSE;
7305
7306     PERL_ARGS_ASSERT_SV_POS_U2B_CACHED;
7307
7308     assert (uoffset >= uoffset0);
7309
7310     if (!uoffset)
7311         return 0;
7312
7313     if (!SvREADONLY(sv) && !SvGMAGICAL(sv) && SvPOK(sv)
7314         && PL_utf8cache
7315         && (*mgp || (SvTYPE(sv) >= SVt_PVMG &&
7316                      (*mgp = mg_find(sv, PERL_MAGIC_utf8))))) {
7317         if ((*mgp)->mg_ptr) {
7318             STRLEN *cache = (STRLEN *) (*mgp)->mg_ptr;
7319             if (cache[0] == uoffset) {
7320                 /* An exact match. */
7321                 return cache[1];
7322             }
7323             if (cache[2] == uoffset) {
7324                 /* An exact match. */
7325                 return cache[3];
7326             }
7327
7328             if (cache[0] < uoffset) {
7329                 /* The cache already knows part of the way.   */
7330                 if (cache[0] > uoffset0) {
7331                     /* The cache knows more than the passed in pair  */
7332                     uoffset0 = cache[0];
7333                     boffset0 = cache[1];
7334                 }
7335                 if ((*mgp)->mg_len != -1) {
7336                     /* And we know the end too.  */
7337                     boffset = boffset0
7338                         + sv_pos_u2b_midway(start + boffset0, send,
7339                                               uoffset - uoffset0,
7340                                               (*mgp)->mg_len - uoffset0);
7341                 } else {
7342                     uoffset -= uoffset0;
7343                     boffset = boffset0
7344                         + sv_pos_u2b_forwards(start + boffset0,
7345                                               send, &uoffset, &at_end);
7346                     uoffset += uoffset0;
7347                 }
7348             }
7349             else if (cache[2] < uoffset) {
7350                 /* We're between the two cache entries.  */
7351                 if (cache[2] > uoffset0) {
7352                     /* and the cache knows more than the passed in pair  */
7353                     uoffset0 = cache[2];
7354                     boffset0 = cache[3];
7355                 }
7356
7357                 boffset = boffset0
7358                     + sv_pos_u2b_midway(start + boffset0,
7359                                           start + cache[1],
7360                                           uoffset - uoffset0,
7361                                           cache[0] - uoffset0);
7362             } else {
7363                 boffset = boffset0
7364                     + sv_pos_u2b_midway(start + boffset0,
7365                                           start + cache[3],
7366                                           uoffset - uoffset0,
7367                                           cache[2] - uoffset0);
7368             }
7369             found = TRUE;
7370         }
7371         else if ((*mgp)->mg_len != -1) {
7372             /* If we can take advantage of a passed in offset, do so.  */
7373             /* In fact, offset0 is either 0, or less than offset, so don't
7374                need to worry about the other possibility.  */
7375             boffset = boffset0
7376                 + sv_pos_u2b_midway(start + boffset0, send,
7377                                       uoffset - uoffset0,
7378                                       (*mgp)->mg_len - uoffset0);
7379             found = TRUE;
7380         }
7381     }
7382
7383     if (!found || PL_utf8cache < 0) {
7384         STRLEN real_boffset;
7385         uoffset -= uoffset0;
7386         real_boffset = boffset0 + sv_pos_u2b_forwards(start + boffset0,
7387                                                       send, &uoffset, &at_end);
7388         uoffset += uoffset0;
7389
7390         if (found && PL_utf8cache < 0)
7391             assert_uft8_cache_coherent("sv_pos_u2b_cache", boffset,
7392                                        real_boffset, sv);
7393         boffset = real_boffset;
7394     }
7395
7396     if (PL_utf8cache && !SvGMAGICAL(sv) && SvPOK(sv)) {
7397         if (at_end)
7398             utf8_mg_len_cache_update(sv, mgp, uoffset);
7399         else
7400             utf8_mg_pos_cache_update(sv, mgp, boffset, uoffset, send - start);
7401     }
7402     return boffset;
7403 }
7404
7405
7406 /*
7407 =for apidoc sv_pos_u2b_flags
7408
7409 Converts the offset from a count of UTF-8 chars from
7410 the start of the string, to a count of the equivalent number of bytes; if
7411 C<lenp> is non-zero, it does the same to C<lenp>, but this time starting from
7412 C<offset>, rather than from the start
7413 of the string.  Handles type coercion.
7414 C<flags> is passed to C<SvPV_flags>, and usually should be
7415 C<SV_GMAGIC|SV_CONST_RETURN> to handle magic.
7416
7417 =cut
7418 */
7419
7420 /*
7421  * sv_pos_u2b_flags() uses, like sv_pos_b2u(), the mg_ptr of the potential
7422  * PERL_MAGIC_utf8 of the sv to store the mapping between UTF-8 and
7423  * byte offsets.  See also the comments of S_utf8_mg_pos_cache_update().
7424  *
7425  */
7426
7427 STRLEN
7428 Perl_sv_pos_u2b_flags(pTHX_ SV *const sv, STRLEN uoffset, STRLEN *const lenp,
7429                       U32 flags)
7430 {
7431     const U8 *start;
7432     STRLEN len;
7433     STRLEN boffset;
7434
7435     PERL_ARGS_ASSERT_SV_POS_U2B_FLAGS;
7436
7437     start = (U8*)SvPV_flags(sv, len, flags);
7438     if (len) {
7439         const U8 * const send = start + len;
7440         MAGIC *mg = NULL;
7441         boffset = sv_pos_u2b_cached(sv, &mg, start, send, uoffset, 0, 0);
7442
7443         if (lenp
7444             && *lenp /* don't bother doing work for 0, as its bytes equivalent
7445                         is 0, and *lenp is already set to that.  */) {
7446             /* Convert the relative offset to absolute.  */
7447             const STRLEN uoffset2 = uoffset + *lenp;
7448             const STRLEN boffset2
7449                 = sv_pos_u2b_cached(sv, &mg, start, send, uoffset2,
7450                                       uoffset, boffset) - boffset;
7451
7452             *lenp = boffset2;
7453         }
7454     } else {
7455         if (lenp)
7456             *lenp = 0;
7457         boffset = 0;
7458     }
7459
7460     return boffset;
7461 }
7462
7463 /*
7464 =for apidoc sv_pos_u2b
7465
7466 Converts the value pointed to by C<offsetp> from a count of UTF-8 chars from
7467 the start of the string, to a count of the equivalent number of bytes; if
7468 C<lenp> is non-zero, it does the same to C<lenp>, but this time starting from
7469 the offset, rather than from the start of the string.  Handles magic and
7470 type coercion.
7471
7472 Use C<sv_pos_u2b_flags> in preference, which correctly handles strings longer
7473 than 2Gb.
7474
7475 =cut
7476 */
7477
7478 /*
7479  * sv_pos_u2b() uses, like sv_pos_b2u(), the mg_ptr of the potential
7480  * PERL_MAGIC_utf8 of the sv to store the mapping between UTF-8 and
7481  * byte offsets.  See also the comments of S_utf8_mg_pos_cache_update().
7482  *
7483  */
7484
7485 /* This function is subject to size and sign problems */
7486
7487 void
7488 Perl_sv_pos_u2b(pTHX_ SV *const sv, I32 *const offsetp, I32 *const lenp)
7489 {
7490     PERL_ARGS_ASSERT_SV_POS_U2B;
7491
7492     if (lenp) {
7493         STRLEN ulen = (STRLEN)*lenp;
7494         *offsetp = (I32)sv_pos_u2b_flags(sv, (STRLEN)*offsetp, &ulen,
7495                                          SV_GMAGIC|SV_CONST_RETURN);
7496         *lenp = (I32)ulen;
7497     } else {
7498         *offsetp = (I32)sv_pos_u2b_flags(sv, (STRLEN)*offsetp, NULL,
7499                                          SV_GMAGIC|SV_CONST_RETURN);
7500     }
7501 }
7502
7503 static void
7504 S_utf8_mg_len_cache_update(pTHX_ SV *const sv, MAGIC **const mgp,
7505                            const STRLEN ulen)
7506 {
7507     PERL_ARGS_ASSERT_UTF8_MG_LEN_CACHE_UPDATE;
7508     if (SvREADONLY(sv) || SvGMAGICAL(sv) || !SvPOK(sv))
7509         return;
7510
7511     if (!*mgp && (SvTYPE(sv) < SVt_PVMG ||
7512                   !(*mgp = mg_find(sv, PERL_MAGIC_utf8)))) {
7513         *mgp = sv_magicext(sv, 0, PERL_MAGIC_utf8, &PL_vtbl_utf8, 0, 0);
7514     }
7515     assert(*mgp);
7516
7517     (*mgp)->mg_len = ulen;
7518 }
7519
7520 /* Create and update the UTF8 magic offset cache, with the proffered utf8/
7521    byte length pairing. The (byte) length of the total SV is passed in too,
7522    as blen, because for some (more esoteric) SVs, the call to SvPV_const()
7523    may not have updated SvCUR, so we can't rely on reading it directly.
7524
7525    The proffered utf8/byte length pairing isn't used if the cache already has
7526    two pairs, and swapping either for the proffered pair would increase the
7527    RMS of the intervals between known byte offsets.
7528
7529    The cache itself consists of 4 STRLEN values
7530    0: larger UTF-8 offset
7531    1: corresponding byte offset
7532    2: smaller UTF-8 offset
7533    3: corresponding byte offset
7534
7535    Unused cache pairs have the value 0, 0.
7536    Keeping the cache "backwards" means that the invariant of
7537    cache[0] >= cache[2] is maintained even with empty slots, which means that
7538    the code that uses it doesn't need to worry if only 1 entry has actually
7539    been set to non-zero.  It also makes the "position beyond the end of the
7540    cache" logic much simpler, as the first slot is always the one to start
7541    from.   
7542 */
7543 static void
7544 S_utf8_mg_pos_cache_update(pTHX_ SV *const sv, MAGIC **const mgp, const STRLEN byte,
7545                            const STRLEN utf8, const STRLEN blen)
7546 {
7547     STRLEN *cache;
7548
7549     PERL_ARGS_ASSERT_UTF8_MG_POS_CACHE_UPDATE;
7550
7551     if (SvREADONLY(sv))
7552         return;
7553
7554     if (!*mgp && (SvTYPE(sv) < SVt_PVMG ||
7555                   !(*mgp = mg_find(sv, PERL_MAGIC_utf8)))) {
7556         *mgp = sv_magicext(sv, 0, PERL_MAGIC_utf8, (MGVTBL*)&PL_vtbl_utf8, 0,
7557                            0);
7558         (*mgp)->mg_len = -1;
7559     }
7560     assert(*mgp);
7561
7562     if (!(cache = (STRLEN *)(*mgp)->mg_ptr)) {
7563         Newxz(cache, PERL_MAGIC_UTF8_CACHESIZE * 2, STRLEN);
7564         (*mgp)->mg_ptr = (char *) cache;
7565     }
7566     assert(cache);
7567
7568     if (PL_utf8cache < 0 && SvPOKp(sv)) {
7569         /* SvPOKp() because, if sv is a reference, then SvPVX() is actually
7570            a pointer.  Note that we no longer cache utf8 offsets on refer-
7571            ences, but this check is still a good idea, for robustness.  */
7572         const U8 *start = (const U8 *) SvPVX_const(sv);
7573         const STRLEN realutf8 = utf8_length(start, start + byte);
7574
7575         assert_uft8_cache_coherent("utf8_mg_pos_cache_update", utf8, realutf8,
7576                                    sv);
7577     }
7578
7579     /* Cache is held with the later position first, to simplify the code
7580        that deals with unbounded ends.  */
7581        
7582     ASSERT_UTF8_CACHE(cache);
7583     if (cache[1] == 0) {
7584         /* Cache is totally empty  */
7585         cache[0] = utf8;
7586         cache[1] = byte;
7587     } else if (cache[3] == 0) {
7588         if (byte > cache[1]) {
7589             /* New one is larger, so goes first.  */
7590             cache[2] = cache[0];
7591             cache[3] = cache[1];
7592             cache[0] = utf8;
7593             cache[1] = byte;
7594         } else {
7595             cache[2] = utf8;
7596             cache[3] = byte;
7597         }
7598     } else {
7599 /* float casts necessary? XXX */
7600 #define THREEWAY_SQUARE(a,b,c,d) \
7601             ((float)((d) - (c))) * ((float)((d) - (c))) \
7602             + ((float)((c) - (b))) * ((float)((c) - (b))) \
7603                + ((float)((b) - (a))) * ((float)((b) - (a)))
7604
7605         /* Cache has 2 slots in use, and we know three potential pairs.
7606            Keep the two that give the lowest RMS distance. Do the
7607            calculation in bytes simply because we always know the byte
7608            length.  squareroot has the same ordering as the positive value,
7609            so don't bother with the actual square root.  */
7610         if (byte > cache[1]) {
7611             /* New position is after the existing pair of pairs.  */
7612             const float keep_earlier
7613                 = THREEWAY_SQUARE(0, cache[3], byte, blen);
7614             const float keep_later
7615                 = THREEWAY_SQUARE(0, cache[1], byte, blen);
7616
7617             if (keep_later < keep_earlier) {
7618                 cache[2] = cache[0];
7619                 cache[3] = cache[1];
7620             }
7621             cache[0] = utf8;
7622             cache[1] = byte;
7623         }
7624         else {
7625             const float keep_later = THREEWAY_SQUARE(0, byte, cache[1], blen);
7626             float b, c, keep_earlier;
7627             if (byte > cache[3]) {
7628                 /* New position is between the existing pair of pairs.  */
7629                 b = (float)cache[3];
7630                 c = (float)byte;
7631             } else {
7632                 /* New position is before the existing pair of pairs.  */
7633                 b = (float)byte;
7634                 c = (float)cache[3];
7635             }
7636             keep_earlier = THREEWAY_SQUARE(0, b, c, blen);
7637             if (byte > cache[3]) {
7638                 if (keep_later < keep_earlier) {
7639                     cache[2] = utf8;
7640                     cache[3] = byte;
7641                 }
7642                 else {
7643                     cache[0] = utf8;
7644                     cache[1] = byte;
7645                 }
7646             }
7647             else {
7648                 if (! (keep_later < keep_earlier)) {
7649                     cache[0] = cache[2];
7650                     cache[1] = cache[3];
7651                 }
7652                 cache[2] = utf8;
7653                 cache[3] = byte;
7654             }
7655         }
7656     }
7657     ASSERT_UTF8_CACHE(cache);
7658 }
7659
7660 /* We already know all of the way, now we may be able to walk back.  The same
7661    assumption is made as in S_sv_pos_u2b_midway(), namely that walking
7662    backward is half the speed of walking forward. */
7663 static STRLEN
7664 S_sv_pos_b2u_midway(pTHX_ const U8 *const s, const U8 *const target,
7665                     const U8 *end, STRLEN endu)
7666 {
7667     const STRLEN forw = target - s;
7668     STRLEN backw = end - target;
7669
7670     PERL_ARGS_ASSERT_SV_POS_B2U_MIDWAY;
7671
7672     if (forw < 2 * backw) {
7673         return utf8_length(s, target);
7674     }
7675
7676     while (end > target) {
7677         end--;
7678         while (UTF8_IS_CONTINUATION(*end)) {
7679             end--;
7680         }
7681         endu--;
7682     }
7683     return endu;
7684 }
7685
7686 /*
7687 =for apidoc sv_pos_b2u_flags
7688
7689 Converts C<offset> from a count of bytes from the start of the string, to
7690 a count of the equivalent number of UTF-8 chars.  Handles type coercion.
7691 C<flags> is passed to C<SvPV_flags>, and usually should be
7692 C<SV_GMAGIC|SV_CONST_RETURN> to handle magic.
7693
7694 =cut
7695 */
7696
7697 /*
7698  * sv_pos_b2u_flags() uses, like sv_pos_u2b_flags(), the mg_ptr of the
7699  * potential PERL_MAGIC_utf8 of the sv to store the mapping between UTF-8
7700  * and byte offsets.
7701  *
7702  */
7703 STRLEN
7704 Perl_sv_pos_b2u_flags(pTHX_ SV *const sv, STRLEN const offset, U32 flags)
7705 {
7706     const U8* s;
7707     STRLEN len = 0; /* Actually always set, but let's keep gcc happy.  */
7708     STRLEN blen;
7709     MAGIC* mg = NULL;
7710     const U8* send;
7711     bool found = FALSE;
7712
7713     PERL_ARGS_ASSERT_SV_POS_B2U_FLAGS;
7714
7715     s = (const U8*)SvPV_flags(sv, blen, flags);
7716
7717     if (blen < offset)
7718         Perl_croak(aTHX_ "panic: sv_pos_b2u: bad byte offset, blen=%" UVuf
7719                    ", byte=%" UVuf, (UV)blen, (UV)offset);
7720
7721     send = s + offset;
7722
7723     if (!SvREADONLY(sv)
7724         && PL_utf8cache
7725         && SvTYPE(sv) >= SVt_PVMG
7726         && (mg = mg_find(sv, PERL_MAGIC_utf8)))
7727     {
7728         if (mg->mg_ptr) {
7729             STRLEN * const cache = (STRLEN *) mg->mg_ptr;
7730             if (cache[1] == offset) {
7731                 /* An exact match. */
7732                 return cache[0];
7733             }
7734             if (cache[3] == offset) {
7735                 /* An exact match. */
7736                 return cache[2];
7737             }
7738
7739             if (cache[1] < offset) {
7740                 /* We already know part of the way. */
7741                 if (mg->mg_len != -1) {
7742                     /* Actually, we know the end too.  */
7743                     len = cache[0]
7744                         + S_sv_pos_b2u_midway(aTHX_ s + cache[1], send,
7745                                               s + blen, mg->mg_len - cache[0]);
7746                 } else {
7747                     len = cache[0] + utf8_length(s + cache[1], send);
7748                 }
7749             }
7750             else if (cache[3] < offset) {
7751                 /* We're between the two cached pairs, so we do the calculation
7752                    offset by the byte/utf-8 positions for the earlier pair,
7753                    then add the utf-8 characters from the string start to
7754                    there.  */
7755                 len = S_sv_pos_b2u_midway(aTHX_ s + cache[3], send,
7756                                           s + cache[1], cache[0] - cache[2])
7757                     + cache[2];
7758
7759             }
7760             else { /* cache[3] > offset */
7761                 len = S_sv_pos_b2u_midway(aTHX_ s, send, s + cache[3],
7762                                           cache[2]);
7763
7764             }
7765             ASSERT_UTF8_CACHE(cache);
7766             found = TRUE;
7767         } else if (mg->mg_len != -1) {
7768             len = S_sv_pos_b2u_midway(aTHX_ s, send, s + blen, mg->mg_len);
7769             found = TRUE;
7770         }
7771     }
7772     if (!found || PL_utf8cache < 0) {
7773         const STRLEN real_len = utf8_length(s, send);
7774
7775         if (found && PL_utf8cache < 0)
7776             assert_uft8_cache_coherent("sv_pos_b2u", len, real_len, sv);
7777         len = real_len;
7778     }
7779
7780     if (PL_utf8cache) {
7781         if (blen == offset)
7782             utf8_mg_len_cache_update(sv, &mg, len);
7783         else
7784             utf8_mg_pos_cache_update(sv, &mg, offset, len, blen);
7785     }
7786
7787     return len;
7788 }
7789
7790 /*
7791 =for apidoc sv_pos_b2u
7792
7793 Converts the value pointed to by C<offsetp> from a count of bytes from the
7794 start of the string, to a count of the equivalent number of UTF-8 chars.
7795 Handles magic and type coercion.
7796
7797 Use C<sv_pos_b2u_flags> in preference, which correctly handles strings
7798 longer than 2Gb.
7799
7800 =cut
7801 */
7802
7803 /*
7804  * sv_pos_b2u() uses, like sv_pos_u2b(), the mg_ptr of the potential
7805  * PERL_MAGIC_utf8 of the sv to store the mapping between UTF-8 and
7806  * byte offsets.
7807  *
7808  */
7809 void
7810 Perl_sv_pos_b2u(pTHX_ SV *const sv, I32 *const offsetp)
7811 {
7812     PERL_ARGS_ASSERT_SV_POS_B2U;
7813
7814     if (!sv)
7815         return;
7816
7817     *offsetp = (I32)sv_pos_b2u_flags(sv, (STRLEN)*offsetp,
7818                                      SV_GMAGIC|SV_CONST_RETURN);
7819 }
7820
7821 static void
7822 S_assert_uft8_cache_coherent(pTHX_ const char *const func, STRLEN from_cache,
7823                              STRLEN real, SV *const sv)
7824 {
7825     PERL_ARGS_ASSERT_ASSERT_UFT8_CACHE_COHERENT;
7826
7827     /* As this is debugging only code, save space by keeping this test here,
7828        rather than inlining it in all the callers.  */
7829     if (from_cache == real)
7830         return;
7831
7832     /* Need to turn the assertions off otherwise we may recurse infinitely
7833        while printing error messages.  */
7834     SAVEI8(PL_utf8cache);
7835     PL_utf8cache = 0;
7836     Perl_croak(aTHX_ "panic: %s cache %" UVuf " real %" UVuf " for %" SVf,
7837                func, (UV) from_cache, (UV) real, SVfARG(sv));
7838 }
7839
7840 /*
7841 =for apidoc sv_eq
7842
7843 Returns a boolean indicating whether the strings in the two SVs are
7844 identical.  Is UTF-8 and S<C<'use bytes'>> aware, handles get magic, and will
7845 coerce its args to strings if necessary.
7846
7847 =for apidoc sv_eq_flags
7848
7849 Returns a boolean indicating whether the strings in the two SVs are
7850 identical.  Is UTF-8 and S<C<'use bytes'>> aware and coerces its args to strings
7851 if necessary.  If the flags has the C<SV_GMAGIC> bit set, it handles get-magic, too.
7852
7853 =cut
7854 */
7855
7856 I32
7857 Perl_sv_eq_flags(pTHX_ SV *sv1, SV *sv2, const U32 flags)
7858 {
7859     const char *pv1;
7860     STRLEN cur1;
7861     const char *pv2;
7862     STRLEN cur2;
7863
7864     if (!sv1) {
7865         pv1 = "";
7866         cur1 = 0;
7867     }
7868     else {
7869         /* if pv1 and pv2 are the same, second SvPV_const call may
7870          * invalidate pv1 (if we are handling magic), so we may need to
7871          * make a copy */
7872         if (sv1 == sv2 && flags & SV_GMAGIC
7873          && (SvTHINKFIRST(sv1) || SvGMAGICAL(sv1))) {
7874             pv1 = SvPV_const(sv1, cur1);
7875             sv1 = newSVpvn_flags(pv1, cur1, SVs_TEMP | SvUTF8(sv2));
7876         }
7877         pv1 = SvPV_flags_const(sv1, cur1, flags);
7878     }
7879
7880     if (!sv2){
7881         pv2 = "";
7882         cur2 = 0;
7883     }
7884     else
7885         pv2 = SvPV_flags_const(sv2, cur2, flags);
7886
7887     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
7888         /* Differing utf8ness.  */
7889         if (SvUTF8(sv1)) {
7890                   /* sv1 is the UTF-8 one  */
7891                   return bytes_cmp_utf8((const U8*)pv2, cur2,
7892                                         (const U8*)pv1, cur1) == 0;
7893         }
7894         else {
7895                   /* sv2 is the UTF-8 one  */
7896                   return bytes_cmp_utf8((const U8*)pv1, cur1,
7897                                         (const U8*)pv2, cur2) == 0;
7898         }
7899     }
7900
7901     if (cur1 == cur2)
7902         return (pv1 == pv2) || memEQ(pv1, pv2, cur1);
7903     else
7904         return 0;
7905 }
7906
7907 /*
7908 =for apidoc sv_cmp
7909
7910 Compares the strings in two SVs.  Returns -1, 0, or 1 indicating whether the
7911 string in C<sv1> is less than, equal to, or greater than the string in
7912 C<sv2>.  Is UTF-8 and S<C<'use bytes'>> aware, handles get magic, and will
7913 coerce its args to strings if necessary.  See also C<L</sv_cmp_locale>>.
7914
7915 =for apidoc sv_cmp_flags
7916
7917 Compares the strings in two SVs.  Returns -1, 0, or 1 indicating whether the
7918 string in C<sv1> is less than, equal to, or greater than the string in
7919 C<sv2>.  Is UTF-8 and S<C<'use bytes'>> aware and will coerce its args to strings
7920 if necessary.  If the flags has the C<SV_GMAGIC> bit set, it handles get magic.  See
7921 also C<L</sv_cmp_locale_flags>>.
7922
7923 =cut
7924 */
7925
7926 I32
7927 Perl_sv_cmp(pTHX_ SV *const sv1, SV *const sv2)
7928 {
7929     return sv_cmp_flags(sv1, sv2, SV_GMAGIC);
7930 }
7931
7932 I32
7933 Perl_sv_cmp_flags(pTHX_ SV *const sv1, SV *const sv2,
7934                   const U32 flags)
7935 {
7936     STRLEN cur1, cur2;
7937     const char *pv1, *pv2;
7938     I32  cmp;
7939     SV *svrecode = NULL;
7940
7941     if (!sv1) {
7942         pv1 = "";
7943         cur1 = 0;
7944     }
7945     else
7946         pv1 = SvPV_flags_const(sv1, cur1, flags);
7947
7948     if (!sv2) {
7949         pv2 = "";
7950         cur2 = 0;
7951     }
7952     else
7953         pv2 = SvPV_flags_const(sv2, cur2, flags);
7954
7955     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
7956         /* Differing utf8ness.  */
7957         if (SvUTF8(sv1)) {
7958                 const int retval = -bytes_cmp_utf8((const U8*)pv2, cur2,
7959                                                    (const U8*)pv1, cur1);
7960                 return retval ? retval < 0 ? -1 : +1 : 0;
7961         }
7962         else {
7963                 const int retval = bytes_cmp_utf8((const U8*)pv1, cur1,
7964                                                   (const U8*)pv2, cur2);
7965                 return retval ? retval < 0 ? -1 : +1 : 0;
7966         }
7967     }
7968
7969     /* Here, if both are non-NULL, then they have the same UTF8ness. */
7970
7971     if (!cur1) {
7972         cmp = cur2 ? -1 : 0;
7973     } else if (!cur2) {
7974         cmp = 1;
7975     } else {
7976         STRLEN shortest_len = cur1 < cur2 ? cur1 : cur2;
7977
7978 #ifdef EBCDIC
7979         if (! DO_UTF8(sv1)) {
7980 #endif
7981             const I32 retval = memcmp((const void*)pv1,
7982                                       (const void*)pv2,
7983                                       shortest_len);
7984             if (retval) {
7985                 cmp = retval < 0 ? -1 : 1;
7986             } else if (cur1 == cur2) {
7987                 cmp = 0;
7988             } else {
7989                 cmp = cur1 < cur2 ? -1 : 1;
7990             }
7991 #ifdef EBCDIC
7992         }
7993         else {  /* Both are to be treated as UTF-EBCDIC */
7994
7995             /* EBCDIC UTF-8 is complicated by the fact that it is based on I8
7996              * which remaps code points 0-255.  We therefore generally have to
7997              * unmap back to the original values to get an accurate comparison.
7998              * But we don't have to do that for UTF-8 invariants, as by
7999              * definition, they aren't remapped, nor do we have to do it for
8000              * above-latin1 code points, as they also aren't remapped.  (This
8001              * code also works on ASCII platforms, but the memcmp() above is
8002              * much faster). */
8003
8004             const char *e = pv1 + shortest_len;
8005
8006             /* Find the first bytes that differ between the two strings */
8007             while (pv1 < e && *pv1 == *pv2) {
8008                 pv1++;
8009                 pv2++;
8010             }
8011
8012
8013             if (pv1 == e) { /* Are the same all the way to the end */
8014                 if (cur1 == cur2) {
8015                     cmp = 0;
8016                 } else {
8017                     cmp = cur1 < cur2 ? -1 : 1;
8018                 }
8019             }
8020             else   /* Here *pv1 and *pv2 are not equal, but all bytes earlier
8021                     * in the strings were.  The current bytes may or may not be
8022                     * at the beginning of a character.  But neither or both are
8023                     * (or else earlier bytes would have been different).  And
8024                     * if we are in the middle of a character, the two
8025                     * characters are comprised of the same number of bytes
8026                     * (because in this case the start bytes are the same, and
8027                     * the start bytes encode the character's length). */
8028                  if (UTF8_IS_INVARIANT(*pv1))
8029             {
8030                 /* If both are invariants; can just compare directly */
8031                 if (UTF8_IS_INVARIANT(*pv2)) {
8032                     cmp = ((U8) *pv1 < (U8) *pv2) ? -1 : 1;
8033                 }
8034                 else   /* Since *pv1 is invariant, it is the whole character,
8035                           which means it is at the beginning of a character.
8036                           That means pv2 is also at the beginning of a
8037                           character (see earlier comment).  Since it isn't
8038                           invariant, it must be a start byte.  If it starts a
8039                           character whose code point is above 255, that
8040                           character is greater than any single-byte char, which
8041                           *pv1 is */
8042                       if (UTF8_IS_ABOVE_LATIN1_START(*pv2))
8043                 {
8044                     cmp = -1;
8045                 }
8046                 else {
8047                     /* Here, pv2 points to a character composed of 2 bytes
8048                      * whose code point is < 256.  Get its code point and
8049                      * compare with *pv1 */
8050                     cmp = ((U8) *pv1 < EIGHT_BIT_UTF8_TO_NATIVE(*pv2, *(pv2 + 1)))
8051                            ?  -1
8052                            : 1;
8053                 }
8054             }
8055             else   /* The code point starting at pv1 isn't a single byte */
8056                  if (UTF8_IS_INVARIANT(*pv2))
8057             {
8058                 /* But here, the code point starting at *pv2 is a single byte,
8059                  * and so *pv1 must begin a character, hence is a start byte.
8060                  * If that character is above 255, it is larger than any
8061                  * single-byte char, which *pv2 is */
8062                 if (UTF8_IS_ABOVE_LATIN1_START(*pv1)) {
8063                     cmp = 1;
8064                 }
8065                 else {
8066                     /* Here, pv1 points to a character composed of 2 bytes
8067                      * whose code point is < 256.  Get its code point and
8068                      * compare with the single byte character *pv2 */
8069                     cmp = (EIGHT_BIT_UTF8_TO_NATIVE(*pv1, *(pv1 + 1)) < (U8) *pv2)
8070                           ?  -1
8071                           : 1;
8072                 }
8073             }
8074             else   /* Here, we've ruled out either *pv1 and *pv2 being
8075                       invariant.  That means both are part of variants, but not
8076                       necessarily at the start of a character */
8077                  if (   UTF8_IS_ABOVE_LATIN1_START(*pv1)
8078                      || UTF8_IS_ABOVE_LATIN1_START(*pv2))
8079             {
8080                 /* Here, at least one is the start of a character, which means
8081                  * the other is also a start byte.  And the code point of at
8082                  * least one of the characters is above 255.  It is a
8083                  * characteristic of UTF-EBCDIC that all start bytes for
8084                  * above-latin1 code points are well behaved as far as code
8085                  * point comparisons go, and all are larger than all other
8086                  * start bytes, so the comparison with those is also well
8087                  * behaved */
8088                 cmp = ((U8) *pv1 < (U8) *pv2) ? -1 : 1;
8089             }
8090             else {
8091                 /* Here both *pv1 and *pv2 are part of variant characters.
8092                  * They could be both continuations, or both start characters.
8093                  * (One or both could even be an illegal start character (for
8094                  * an overlong) which for the purposes of sorting we treat as
8095                  * legal. */
8096                 if (UTF8_IS_CONTINUATION(*pv1)) {
8097
8098                     /* If they are continuations for code points above 255,
8099                      * then comparing the current byte is sufficient, as there
8100                      * is no remapping of these and so the comparison is
8101                      * well-behaved.   We determine if they are such
8102                      * continuations by looking at the preceding byte.  It
8103                      * could be a start byte, from which we can tell if it is
8104                      * for an above 255 code point.  Or it could be a
8105                      * continuation, which means the character occupies at
8106                      * least 3 bytes, so must be above 255.  */
8107                     if (   UTF8_IS_CONTINUATION(*(pv2 - 1))
8108                         || UTF8_IS_ABOVE_LATIN1_START(*(pv2 -1)))
8109                     {
8110                         cmp = ((U8) *pv1 < (U8) *pv2) ? -1 : 1;
8111                         goto cmp_done;
8112                     }
8113
8114                     /* Here, the continuations are for code points below 256;
8115                      * back up one to get to the start byte */
8116                     pv1--;
8117                     pv2--;
8118                 }
8119
8120                 /* We need to get the actual native code point of each of these
8121                  * variants in order to compare them */
8122                 cmp =  (  EIGHT_BIT_UTF8_TO_NATIVE(*pv1, *(pv1 + 1))
8123                         < EIGHT_BIT_UTF8_TO_NATIVE(*pv2, *(pv2 + 1)))
8124                         ? -1
8125                         : 1;
8126             }
8127         }
8128       cmp_done: ;
8129 #endif
8130     }
8131
8132     SvREFCNT_dec(svrecode);
8133
8134     return cmp;
8135 }
8136
8137 /*
8138 =for apidoc sv_cmp_locale
8139
8140 Compares the strings in two SVs in a locale-aware manner.  Is UTF-8 and
8141 S<C<'use bytes'>> aware, handles get magic, and will coerce its args to strings
8142 if necessary.  See also C<L</sv_cmp>>.
8143
8144 =for apidoc sv_cmp_locale_flags
8145
8146 Compares the strings in two SVs in a locale-aware manner.  Is UTF-8 and
8147 S<C<'use bytes'>> aware and will coerce its args to strings if necessary.  If
8148 the flags contain C<SV_GMAGIC>, it handles get magic.  See also
8149 C<L</sv_cmp_flags>>.
8150
8151 =cut
8152 */
8153
8154 I32
8155 Perl_sv_cmp_locale(pTHX_ SV *const sv1, SV *const sv2)
8156 {
8157     return sv_cmp_locale_flags(sv1, sv2, SV_GMAGIC);
8158 }
8159
8160 I32
8161 Perl_sv_cmp_locale_flags(pTHX_ SV *const sv1, SV *const sv2,
8162                          const U32 flags)
8163 {
8164 #ifdef USE_LOCALE_COLLATE
8165
8166     char *pv1, *pv2;
8167     STRLEN len1, len2;
8168     I32 retval;
8169
8170     if (PL_collation_standard)
8171         goto raw_compare;
8172
8173     len1 = len2 = 0;
8174
8175     /* Revert to using raw compare if both operands exist, but either one
8176      * doesn't transform properly for collation */
8177     if (sv1 && sv2) {
8178         pv1 = sv_collxfrm_flags(sv1, &len1, flags);
8179         if (! pv1) {
8180             goto raw_compare;
8181         }
8182         pv2 = sv_collxfrm_flags(sv2, &len2, flags);
8183         if (! pv2) {
8184             goto raw_compare;
8185         }
8186     }
8187     else {
8188         pv1 = sv1 ? sv_collxfrm_flags(sv1, &len1, flags) : (char *) NULL;
8189         pv2 = sv2 ? sv_collxfrm_flags(sv2, &len2, flags) : (char *) NULL;
8190     }
8191
8192     if (!pv1 || !len1) {
8193         if (pv2 && len2)
8194             return -1;
8195         else
8196             goto raw_compare;
8197     }
8198     else {
8199         if (!pv2 || !len2)
8200             return 1;
8201     }
8202
8203     retval = memcmp((void*)pv1, (void*)pv2, len1 < len2 ? len1 : len2);
8204
8205     if (retval)
8206         return retval < 0 ? -1 : 1;
8207
8208     /*
8209      * When the result of collation is equality, that doesn't mean
8210      * that there are no differences -- some locales exclude some
8211      * characters from consideration.  So to avoid false equalities,
8212      * we use the raw string as a tiebreaker.
8213      */
8214
8215   raw_compare:
8216     /* FALLTHROUGH */
8217
8218 #else
8219     PERL_UNUSED_ARG(flags);
8220 #endif /* USE_LOCALE_COLLATE */
8221
8222     return sv_cmp(sv1, sv2);
8223 }
8224
8225
8226 #ifdef USE_LOCALE_COLLATE
8227
8228 /*
8229 =for apidoc sv_collxfrm
8230
8231 This calls C<sv_collxfrm_flags> with the SV_GMAGIC flag.  See
8232 C<L</sv_collxfrm_flags>>.
8233
8234 =for apidoc sv_collxfrm_flags
8235
8236 Add Collate Transform magic to an SV if it doesn't already have it.  If the
8237 flags contain C<SV_GMAGIC>, it handles get-magic.
8238
8239 Any scalar variable may carry C<PERL_MAGIC_collxfrm> magic that contains the
8240 scalar data of the variable, but transformed to such a format that a normal
8241 memory comparison can be used to compare the data according to the locale
8242 settings.
8243
8244 =cut
8245 */
8246
8247 char *
8248 Perl_sv_collxfrm_flags(pTHX_ SV *const sv, STRLEN *const nxp, const I32 flags)
8249 {
8250     MAGIC *mg;
8251
8252     PERL_ARGS_ASSERT_SV_COLLXFRM_FLAGS;
8253
8254     mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_collxfrm) : (MAGIC *) NULL;
8255
8256     /* If we don't have collation magic on 'sv', or the locale has changed
8257      * since the last time we calculated it, get it and save it now */
8258     if (!mg || !mg->mg_ptr || *(U32*)mg->mg_ptr != PL_collation_ix) {
8259         const char *s;
8260         char *xf;
8261         STRLEN len, xlen;
8262
8263         /* Free the old space */
8264         if (mg)
8265             Safefree(mg->mg_ptr);
8266
8267         s = SvPV_flags_const(sv, len, flags);
8268         if ((xf = _mem_collxfrm(s, len, &xlen, cBOOL(SvUTF8(sv))))) {
8269             if (! mg) {
8270                 mg = sv_magicext(sv, 0, PERL_MAGIC_collxfrm, &PL_vtbl_collxfrm,
8271                                  0, 0);
8272                 assert(mg);
8273             }
8274             mg->mg_ptr = xf;
8275             mg->mg_len = xlen;
8276         }
8277         else {
8278             if (mg) {
8279                 mg->mg_ptr = NULL;
8280                 mg->mg_len = -1;
8281             }
8282         }
8283     }
8284
8285     if (mg && mg->mg_ptr) {
8286         *nxp = mg->mg_len;
8287         return mg->mg_ptr + sizeof(PL_collation_ix);
8288     }
8289     else {
8290         *nxp = 0;
8291         return NULL;
8292     }
8293 }
8294
8295 #endif /* USE_LOCALE_COLLATE */
8296
8297 static char *
8298 S_sv_gets_append_to_utf8(pTHX_ SV *const sv, PerlIO *const fp, I32 append)
8299 {
8300     SV * const tsv = newSV(0);
8301     ENTER;
8302     SAVEFREESV(tsv);
8303     sv_gets(tsv, fp, 0);
8304     sv_utf8_upgrade_nomg(tsv);
8305     SvCUR_set(sv,append);
8306     sv_catsv(sv,tsv);
8307     LEAVE;
8308     return (SvCUR(sv) - append) ? SvPVX(sv) : NULL;
8309 }
8310
8311 static char *
8312 S_sv_gets_read_record(pTHX_ SV *const sv, PerlIO *const fp, I32 append)
8313 {
8314     SSize_t bytesread;
8315     const STRLEN recsize = SvUV(SvRV(PL_rs)); /* RsRECORD() guarantees > 0. */
8316       /* Grab the size of the record we're getting */
8317     char *buffer = SvGROW(sv, (STRLEN)(recsize + append + 1)) + append;
8318     
8319     /* Go yank in */
8320 #ifdef __VMS
8321     int fd;
8322     Stat_t st;
8323
8324     /* With a true, record-oriented file on VMS, we need to use read directly
8325      * to ensure that we respect RMS record boundaries.  The user is responsible
8326      * for providing a PL_rs value that corresponds to the FAB$W_MRS (maximum
8327      * record size) field.  N.B. This is likely to produce invalid results on
8328      * varying-width character data when a record ends mid-character.
8329      */
8330     fd = PerlIO_fileno(fp);
8331     if (fd != -1
8332         && PerlLIO_fstat(fd, &st) == 0
8333         && (st.st_fab_rfm == FAB$C_VAR
8334             || st.st_fab_rfm == FAB$C_VFC
8335             || st.st_fab_rfm == FAB$C_FIX)) {
8336
8337         bytesread = PerlLIO_read(fd, buffer, recsize);
8338     }
8339     else /* in-memory file from PerlIO::Scalar
8340           * or not a record-oriented file
8341           */
8342 #endif
8343     {
8344         bytesread = PerlIO_read(fp, buffer, recsize);
8345
8346         /* At this point, the logic in sv_get() means that sv will
8347            be treated as utf-8 if the handle is utf8.
8348         */
8349         if (PerlIO_isutf8(fp) && bytesread > 0) {
8350             char *bend = buffer + bytesread;
8351             char *bufp = buffer;
8352             size_t charcount = 0;
8353             bool charstart = TRUE;
8354             STRLEN skip = 0;
8355
8356             while (charcount < recsize) {
8357                 /* count accumulated characters */
8358                 while (bufp < bend) {
8359                     if (charstart) {
8360                         skip = UTF8SKIP(bufp);
8361                     }
8362                     if (bufp + skip > bend) {
8363                         /* partial at the end */
8364                         charstart = FALSE;
8365                         break;
8366                     }
8367                     else {
8368                         ++charcount;
8369                         bufp += skip;
8370                         charstart = TRUE;
8371                     }
8372                 }
8373
8374                 if (charcount < recsize) {
8375                     STRLEN readsize;
8376                     STRLEN bufp_offset = bufp - buffer;
8377                     SSize_t morebytesread;
8378
8379                     /* originally I read enough to fill any incomplete
8380                        character and the first byte of the next
8381                        character if needed, but if there's many
8382                        multi-byte encoded characters we're going to be
8383                        making a read call for every character beyond
8384                        the original read size.
8385
8386                        So instead, read the rest of the character if
8387                        any, and enough bytes to match at least the
8388                        start bytes for each character we're going to
8389                        read.
8390                     */
8391                     if (charstart)
8392                         readsize = recsize - charcount;
8393                     else 
8394                         readsize = skip - (bend - bufp) + recsize - charcount - 1;
8395                     buffer = SvGROW(sv, append + bytesread + readsize + 1) + append;
8396                     bend = buffer + bytesread;
8397                     morebytesread = PerlIO_read(fp, bend, readsize);
8398                     if (morebytesread <= 0) {
8399                         /* we're done, if we still have incomplete
8400                            characters the check code in sv_gets() will
8401                            warn about them.
8402
8403                            I'd originally considered doing
8404                            PerlIO_ungetc() on all but the lead
8405                            character of the incomplete character, but
8406                            read() doesn't do that, so I don't.
8407                         */
8408                         break;
8409                     }
8410
8411                     /* prepare to scan some more */
8412                     bytesread += morebytesread;
8413                     bend = buffer + bytesread;
8414                     bufp = buffer + bufp_offset;
8415                 }
8416             }
8417         }
8418     }
8419
8420     if (bytesread < 0)
8421         bytesread = 0;
8422     SvCUR_set(sv, bytesread + append);
8423     buffer[bytesread] = '\0';
8424     return (SvCUR(sv) - append) ? SvPVX(sv) : NULL;
8425 }
8426
8427 /*
8428 =for apidoc sv_gets
8429
8430 Get a line from the filehandle and store it into the SV, optionally
8431 appending to the currently-stored string.  If C<append> is not 0, the
8432 line is appended to the SV instead of overwriting it.  C<append> should
8433 be set to the byte offset that the appended string should start at
8434 in the SV (typically, C<SvCUR(sv)> is a suitable choice).
8435
8436 =cut
8437 */
8438
8439 char *
8440 Perl_sv_gets(pTHX_ SV *const sv, PerlIO *const fp, I32 append)
8441 {
8442     const char *rsptr;
8443     STRLEN rslen;
8444     STDCHAR rslast;
8445     STDCHAR *bp;
8446     SSize_t cnt;
8447     int i = 0;
8448     int rspara = 0;
8449
8450     PERL_ARGS_ASSERT_SV_GETS;
8451
8452     if (SvTHINKFIRST(sv))
8453         sv_force_normal_flags(sv, append ? 0 : SV_COW_DROP_PV);
8454     /* XXX. If you make this PVIV, then copy on write can copy scalars read
8455        from <>.
8456        However, perlbench says it's slower, because the existing swipe code
8457        is faster than copy on write.
8458        Swings and roundabouts.  */
8459     SvUPGRADE(sv, SVt_PV);
8460
8461     if (append) {
8462         /* line is going to be appended to the existing buffer in the sv */
8463         if (PerlIO_isutf8(fp)) {
8464             if (!SvUTF8(sv)) {
8465                 sv_utf8_upgrade_nomg(sv);
8466                 sv_pos_u2b(sv,&append,0);
8467             }
8468         } else if (SvUTF8(sv)) {
8469             return S_sv_gets_append_to_utf8(aTHX_ sv, fp, append);
8470         }
8471     }
8472
8473     SvPOK_only(sv);
8474     if (!append) {
8475         /* not appending - "clear" the string by setting SvCUR to 0,
8476          * the pv is still avaiable. */
8477         SvCUR_set(sv,0);
8478     }
8479     if (PerlIO_isutf8(fp))
8480         SvUTF8_on(sv);
8481
8482     if (IN_PERL_COMPILETIME) {
8483         /* we always read code in line mode */
8484         rsptr = "\n";
8485         rslen = 1;
8486     }
8487     else if (RsSNARF(PL_rs)) {
8488         /* If it is a regular disk file use size from stat() as estimate
8489            of amount we are going to read -- may result in mallocing
8490            more memory than we really need if the layers below reduce
8491            the size we read (e.g. CRLF or a gzip layer).
8492          */
8493         Stat_t st;
8494         int fd = PerlIO_fileno(fp);
8495         if (fd >= 0 && (PerlLIO_fstat(fd, &st) == 0) && S_ISREG(st.st_mode))  {
8496             const Off_t offset = PerlIO_tell(fp);
8497             if (offset != (Off_t) -1 && st.st_size + append > offset) {
8498 #ifdef PERL_COPY_ON_WRITE
8499                 /* Add an extra byte for the sake of copy-on-write's
8500                  * buffer reference count. */
8501                 (void) SvGROW(sv, (STRLEN)((st.st_size - offset) + append + 2));
8502 #else
8503                 (void) SvGROW(sv, (STRLEN)((st.st_size - offset) + append + 1));
8504 #endif
8505             }
8506         }
8507         rsptr = NULL;
8508         rslen = 0;
8509     }
8510     else if (RsRECORD(PL_rs)) {
8511         return S_sv_gets_read_record(aTHX_ sv, fp, append);
8512     }
8513     else if (RsPARA(PL_rs)) {
8514         rsptr = "\n\n";
8515         rslen = 2;
8516         rspara = 1;
8517     }
8518     else {
8519         /* Get $/ i.e. PL_rs into same encoding as stream wants */
8520         if (PerlIO_isutf8(fp)) {
8521             rsptr = SvPVutf8(PL_rs, rslen);
8522         }
8523         else {
8524             if (SvUTF8(PL_rs)) {
8525                 if (!sv_utf8_downgrade(PL_rs, TRUE)) {
8526                     Perl_croak(aTHX_ "Wide character in $/");
8527                 }
8528             }
8529             /* extract the raw pointer to the record separator */
8530             rsptr = SvPV_const(PL_rs, rslen);
8531         }
8532     }
8533
8534     /* rslast is the last character in the record separator
8535      * note we don't use rslast except when rslen is true, so the
8536      * null assign is a placeholder. */
8537     rslast = rslen ? rsptr[rslen - 1] : '\0';
8538
8539     if (rspara) {        /* have to do this both before and after */
8540                          /* to make sure file boundaries work right */
8541         while (1) {
8542             if (PerlIO_eof(fp))
8543                 return 0;
8544             i = PerlIO_getc(fp);
8545             if (i != '\n') {
8546                 if (i == -1)
8547                     return 0;
8548                 PerlIO_ungetc(fp,i);
8549                 break;
8550             }
8551         }
8552     }
8553
8554     /* See if we know enough about I/O mechanism to cheat it ! */
8555
8556     /* This used to be #ifdef test - it is made run-time test for ease
8557        of abstracting out stdio interface. One call should be cheap
8558        enough here - and may even be a macro allowing compile
8559        time optimization.
8560      */
8561
8562     if (PerlIO_fast_gets(fp)) {
8563     /*
8564      * We can do buffer based IO operations on this filehandle.
8565      *
8566      * This means we can bypass a lot of subcalls and process
8567      * the buffer directly, it also means we know the upper bound
8568      * on the amount of data we might read of the current buffer
8569      * into our sv. Knowing this allows us to preallocate the pv
8570      * to be able to hold that maximum, which allows us to simplify
8571      * a lot of logic. */
8572
8573     /*
8574      * We're going to steal some values from the stdio struct
8575      * and put EVERYTHING in the innermost loop into registers.
8576      */
8577     STDCHAR *ptr;       /* pointer into fp's read-ahead buffer */
8578     STRLEN bpx;         /* length of the data in the target sv
8579                            used to fix pointers after a SvGROW */
8580     I32 shortbuffered;  /* If the pv buffer is shorter than the amount
8581                            of data left in the read-ahead buffer.
8582                            If 0 then the pv buffer can hold the full
8583                            amount left, otherwise this is the amount it
8584                            can hold. */
8585
8586     /* Here is some breathtakingly efficient cheating */
8587
8588     /* When you read the following logic resist the urge to think
8589      * of record separators that are 1 byte long. They are an
8590      * uninteresting special (simple) case.
8591      *
8592      * Instead think of record separators which are at least 2 bytes
8593      * long, and keep in mind that we need to deal with such
8594      * separators when they cross a read-ahead buffer boundary.
8595      *
8596      * Also consider that we need to gracefully deal with separators
8597      * that may be longer than a single read ahead buffer.
8598      *
8599      * Lastly do not forget we want to copy the delimiter as well. We
8600      * are copying all data in the file _up_to_and_including_ the separator
8601      * itself.
8602      *
8603      * Now that you have all that in mind here is what is happening below:
8604      *
8605      * 1. When we first enter the loop we do some memory book keeping to see
8606      * how much free space there is in the target SV. (This sub assumes that
8607      * it is operating on the same SV most of the time via $_ and that it is
8608      * going to be able to reuse the same pv buffer each call.) If there is
8609      * "enough" room then we set "shortbuffered" to how much space there is
8610      * and start reading forward.
8611      *
8612      * 2. When we scan forward we copy from the read-ahead buffer to the target
8613      * SV's pv buffer. While we go we watch for the end of the read-ahead buffer,
8614      * and the end of the of pv, as well as for the "rslast", which is the last
8615      * char of the separator.
8616      *
8617      * 3. When scanning forward if we see rslast then we jump backwards in *pv*
8618      * (which has a "complete" record up to the point we saw rslast) and check
8619      * it to see if it matches the separator. If it does we are done. If it doesn't
8620      * we continue on with the scan/copy.
8621      *
8622      * 4. If we run out of read-ahead buffer (cnt goes to 0) then we have to get
8623      * the IO system to read the next buffer. We do this by doing a getc(), which
8624      * returns a single char read (or EOF), and prefills the buffer, and also
8625      * allows us to find out how full the buffer is.  We use this information to
8626      * SvGROW() the sv to the size remaining in the buffer, after which we copy
8627      * the returned single char into the target sv, and then go back into scan
8628      * forward mode.
8629      *
8630      * 5. If we run out of write-buffer then we SvGROW() it by the size of the
8631      * remaining space in the read-buffer.
8632      *
8633      * Note that this code despite its twisty-turny nature is pretty darn slick.
8634      * It manages single byte separators, multi-byte cross boundary separators,
8635      * and cross-read-buffer separators cleanly and efficiently at the cost
8636      * of potentially greatly overallocating the target SV.
8637      *
8638      * Yves
8639      */
8640
8641
8642     /* get the number of bytes remaining in the read-ahead buffer
8643      * on first call on a given fp this will return 0.*/
8644     cnt = PerlIO_get_cnt(fp);
8645
8646     /* make sure we have the room */
8647     if ((I32)(SvLEN(sv) - append) <= cnt + 1) {
8648         /* Not room for all of it
8649            if we are looking for a separator and room for some
8650          */
8651         if (rslen && cnt > 80 && (I32)SvLEN(sv) > append) {
8652             /* just process what we have room for */
8653             shortbuffered = cnt - SvLEN(sv) + append + 1;
8654             cnt -= shortbuffered;
8655         }
8656         else {
8657             /* ensure that the target sv has enough room to hold
8658              * the rest of the read-ahead buffer */
8659             shortbuffered = 0;
8660             /* remember that cnt can be negative */
8661             SvGROW(sv, (STRLEN)(append + (cnt <= 0 ? 2 : (cnt + 1))));
8662         }
8663     }
8664     else {
8665         /* we have enough room to hold the full buffer, lets scream */
8666         shortbuffered = 0;
8667     }
8668
8669     /* extract the pointer to sv's string buffer, offset by append as necessary */
8670     bp = (STDCHAR*)SvPVX_const(sv) + append;  /* move these two too to registers */
8671     /* extract the point to the read-ahead buffer */
8672     ptr = (STDCHAR*)PerlIO_get_ptr(fp);
8673
8674     /* some trace debug output */
8675     DEBUG_P(PerlIO_printf(Perl_debug_log,
8676         "Screamer: entering, ptr=%" UVuf ", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
8677     DEBUG_P(PerlIO_printf(Perl_debug_log,
8678         "Screamer: entering: PerlIO * thinks ptr=%" UVuf ", cnt=%" IVdf ", base=%"
8679          UVuf "\n",
8680                PTR2UV(PerlIO_get_ptr(fp)), (IV)PerlIO_get_cnt(fp),
8681                PTR2UV(PerlIO_has_base(fp) ? PerlIO_get_base(fp) : 0)));
8682
8683     for (;;) {
8684       screamer:
8685         /* if there is stuff left in the read-ahead buffer */
8686         if (cnt > 0) {
8687             /* if there is a separator */
8688             if (rslen) {
8689                 /* find next rslast */
8690                 STDCHAR *p;
8691
8692                 /* shortcut common case of blank line */
8693                 cnt--;
8694                 if ((*bp++ = *ptr++) == rslast)
8695                     goto thats_all_folks;
8696
8697                 p = (STDCHAR *)memchr(ptr, rslast, cnt);
8698                 if (p) {
8699                     SSize_t got = p - ptr + 1;
8700                     Copy(ptr, bp, got, STDCHAR);
8701                     ptr += got;
8702                     bp  += got;
8703                     cnt -= got;
8704                     goto thats_all_folks;
8705                 }
8706                 Copy(ptr, bp, cnt, STDCHAR);
8707                 ptr += cnt;
8708                 bp  += cnt;
8709                 cnt = 0;
8710             }
8711             else {
8712                 /* no separator, slurp the full buffer */
8713                 Copy(ptr, bp, cnt, char);            /* this     |  eat */
8714                 bp += cnt;                           /* screams  |  dust */
8715                 ptr += cnt;                          /* louder   |  sed :-) */
8716                 cnt = 0;
8717                 assert (!shortbuffered);
8718                 goto cannot_be_shortbuffered;
8719             }
8720         }
8721         
8722         if (shortbuffered) {            /* oh well, must extend */
8723             /* we didnt have enough room to fit the line into the target buffer
8724              * so we must extend the target buffer and keep going */
8725             cnt = shortbuffered;
8726             shortbuffered = 0;
8727             bpx = bp - (STDCHAR*)SvPVX_const(sv); /* box up before relocation */
8728             SvCUR_set(sv, bpx);
8729             /* extned the target sv's buffer so it can hold the full read-ahead buffer */
8730             SvGROW(sv, SvLEN(sv) + append + cnt + 2);
8731             bp = (STDCHAR*)SvPVX_const(sv) + bpx; /* unbox after relocation */
8732             continue;
8733         }
8734
8735     cannot_be_shortbuffered:
8736         /* we need to refill the read-ahead buffer if possible */
8737
8738         DEBUG_P(PerlIO_printf(Perl_debug_log,
8739                              "Screamer: going to getc, ptr=%" UVuf ", cnt=%" IVdf "\n",
8740                               PTR2UV(ptr),(IV)cnt));
8741         PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt); /* deregisterize cnt and ptr */
8742
8743         DEBUG_Pv(PerlIO_printf(Perl_debug_log,
8744            "Screamer: pre: FILE * thinks ptr=%" UVuf ", cnt=%" IVdf ", base=%" UVuf "\n",
8745             PTR2UV(PerlIO_get_ptr(fp)), (IV)PerlIO_get_cnt(fp),
8746             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
8747
8748         /*
8749             call PerlIO_getc() to let it prefill the lookahead buffer
8750
8751             This used to call 'filbuf' in stdio form, but as that behaves like
8752             getc when cnt <= 0 we use PerlIO_getc here to avoid introducing
8753             another abstraction.
8754
8755             Note we have to deal with the char in 'i' if we are not at EOF
8756         */
8757         i   = PerlIO_getc(fp);          /* get more characters */
8758
8759         DEBUG_Pv(PerlIO_printf(Perl_debug_log,
8760            "Screamer: post: FILE * thinks ptr=%" UVuf ", cnt=%" IVdf ", base=%" UVuf "\n",
8761             PTR2UV(PerlIO_get_ptr(fp)), (IV)PerlIO_get_cnt(fp),
8762             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
8763
8764         /* find out how much is left in the read-ahead buffer, and rextract its pointer */
8765         cnt = PerlIO_get_cnt(fp);
8766         ptr = (STDCHAR*)PerlIO_get_ptr(fp);     /* reregisterize cnt and ptr */
8767         DEBUG_P(PerlIO_printf(Perl_debug_log,
8768             "Screamer: after getc, ptr=%" UVuf ", cnt=%" IVdf "\n",
8769             PTR2UV(ptr),(IV)cnt));
8770
8771         if (i == EOF)                   /* all done for ever? */
8772             goto thats_really_all_folks;
8773
8774         /* make sure we have enough space in the target sv */
8775         bpx = bp - (STDCHAR*)SvPVX_const(sv);   /* box up before relocation */
8776         SvCUR_set(sv, bpx);
8777         SvGROW(sv, bpx + cnt + 2);
8778         bp = (STDCHAR*)SvPVX_const(sv) + bpx;   /* unbox after relocation */
8779
8780         /* copy of the char we got from getc() */
8781         *bp++ = (STDCHAR)i;             /* store character from PerlIO_getc */
8782
8783         /* make sure we deal with the i being the last character of a separator */
8784         if (rslen && (STDCHAR)i == rslast)  /* all done for now? */
8785             goto thats_all_folks;
8786     }
8787
8788   thats_all_folks:
8789     /* check if we have actually found the separator - only really applies
8790      * when rslen > 1 */
8791     if ((rslen > 1 && (STRLEN)(bp - (STDCHAR*)SvPVX_const(sv)) < rslen) ||
8792           memNE((char*)bp - rslen, rsptr, rslen))
8793         goto screamer;                          /* go back to the fray */
8794   thats_really_all_folks:
8795     if (shortbuffered)
8796         cnt += shortbuffered;
8797         DEBUG_P(PerlIO_printf(Perl_debug_log,
8798              "Screamer: quitting, ptr=%" UVuf ", cnt=%" IVdf "\n",PTR2UV(ptr),(IV)cnt));
8799     PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt);  /* put these back or we're in trouble */
8800     DEBUG_P(PerlIO_printf(Perl_debug_log,
8801         "Screamer: end: FILE * thinks ptr=%" UVuf ", cnt=%" IVdf ", base=%" UVuf
8802         "\n",
8803         PTR2UV(PerlIO_get_ptr(fp)), (IV)PerlIO_get_cnt(fp),
8804         PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
8805     *bp = '\0';
8806     SvCUR_set(sv, bp - (STDCHAR*)SvPVX_const(sv));      /* set length */
8807     DEBUG_P(PerlIO_printf(Perl_debug_log,
8808         "Screamer: done, len=%ld, string=|%.*s|\n",
8809         (long)SvCUR(sv),(int)SvCUR(sv),SvPVX_const(sv)));
8810     }
8811    else
8812     {
8813        /*The big, slow, and stupid way. */
8814 #ifdef USE_HEAP_INSTEAD_OF_STACK        /* Even slower way. */
8815         STDCHAR *buf = NULL;
8816         Newx(buf, 8192, STDCHAR);
8817         assert(buf);
8818 #else
8819         STDCHAR buf[8192];
8820 #endif
8821
8822       screamer2:
8823         if (rslen) {
8824             const STDCHAR * const bpe = buf + sizeof(buf);
8825             bp = buf;
8826             while ((i = PerlIO_getc(fp)) != EOF && (*bp++ = (STDCHAR)i) != rslast && bp < bpe)
8827                 ; /* keep reading */
8828             cnt = bp - buf;
8829         }
8830         else {
8831             cnt = PerlIO_read(fp,(char*)buf, sizeof(buf));
8832             /* Accommodate broken VAXC compiler, which applies U8 cast to
8833              * both args of ?: operator, causing EOF to change into 255
8834              */
8835             if (cnt > 0)
8836                  i = (U8)buf[cnt - 1];
8837             else
8838                  i = EOF;
8839         }
8840
8841         if (cnt < 0)
8842             cnt = 0;  /* we do need to re-set the sv even when cnt <= 0 */
8843         if (append)
8844             sv_catpvn_nomg(sv, (char *) buf, cnt);
8845         else
8846             sv_setpvn(sv, (char *) buf, cnt);   /* "nomg" is implied */
8847
8848         if (i != EOF &&                 /* joy */
8849             (!rslen ||
8850              SvCUR(sv) < rslen ||
8851              memNE(SvPVX_const(sv) + SvCUR(sv) - rslen, rsptr, rslen)))
8852         {
8853             append = -1;
8854             /*
8855              * If we're reading from a TTY and we get a short read,
8856              * indicating that the user hit his EOF character, we need
8857              * to notice it now, because if we try to read from the TTY
8858              * again, the EOF condition will disappear.
8859              *
8860              * The comparison of cnt to sizeof(buf) is an optimization
8861              * that prevents unnecessary calls to feof().
8862              *
8863              * - jik 9/25/96
8864              */
8865             if (!(cnt < (I32)sizeof(buf) && PerlIO_eof(fp)))
8866                 goto screamer2;
8867         }
8868
8869 #ifdef USE_HEAP_INSTEAD_OF_STACK
8870         Safefree(buf);
8871 #endif
8872     }
8873
8874     if (rspara) {               /* have to do this both before and after */
8875         while (i != EOF) {      /* to make sure file boundaries work right */
8876             i = PerlIO_getc(fp);
8877             if (i != '\n') {
8878                 PerlIO_ungetc(fp,i);
8879                 break;
8880             }
8881         }
8882     }
8883
8884     return (SvCUR(sv) - append) ? SvPVX(sv) : NULL;
8885 }
8886
8887 /*
8888 =for apidoc sv_inc
8889
8890 Auto-increment of the value in the SV, doing string to numeric conversion
8891 if necessary.  Handles 'get' magic and operator overloading.
8892
8893 =cut
8894 */
8895
8896 void
8897 Perl_sv_inc(pTHX_ SV *const sv)
8898 {
8899     if (!sv)
8900         return;
8901     SvGETMAGIC(sv);
8902     sv_inc_nomg(sv);
8903 }
8904
8905 /*
8906 =for apidoc sv_inc_nomg
8907
8908 Auto-increment of the value in the SV, doing string to numeric conversion
8909 if necessary.  Handles operator overloading.  Skips handling 'get' magic.
8910
8911 =cut
8912 */
8913
8914 void
8915 Perl_sv_inc_nomg(pTHX_ SV *const sv)
8916 {
8917     char *d;
8918     int flags;
8919
8920     if (!sv)
8921         return;
8922     if (SvTHINKFIRST(sv)) {
8923         if (SvREADONLY(sv)) {
8924                 Perl_croak_no_modify();
8925         }
8926         if (SvROK(sv)) {
8927             IV i;
8928             if (SvAMAGIC(sv) && AMG_CALLunary(sv, inc_amg))
8929                 return;
8930             i = PTR2IV(SvRV(sv));
8931             sv_unref(sv);
8932             sv_setiv(sv, i);
8933         }
8934         else sv_force_normal_flags(sv, 0);
8935     }
8936     flags = SvFLAGS(sv);
8937     if ((flags & (SVp_NOK|SVp_IOK)) == SVp_NOK) {
8938         /* It's (privately or publicly) a float, but not tested as an
8939            integer, so test it to see. */
8940         (void) SvIV(sv);
8941         flags = SvFLAGS(sv);
8942     }
8943     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
8944         /* It's publicly an integer, or privately an integer-not-float */
8945 #ifdef PERL_PRESERVE_IVUV
8946       oops_its_int:
8947 #endif
8948         if (SvIsUV(sv)) {
8949             if (SvUVX(sv) == UV_MAX)
8950                 sv_setnv(sv, UV_MAX_P1);
8951             else
8952                 (void)SvIOK_only_UV(sv);
8953                 SvUV_set(sv, SvUVX(sv) + 1);
8954         } else {
8955             if (SvIVX(sv) == IV_MAX)
8956                 sv_setuv(sv, (UV)IV_MAX + 1);
8957             else {
8958                 (void)SvIOK_only(sv);
8959                 SvIV_set(sv, SvIVX(sv) + 1);
8960             }   
8961         }
8962         return;
8963     }
8964     if (flags & SVp_NOK) {
8965         const NV was = SvNVX(sv);
8966         if (LIKELY(!Perl_isinfnan(was)) &&
8967             NV_OVERFLOWS_INTEGERS_AT != 0.0 &&
8968             was >= NV_OVERFLOWS_INTEGERS_AT) {
8969             /* diag_listed_as: Lost precision when %s %f by 1 */
8970             Perl_ck_warner(aTHX_ packWARN(WARN_IMPRECISION),
8971                            "Lost precision when incrementing %" NVff " by 1",
8972                            was);
8973         }
8974         (void)SvNOK_only(sv);
8975         SvNV_set(sv, was + 1.0);
8976         return;
8977     }
8978
8979     /* treat AV/HV/CV/FM/IO and non-fake GVs as immutable */
8980     if (SvTYPE(sv) >= SVt_PVAV || (isGV_with_GP(sv) && !SvFAKE(sv)))
8981         Perl_croak_no_modify();
8982
8983     if (!(flags & SVp_POK) || !*SvPVX_const(sv)) {
8984         if ((flags & SVTYPEMASK) < SVt_PVIV)
8985             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV ? SVt_PVIV : SVt_IV));
8986         (void)SvIOK_only(sv);
8987         SvIV_set(sv, 1);
8988         return;
8989     }
8990     d = SvPVX(sv);
8991     while (isALPHA(*d)) d++;
8992     while (isDIGIT(*d)) d++;
8993     if (d < SvEND(sv)) {
8994         const int numtype = grok_number_flags(SvPVX_const(sv), SvCUR(sv), NULL, PERL_SCAN_TRAILING);
8995 #ifdef PERL_PRESERVE_IVUV
8996         /* Got to punt this as an integer if needs be, but we don't issue
8997            warnings. Probably ought to make the sv_iv_please() that does
8998            the conversion if possible, and silently.  */
8999         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
9000             /* Need to try really hard to see if it's an integer.
9001                9.22337203685478e+18 is an integer.
9002                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
9003                so $a="9.22337203685478e+18"; $a+0; $a++
9004                needs to be the same as $a="9.22337203685478e+18"; $a++
9005                or we go insane. */
9006         
9007             (void) sv_2iv(sv);
9008             if (SvIOK(sv))
9009                 goto oops_its_int;
9010
9011             /* sv_2iv *should* have made this an NV */
9012             if (flags & SVp_NOK) {
9013                 (void)SvNOK_only(sv);
9014                 SvNV_set(sv, SvNVX(sv) + 1.0);
9015                 return;
9016             }
9017             /* I don't think we can get here. Maybe I should assert this
9018                And if we do get here I suspect that sv_setnv will croak. NWC
9019                Fall through. */
9020             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_inc punt failed to convert '%s' to IOK or NOKp, UV=0x%" UVxf " NV=%" NVgf "\n",
9021                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
9022         }
9023 #endif /* PERL_PRESERVE_IVUV */
9024         if (!numtype && ckWARN(WARN_NUMERIC))
9025             not_incrementable(sv);
9026         sv_setnv(sv,Atof(SvPVX_const(sv)) + 1.0);
9027         return;
9028     }
9029     d--;
9030     while (d >= SvPVX_const(sv)) {
9031         if (isDIGIT(*d)) {
9032             if (++*d <= '9')
9033                 return;
9034             *(d--) = '0';
9035         }
9036         else {
9037 #ifdef EBCDIC
9038             /* MKS: The original code here died if letters weren't consecutive.
9039              * at least it didn't have to worry about non-C locales.  The
9040              * new code assumes that ('z'-'a')==('Z'-'A'), letters are
9041              * arranged in order (although not consecutively) and that only
9042              * [A-Za-z] are accepted by isALPHA in the C locale.
9043              */
9044             if (isALPHA_FOLD_NE(*d, 'z')) {
9045                 do { ++*d; } while (!isALPHA(*d));
9046                 return;
9047             }
9048             *(d--) -= 'z' - 'a';
9049 #else
9050             ++*d;
9051             if (isALPHA(*d))
9052                 return;
9053             *(d--) -= 'z' - 'a' + 1;
9054 #endif
9055         }
9056     }
9057     /* oh,oh, the number grew */
9058     SvGROW(sv, SvCUR(sv) + 2);
9059     SvCUR_set(sv, SvCUR(sv) + 1);
9060     for (d = SvPVX(sv) + SvCUR(sv); d > SvPVX_const(sv); d--)
9061         *d = d[-1];
9062     if (isDIGIT(d[1]))
9063         *d = '1';
9064     else
9065         *d = d[1];
9066 }
9067
9068 /*
9069 =for apidoc sv_dec
9070
9071 Auto-decrement of the value in the SV, doing string to numeric conversion
9072 if necessary.  Handles 'get' magic and operator overloading.
9073
9074 =cut
9075 */
9076
9077 void
9078 Perl_sv_dec(pTHX_ SV *const sv)
9079 {
9080     if (!sv)
9081         return;
9082     SvGETMAGIC(sv);
9083     sv_dec_nomg(sv);
9084 }
9085
9086 /*
9087 =for apidoc sv_dec_nomg
9088
9089 Auto-decrement of the value in the SV, doing string to numeric conversion
9090 if necessary.  Handles operator overloading.  Skips handling 'get' magic.
9091
9092 =cut
9093 */
9094
9095 void
9096 Perl_sv_dec_nomg(pTHX_ SV *const sv)
9097 {
9098     int flags;
9099
9100     if (!sv)
9101         return;
9102     if (SvTHINKFIRST(sv)) {
9103         if (SvREADONLY(sv)) {
9104                 Perl_croak_no_modify();
9105         }
9106         if (SvROK(sv)) {
9107             IV i;
9108             if (SvAMAGIC(sv) && AMG_CALLunary(sv, dec_amg))
9109                 return;
9110             i = PTR2IV(SvRV(sv));
9111             sv_unref(sv);
9112             sv_setiv(sv, i);
9113         }
9114         else sv_force_normal_flags(sv, 0);
9115     }
9116     /* Unlike sv_inc we don't have to worry about string-never-numbers
9117        and keeping them magic. But we mustn't warn on punting */
9118     flags = SvFLAGS(sv);
9119     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
9120         /* It's publicly an integer, or privately an integer-not-float */
9121 #ifdef PERL_PRESERVE_IVUV
9122       oops_its_int:
9123 #endif
9124         if (SvIsUV(sv)) {
9125             if (SvUVX(sv) == 0) {
9126                 (void)SvIOK_only(sv);
9127                 SvIV_set(sv, -1);
9128             }
9129             else {
9130                 (void)SvIOK_only_UV(sv);
9131                 SvUV_set(sv, SvUVX(sv) - 1);
9132             }   
9133         } else {
9134             if (SvIVX(sv) == IV_MIN) {
9135                 sv_setnv(sv, (NV)IV_MIN);
9136                 goto oops_its_num;
9137             }
9138             else {
9139                 (void)SvIOK_only(sv);
9140                 SvIV_set(sv, SvIVX(sv) - 1);
9141             }   
9142         }
9143         return;
9144     }
9145     if (flags & SVp_NOK) {
9146     oops_its_num:
9147         {
9148             const NV was = SvNVX(sv);
9149             if (LIKELY(!Perl_isinfnan(was)) &&
9150                 NV_OVERFLOWS_INTEGERS_AT != 0.0 &&
9151                 was <= -NV_OVERFLOWS_INTEGERS_AT) {
9152                 /* diag_listed_as: Lost precision when %s %f by 1 */
9153                 Perl_ck_warner(aTHX_ packWARN(WARN_IMPRECISION),
9154                                "Lost precision when decrementing %" NVff " by 1",
9155                                was);
9156             }
9157             (void)SvNOK_only(sv);
9158             SvNV_set(sv, was - 1.0);
9159             return;
9160         }
9161     }
9162
9163     /* treat AV/HV/CV/FM/IO and non-fake GVs as immutable */
9164     if (SvTYPE(sv) >= SVt_PVAV || (isGV_with_GP(sv) && !SvFAKE(sv)))
9165         Perl_croak_no_modify();
9166
9167     if (!(flags & SVp_POK)) {
9168         if ((flags & SVTYPEMASK) < SVt_PVIV)
9169             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV) ? SVt_PVIV : SVt_IV);
9170         SvIV_set(sv, -1);
9171         (void)SvIOK_only(sv);
9172         return;
9173     }
9174 #ifdef PERL_PRESERVE_IVUV
9175     {
9176         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), NULL);
9177         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
9178             /* Need to try really hard to see if it's an integer.
9179                9.22337203685478e+18 is an integer.
9180                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
9181                so $a="9.22337203685478e+18"; $a+0; $a--
9182                needs to be the same as $a="9.22337203685478e+18"; $a--
9183                or we go insane. */
9184         
9185             (void) sv_2iv(sv);
9186             if (SvIOK(sv))
9187                 goto oops_its_int;
9188
9189             /* sv_2iv *should* have made this an NV */
9190             if (flags & SVp_NOK) {
9191                 (void)SvNOK_only(sv);
9192                 SvNV_set(sv, SvNVX(sv) - 1.0);
9193                 return;
9194             }
9195             /* I don't think we can get here. Maybe I should assert this
9196                And if we do get here I suspect that sv_setnv will croak. NWC
9197                Fall through. */
9198             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_dec punt failed to convert '%s' to IOK or NOKp, UV=0x%" UVxf " NV=%" NVgf "\n",
9199                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
9200         }
9201     }
9202 #endif /* PERL_PRESERVE_IVUV */
9203     sv_setnv(sv,Atof(SvPVX_const(sv)) - 1.0);   /* punt */
9204 }
9205
9206 /* this define is used to eliminate a chunk of duplicated but shared logic
9207  * it has the suffix __SV_C to signal that it isnt API, and isnt meant to be
9208  * used anywhere but here - yves
9209  */
9210 #define PUSH_EXTEND_MORTAL__SV_C(AnSv) \
9211     STMT_START {      \
9212         SSize_t ix = ++PL_tmps_ix;              \
9213         if (UNLIKELY(ix >= PL_tmps_max))        \
9214             ix = tmps_grow_p(ix);                       \
9215         PL_tmps_stack[ix] = (AnSv); \
9216     } STMT_END
9217
9218 /*
9219 =for apidoc sv_mortalcopy
9220
9221 Creates a new SV which is a copy of the original SV (using C<sv_setsv>).
9222 The new SV is marked as mortal.  It will be destroyed "soon", either by an
9223 explicit call to C<FREETMPS>, or by an implicit call at places such as
9224 statement boundaries.  See also C<L</sv_newmortal>> and C<L</sv_2mortal>>.
9225
9226 =cut
9227 */
9228
9229 /* Make a string that will exist for the duration of the expression
9230  * evaluation.  Actually, it may have to last longer than that, but
9231  * hopefully we won't free it until it has been assigned to a
9232  * permanent location. */
9233
9234 SV *
9235 Perl_sv_mortalcopy_flags(pTHX_ SV *const oldstr, U32 flags)
9236 {
9237     SV *sv;
9238
9239     if (flags & SV_GMAGIC)
9240         SvGETMAGIC(oldstr); /* before new_SV, in case it dies */
9241     new_SV(sv);
9242     sv_setsv_flags(sv,oldstr,flags & ~SV_GMAGIC);
9243     PUSH_EXTEND_MORTAL__SV_C(sv);
9244     SvTEMP_on(sv);
9245     return sv;
9246 }
9247
9248 /*
9249 =for apidoc sv_newmortal
9250
9251 Creates a new null SV which is mortal.  The reference count of the SV is
9252 set to 1.  It will be destroyed "soon", either by an explicit call to
9253 C<FREETMPS>, or by an implicit call at places such as statement boundaries.
9254 See also C<L</sv_mortalcopy>> and C<L</sv_2mortal>>.
9255
9256 =cut
9257 */
9258
9259 SV *
9260 Perl_sv_newmortal(pTHX)
9261 {
9262     SV *sv;
9263
9264     new_SV(sv);
9265     SvFLAGS(sv) = SVs_TEMP;
9266     PUSH_EXTEND_MORTAL__SV_C(sv);
9267     return sv;
9268 }
9269
9270
9271 /*
9272 =for apidoc newSVpvn_flags
9273
9274 Creates a new SV and copies a string (which may contain C<NUL> (C<\0>)
9275 characters) into it.  The reference count for the
9276 SV is set to 1.  Note that if C<len> is zero, Perl will create a zero length
9277 string.  You are responsible for ensuring that the source string is at least
9278 C<len> bytes long.  If the C<s> argument is NULL the new SV will be undefined.
9279 Currently the only flag bits accepted are C<SVf_UTF8> and C<SVs_TEMP>.
9280 If C<SVs_TEMP> is set, then C<sv_2mortal()> is called on the result before
9281 returning.  If C<SVf_UTF8> is set, C<s>
9282 is considered to be in UTF-8 and the
9283 C<SVf_UTF8> flag will be set on the new SV.
9284 C<newSVpvn_utf8()> is a convenience wrapper for this function, defined as
9285
9286     #define newSVpvn_utf8(s, len, u)                    \
9287         newSVpvn_flags((s), (len), (u) ? SVf_UTF8 : 0)
9288
9289 =cut
9290 */
9291
9292 SV *
9293 Perl_newSVpvn_flags(pTHX_ const char *const s, const STRLEN len, const U32 flags)
9294 {
9295     SV *sv;
9296
9297     /* All the flags we don't support must be zero.
9298        And we're new code so I'm going to assert this from the start.  */
9299     assert(!(flags & ~(SVf_UTF8|SVs_TEMP)));
9300     new_SV(sv);
9301     sv_setpvn(sv,s,len);
9302
9303     /* This code used to do a sv_2mortal(), however we now unroll the call to
9304      * sv_2mortal() and do what it does ourselves here.  Since we have asserted
9305      * that flags can only have the SVf_UTF8 and/or SVs_TEMP flags set above we
9306      * can use it to enable the sv flags directly (bypassing SvTEMP_on), which
9307      * in turn means we dont need to mask out the SVf_UTF8 flag below, which
9308      * means that we eliminate quite a few steps than it looks - Yves
9309      * (explaining patch by gfx) */
9310
9311     SvFLAGS(sv) |= flags;
9312
9313     if(flags & SVs_TEMP){
9314         PUSH_EXTEND_MORTAL__SV_C(sv);
9315     }
9316
9317     return sv;
9318 }
9319
9320 /*
9321 =for apidoc sv_2mortal
9322
9323 Marks an existing SV as mortal.  The SV will be destroyed "soon", either
9324 by an explicit call to C<FREETMPS>, or by an implicit call at places such as
9325 statement boundaries.  C<SvTEMP()> is turned on which means that the SV's
9326 string buffer can be "stolen" if this SV is copied.  See also
9327 C<L</sv_newmortal>> and C<L</sv_mortalcopy>>.
9328
9329 =cut
9330 */
9331
9332 SV *
9333 Perl_sv_2mortal(pTHX_ SV *const sv)
9334 {
9335     dVAR;
9336     if (!sv)
9337         return sv;
9338     if (SvIMMORTAL(sv))
9339         return sv;
9340     PUSH_EXTEND_MORTAL__SV_C(sv);
9341     SvTEMP_on(sv);
9342     return sv;
9343 }
9344
9345 /*
9346 =for apidoc newSVpv
9347
9348 Creates a new SV and copies a string (which may contain C<NUL> (C<\0>)
9349 characters) into it.  The reference count for the
9350 SV is set to 1.  If C<len> is zero, Perl will compute the length using
9351 C<strlen()>, (which means if you use this option, that C<s> can't have embedded
9352 C<NUL> characters and has to have a terminating C<NUL> byte).
9353
9354 This function can cause reliability issues if you are likely to pass in
9355 empty strings that are not null terminated, because it will run
9356 strlen on the string and potentially run past valid memory.
9357
9358 Using L</newSVpvn> is a safer alternative for non C<NUL> terminated strings.
9359 For string literals use L</newSVpvs> instead.  This function will work fine for
9360 C<NUL> terminated strings, but if you want to avoid the if statement on whether
9361 to call C<strlen> use C<newSVpvn> instead (calling C<strlen> yourself).
9362
9363 =cut
9364 */
9365
9366 SV *
9367 Perl_newSVpv(pTHX_ const char *const s, const STRLEN len)
9368 {
9369     SV *sv;
9370
9371     new_SV(sv);
9372     sv_setpvn(sv, s, len || s == NULL ? len : strlen(s));
9373     return sv;
9374 }
9375
9376 /*
9377 =for apidoc newSVpvn
9378
9379 Creates a new SV and copies a string into it, which may contain C<NUL> characters
9380 (C<\0>) and other binary data.  The reference count for the SV is set to 1.
9381 Note that if C<len> is zero, Perl will create a zero length (Perl) string.  You
9382 are responsible for ensuring that the source buffer is at least
9383 C<len> bytes long.  If the C<buffer> argument is NULL the new SV will be
9384 undefined.
9385
9386 =cut
9387 */
9388
9389 SV *
9390 Perl_newSVpvn(pTHX_ const char *const buffer, const STRLEN len)
9391 {
9392     SV *sv;
9393     new_SV(sv);
9394     sv_setpvn(sv,buffer,len);
9395     return sv;
9396 }
9397
9398 /*
9399 =for apidoc newSVhek
9400
9401 Creates a new SV from the hash key structure.  It will generate scalars that
9402 point to the shared string table where possible.  Returns a new (undefined)
9403 SV if C<hek> is NULL.
9404
9405 =cut
9406 */
9407
9408 SV *
9409 Perl_newSVhek(pTHX_ const HEK *const hek)
9410 {
9411     if (!hek) {
9412         SV *sv;
9413
9414         new_SV(sv);
9415         return sv;
9416     }
9417
9418     if (HEK_LEN(hek) == HEf_SVKEY) {
9419         return newSVsv(*(SV**)HEK_KEY(hek));
9420     } else {
9421         const int flags = HEK_FLAGS(hek);
9422         if (flags & HVhek_WASUTF8) {
9423             /* Trouble :-)
9424                Andreas would like keys he put in as utf8 to come back as utf8
9425             */
9426             STRLEN utf8_len = HEK_LEN(hek);
9427             SV * const sv = newSV_type(SVt_PV);
9428             char *as_utf8 = (char *)bytes_to_utf8 ((U8*)HEK_KEY(hek), &utf8_len);
9429             /* bytes_to_utf8() allocates a new string, which we can repurpose: */
9430             sv_usepvn_flags(sv, as_utf8, utf8_len, SV_HAS_TRAILING_NUL);
9431             SvUTF8_on (sv);
9432             return sv;
9433         } else if (flags & HVhek_UNSHARED) {
9434             /* A hash that isn't using shared hash keys has to have
9435                the flag in every key so that we know not to try to call
9436                share_hek_hek on it.  */
9437
9438             SV * const sv = newSVpvn (HEK_KEY(hek), HEK_LEN(hek));
9439             if (HEK_UTF8(hek))
9440                 SvUTF8_on (sv);
9441             return sv;
9442         }
9443         /* This will be overwhelminly the most common case.  */
9444         {
9445             /* Inline most of newSVpvn_share(), because share_hek_hek() is far
9446                more efficient than sharepvn().  */
9447             SV *sv;
9448
9449             new_SV(sv);
9450             sv_upgrade(sv, SVt_PV);
9451             SvPV_set(sv, (char *)HEK_KEY(share_hek_hek(hek)));
9452             SvCUR_set(sv, HEK_LEN(hek));
9453             SvLEN_set(sv, 0);
9454             SvIsCOW_on(sv);
9455             SvPOK_on(sv);
9456             if (HEK_UTF8(hek))
9457                 SvUTF8_on(sv);
9458             return sv;
9459         }
9460     }
9461 }
9462
9463 /*
9464 =for apidoc newSVpvn_share
9465
9466 Creates a new SV with its C<SvPVX_const> pointing to a shared string in the string
9467 table.  If the string does not already exist in the table, it is
9468 created first.  Turns on the C<SvIsCOW> flag (or C<READONLY>
9469 and C<FAKE> in 5.16 and earlier).  If the C<hash> parameter
9470 is non-zero, that value is used; otherwise the hash is computed.
9471 The string's hash can later be retrieved from the SV
9472 with the C<SvSHARED_HASH()> macro.  The idea here is
9473 that as the string table is used for shared hash keys these strings will have
9474 C<SvPVX_const == HeKEY> and hash lookup will avoid string compare.
9475
9476 =cut
9477 */
9478
9479 SV *
9480 Perl_newSVpvn_share(pTHX_ const char *src, I32 len, U32 hash)
9481 {
9482     dVAR;
9483     SV *sv;
9484     bool is_utf8 = FALSE;
9485     const char *const orig_src = src;
9486
9487     if (len < 0) {
9488         STRLEN tmplen = -len;
9489         is_utf8 = TRUE;
9490         /* See the note in hv.c:hv_fetch() --jhi */
9491         src = (char*)bytes_from_utf8((const U8*)src, &tmplen, &is_utf8);
9492         len = tmplen;
9493     }
9494     if (!hash)
9495         PERL_HASH(hash, src, len);
9496     new_SV(sv);
9497     /* The logic for this is inlined in S_mro_get_linear_isa_dfs(), so if it
9498        changes here, update it there too.  */
9499     sv_upgrade(sv, SVt_PV);
9500     SvPV_set(sv, sharepvn(src, is_utf8?-len:len, hash));
9501     SvCUR_set(sv, len);
9502     SvLEN_set(sv, 0);
9503     SvIsCOW_on(sv);
9504     SvPOK_on(sv);
9505     if (is_utf8)
9506         SvUTF8_on(sv);
9507     if (src != orig_src)
9508         Safefree(src);
9509     return sv;
9510 }
9511
9512 /*
9513 =for apidoc newSVpv_share
9514
9515 Like C<newSVpvn_share>, but takes a C<NUL>-terminated string instead of a
9516 string/length pair.
9517
9518 =cut
9519 */
9520
9521 SV *
9522 Perl_newSVpv_share(pTHX_ const char *src, U32 hash)
9523 {
9524     return newSVpvn_share(src, strlen(src), hash);
9525 }
9526
9527 #if defined(PERL_IMPLICIT_CONTEXT)
9528
9529 /* pTHX_ magic can't cope with varargs, so this is a no-context
9530  * version of the main function, (which may itself be aliased to us).
9531  * Don't access this version directly.
9532  */
9533
9534 SV *
9535 Perl_newSVpvf_nocontext(const char *const pat, ...)
9536 {
9537     dTHX;
9538     SV *sv;
9539     va_list args;
9540
9541     PERL_ARGS_ASSERT_NEWSVPVF_NOCONTEXT;
9542
9543     va_start(args, pat);
9544     sv = vnewSVpvf(pat, &args);
9545     va_end(args);
9546     return sv;
9547 }
9548 #endif
9549
9550 /*
9551 =for apidoc newSVpvf
9552
9553 Creates a new SV and initializes it with the string formatted like
9554 C<sv_catpvf>.
9555
9556 =cut
9557 */
9558
9559 SV *
9560 Perl_newSVpvf(pTHX_ const char *const pat, ...)
9561 {
9562     SV *sv;
9563     va_list args;
9564
9565     PERL_ARGS_ASSERT_NEWSVPVF;
9566
9567     va_start(args, pat);
9568     sv = vnewSVpvf(pat, &args);
9569     va_end(args);
9570     return sv;
9571 }
9572
9573 /* backend for newSVpvf() and newSVpvf_nocontext() */
9574
9575 SV *
9576 Perl_vnewSVpvf(pTHX_ const char *const pat, va_list *const args)
9577 {
9578     SV *sv;
9579
9580     PERL_ARGS_ASSERT_VNEWSVPVF;
9581
9582     new_SV(sv);
9583     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
9584     return sv;
9585 }
9586
9587 /*
9588 =for apidoc newSVnv
9589
9590 Creates a new SV and copies a floating point value into it.
9591 The reference count for the SV is set to 1.
9592
9593 =cut
9594 */
9595
9596 SV *
9597 Perl_newSVnv(pTHX_ const NV n)
9598 {
9599     SV *sv;
9600
9601     new_SV(sv);
9602     sv_setnv(sv,n);
9603     return sv;
9604 }
9605
9606 /*
9607 =for apidoc newSViv
9608
9609 Creates a new SV and copies an integer into it.  The reference count for the
9610 SV is set to 1.
9611
9612 =cut
9613 */
9614
9615 SV *
9616 Perl_newSViv(pTHX_ const IV i)
9617 {
9618     SV *sv;
9619
9620     new_SV(sv);
9621
9622     /* Inlining ONLY the small relevant subset of sv_setiv here
9623      * for performance. Makes a significant difference. */
9624
9625     /* We're starting from SVt_FIRST, so provided that's
9626      * actual 0, we don't have to unset any SV type flags
9627      * to promote to SVt_IV. */
9628     STATIC_ASSERT_STMT(SVt_FIRST == 0);
9629
9630     SET_SVANY_FOR_BODYLESS_IV(sv);
9631     SvFLAGS(sv) |= SVt_IV;
9632     (void)SvIOK_on(sv);
9633
9634     SvIV_set(sv, i);
9635     SvTAINT(sv);
9636
9637     return sv;
9638 }
9639
9640 /*
9641 =for apidoc newSVuv
9642
9643 Creates a new SV and copies an unsigned integer into it.
9644 The reference count for the SV is set to 1.
9645
9646 =cut
9647 */
9648
9649 SV *
9650 Perl_newSVuv(pTHX_ const UV u)
9651 {
9652     SV *sv;
9653
9654     /* Inlining ONLY the small relevant subset of sv_setuv here
9655      * for performance. Makes a significant difference. */
9656
9657     /* Using ivs is more efficient than using uvs - see sv_setuv */
9658     if (u <= (UV)IV_MAX) {
9659         return newSViv((IV)u);
9660     }
9661
9662     new_SV(sv);
9663
9664     /* We're starting from SVt_FIRST, so provided that's
9665      * actual 0, we don't have to unset any SV type flags
9666      * to promote to SVt_IV. */
9667     STATIC_ASSERT_STMT(SVt_FIRST == 0);
9668
9669     SET_SVANY_FOR_BODYLESS_IV(sv);
9670     SvFLAGS(sv) |= SVt_IV;
9671     (void)SvIOK_on(sv);
9672     (void)SvIsUV_on(sv);
9673
9674     SvUV_set(sv, u);
9675     SvTAINT(sv);
9676
9677     return sv;
9678 }
9679
9680 /*
9681 =for apidoc newSV_type
9682
9683 Creates a new SV, of the type specified.  The reference count for the new SV
9684 is set to 1.
9685
9686 =cut
9687 */
9688
9689 SV *
9690 Perl_newSV_type(pTHX_ const svtype type)
9691 {
9692     SV *sv;
9693
9694     new_SV(sv);
9695     ASSUME(SvTYPE(sv) == SVt_FIRST);
9696     if(type != SVt_FIRST)
9697         sv_upgrade(sv, type);
9698     return sv;
9699 }
9700
9701 /*
9702 =for apidoc newRV_noinc
9703
9704 Creates an RV wrapper for an SV.  The reference count for the original
9705 SV is B<not> incremented.
9706
9707 =cut
9708 */
9709
9710 SV *
9711 Perl_newRV_noinc(pTHX_ SV *const tmpRef)
9712 {
9713     SV *sv;
9714
9715     PERL_ARGS_ASSERT_NEWRV_NOINC;
9716
9717     new_SV(sv);
9718
9719     /* We're starting from SVt_FIRST, so provided that's
9720      * actual 0, we don't have to unset any SV type flags
9721      * to promote to SVt_IV. */
9722     STATIC_ASSERT_STMT(SVt_FIRST == 0);
9723
9724     SET_SVANY_FOR_BODYLESS_IV(sv);
9725     SvFLAGS(sv) |= SVt_IV;
9726     SvROK_on(sv);
9727     SvIV_set(sv, 0);
9728
9729     SvTEMP_off(tmpRef);
9730     SvRV_set(sv, tmpRef);
9731
9732     return sv;
9733 }
9734
9735 /* newRV_inc is the official function name to use now.
9736  * newRV_inc is in fact #defined to newRV in sv.h
9737  */
9738
9739 SV *
9740 Perl_newRV(pTHX_ SV *const sv)
9741 {
9742     PERL_ARGS_ASSERT_NEWRV;
9743
9744     return newRV_noinc(SvREFCNT_inc_simple_NN(sv));
9745 }
9746
9747 /*
9748 =for apidoc newSVsv
9749
9750 Creates a new SV which is an exact duplicate of the original SV.
9751 (Uses C<sv_setsv>.)
9752
9753 =for apidoc newSVsv_nomg
9754
9755 Like C<newSVsv> but does not process get magic.
9756
9757 =cut
9758 */
9759
9760 SV *
9761 Perl_newSVsv_flags(pTHX_ SV *const old, I32 flags)
9762 {
9763     SV *sv;
9764
9765     if (!old)
9766         return NULL;
9767     if (SvTYPE(old) == (svtype)SVTYPEMASK) {
9768         Perl_ck_warner_d(aTHX_ packWARN(WARN_INTERNAL), "semi-panic: attempt to dup freed string");
9769         return NULL;
9770     }
9771     /* Do this here, otherwise we leak the new SV if this croaks. */
9772     if (flags & SV_GMAGIC)
9773         SvGETMAGIC(old);
9774     new_SV(sv);
9775     sv_setsv_flags(sv, old, flags & ~SV_GMAGIC);
9776     return sv;
9777 }
9778
9779 /*
9780 =for apidoc sv_reset
9781
9782 Underlying implementation for the C<reset> Perl function.
9783 Note that the perl-level function is vaguely deprecated.
9784
9785 =cut
9786 */
9787
9788 void
9789 Perl_sv_reset(pTHX_ const char *s, HV *const stash)
9790 {
9791     PERL_ARGS_ASSERT_SV_RESET;
9792
9793     sv_resetpvn(*s ? s : NULL, strlen(s), stash);
9794 }
9795
9796 void
9797 Perl_sv_resetpvn(pTHX_ const char *s, STRLEN len, HV * const stash)
9798 {
9799     char todo[PERL_UCHAR_MAX+1];
9800     const char *send;
9801
9802     if (!stash || SvTYPE(stash) != SVt_PVHV)
9803         return;
9804
9805     if (!s) {           /* reset ?? searches */
9806         MAGIC * const mg = mg_find((const SV *)stash, PERL_MAGIC_symtab);
9807         if (mg) {
9808             const U32 count = mg->mg_len / sizeof(PMOP**);
9809             PMOP **pmp = (PMOP**) mg->mg_ptr;
9810             PMOP *const *const end = pmp + count;
9811
9812             while (pmp < end) {
9813 #ifdef USE_ITHREADS
9814                 SvREADONLY_off(PL_regex_pad[(*pmp)->op_pmoffset]);
9815 #else
9816                 (*pmp)->op_pmflags &= ~PMf_USED;
9817 #endif
9818                 ++pmp;
9819             }
9820         }
9821         return;
9822     }
9823
9824     /* reset variables */
9825
9826     if (!HvARRAY(stash))
9827         return;
9828
9829     Zero(todo, 256, char);
9830     send = s + len;
9831     while (s < send) {
9832         I32 max;
9833         I32 i = (unsigned char)*s;
9834         if (s[1] == '-') {
9835             s += 2;
9836         }
9837         max = (unsigned char)*s++;
9838         for ( ; i <= max; i++) {
9839             todo[i] = 1;
9840         }
9841         for (i = 0; i <= (I32) HvMAX(stash); i++) {
9842             HE *entry;
9843             for (entry = HvARRAY(stash)[i];
9844                  entry;
9845                  entry = HeNEXT(entry))
9846             {
9847                 GV *gv;
9848                 SV *sv;
9849
9850                 if (!todo[(U8)*HeKEY(entry)])
9851                     continue;
9852                 gv = MUTABLE_GV(HeVAL(entry));
9853                 if (!isGV(gv))
9854                     continue;
9855                 sv = GvSV(gv);
9856                 if (sv && !SvREADONLY(sv)) {
9857                     SV_CHECK_THINKFIRST_COW_DROP(sv);
9858                     if (!isGV(sv)) SvOK_off(sv);
9859                 }
9860                 if (GvAV(gv)) {
9861                     av_clear(GvAV(gv));
9862                 }
9863                 if (GvHV(gv) && !HvNAME_get(GvHV(gv))) {
9864                     hv_clear(GvHV(gv));
9865                 }
9866             }
9867         }
9868     }
9869 }
9870
9871 /*
9872 =for apidoc sv_2io
9873
9874 Using various gambits, try to get an IO from an SV: the IO slot if its a
9875 GV; or the recursive result if we're an RV; or the IO slot of the symbol
9876 named after the PV if we're a string.
9877
9878 'Get' magic is ignored on the C<sv> passed in, but will be called on
9879 C<SvRV(sv)> if C<sv> is an RV.
9880
9881 =cut
9882 */
9883
9884 IO*
9885 Perl_sv_2io(pTHX_ SV *const sv)
9886 {
9887     IO* io;
9888     GV* gv;
9889
9890     PERL_ARGS_ASSERT_SV_2IO;
9891
9892     switch (SvTYPE(sv)) {
9893     case SVt_PVIO:
9894         io = MUTABLE_IO(sv);
9895         break;
9896     case SVt_PVGV:
9897     case SVt_PVLV:
9898         if (isGV_with_GP(sv)) {
9899             gv = MUTABLE_GV(sv);
9900             io = GvIO(gv);
9901             if (!io)
9902                 Perl_croak(aTHX_ "Bad filehandle: %" HEKf,
9903                                     HEKfARG(GvNAME_HEK(gv)));
9904             break;
9905         }
9906         /* FALLTHROUGH */
9907     default:
9908         if (!SvOK(sv))
9909             Perl_croak(aTHX_ PL_no_usym, "filehandle");
9910         if (SvROK(sv)) {
9911             SvGETMAGIC(SvRV(sv));
9912             return sv_2io(SvRV(sv));
9913         }
9914         gv = gv_fetchsv_nomg(sv, 0, SVt_PVIO);
9915         if (gv)
9916             io = GvIO(gv);
9917         else
9918             io = 0;
9919         if (!io) {
9920             SV *newsv = sv;
9921             if (SvGMAGICAL(sv)) {
9922                 newsv = sv_newmortal();
9923                 sv_setsv_nomg(newsv, sv);
9924             }
9925             Perl_croak(aTHX_ "Bad filehandle: %" SVf, SVfARG(newsv));
9926         }
9927         break;
9928     }
9929     return io;
9930 }
9931
9932 /*
9933 =for apidoc sv_2cv
9934
9935 Using various gambits, try to get a CV from an SV; in addition, try if
9936 possible to set C<*st> and C<*gvp> to the stash and GV associated with it.
9937 The flags in C<lref> are passed to C<gv_fetchsv>.
9938
9939 =cut
9940 */
9941
9942 CV *
9943 Perl_sv_2cv(pTHX_ SV *sv, HV **const st, GV **const gvp, const I32 lref)
9944 {
9945     GV *gv = NULL;
9946     CV *cv = NULL;
9947
9948     PERL_ARGS_ASSERT_SV_2CV;
9949
9950     if (!sv) {
9951         *st = NULL;
9952         *gvp = NULL;
9953         return NULL;
9954     }
9955     switch (SvTYPE(sv)) {
9956     case SVt_PVCV:
9957         *st = CvSTASH(sv);
9958         *gvp = NULL;
9959         return MUTABLE_CV(sv);
9960     case SVt_PVHV:
9961     case SVt_PVAV:
9962         *st = NULL;
9963         *gvp = NULL;
9964         return NULL;
9965     default:
9966         SvGETMAGIC(sv);
9967         if (SvROK(sv)) {
9968             if (SvAMAGIC(sv))
9969                 sv = amagic_deref_call(sv, to_cv_amg);
9970
9971             sv = SvRV(sv);
9972             if (SvTYPE(sv) == SVt_PVCV) {
9973                 cv = MUTABLE_CV(sv);
9974                 *gvp = NULL;
9975                 *st = CvSTASH(cv);
9976                 return cv;
9977             }
9978             else if(SvGETMAGIC(sv), isGV_with_GP(sv))
9979                 gv = MUTABLE_GV(sv);
9980             else
9981                 Perl_croak(aTHX_ "Not a subroutine reference");
9982         }
9983         else if (isGV_with_GP(sv)) {
9984             gv = MUTABLE_GV(sv);
9985         }
9986         else {
9987             gv = gv_fetchsv_nomg(sv, lref, SVt_PVCV);
9988         }
9989         *gvp = gv;
9990         if (!gv) {
9991             *st = NULL;
9992             return NULL;
9993         }
9994         /* Some flags to gv_fetchsv mean don't really create the GV  */
9995         if (!isGV_with_GP(gv)) {
9996             *st = NULL;
9997             return NULL;
9998         }
9999         *st = GvESTASH(gv);
10000         if (lref & ~GV_ADDMG && !GvCVu(gv)) {
10001             /* XXX this is probably not what they think they're getting.
10002              * It has the same effect as "sub name;", i.e. just a forward
10003              * declaration! */
10004             newSTUB(gv,0);
10005         }
10006         return GvCVu(gv);
10007     }
10008 }
10009
10010 /*
10011 =for apidoc sv_true
10012
10013 Returns true if the SV has a true value by Perl's rules.
10014 Use the C<SvTRUE> macro instead, which may call C<sv_true()> or may
10015 instead use an in-line version.
10016
10017 =cut
10018 */
10019
10020 I32
10021 Perl_sv_true(pTHX_ SV *const sv)
10022 {
10023     if (!sv)
10024         return 0;
10025     if (SvPOK(sv)) {
10026         const XPV* const tXpv = (XPV*)SvANY(sv);
10027         if (tXpv &&
10028                 (tXpv->xpv_cur > 1 ||
10029                 (tXpv->xpv_cur && *sv->sv_u.svu_pv != '0')))
10030             return 1;
10031         else
10032             return 0;
10033     }
10034     else {
10035         if (SvIOK(sv))
10036             return SvIVX(sv) != 0;
10037         else {
10038             if (SvNOK(sv))
10039                 return SvNVX(sv) != 0.0;
10040             else
10041                 return sv_2bool(sv);
10042         }
10043     }
10044 }
10045
10046 /*
10047 =for apidoc sv_pvn_force
10048
10049 Get a sensible string out of the SV somehow.
10050 A private implementation of the C<SvPV_force> macro for compilers which
10051 can't cope with complex macro expressions.  Always use the macro instead.
10052
10053 =for apidoc sv_pvn_force_flags
10054
10055 Get a sensible string out of the SV somehow.
10056 If C<flags> has the C<SV_GMAGIC> bit set, will C<mg_get> on C<sv> if
10057 appropriate, else not.  C<sv_pvn_force> and C<sv_pvn_force_nomg> are
10058 implemented in terms of this function.
10059 You normally want to use the various wrapper macros instead: see
10060 C<L</SvPV_force>> and C<L</SvPV_force_nomg>>.
10061
10062 =cut
10063 */
10064
10065 char *
10066 Perl_sv_pvn_force_flags(pTHX_ SV *const sv, STRLEN *const lp, const I32 flags)
10067 {
10068     PERL_ARGS_ASSERT_SV_PVN_FORCE_FLAGS;
10069
10070     if (flags & SV_GMAGIC) SvGETMAGIC(sv);
10071     if (SvTHINKFIRST(sv) && (!SvROK(sv) || SvREADONLY(sv)))
10072         sv_force_normal_flags(sv, 0);
10073
10074     if (SvPOK(sv)) {
10075         if (lp)
10076             *lp = SvCUR(sv);
10077     }
10078     else {
10079         char *s;
10080         STRLEN len;
10081  
10082         if (SvTYPE(sv) > SVt_PVLV
10083             || isGV_with_GP(sv))
10084             /* diag_listed_as: Can't coerce %s to %s in %s */
10085             Perl_croak(aTHX_ "Can't coerce %s to string in %s", sv_reftype(sv,0),
10086                 OP_DESC(PL_op));
10087         s = sv_2pv_flags(sv, &len, flags &~ SV_GMAGIC);
10088         if (!s) {
10089           s = (char *)"";
10090         }
10091         if (lp)
10092             *lp = len;
10093
10094         if (SvTYPE(sv) < SVt_PV ||
10095             s != SvPVX_const(sv)) {     /* Almost, but not quite, sv_setpvn() */
10096             if (SvROK(sv))
10097                 sv_unref(sv);
10098             SvUPGRADE(sv, SVt_PV);              /* Never FALSE */
10099             SvGROW(sv, len + 1);
10100             Move(s,SvPVX(sv),len,char);
10101             SvCUR_set(sv, len);
10102             SvPVX(sv)[len] = '\0';
10103         }
10104         if (!SvPOK(sv)) {
10105             SvPOK_on(sv);               /* validate pointer */
10106             SvTAINT(sv);
10107             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%" UVxf " 2pv(%s)\n",
10108                                   PTR2UV(sv),SvPVX_const(sv)));
10109         }
10110     }
10111     (void)SvPOK_only_UTF8(sv);
10112     return SvPVX_mutable(sv);
10113 }
10114
10115 /*
10116 =for apidoc sv_pvbyten_force
10117
10118 The backend for the C<SvPVbytex_force> macro.  Always use the macro
10119 instead.
10120
10121 =cut
10122 */
10123
10124 char *
10125 Perl_sv_pvbyten_force(pTHX_ SV *const sv, STRLEN *const lp)
10126 {
10127     PERL_ARGS_ASSERT_SV_PVBYTEN_FORCE;
10128
10129     sv_pvn_force(sv,lp);
10130     sv_utf8_downgrade(sv,0);
10131     *lp = SvCUR(sv);
10132     return SvPVX(sv);
10133 }
10134
10135 /*
10136 =for apidoc sv_pvutf8n_force
10137
10138 The backend for the C<SvPVutf8x_force> macro.  Always use the macro
10139 instead.
10140
10141 =cut
10142 */
10143
10144 char *
10145 Perl_sv_pvutf8n_force(pTHX_ SV *const sv, STRLEN *const lp)
10146 {
10147     PERL_ARGS_ASSERT_SV_PVUTF8N_FORCE;
10148
10149     sv_pvn_force(sv,0);
10150     sv_utf8_upgrade_nomg(sv);
10151     *lp = SvCUR(sv);
10152     return SvPVX(sv);
10153 }
10154
10155 /*
10156 =for apidoc sv_reftype
10157
10158 Returns a string describing what the SV is a reference to.
10159
10160 If ob is true and the SV is blessed, the string is the class name,
10161 otherwise it is the type of the SV, "SCALAR", "ARRAY" etc.
10162
10163 =cut
10164 */
10165
10166 const char *
10167 Perl_sv_reftype(pTHX_ const SV *const sv, const int ob)
10168 {
10169     PERL_ARGS_ASSERT_SV_REFTYPE;
10170     if (ob && SvOBJECT(sv)) {
10171         return SvPV_nolen_const(sv_ref(NULL, sv, ob));
10172     }
10173     else {
10174         /* WARNING - There is code, for instance in mg.c, that assumes that
10175          * the only reason that sv_reftype(sv,0) would return a string starting
10176          * with 'L' or 'S' is that it is a LVALUE or a SCALAR.
10177          * Yes this a dodgy way to do type checking, but it saves practically reimplementing
10178          * this routine inside other subs, and it saves time.
10179          * Do not change this assumption without searching for "dodgy type check" in
10180          * the code.
10181          * - Yves */
10182         switch (SvTYPE(sv)) {
10183         case SVt_NULL:
10184         case SVt_IV:
10185         case SVt_NV:
10186         case SVt_PV:
10187         case SVt_PVIV:
10188         case SVt_PVNV:
10189         case SVt_PVMG:
10190                                 if (SvVOK(sv))
10191                                     return "VSTRING";
10192                                 if (SvROK(sv))
10193                                     return "REF";
10194                                 else
10195                                     return "SCALAR";
10196
10197         case SVt_PVLV:          return (char *)  (SvROK(sv) ? "REF"
10198                                 /* tied lvalues should appear to be
10199                                  * scalars for backwards compatibility */
10200                                 : (isALPHA_FOLD_EQ(LvTYPE(sv), 't'))
10201                                     ? "SCALAR" : "LVALUE");
10202         case SVt_PVAV:          return "ARRAY";
10203         case SVt_PVHV:          return "HASH";
10204         case SVt_PVCV:          return "CODE";
10205         case SVt_PVGV:          return (char *) (isGV_with_GP(sv)
10206                                     ? "GLOB" : "SCALAR");
10207         case SVt_PVFM:          return "FORMAT";
10208         case SVt_PVIO:          return "IO";
10209         case SVt_INVLIST:       return "INVLIST";
10210         case SVt_REGEXP:        return "REGEXP";
10211         default:                return "UNKNOWN";
10212         }
10213     }
10214 }
10215
10216 /*
10217 =for apidoc sv_ref
10218
10219 Returns a SV describing what the SV passed in is a reference to.
10220
10221 dst can be a SV to be set to the description or NULL, in which case a
10222 mortal SV is returned.
10223
10224 If ob is true and the SV is blessed, the description is the class
10225 name, otherwise it is the type of the SV, "SCALAR", "ARRAY" etc.
10226
10227 =cut
10228 */
10229
10230 SV *
10231 Perl_sv_ref(pTHX_ SV *dst, const SV *const sv, const int ob)
10232 {
10233     PERL_ARGS_ASSERT_SV_REF;
10234
10235     if (!dst)
10236         dst = sv_newmortal();
10237
10238     if (ob && SvOBJECT(sv)) {
10239         HvNAME_get(SvSTASH(sv))
10240                     ? sv_sethek(dst, HvNAME_HEK(SvSTASH(sv)))
10241                     : sv_setpvs(dst, "__ANON__");
10242     }
10243     else {
10244         const char * reftype = sv_reftype(sv, 0);
10245         sv_setpv(dst, reftype);
10246     }
10247     return dst;
10248 }
10249
10250 /*
10251 =for apidoc sv_isobject
10252
10253 Returns a boolean indicating whether the SV is an RV pointing to a blessed
10254 object.  If the SV is not an RV, or if the object is not blessed, then this
10255 will return false.
10256
10257 =cut
10258 */
10259
10260 int
10261 Perl_sv_isobject(pTHX_ SV *sv)
10262 {
10263     if (!sv)
10264         return 0;
10265     SvGETMAGIC(sv);
10266     if (!SvROK(sv))
10267         return 0;
10268     sv = SvRV(sv);
10269     if (!SvOBJECT(sv))
10270         return 0;
10271     return 1;
10272 }
10273
10274 /*
10275 =for apidoc sv_isa
10276
10277 Returns a boolean indicating whether the SV is blessed into the specified
10278 class.  This does not check for subtypes; use C<sv_derived_from> to verify
10279 an inheritance relationship.
10280
10281 =cut
10282 */
10283
10284 int
10285 Perl_sv_isa(pTHX_ SV *sv, const char *const name)
10286 {
10287     const char *hvname;
10288
10289     PERL_ARGS_ASSERT_SV_ISA;
10290
10291     if (!sv)
10292         return 0;
10293     SvGETMAGIC(sv);
10294     if (!SvROK(sv))
10295         return 0;
10296     sv = SvRV(sv);
10297     if (!SvOBJECT(sv))
10298         return 0;
10299     hvname = HvNAME_get(SvSTASH(sv));
10300     if (!hvname)
10301         return 0;
10302
10303     return strEQ(hvname, name);
10304 }
10305
10306 /*
10307 =for apidoc newSVrv
10308
10309 Creates a new SV for the existing RV, C<rv>, to point to.  If C<rv> is not an
10310 RV then it will be upgraded to one.  If C<classname> is non-null then the new
10311 SV will be blessed in the specified package.  The new SV is returned and its
10312 reference count is 1.  The reference count 1 is owned by C<rv>.
10313
10314 =cut
10315 */
10316
10317 SV*
10318 Perl_newSVrv(pTHX_ SV *const rv, const char *const classname)
10319 {
10320     SV *sv;
10321
10322     PERL_ARGS_ASSERT_NEWSVRV;
10323
10324     new_SV(sv);
10325
10326     SV_CHECK_THINKFIRST_COW_DROP(rv);
10327
10328     if (UNLIKELY( SvTYPE(rv) >= SVt_PVMG )) {
10329         const U32 refcnt = SvREFCNT(rv);
10330         SvREFCNT(rv) = 0;
10331         sv_clear(rv);
10332         SvFLAGS(rv) = 0;
10333         SvREFCNT(rv) = refcnt;
10334
10335         sv_upgrade(rv, SVt_IV);
10336     } else if (SvROK(rv)) {
10337         SvREFCNT_dec(SvRV(rv));
10338     } else {
10339         prepare_SV_for_RV(rv);
10340     }
10341
10342     SvOK_off(rv);
10343     SvRV_set(rv, sv);
10344     SvROK_on(rv);
10345
10346     if (classname) {
10347         HV* const stash = gv_stashpv(classname, GV_ADD);
10348         (void)sv_bless(rv, stash);
10349     }
10350     return sv;
10351 }
10352
10353 SV *
10354 Perl_newSVavdefelem(pTHX_ AV *av, SSize_t ix, bool extendible)
10355 {
10356     SV * const lv = newSV_type(SVt_PVLV);
10357     PERL_ARGS_ASSERT_NEWSVAVDEFELEM;
10358     LvTYPE(lv) = 'y';
10359     sv_magic(lv, NULL, PERL_MAGIC_defelem, NULL, 0);
10360     LvTARG(lv) = SvREFCNT_inc_simple_NN(av);
10361     LvSTARGOFF(lv) = ix;
10362     LvTARGLEN(lv) = extendible ? 1 : (STRLEN)UV_MAX;
10363     return lv;
10364 }
10365
10366 /*
10367 =for apidoc sv_setref_pv
10368
10369 Copies a pointer into a new SV, optionally blessing the SV.  The C<rv>
10370 argument will be upgraded to an RV.  That RV will be modified to point to
10371 the new SV.  If the C<pv> argument is C<NULL>, then C<PL_sv_undef> will be placed
10372 into the SV.  The C<classname> argument indicates the package for the
10373 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
10374 will have a reference count of 1, and the RV will be returned.
10375
10376 Do not use with other Perl types such as HV, AV, SV, CV, because those
10377 objects will become corrupted by the pointer copy process.
10378
10379 Note that C<sv_setref_pvn> copies the string while this copies the pointer.
10380
10381 =cut
10382 */
10383
10384 SV*
10385 Perl_sv_setref_pv(pTHX_ SV *const rv, const char *const classname, void *const pv)
10386 {
10387     PERL_ARGS_ASSERT_SV_SETREF_PV;
10388
10389     if (!pv) {
10390         sv_set_undef(rv);
10391         SvSETMAGIC(rv);
10392     }
10393     else
10394         sv_setiv(newSVrv(rv,classname), PTR2IV(pv));
10395     return rv;
10396 }
10397
10398 /*
10399 =for apidoc sv_setref_iv
10400
10401 Copies an integer into a new SV, optionally blessing the SV.  The C<rv>
10402 argument will be upgraded to an RV.  That RV will be modified to point to
10403 the new SV.  The C<classname> argument indicates the package for the
10404 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
10405 will have a reference count of 1, and the RV will be returned.
10406
10407 =cut
10408 */
10409
10410 SV*
10411 Perl_sv_setref_iv(pTHX_ SV *const rv, const char *const classname, const IV iv)
10412 {
10413     PERL_ARGS_ASSERT_SV_SETREF_IV;
10414
10415     sv_setiv(newSVrv(rv,classname), iv);
10416     return rv;
10417 }
10418
10419 /*
10420 =for apidoc sv_setref_uv
10421
10422 Copies an unsigned integer into a new SV, optionally blessing the SV.  The C<rv>
10423 argument will be upgraded to an RV.  That RV will be modified to point to
10424 the new SV.  The C<classname> argument indicates the package for the
10425 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
10426 will have a reference count of 1, and the RV will be returned.
10427
10428 =cut
10429 */
10430
10431 SV*
10432 Perl_sv_setref_uv(pTHX_ SV *const rv, const char *const classname, const UV uv)
10433 {
10434     PERL_ARGS_ASSERT_SV_SETREF_UV;
10435
10436     sv_setuv(newSVrv(rv,classname), uv);
10437     return rv;
10438 }
10439
10440 /*
10441 =for apidoc sv_setref_nv
10442
10443 Copies a double into a new SV, optionally blessing the SV.  The C<rv>
10444 argument will be upgraded to an RV.  That RV will be modified to point to
10445 the new SV.  The C<classname> argument indicates the package for the
10446 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
10447 will have a reference count of 1, and the RV will be returned.
10448
10449 =cut
10450 */
10451
10452 SV*
10453 Perl_sv_setref_nv(pTHX_ SV *const rv, const char *const classname, const NV nv)
10454 {
10455     PERL_ARGS_ASSERT_SV_SETREF_NV;
10456
10457     sv_setnv(newSVrv(rv,classname), nv);
10458     return rv;
10459 }
10460
10461 /*
10462 =for apidoc sv_setref_pvn
10463
10464 Copies a string into a new SV, optionally blessing the SV.  The length of the
10465 string must be specified with C<n>.  The C<rv> argument will be upgraded to
10466 an RV.  That RV will be modified to point to the new SV.  The C<classname>
10467 argument indicates the package for the blessing.  Set C<classname> to
10468 C<NULL> to avoid the blessing.  The new SV will have a reference count
10469 of 1, and the RV will be returned.
10470
10471 Note that C<sv_setref_pv> copies the pointer while this copies the string.
10472
10473 =cut
10474 */
10475
10476 SV*
10477 Perl_sv_setref_pvn(pTHX_ SV *const rv, const char *const classname,
10478                    const char *const pv, const STRLEN n)
10479 {
10480     PERL_ARGS_ASSERT_SV_SETREF_PVN;
10481
10482     sv_setpvn(newSVrv(rv,classname), pv, n);
10483     return rv;
10484 }
10485
10486 /*
10487 =for apidoc sv_bless
10488
10489 Blesses an SV into a specified package.  The SV must be an RV.  The package
10490 must be designated by its stash (see C<L</gv_stashpv>>).  The reference count
10491 of the SV is unaffected.
10492
10493 =cut
10494 */
10495
10496 SV*
10497 Perl_sv_bless(pTHX_ SV *const sv, HV *const stash)
10498 {
10499     SV *tmpRef;
10500     HV *oldstash = NULL;
10501
10502     PERL_ARGS_ASSERT_SV_BLESS;
10503
10504     SvGETMAGIC(sv);
10505     if (!SvROK(sv))
10506         Perl_croak(aTHX_ "Can't bless non-reference value");
10507     tmpRef = SvRV(sv);
10508     if (SvFLAGS(tmpRef) & (SVs_OBJECT|SVf_READONLY|SVf_PROTECT)) {
10509         if (SvREADONLY(tmpRef))
10510             Perl_croak_no_modify();
10511         if (SvOBJECT(tmpRef)) {
10512             oldstash = SvSTASH(tmpRef);
10513         }
10514     }
10515     SvOBJECT_on(tmpRef);
10516     SvUPGRADE(tmpRef, SVt_PVMG);
10517     SvSTASH_set(tmpRef, MUTABLE_HV(SvREFCNT_inc_simple(stash)));
10518     SvREFCNT_dec(oldstash);
10519
10520     if(SvSMAGICAL(tmpRef))
10521         if(mg_find(tmpRef, PERL_MAGIC_ext) || mg_find(tmpRef, PERL_MAGIC_uvar))
10522             mg_set(tmpRef);
10523
10524
10525
10526     return sv;
10527 }
10528
10529 /* Downgrades a PVGV to a PVMG. If it's actually a PVLV, we leave the type
10530  * as it is after unglobbing it.
10531  */
10532
10533 PERL_STATIC_INLINE void
10534 S_sv_unglob(pTHX_ SV *const sv, U32 flags)
10535 {
10536     void *xpvmg;
10537     HV *stash;
10538     SV * const temp = flags & SV_COW_DROP_PV ? NULL : sv_newmortal();
10539
10540     PERL_ARGS_ASSERT_SV_UNGLOB;
10541
10542     assert(SvTYPE(sv) == SVt_PVGV || SvTYPE(sv) == SVt_PVLV);
10543     SvFAKE_off(sv);
10544     if (!(flags & SV_COW_DROP_PV))
10545         gv_efullname3(temp, MUTABLE_GV(sv), "*");
10546
10547     SvREFCNT_inc_simple_void_NN(sv_2mortal(sv));
10548     if (GvGP(sv)) {
10549         if(GvCVu((const GV *)sv) && (stash = GvSTASH(MUTABLE_GV(sv)))
10550            && HvNAME_get(stash))
10551             mro_method_changed_in(stash);
10552         gp_free(MUTABLE_GV(sv));
10553     }
10554     if (GvSTASH(sv)) {
10555         sv_del_backref(MUTABLE_SV(GvSTASH(sv)), sv);
10556         GvSTASH(sv) = NULL;
10557     }
10558     GvMULTI_off(sv);
10559     if (GvNAME_HEK(sv)) {
10560         unshare_hek(GvNAME_HEK(sv));
10561     }
10562     isGV_with_GP_off(sv);
10563
10564     if(SvTYPE(sv) == SVt_PVGV) {
10565         /* need to keep SvANY(sv) in the right arena */
10566         xpvmg = new_XPVMG();
10567         StructCopy(SvANY(sv), xpvmg, XPVMG);
10568         del_XPVGV(SvANY(sv));
10569         SvANY(sv) = xpvmg;
10570
10571         SvFLAGS(sv) &= ~SVTYPEMASK;
10572         SvFLAGS(sv) |= SVt_PVMG;
10573     }
10574
10575     /* Intentionally not calling any local SET magic, as this isn't so much a
10576        set operation as merely an internal storage change.  */
10577     if (flags & SV_COW_DROP_PV) SvOK_off(sv);
10578     else sv_setsv_flags(sv, temp, 0);
10579
10580     if ((const GV *)sv == PL_last_in_gv)
10581         PL_last_in_gv = NULL;
10582     else if ((const GV *)sv == PL_statgv)
10583         PL_statgv = NULL;
10584 }
10585
10586 /*
10587 =for apidoc sv_unref_flags
10588
10589 Unsets the RV status of the SV, and decrements the reference count of
10590 whatever was being referenced by the RV.  This can almost be thought of
10591 as a reversal of C<newSVrv>.  The C<cflags> argument can contain
10592 C<SV_IMMEDIATE_UNREF> to force the reference count to be decremented
10593 (otherwise the decrementing is conditional on the reference count being
10594 different from one or the reference being a readonly SV).
10595 See C<L</SvROK_off>>.
10596
10597 =cut
10598 */
10599
10600 void
10601 Perl_sv_unref_flags(pTHX_ SV *const ref, const U32 flags)
10602 {
10603     SV* const target = SvRV(ref);
10604
10605     PERL_ARGS_ASSERT_SV_UNREF_FLAGS;
10606
10607     if (SvWEAKREF(ref)) {
10608         sv_del_backref(target, ref);
10609         SvWEAKREF_off(ref);
10610         SvRV_set(ref, NULL);
10611         return;
10612     }
10613     SvRV_set(ref, NULL);
10614     SvROK_off(ref);
10615     /* You can't have a || SvREADONLY(target) here, as $a = $$a, where $a was
10616        assigned to as BEGIN {$a = \"Foo"} will fail.  */
10617     if (SvREFCNT(target) != 1 || (flags & SV_IMMEDIATE_UNREF))
10618         SvREFCNT_dec_NN(target);
10619     else /* XXX Hack, but hard to make $a=$a->[1] work otherwise */
10620         sv_2mortal(target);     /* Schedule for freeing later */
10621 }
10622
10623 /*
10624 =for apidoc sv_untaint
10625
10626 Untaint an SV.  Use C<SvTAINTED_off> instead.
10627
10628 =cut
10629 */
10630
10631 void
10632 Perl_sv_untaint(pTHX_ SV *const sv)
10633 {
10634     PERL_ARGS_ASSERT_SV_UNTAINT;
10635     PERL_UNUSED_CONTEXT;
10636
10637     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
10638         MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
10639         if (mg)
10640             mg->mg_len &= ~1;
10641     }
10642 }
10643
10644 /*
10645 =for apidoc sv_tainted
10646
10647 Test an SV for taintedness.  Use C<SvTAINTED> instead.
10648
10649 =cut
10650 */
10651
10652 bool
10653 Perl_sv_tainted(pTHX_ SV *const sv)
10654 {
10655     PERL_ARGS_ASSERT_SV_TAINTED;
10656     PERL_UNUSED_CONTEXT;
10657
10658     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
10659         const MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
10660         if (mg && (mg->mg_len & 1) )
10661             return TRUE;
10662     }
10663     return FALSE;
10664 }
10665
10666 #ifndef NO_MATHOMS  /* Can't move these to mathoms.c because call uiv_2buf(),
10667                        private to this file */
10668
10669 /*
10670 =for apidoc sv_setpviv
10671
10672 Copies an integer into the given SV, also updating its string value.
10673 Does not handle 'set' magic.  See C<L</sv_setpviv_mg>>.
10674
10675 =cut
10676 */
10677
10678 void
10679 Perl_sv_setpviv(pTHX_ SV *const sv, const IV iv)
10680 {
10681     /* The purpose of this union is to ensure that arr is aligned on
10682        a 2 byte boundary, because that is what uiv_2buf() requires */
10683     union {
10684         char arr[TYPE_CHARS(UV)];
10685         U16 dummy;
10686     } buf;
10687     char *ebuf;
10688     char * const ptr = uiv_2buf(buf.arr, iv, 0, 0, &ebuf);
10689
10690     PERL_ARGS_ASSERT_SV_SETPVIV;
10691
10692     sv_setpvn(sv, ptr, ebuf - ptr);
10693 }
10694
10695 /*
10696 =for apidoc sv_setpviv_mg
10697
10698 Like C<sv_setpviv>, but also handles 'set' magic.
10699
10700 =cut
10701 */
10702
10703 void
10704 Perl_sv_setpviv_mg(pTHX_ SV *const sv, const IV iv)
10705 {
10706     PERL_ARGS_ASSERT_SV_SETPVIV_MG;
10707
10708     sv_setpviv(sv, iv);
10709     SvSETMAGIC(sv);
10710 }
10711
10712 #endif  /* NO_MATHOMS */
10713
10714 #if defined(PERL_IMPLICIT_CONTEXT)
10715
10716 /* pTHX_ magic can't cope with varargs, so this is a no-context
10717  * version of the main function, (which may itself be aliased to us).
10718  * Don't access this version directly.
10719  */
10720
10721 void
10722 Perl_sv_setpvf_nocontext(SV *const sv, const char *const pat, ...)
10723 {
10724     dTHX;
10725     va_list args;
10726
10727     PERL_ARGS_ASSERT_SV_SETPVF_NOCONTEXT;
10728
10729     va_start(args, pat);
10730     sv_vsetpvf(sv, pat, &args);
10731     va_end(args);
10732 }
10733
10734 /* pTHX_ magic can't cope with varargs, so this is a no-context
10735  * version of the main function, (which may itself be aliased to us).
10736  * Don't access this version directly.
10737  */
10738
10739 void
10740 Perl_sv_setpvf_mg_nocontext(SV *const sv, const char *const pat, ...)
10741 {
10742     dTHX;
10743     va_list args;
10744
10745     PERL_ARGS_ASSERT_SV_SETPVF_MG_NOCONTEXT;
10746
10747     va_start(args, pat);
10748     sv_vsetpvf_mg(sv, pat, &args);
10749     va_end(args);
10750 }
10751 #endif
10752
10753 /*
10754 =for apidoc sv_setpvf
10755
10756 Works like C<sv_catpvf> but copies the text into the SV instead of
10757 appending it.  Does not handle 'set' magic.  See C<L</sv_setpvf_mg>>.
10758
10759 =cut
10760 */
10761
10762 void
10763 Perl_sv_setpvf(pTHX_ SV *const sv, const char *const pat, ...)
10764 {
10765     va_list args;
10766
10767     PERL_ARGS_ASSERT_SV_SETPVF;
10768
10769     va_start(args, pat);
10770     sv_vsetpvf(sv, pat, &args);
10771     va_end(args);
10772 }
10773
10774 /*
10775 =for apidoc sv_vsetpvf
10776
10777 Works like C<sv_vcatpvf> but copies the text into the SV instead of
10778 appending it.  Does not handle 'set' magic.  See C<L</sv_vsetpvf_mg>>.
10779
10780 Usually used via its frontend C<sv_setpvf>.
10781
10782 =cut
10783 */
10784
10785 void
10786 Perl_sv_vsetpvf(pTHX_ SV *const sv, const char *const pat, va_list *const args)
10787 {
10788     PERL_ARGS_ASSERT_SV_VSETPVF;
10789
10790     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
10791 }
10792
10793 /*
10794 =for apidoc sv_setpvf_mg
10795
10796 Like C<sv_setpvf>, but also handles 'set' magic.
10797
10798 =cut
10799 */
10800
10801 void
10802 Perl_sv_setpvf_mg(pTHX_ SV *const sv, const char *const pat, ...)
10803 {
10804     va_list args;
10805
10806     PERL_ARGS_ASSERT_SV_SETPVF_MG;
10807
10808     va_start(args, pat);
10809     sv_vsetpvf_mg(sv, pat, &args);
10810     va_end(args);
10811 }
10812
10813 /*
10814 =for apidoc sv_vsetpvf_mg
10815
10816 Like C<sv_vsetpvf>, but also handles 'set' magic.
10817
10818 Usually used via its frontend C<sv_setpvf_mg>.
10819
10820 =cut
10821 */
10822
10823 void
10824 Perl_sv_vsetpvf_mg(pTHX_ SV *const sv, const char *const pat, va_list *const args)
10825 {
10826     PERL_ARGS_ASSERT_SV_VSETPVF_MG;
10827
10828     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
10829     SvSETMAGIC(sv);
10830 }
10831
10832 #if defined(PERL_IMPLICIT_CONTEXT)
10833
10834 /* pTHX_ magic can't cope with varargs, so this is a no-context
10835  * version of the main function, (which may itself be aliased to us).
10836  * Don't access this version directly.
10837  */
10838
10839 void
10840 Perl_sv_catpvf_nocontext(SV *const sv, const char *const pat, ...)
10841 {
10842     dTHX;
10843     va_list args;
10844
10845     PERL_ARGS_ASSERT_SV_CATPVF_NOCONTEXT;
10846
10847     va_start(args, pat);
10848     sv_vcatpvfn_flags(sv, pat, strlen(pat), &args, NULL, 0, NULL, SV_GMAGIC|SV_SMAGIC);
10849     va_end(args);
10850 }
10851
10852 /* pTHX_ magic can't cope with varargs, so this is a no-context
10853  * version of the main function, (which may itself be aliased to us).
10854  * Don't access this version directly.
10855  */
10856
10857 void
10858 Perl_sv_catpvf_mg_nocontext(SV *const sv, const char *const pat, ...)
10859 {
10860     dTHX;
10861     va_list args;
10862
10863     PERL_ARGS_ASSERT_SV_CATPVF_MG_NOCONTEXT;
10864
10865     va_start(args, pat);
10866     sv_vcatpvfn_flags(sv, pat, strlen(pat), &args, NULL, 0, NULL, SV_GMAGIC|SV_SMAGIC);
10867     SvSETMAGIC(sv);
10868     va_end(args);
10869 }
10870 #endif
10871
10872 /*
10873 =for apidoc sv_catpvf
10874
10875 Processes its arguments like C<sprintf>, and appends the formatted
10876 output to an SV.  As with C<sv_vcatpvfn> called with a non-null C-style
10877 variable argument list, argument reordering is not supported.
10878 If the appended data contains "wide" characters
10879 (including, but not limited to, SVs with a UTF-8 PV formatted with C<%s>,
10880 and characters >255 formatted with C<%c>), the original SV might get
10881 upgraded to UTF-8.  Handles 'get' magic, but not 'set' magic.  See
10882 C<L</sv_catpvf_mg>>.  If the original SV was UTF-8, the pattern should be
10883 valid UTF-8; if the original SV was bytes, the pattern should be too.
10884
10885 =cut */
10886
10887 void
10888 Perl_sv_catpvf(pTHX_ SV *const sv, const char *const pat, ...)
10889 {
10890     va_list args;
10891
10892     PERL_ARGS_ASSERT_SV_CATPVF;
10893
10894     va_start(args, pat);
10895     sv_vcatpvfn_flags(sv, pat, strlen(pat), &args, NULL, 0, NULL, SV_GMAGIC|SV_SMAGIC);
10896     va_end(args);
10897 }
10898
10899 /*
10900 =for apidoc sv_vcatpvf
10901
10902 Processes its arguments like C<sv_vcatpvfn> called with a non-null C-style
10903 variable argument list, and appends the formatted output
10904 to an SV.  Does not handle 'set' magic.  See C<L</sv_vcatpvf_mg>>.
10905
10906 Usually used via its frontend C<sv_catpvf>.
10907
10908 =cut
10909 */
10910
10911 void
10912 Perl_sv_vcatpvf(pTHX_ SV *const sv, const char *const pat, va_list *const args)
10913 {
10914     PERL_ARGS_ASSERT_SV_VCATPVF;
10915
10916     sv_vcatpvfn_flags(sv, pat, strlen(pat), args, NULL, 0, NULL, SV_GMAGIC|SV_SMAGIC);
10917 }
10918
10919 /*
10920 =for apidoc sv_catpvf_mg
10921
10922 Like C<sv_catpvf>, but also handles 'set' magic.
10923
10924 =cut
10925 */
10926
10927 void
10928 Perl_sv_catpvf_mg(pTHX_ SV *const sv, const char *const pat, ...)
10929 {
10930     va_list args;
10931
10932     PERL_ARGS_ASSERT_SV_CATPVF_MG;
10933
10934     va_start(args, pat);
10935     sv_vcatpvfn_flags(sv, pat, strlen(pat), &args, NULL, 0, NULL, SV_GMAGIC|SV_SMAGIC);
10936     SvSETMAGIC(sv);
10937     va_end(args);
10938 }
10939
10940 /*
10941 =for apidoc sv_vcatpvf_mg
10942
10943 Like C<sv_vcatpvf>, but also handles 'set' magic.
10944
10945 Usually used via its frontend C<sv_catpvf_mg>.
10946
10947 =cut
10948 */
10949
10950 void
10951 Perl_sv_vcatpvf_mg(pTHX_ SV *const sv, const char *const pat, va_list *const args)
10952 {
10953     PERL_ARGS_ASSERT_SV_VCATPVF_MG;
10954
10955     sv_vcatpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
10956     SvSETMAGIC(sv);
10957 }
10958
10959 /*
10960 =for apidoc sv_vsetpvfn
10961
10962 Works like C<sv_vcatpvfn> but copies the text into the SV instead of
10963 appending it.
10964
10965 Usually used via one of its frontends C<sv_vsetpvf> and C<sv_vsetpvf_mg>.
10966
10967 =cut
10968 */
10969
10970 void
10971 Perl_sv_vsetpvfn(pTHX_ SV *const sv, const char *const pat, const STRLEN patlen,
10972                  va_list *const args, SV **const svargs, const Size_t sv_count, bool *const maybe_tainted)
10973 {
10974     PERL_ARGS_ASSERT_SV_VSETPVFN;
10975
10976     SvPVCLEAR(sv);
10977     sv_vcatpvfn_flags(sv, pat, patlen, args, svargs, sv_count, maybe_tainted, 0);
10978 }
10979
10980
10981 /* simplified inline Perl_sv_catpvn_nomg() when you know the SV's SvPOK */
10982
10983 PERL_STATIC_INLINE void
10984 S_sv_catpvn_simple(pTHX_ SV *const sv, const char* const buf, const STRLEN len)
10985 {
10986     STRLEN const need = len + SvCUR(sv) + 1;
10987     char *end;
10988
10989     /* can't wrap as both len and SvCUR() are allocated in
10990      * memory and together can't consume all the address space
10991      */
10992     assert(need > len);
10993
10994     assert(SvPOK(sv));
10995     SvGROW(sv, need);
10996     end = SvEND(sv);
10997     Copy(buf, end, len, char);
10998     end += len;
10999     *end = '\0';
11000     SvCUR_set(sv, need - 1);
11001 }
11002
11003
11004 /*
11005  * Warn of missing argument to sprintf. The value used in place of such
11006  * arguments should be &PL_sv_no; an undefined value would yield
11007  * inappropriate "use of uninit" warnings [perl #71000].
11008  */
11009 STATIC void
11010 S_warn_vcatpvfn_missing_argument(pTHX) {
11011     if (ckWARN(WARN_MISSING)) {
11012         Perl_warner(aTHX_ packWARN(WARN_MISSING), "Missing argument in %s",
11013                 PL_op ? OP_DESC(PL_op) : "sv_vcatpvfn()");
11014     }
11015 }
11016
11017
11018 static void
11019 S_croak_overflow()
11020 {
11021     dTHX;
11022     Perl_croak(aTHX_ "Integer overflow in format string for %s",
11023                     (PL_op ? OP_DESC(PL_op) : "sv_vcatpvfn"));
11024 }
11025
11026
11027 /* Given an int i from the next arg (if args is true) or an sv from an arg
11028  * (if args is false), try to extract a STRLEN-ranged value from the arg,
11029  * with overflow checking.
11030  * Sets *neg to true if the value was negative (untouched otherwise.
11031  * Returns the absolute value.
11032  * As an extra margin of safety, it croaks if the returned value would
11033  * exceed the maximum value of a STRLEN / 4.
11034  */
11035
11036 static STRLEN
11037 S_sprintf_arg_num_val(pTHX_ va_list *const args, int i, SV *sv, bool *neg)
11038 {
11039     IV iv;
11040
11041     if (args) {
11042         iv = i;
11043         goto do_iv;
11044     }
11045
11046     if (!sv)
11047         return 0;
11048
11049     SvGETMAGIC(sv);
11050
11051     if (UNLIKELY(SvIsUV(sv))) {
11052         UV uv = SvUV_nomg(sv);
11053         if (uv > IV_MAX)
11054             S_croak_overflow();
11055         iv = uv;
11056     }
11057     else {
11058         iv = SvIV_nomg(sv);
11059       do_iv:
11060         if (iv < 0) {
11061             if (iv < -IV_MAX)
11062                 S_croak_overflow();
11063             iv = -iv;
11064             *neg = TRUE;
11065         }
11066     }
11067
11068     if (iv > (IV)(((STRLEN)~0) / 4))
11069         S_croak_overflow();
11070
11071     return (STRLEN)iv;
11072 }
11073
11074 /* Read in and return a number. Updates *pattern to point to the char
11075  * following the number. Expects the first char to 1..9.
11076  * Croaks if the number exceeds 1/4 of the maximum value of STRLEN.
11077  * This is a belt-and-braces safety measure to complement any
11078  * overflow/wrap checks done in the main body of sv_vcatpvfn_flags.
11079  * It means that e.g. on a 32-bit system the width/precision can't be more
11080  * than 1G, which seems reasonable.
11081  */
11082
11083 STATIC STRLEN
11084 S_expect_number(pTHX_ const char **const pattern)
11085 {
11086     STRLEN var;
11087
11088     PERL_ARGS_ASSERT_EXPECT_NUMBER;
11089
11090     assert(inRANGE(**pattern, '1', '9'));
11091
11092     var = *(*pattern)++ - '0';
11093     while (isDIGIT(**pattern)) {
11094         /* if var * 10 + 9 would exceed 1/4 max strlen, croak */
11095         if (var > ((((STRLEN)~0) / 4 - 9) / 10))
11096             S_croak_overflow();
11097         var = var * 10 + (*(*pattern)++ - '0');
11098     }
11099     return var;
11100 }
11101
11102 /* Implement a fast "%.0f": given a pointer to the end of a buffer (caller
11103  * ensures it's big enough), back fill it with the rounded integer part of
11104  * nv. Returns ptr to start of string, and sets *len to its length.
11105  * Returns NULL if not convertible.
11106  */
11107
11108 STATIC char *
11109 S_F0convert(NV nv, char *const endbuf, STRLEN *const len)
11110 {
11111     const int neg = nv < 0;
11112     UV uv;
11113
11114     PERL_ARGS_ASSERT_F0CONVERT;
11115
11116     assert(!Perl_isinfnan(nv));
11117     if (neg)
11118         nv = -nv;
11119     if (nv != 0.0 && nv < UV_MAX) {
11120         char *p = endbuf;
11121         uv = (UV)nv;
11122         if (uv != nv) {
11123             nv += 0.5;
11124             uv = (UV)nv;
11125             if (uv & 1 && uv == nv)
11126                 uv--;                   /* Round to even */
11127         }
11128         do {
11129             const unsigned dig = uv % 10;
11130             *--p = '0' + dig;
11131         } while (uv /= 10);
11132         if (neg)
11133             *--p = '-';
11134         *len = endbuf - p;
11135         return p;
11136     }
11137     return NULL;
11138 }
11139
11140
11141 /* XXX maybe_tainted is never assigned to, so the doc above is lying. */
11142
11143 void
11144 Perl_sv_vcatpvfn(pTHX_ SV *const sv, const char *const pat, const STRLEN patlen,
11145                  va_list *const args, SV **const svargs, const Size_t sv_count, bool *const maybe_tainted)
11146 {
11147     PERL_ARGS_ASSERT_SV_VCATPVFN;
11148
11149     sv_vcatpvfn_flags(sv, pat, patlen, args, svargs, sv_count, maybe_tainted, SV_GMAGIC|SV_SMAGIC);
11150 }
11151
11152
11153 /* For the vcatpvfn code, we need a long double target in case
11154  * HAS_LONG_DOUBLE, even without USE_LONG_DOUBLE, so that we can printf
11155  * with long double formats, even without NV being long double.  But we
11156  * call the target 'fv' instead of 'nv', since most of the time it is not
11157  * (most compilers these days recognize "long double", even if only as a
11158  * synonym for "double").
11159 */
11160 #if defined(HAS_LONG_DOUBLE) && LONG_DOUBLESIZE > DOUBLESIZE && \
11161         defined(PERL_PRIgldbl) && !defined(USE_QUADMATH)
11162 #  define VCATPVFN_FV_GF PERL_PRIgldbl
11163 #  if defined(__VMS) && defined(__ia64) && defined(__IEEE_FLOAT)
11164        /* Work around breakage in OTS$CVT_FLOAT_T_X */
11165 #    define VCATPVFN_NV_TO_FV(nv,fv)                    \
11166             STMT_START {                                \
11167                 double _dv = nv;                        \
11168                 fv = Perl_isnan(_dv) ? LDBL_QNAN : _dv; \
11169             } STMT_END
11170 #  else
11171 #    define VCATPVFN_NV_TO_FV(nv,fv) (fv)=(nv)
11172 #  endif
11173    typedef long double vcatpvfn_long_double_t;
11174 #else
11175 #  define VCATPVFN_FV_GF NVgf
11176 #  define VCATPVFN_NV_TO_FV(nv,fv) (fv)=(nv)
11177    typedef NV vcatpvfn_long_double_t;
11178 #endif
11179
11180 #ifdef LONGDOUBLE_DOUBLEDOUBLE
11181 /* The first double can be as large as 2**1023, or '1' x '0' x 1023.
11182  * The second double can be as small as 2**-1074, or '0' x 1073 . '1'.
11183  * The sum of them can be '1' . '0' x 2096 . '1', with implied radix point
11184  * after the first 1023 zero bits.
11185  *
11186  * XXX The 2098 is quite large (262.25 bytes) and therefore some sort
11187  * of dynamically growing buffer might be better, start at just 16 bytes
11188  * (for example) and grow only when necessary.  Or maybe just by looking
11189  * at the exponents of the two doubles? */
11190 #  define DOUBLEDOUBLE_MAXBITS 2098
11191 #endif
11192
11193 /* vhex will contain the values (0..15) of the hex digits ("nybbles"
11194  * of 4 bits); 1 for the implicit 1, and the mantissa bits, four bits
11195  * per xdigit.  For the double-double case, this can be rather many.
11196  * The non-double-double-long-double overshoots since all bits of NV
11197  * are not mantissa bits, there are also exponent bits. */
11198 #ifdef LONGDOUBLE_DOUBLEDOUBLE
11199 #  define VHEX_SIZE (3+DOUBLEDOUBLE_MAXBITS/4)
11200 #else
11201 #  define VHEX_SIZE (1+(NVSIZE * 8)/4)
11202 #endif
11203
11204 /* If we do not have a known long double format, (including not using
11205  * long doubles, or long doubles being equal to doubles) then we will
11206  * fall back to the ldexp/frexp route, with which we can retrieve at
11207  * most as many bits as our widest unsigned integer type is.  We try
11208  * to get a 64-bit unsigned integer even if we are not using a 64-bit UV.
11209  *
11210  * (If you want to test the case of UVSIZE == 4, NVSIZE == 8,
11211  *  set the MANTISSATYPE to int and the MANTISSASIZE to 4.)
11212  */
11213 #if defined(HAS_QUAD) && defined(Uquad_t)
11214 #  define MANTISSATYPE Uquad_t
11215 #  define MANTISSASIZE 8
11216 #else
11217 #  define MANTISSATYPE UV
11218 #  define MANTISSASIZE UVSIZE
11219 #endif
11220
11221 #if defined(DOUBLE_LITTLE_ENDIAN) || defined(LONGDOUBLE_LITTLE_ENDIAN)
11222 #  define HEXTRACT_LITTLE_ENDIAN
11223 #elif defined(DOUBLE_BIG_ENDIAN) || defined(LONGDOUBLE_BIG_ENDIAN)
11224 #  define HEXTRACT_BIG_ENDIAN
11225 #else
11226 #  define HEXTRACT_MIX_ENDIAN
11227 #endif
11228
11229 /* S_hextract() is a helper for S_format_hexfp, for extracting
11230  * the hexadecimal values (for %a/%A).  The nv is the NV where the value
11231  * are being extracted from (either directly from the long double in-memory
11232  * presentation, or from the uquad computed via frexp+ldexp).  frexp also
11233  * is used to update the exponent.  The subnormal is set to true
11234  * for IEEE 754 subnormals/denormals (including the x86 80-bit format).
11235  * The vhex is the pointer to the beginning of the output buffer of VHEX_SIZE.
11236  *
11237  * The tricky part is that S_hextract() needs to be called twice:
11238  * the first time with vend as NULL, and the second time with vend as
11239  * the pointer returned by the first call.  What happens is that on
11240  * the first round the output size is computed, and the intended
11241  * extraction sanity checked.  On the second round the actual output
11242  * (the extraction of the hexadecimal values) takes place.
11243  * Sanity failures cause fatal failures during both rounds. */
11244 STATIC U8*
11245 S_hextract(pTHX_ const NV nv, int* exponent, bool *subnormal,
11246            U8* vhex, U8* vend)
11247 {
11248     U8* v = vhex;
11249     int ix;
11250     int ixmin = 0, ixmax = 0;
11251
11252     /* XXX Inf/NaN are not handled here, since it is
11253      * assumed they are to be output as "Inf" and "NaN". */
11254
11255     /* These macros are just to reduce typos, they have multiple
11256      * repetitions below, but usually only one (or sometimes two)
11257      * of them is really being used. */
11258     /* HEXTRACT_OUTPUT() extracts the high nybble first. */
11259 #define HEXTRACT_OUTPUT_HI(ix) (*v++ = nvp[ix] >> 4)
11260 #define HEXTRACT_OUTPUT_LO(ix) (*v++ = nvp[ix] & 0xF)
11261 #define HEXTRACT_OUTPUT(ix) \
11262     STMT_START { \
11263       HEXTRACT_OUTPUT_HI(ix); HEXTRACT_OUTPUT_LO(ix); \
11264    } STMT_END
11265 #define HEXTRACT_COUNT(ix, c) \
11266     STMT_START { \
11267       v += c; if (ix < ixmin) ixmin = ix; else if (ix > ixmax) ixmax = ix; \
11268    } STMT_END
11269 #define HEXTRACT_BYTE(ix) \
11270     STMT_START { \
11271       if (vend) HEXTRACT_OUTPUT(ix); else HEXTRACT_COUNT(ix, 2); \
11272    } STMT_END
11273 #define HEXTRACT_LO_NYBBLE(ix) \
11274     STMT_START { \
11275       if (vend) HEXTRACT_OUTPUT_LO(ix); else HEXTRACT_COUNT(ix, 1); \
11276    } STMT_END
11277     /* HEXTRACT_TOP_NYBBLE is just convenience disguise,
11278      * to make it look less odd when the top bits of a NV
11279      * are extracted using HEXTRACT_LO_NYBBLE: the highest
11280      * order bits can be in the "low nybble" of a byte. */
11281 #define HEXTRACT_TOP_NYBBLE(ix) HEXTRACT_LO_NYBBLE(ix)
11282 #define HEXTRACT_BYTES_LE(a, b) \
11283     for (ix = a; ix >= b; ix--) { HEXTRACT_BYTE(ix); }
11284 #define HEXTRACT_BYTES_BE(a, b) \
11285     for (ix = a; ix <= b; ix++) { HEXTRACT_BYTE(ix); }
11286 #define HEXTRACT_GET_SUBNORMAL(nv) *subnormal = Perl_fp_class_denorm(nv)
11287 #define HEXTRACT_IMPLICIT_BIT(nv) \
11288     STMT_START { \
11289         if (!*subnormal) { \
11290             if (vend) *v++ = ((nv) == 0.0) ? 0 : 1; else v++; \
11291         } \
11292    } STMT_END
11293
11294 /* Most formats do.  Those which don't should undef this.
11295  *
11296  * But also note that IEEE 754 subnormals do not have it, or,
11297  * expressed alternatively, their implicit bit is zero. */
11298 #define HEXTRACT_HAS_IMPLICIT_BIT
11299
11300 /* Many formats do.  Those which don't should undef this. */
11301 #define HEXTRACT_HAS_TOP_NYBBLE
11302
11303     /* HEXTRACTSIZE is the maximum number of xdigits. */
11304 #if defined(USE_LONG_DOUBLE) && defined(LONGDOUBLE_DOUBLEDOUBLE)
11305 #  define HEXTRACTSIZE (2+DOUBLEDOUBLE_MAXBITS/4)
11306 #else
11307 #  define HEXTRACTSIZE 2 * NVSIZE
11308 #endif
11309
11310     const U8* vmaxend = vhex + HEXTRACTSIZE;
11311
11312     assert(HEXTRACTSIZE <= VHEX_SIZE);
11313
11314     PERL_UNUSED_VAR(ix); /* might happen */
11315     (void)Perl_frexp(PERL_ABS(nv), exponent);
11316     *subnormal = FALSE;
11317     if (vend && (vend <= vhex || vend > vmaxend)) {
11318         /* diag_listed_as: Hexadecimal float: internal error (%s) */
11319         Perl_croak(aTHX_ "Hexadecimal float: internal error (entry)");
11320     }
11321     {
11322         /* First check if using long doubles. */
11323 #if defined(USE_LONG_DOUBLE) && (NVSIZE > DOUBLESIZE)
11324 #  if LONG_DOUBLEKIND == LONG_DOUBLE_IS_IEEE_754_128_BIT_LITTLE_ENDIAN
11325         /* Used in e.g. VMS and HP-UX IA-64, e.g. -0.1L:
11326          * 9a 99 99 99 99 99 99 99 99 99 99 99 99 99 fb bf */
11327         /* The bytes 13..0 are the mantissa/fraction,
11328          * the 15,14 are the sign+exponent. */
11329         const U8* nvp = (const U8*)(&nv);
11330         HEXTRACT_GET_SUBNORMAL(nv);
11331         HEXTRACT_IMPLICIT_BIT(nv);
11332 #    undef HEXTRACT_HAS_TOP_NYBBLE
11333         HEXTRACT_BYTES_LE(13, 0);
11334 #  elif LONG_DOUBLEKIND == LONG_DOUBLE_IS_IEEE_754_128_BIT_BIG_ENDIAN
11335         /* Used in e.g. Solaris Sparc and HP-UX PA-RISC, e.g. -0.1L:
11336          * bf fb 99 99 99 99 99 99 99 99 99 99 99 99 99 9a */
11337         /* The bytes 2..15 are the mantissa/fraction,
11338          * the 0,1 are the sign+exponent. */
11339         const U8* nvp = (const U8*)(&nv);
11340         HEXTRACT_GET_SUBNORMAL(nv);
11341         HEXTRACT_IMPLICIT_BIT(nv);
11342 #    undef HEXTRACT_HAS_TOP_NYBBLE
11343         HEXTRACT_BYTES_BE(2, 15);
11344 #  elif LONG_DOUBLEKIND == LONG_DOUBLE_IS_X86_80_BIT_LITTLE_ENDIAN
11345         /* x86 80-bit "extended precision", 64 bits of mantissa / fraction /
11346          * significand, 15 bits of exponent, 1 bit of sign.  No implicit bit.
11347          * NVSIZE can be either 12 (ILP32, Solaris x86) or 16 (LP64, Linux
11348          * and OS X), meaning that 2 or 6 bytes are empty padding. */
11349         /* The bytes 0..1 are the sign+exponent,
11350          * the bytes 2..9 are the mantissa/fraction. */
11351         const U8* nvp = (const U8*)(&nv);
11352 #    undef HEXTRACT_HAS_IMPLICIT_BIT
11353 #    undef HEXTRACT_HAS_TOP_NYBBLE
11354         HEXTRACT_GET_SUBNORMAL(nv);
11355         HEXTRACT_BYTES_LE(7, 0);
11356 #  elif LONG_DOUBLEKIND == LONG_DOUBLE_IS_X86_80_BIT_BIG_ENDIAN
11357         /* Does this format ever happen? (Wikipedia says the Motorola
11358          * 6888x math coprocessors used format _like_ this but padded
11359          * to 96 bits with 16 unused bits between the exponent and the
11360          * mantissa.) */
11361         const U8* nvp = (const U8*)(&nv);
11362 #    undef HEXTRACT_HAS_IMPLICIT_BIT
11363 #    undef HEXTRACT_HAS_TOP_NYBBLE
11364         HEXTRACT_GET_SUBNORMAL(nv);
11365         HEXTRACT_BYTES_BE(0, 7);
11366 #  else
11367 #    define HEXTRACT_FALLBACK
11368         /* Double-double format: two doubles next to each other.
11369          * The first double is the high-order one, exactly like
11370          * it would be for a "lone" double.  The second double
11371          * is shifted down using the exponent so that that there
11372          * are no common bits.  The tricky part is that the value
11373          * of the double-double is the SUM of the two doubles and
11374          * the second one can be also NEGATIVE.
11375          *
11376          * Because of this tricky construction the bytewise extraction we
11377          * use for the other long double formats doesn't work, we must
11378          * extract the values bit by bit.
11379          *
11380          * The little-endian double-double is used .. somewhere?
11381          *
11382          * The big endian double-double is used in e.g. PPC/Power (AIX)
11383          * and MIPS (SGI).
11384          *
11385          * The mantissa bits are in two separate stretches, e.g. for -0.1L:
11386          * 9a 99 99 99 99 99 59 bc 9a 99 99 99 99 99 b9 3f (LE)
11387          * 3f b9 99 99 99 99 99 9a bc 59 99 99 99 99 99 9a (BE)
11388          */
11389 #  endif
11390 #else /* #if defined(USE_LONG_DOUBLE) && (NVSIZE > DOUBLESIZE) */
11391         /* Using normal doubles, not long doubles.
11392          *
11393          * We generate 4-bit xdigits (nybble/nibble) instead of 8-bit
11394          * bytes, since we might need to handle printf precision, and
11395          * also need to insert the radix. */
11396 #  if NVSIZE == 8
11397 #    ifdef HEXTRACT_LITTLE_ENDIAN
11398         /* 0 1 2 3 4 5 6 7 (MSB = 7, LSB = 0, 6+7 = exponent+sign) */
11399         const U8* nvp = (const U8*)(&nv);
11400         HEXTRACT_GET_SUBNORMAL(nv);
11401         HEXTRACT_IMPLICIT_BIT(nv);
11402         HEXTRACT_TOP_NYBBLE(6);
11403         HEXTRACT_BYTES_LE(5, 0);
11404 #    elif defined(HEXTRACT_BIG_ENDIAN)
11405         /* 7 6 5 4 3 2 1 0 (MSB = 7, LSB = 0, 6+7 = exponent+sign) */
11406         const U8* nvp = (const U8*)(&nv);
11407         HEXTRACT_GET_SUBNORMAL(nv);
11408         HEXTRACT_IMPLICIT_BIT(nv);
11409         HEXTRACT_TOP_NYBBLE(1);
11410         HEXTRACT_BYTES_BE(2, 7);
11411 #    elif DOUBLEKIND == DOUBLE_IS_IEEE_754_64_BIT_MIXED_ENDIAN_LE_BE
11412         /* 4 5 6 7 0 1 2 3 (MSB = 7, LSB = 0, 6:7 = nybble:exponent:sign) */
11413         const U8* nvp = (const U8*)(&nv);
11414         HEXTRACT_GET_SUBNORMAL(nv);
11415         HEXTRACT_IMPLICIT_BIT(nv);
11416         HEXTRACT_TOP_NYBBLE(2); /* 6 */
11417         HEXTRACT_BYTE(1); /* 5 */
11418         HEXTRACT_BYTE(0); /* 4 */
11419         HEXTRACT_BYTE(7); /* 3 */
11420         HEXTRACT_BYTE(6); /* 2 */
11421         HEXTRACT_BYTE(5); /* 1 */
11422         HEXTRACT_BYTE(4); /* 0 */
11423 #    elif DOUBLEKIND == DOUBLE_IS_IEEE_754_64_BIT_MIXED_ENDIAN_BE_LE
11424         /* 3 2 1 0 7 6 5 4 (MSB = 7, LSB = 0, 7:6 = sign:exponent:nybble) */
11425         const U8* nvp = (const U8*)(&nv);
11426         HEXTRACT_GET_SUBNORMAL(nv);
11427         HEXTRACT_IMPLICIT_BIT(nv);
11428         HEXTRACT_TOP_NYBBLE(5); /* 6 */
11429         HEXTRACT_BYTE(6); /* 5 */
11430         HEXTRACT_BYTE(7); /* 4 */
11431         HEXTRACT_BYTE(0); /* 3 */
11432         HEXTRACT_BYTE(1); /* 2 */
11433         HEXTRACT_BYTE(2); /* 1 */
11434         HEXTRACT_BYTE(3); /* 0 */
11435 #    else
11436 #      define HEXTRACT_FALLBACK
11437 #    endif
11438 #  else
11439 #    define HEXTRACT_FALLBACK
11440 #  endif
11441 #endif /* #if defined(USE_LONG_DOUBLE) && (NVSIZE > DOUBLESIZE) #else */
11442
11443 #ifdef HEXTRACT_FALLBACK
11444         HEXTRACT_GET_SUBNORMAL(nv);
11445 #  undef HEXTRACT_HAS_TOP_NYBBLE /* Meaningless, but consistent. */
11446         /* The fallback is used for the double-double format, and
11447          * for unknown long double formats, and for unknown double
11448          * formats, or in general unknown NV formats. */
11449         if (nv == (NV)0.0) {
11450             if (vend)
11451                 *v++ = 0;
11452             else
11453                 v++;
11454             *exponent = 0;
11455         }
11456         else {
11457             NV d = nv < 0 ? -nv : nv;
11458             NV e = (NV)1.0;
11459             U8 ha = 0x0; /* hexvalue accumulator */
11460             U8 hd = 0x8; /* hexvalue digit */
11461
11462             /* Shift d and e (and update exponent) so that e <= d < 2*e,
11463              * this is essentially manual frexp(). Multiplying by 0.5 and
11464              * doubling should be lossless in binary floating point. */
11465
11466             *exponent = 1;
11467
11468             while (e > d) {
11469                 e *= (NV)0.5;
11470                 (*exponent)--;
11471             }
11472             /* Now d >= e */
11473
11474             while (d >= e + e) {
11475                 e += e;
11476                 (*exponent)++;
11477             }
11478             /* Now e <= d < 2*e */
11479
11480             /* First extract the leading hexdigit (the implicit bit). */
11481             if (d >= e) {
11482                 d -= e;
11483                 if (vend)
11484                     *v++ = 1;
11485                 else
11486                     v++;
11487             }
11488             else {
11489                 if (vend)
11490                     *v++ = 0;
11491                 else
11492                     v++;
11493             }
11494             e *= (NV)0.5;
11495
11496             /* Then extract the remaining hexdigits. */
11497             while (d > (NV)0.0) {
11498                 if (d >= e) {
11499                     ha |= hd;
11500                     d -= e;
11501                 }
11502                 if (hd == 1) {
11503                     /* Output or count in groups of four bits,
11504                      * that is, when the hexdigit is down to one. */
11505                     if (vend)
11506                         *v++ = ha;
11507                     else
11508                         v++;
11509                     /* Reset the hexvalue. */
11510                     ha = 0x0;
11511                     hd = 0x8;
11512                 }
11513                 else
11514                     hd >>= 1;
11515                 e *= (NV)0.5;
11516             }
11517
11518             /* Flush possible pending hexvalue. */
11519             if (ha) {
11520                 if (vend)
11521                     *v++ = ha;
11522                 else
11523                     v++;
11524             }
11525         }
11526 #endif
11527     }
11528     /* Croak for various reasons: if the output pointer escaped the
11529      * output buffer, if the extraction index escaped the extraction
11530      * buffer, or if the ending output pointer didn't match the
11531      * previously computed value. */
11532     if (v <= vhex || v - vhex >= VHEX_SIZE ||
11533         /* For double-double the ixmin and ixmax stay at zero,
11534          * which is convenient since the HEXTRACTSIZE is tricky
11535          * for double-double. */
11536         ixmin < 0 || ixmax >= NVSIZE ||
11537         (vend && v != vend)) {
11538         /* diag_listed_as: Hexadecimal float: internal error (%s) */
11539         Perl_croak(aTHX_ "Hexadecimal float: internal error (overflow)");
11540     }
11541     return v;
11542 }
11543
11544
11545 /* S_format_hexfp(): helper function for Perl_sv_vcatpvfn_flags().
11546  *
11547  * Processes the %a/%A hexadecimal floating-point format, since the
11548  * built-in snprintf()s which are used for most of the f/p formats, don't
11549  * universally handle %a/%A.
11550  * Populates buf of length bufsize, and returns the length of the created
11551  * string.
11552  * The rest of the args have the same meaning as the local vars of the
11553  * same name within Perl_sv_vcatpvfn_flags().
11554  *
11555  * It assumes the caller has already done STORE_LC_NUMERIC_SET_TO_NEEDED();
11556  *
11557  * It requires the caller to make buf large enough.
11558  */
11559
11560 static STRLEN
11561 S_format_hexfp(pTHX_ char * const buf, const STRLEN bufsize, const char c,
11562                     const NV nv, const vcatpvfn_long_double_t fv,
11563                     bool has_precis, STRLEN precis, STRLEN width,
11564                     bool alt, char plus, bool left, bool fill)
11565 {
11566     /* Hexadecimal floating point. */
11567     char* p = buf;
11568     U8 vhex[VHEX_SIZE];
11569     U8* v = vhex; /* working pointer to vhex */
11570     U8* vend; /* pointer to one beyond last digit of vhex */
11571     U8* vfnz = NULL; /* first non-zero */
11572     U8* vlnz = NULL; /* last non-zero */
11573     U8* v0 = NULL; /* first output */
11574     const bool lower = (c == 'a');
11575     /* At output the values of vhex (up to vend) will
11576      * be mapped through the xdig to get the actual
11577      * human-readable xdigits. */
11578     const char* xdig = PL_hexdigit;
11579     STRLEN zerotail = 0; /* how many extra zeros to append */
11580     int exponent = 0; /* exponent of the floating point input */
11581     bool hexradix = FALSE; /* should we output the radix */
11582     bool subnormal = FALSE; /* IEEE 754 subnormal/denormal */
11583     bool negative = FALSE;
11584     STRLEN elen;
11585
11586     /* XXX: NaN, Inf -- though they are printed as "NaN" and "Inf".
11587      *
11588      * For example with denormals, (assuming the vanilla
11589      * 64-bit double): the exponent is zero. 1xp-1074 is
11590      * the smallest denormal and the smallest double, it
11591      * could be output also as 0x0.0000000000001p-1022 to
11592      * match its internal structure. */
11593
11594     vend = S_hextract(aTHX_ nv, &exponent, &subnormal, vhex, NULL);
11595     S_hextract(aTHX_ nv, &exponent, &subnormal, vhex, vend);
11596
11597 #if NVSIZE > DOUBLESIZE
11598 #  ifdef HEXTRACT_HAS_IMPLICIT_BIT
11599     /* In this case there is an implicit bit,
11600      * and therefore the exponent is shifted by one. */
11601     exponent--;
11602 #  elif defined(NV_X86_80_BIT)
11603     if (subnormal) {
11604         /* The subnormals of the x86-80 have a base exponent of -16382,
11605          * (while the physical exponent bits are zero) but the frexp()
11606          * returned the scientific-style floating exponent.  We want
11607          * to map the last one as:
11608          * -16831..-16384 -> -16382 (the last normal is 0x1p-16382)
11609          * -16835..-16388 -> -16384
11610          * since we want to keep the first hexdigit
11611          * as one of the [8421]. */
11612         exponent = -4 * ( (exponent + 1) / -4) - 2;
11613     } else {
11614         exponent -= 4;
11615     }
11616     /* TBD: other non-implicit-bit platforms than the x86-80. */
11617 #  endif
11618 #endif
11619
11620     negative = fv < 0 || Perl_signbit(nv);
11621     if (negative)
11622         *p++ = '-';
11623     else if (plus)
11624         *p++ = plus;
11625     *p++ = '0';
11626     if (lower) {
11627         *p++ = 'x';
11628     }
11629     else {
11630         *p++ = 'X';
11631         xdig += 16; /* Use uppercase hex. */
11632     }
11633
11634     /* Find the first non-zero xdigit. */
11635     for (v = vhex; v < vend; v++) {
11636         if (*v) {
11637             vfnz = v;
11638             break;
11639         }
11640     }
11641
11642     if (vfnz) {
11643         /* Find the last non-zero xdigit. */
11644         for (v = vend - 1; v >= vhex; v--) {
11645             if (*v) {
11646                 vlnz = v;
11647                 break;
11648             }
11649         }
11650
11651 #if NVSIZE == DOUBLESIZE
11652         if (fv != 0.0)
11653             exponent--;
11654 #endif
11655
11656         if (subnormal) {
11657 #ifndef NV_X86_80_BIT
11658           if (vfnz[0] > 1) {
11659             /* IEEE 754 subnormals (but not the x86 80-bit):
11660              * we want "normalize" the subnormal,
11661              * so we need to right shift the hex nybbles
11662              * so that the output of the subnormal starts
11663              * from the first true bit.  (Another, equally
11664              * valid, policy would be to dump the subnormal
11665              * nybbles as-is, to display the "physical" layout.) */
11666             int i, n;
11667             U8 *vshr;
11668             /* Find the ceil(log2(v[0])) of
11669              * the top non-zero nybble. */
11670             for (i = vfnz[0], n = 0; i > 1; i >>= 1, n++) { }
11671             assert(n < 4);
11672             assert(vlnz);
11673             vlnz[1] = 0;
11674             for (vshr = vlnz; vshr >= vfnz; vshr--) {
11675               vshr[1] |= (vshr[0] & (0xF >> (4 - n))) << (4 - n);
11676               vshr[0] >>= n;
11677             }
11678             if (vlnz[1]) {
11679               vlnz++;
11680             }
11681           }
11682 #endif
11683           v0 = vfnz;
11684         } else {
11685           v0 = vhex;
11686         }
11687
11688         if (has_precis) {
11689             U8* ve = (subnormal ? vlnz + 1 : vend);
11690             SSize_t vn = ve - v0;
11691             assert(vn >= 1);
11692             if (precis < (Size_t)(vn - 1)) {
11693                 bool overflow = FALSE;
11694                 if (v0[precis + 1] < 0x8) {
11695                     /* Round down, nothing to do. */
11696                 } else if (v0[precis + 1] > 0x8) {
11697                     /* Round up. */
11698                     v0[precis]++;
11699                     overflow = v0[precis] > 0xF;
11700                     v0[precis] &= 0xF;
11701                 } else { /* v0[precis] == 0x8 */
11702                     /* Half-point: round towards the one
11703                      * with the even least-significant digit:
11704                      * 08 -> 0  88 -> 8
11705                      * 18 -> 2  98 -> a
11706                      * 28 -> 2  a8 -> a
11707                      * 38 -> 4  b8 -> c
11708                      * 48 -> 4  c8 -> c
11709                      * 58 -> 6  d8 -> e
11710                      * 68 -> 6  e8 -> e
11711                      * 78 -> 8  f8 -> 10 */
11712                     if ((v0[precis] & 0x1)) {
11713                         v0[precis]++;
11714                     }
11715                     overflow = v0[precis] > 0xF;
11716                     v0[precis] &= 0xF;
11717                 }
11718
11719                 if (overflow) {
11720                     for (v = v0 + precis - 1; v >= v0; v--) {
11721                         (*v)++;
11722                         overflow = *v > 0xF;
11723                         (*v) &= 0xF;
11724                         if (!overflow) {
11725                             break;
11726                         }
11727                     }
11728                     if (v == v0 - 1 && overflow) {
11729                         /* If the overflow goes all the
11730                          * way to the front, we need to
11731                          * insert 0x1 in front, and adjust
11732                          * the exponent. */
11733                         Move(v0, v0 + 1, vn - 1, char);
11734                         *v0 = 0x1;
11735                         exponent += 4;
11736                     }
11737                 }
11738
11739                 /* The new effective "last non zero". */
11740                 vlnz = v0 + precis;
11741             }
11742             else {
11743                 zerotail =
11744                   subnormal ? precis - vn + 1 :
11745                   precis - (vlnz - vhex);
11746             }
11747         }
11748
11749         v = v0;
11750         *p++ = xdig[*v++];
11751
11752         /* If there are non-zero xdigits, the radix
11753          * is output after the first one. */
11754         if (vfnz < vlnz) {
11755           hexradix = TRUE;
11756         }
11757     }
11758     else {
11759         *p++ = '0';
11760         exponent = 0;
11761         zerotail = precis;
11762     }
11763
11764     /* The radix is always output if precis, or if alt. */
11765     if (precis > 0 || alt) {
11766       hexradix = TRUE;
11767     }
11768
11769     if (hexradix) {
11770 #ifndef USE_LOCALE_NUMERIC
11771             *p++ = '.';
11772 #else
11773             if (IN_LC(LC_NUMERIC)) {
11774                 STRLEN n;
11775                 const char* r = SvPV(PL_numeric_radix_sv, n);
11776                 Copy(r, p, n, char);
11777                 p += n;
11778             }
11779             else {
11780                 *p++ = '.';
11781             }
11782 #endif
11783     }
11784
11785     if (vlnz) {
11786         while (v <= vlnz)
11787             *p++ = xdig[*v++];
11788     }
11789
11790     if (zerotail > 0) {
11791       while (zerotail--) {
11792         *p++ = '0';
11793       }
11794     }
11795
11796     elen = p - buf;
11797
11798     /* sanity checks */
11799     if (elen >= bufsize || width >= bufsize)
11800         /* diag_listed_as: Hexadecimal float: internal error (%s) */
11801         Perl_croak(aTHX_ "Hexadecimal float: internal error (overflow)");
11802
11803     elen += my_snprintf(p, bufsize - elen,
11804                         "%c%+d", lower ? 'p' : 'P',
11805                         exponent);
11806
11807     if (elen < width) {
11808         STRLEN gap = (STRLEN)(width - elen);
11809         if (left) {
11810             /* Pad the back with spaces. */
11811             memset(buf + elen, ' ', gap);
11812         }
11813         else if (fill) {
11814             /* Insert the zeros after the "0x" and the
11815              * the potential sign, but before the digits,
11816              * otherwise we end up with "0000xH.HHH...",
11817              * when we want "0x000H.HHH..."  */
11818             STRLEN nzero = gap;
11819             char* zerox = buf + 2;
11820             STRLEN nmove = elen - 2;
11821             if (negative || plus) {
11822                 zerox++;
11823                 nmove--;
11824             }
11825             Move(zerox, zerox + nzero, nmove, char);
11826             memset(zerox, fill ? '0' : ' ', nzero);
11827         }
11828         else {
11829             /* Move it to the right. */
11830             Move(buf, buf + gap,
11831                  elen, char);
11832             /* Pad the front with spaces. */
11833             memset(buf, ' ', gap);
11834         }
11835         elen = width;
11836     }
11837     return elen;
11838 }
11839
11840
11841 /*
11842 =for apidoc sv_vcatpvfn
11843
11844 =for apidoc sv_vcatpvfn_flags
11845
11846 Processes its arguments like C<vsprintf> and appends the formatted output
11847 to an SV.  Uses an array of SVs if the C-style variable argument list is
11848 missing (C<NULL>). Argument reordering (using format specifiers like C<%2$d>
11849 or C<%*2$d>) is supported only when using an array of SVs; using a C-style
11850 C<va_list> argument list with a format string that uses argument reordering
11851 will yield an exception.
11852
11853 When running with taint checks enabled, indicates via
11854 C<maybe_tainted> if results are untrustworthy (often due to the use of
11855 locales).
11856
11857 If called as C<sv_vcatpvfn> or flags has the C<SV_GMAGIC> bit set, calls get magic.
11858
11859 It assumes that pat has the same utf8-ness as sv.  It's the caller's
11860 responsibility to ensure that this is so.
11861
11862 Usually used via one of its frontends C<sv_vcatpvf> and C<sv_vcatpvf_mg>.
11863
11864 =cut
11865 */
11866
11867
11868 void
11869 Perl_sv_vcatpvfn_flags(pTHX_ SV *const sv, const char *const pat, const STRLEN patlen,
11870                        va_list *const args, SV **const svargs, const Size_t sv_count, bool *const maybe_tainted,
11871                        const U32 flags)
11872 {
11873     const char *fmtstart; /* character following the current '%' */
11874     const char *q;        /* current position within format */
11875     const char *patend;
11876     STRLEN origlen;
11877     Size_t svix = 0;
11878     static const char nullstr[] = "(null)";
11879     bool has_utf8 = DO_UTF8(sv);    /* has the result utf8? */
11880     const bool pat_utf8 = has_utf8; /* the pattern is in utf8? */
11881     /* Times 4: a decimal digit takes more than 3 binary digits.
11882      * NV_DIG: mantissa takes that many decimal digits.
11883      * Plus 32: Playing safe. */
11884     char ebuf[IV_DIG * 4 + NV_DIG + 32];
11885     bool no_redundant_warning = FALSE; /* did we use any explicit format parameter index? */
11886 #ifdef USE_LOCALE_NUMERIC
11887     DECLARATION_FOR_LC_NUMERIC_MANIPULATION;
11888     bool lc_numeric_set = FALSE; /* called STORE_LC_NUMERIC_SET_TO_NEEDED? */
11889 #endif
11890
11891     PERL_ARGS_ASSERT_SV_VCATPVFN_FLAGS;
11892     PERL_UNUSED_ARG(maybe_tainted);
11893
11894     if (flags & SV_GMAGIC)
11895         SvGETMAGIC(sv);
11896
11897     /* no matter what, this is a string now */
11898     (void)SvPV_force_nomg(sv, origlen);
11899
11900     /* the code that scans for flags etc following a % relies on
11901      * a '\0' being present to avoid falling off the end. Ideally that
11902      * should be fixed */
11903     assert(pat[patlen] == '\0');
11904
11905
11906     /* Special-case "", "%s", "%-p" (SVf - see below) and "%.0f".
11907      * In each case, if there isn't the correct number of args, instead
11908      * fall through to the main code to handle the issuing of any
11909      * warnings etc.
11910      */
11911
11912     if (patlen == 0 && (args || sv_count == 0))
11913         return;
11914
11915     if (patlen <= 4 && pat[0] == '%' && (args || sv_count == 1)) {
11916
11917         /* "%s" */
11918         if (patlen == 2 && pat[1] == 's') {
11919             if (args) {
11920                 const char * const s = va_arg(*args, char*);
11921                 sv_catpv_nomg(sv, s ? s : nullstr);
11922             }
11923             else {
11924                 /* we want get magic on the source but not the target.
11925                  * sv_catsv can't do that, though */
11926                 SvGETMAGIC(*svargs);
11927                 sv_catsv_nomg(sv, *svargs);
11928             }
11929             return;
11930         }
11931
11932         /* "%-p" */
11933         if (args) {
11934             if (patlen == 3  && pat[1] == '-' && pat[2] == 'p') {
11935                 SV *asv = MUTABLE_SV(va_arg(*args, void*));
11936                 sv_catsv_nomg(sv, asv);
11937                 return;
11938             }
11939         }
11940 #if !defined(USE_LONG_DOUBLE) && !defined(USE_QUADMATH)
11941         /* special-case "%.0f" */
11942         else if (   patlen == 4
11943                  && pat[1] == '.' && pat[2] == '0' && pat[3] == 'f')
11944         {
11945             const NV nv = SvNV(*svargs);
11946             if (LIKELY(!Perl_isinfnan(nv))) {
11947                 STRLEN l;
11948                 char *p;
11949
11950                 if ((p = F0convert(nv, ebuf + sizeof ebuf, &l))) {
11951                     sv_catpvn_nomg(sv, p, l);
11952                     return;
11953                 }
11954             }
11955         }
11956 #endif /* !USE_LONG_DOUBLE */
11957     }
11958
11959
11960     patend = (char*)pat + patlen;
11961     for (fmtstart = pat; fmtstart < patend; fmtstart = q) {
11962         char intsize     = 0;         /* size qualifier in "%hi..." etc */
11963         bool alt         = FALSE;     /* has      "%#..."    */
11964         bool left        = FALSE;     /* has      "%-..."    */
11965         bool fill        = FALSE;     /* has      "%0..."    */
11966         char plus        = 0;         /* has      "%+..."    */
11967         STRLEN width     = 0;         /* value of "%NNN..."  */
11968         bool has_precis  = FALSE;     /* has      "%.NNN..." */
11969         STRLEN precis    = 0;         /* value of "%.NNN..." */
11970         int base         = 0;         /* base to print in, e.g. 8 for %o */
11971         UV uv            = 0;         /* the value to print of int-ish args */
11972
11973         bool vectorize   = FALSE;     /* has      "%v..."    */
11974         bool vec_utf8    = FALSE;     /* SvUTF8(vec arg)     */
11975         const U8 *vecstr = NULL;      /* SvPVX(vec arg)      */
11976         STRLEN veclen    = 0;         /* SvCUR(vec arg)      */
11977         const char *dotstr = NULL;    /* separator string for %v */
11978         STRLEN dotstrlen;             /* length of separator string for %v */
11979
11980         Size_t efix      = 0;         /* explicit format parameter index */
11981         const Size_t osvix  = svix;   /* original index in case of bad fmt */
11982
11983         SV *argsv        = NULL;
11984         bool is_utf8     = FALSE;     /* is this item utf8?   */
11985         bool arg_missing = FALSE;     /* give "Missing argument" warning */
11986         char esignbuf[4];             /* holds sign prefix, e.g. "-0x" */
11987         STRLEN esignlen  = 0;         /* length of e.g. "-0x" */
11988         STRLEN zeros     = 0;         /* how many '0' to prepend */
11989
11990         const char *eptr = NULL;      /* the address of the element string */
11991         STRLEN elen      = 0;         /* the length  of the element string */
11992
11993         char c;                       /* the actual format ('d', s' etc) */
11994
11995
11996         /* echo everything up to the next format specification */
11997         for (q = fmtstart; q < patend && *q != '%'; ++q)
11998             {};
11999
12000         if (q > fmtstart) {
12001             if (has_utf8 && !pat_utf8) {
12002                 /* upgrade and copy the bytes of fmtstart..q-1 to utf8 on
12003                  * the fly */
12004                 const char *p;
12005                 char *dst;
12006                 STRLEN need = SvCUR(sv) + (q - fmtstart) + 1;
12007
12008                 for (p = fmtstart; p < q; p++)
12009                     if (!NATIVE_BYTE_IS_INVARIANT(*p))
12010                         need++;
12011                 SvGROW(sv, need);
12012
12013                 dst = SvEND(sv);
12014                 for (p = fmtstart; p < q; p++)
12015                     append_utf8_from_native_byte((U8)*p, (U8**)&dst);
12016                 *dst = '\0';
12017                 SvCUR_set(sv, need - 1);
12018             }
12019             else
12020                 S_sv_catpvn_simple(aTHX_ sv, fmtstart, q - fmtstart);
12021         }
12022         if (q++ >= patend)
12023             break;
12024
12025         fmtstart = q; /* fmtstart is char following the '%' */
12026
12027 /*
12028     We allow format specification elements in this order:
12029         \d+\$              explicit format parameter index
12030         [-+ 0#]+           flags
12031         v|\*(\d+\$)?v      vector with optional (optionally specified) arg
12032         0                  flag (as above): repeated to allow "v02"     
12033         \d+|\*(\d+\$)?     width using optional (optionally specified) arg
12034         \.(\d*|\*(\d+\$)?) precision using optional (optionally specified) arg
12035         [hlqLV]            size
12036     [%bcdefginopsuxDFOUX] format (mandatory)
12037 */
12038
12039         if (inRANGE(*q, '1', '9')) {
12040             width = expect_number(&q);
12041             if (*q == '$') {
12042                 if (args)
12043                     Perl_croak_nocontext(
12044                         "Cannot yet reorder sv_vcatpvfn() arguments from va_list");
12045                 ++q;
12046                 efix = (Size_t)width;
12047                 width = 0;
12048                 no_redundant_warning = TRUE;
12049             } else {
12050                 goto gotwidth;
12051             }
12052         }
12053
12054         /* FLAGS */
12055
12056         while (*q) {
12057             switch (*q) {
12058             case ' ':
12059             case '+':
12060                 if (plus == '+' && *q == ' ') /* '+' over ' ' */
12061                     q++;
12062                 else
12063                     plus = *q++;
12064                 continue;
12065
12066             case '-':
12067                 left = TRUE;
12068                 q++;
12069                 continue;
12070
12071             case '0':
12072                 fill = TRUE;
12073                 q++;
12074                 continue;
12075
12076             case '#':
12077                 alt = TRUE;
12078                 q++;
12079                 continue;
12080
12081             default:
12082                 break;
12083             }
12084             break;
12085         }
12086
12087       /* at this point we can expect one of:
12088        *
12089        *  123  an explicit width
12090        *  *    width taken from next arg
12091        *  *12$ width taken from 12th arg
12092        *       or no width
12093        *
12094        * But any width specification may be preceded by a v, in one of its
12095        * forms:
12096        *        v
12097        *        *v
12098        *        *12$v
12099        * So an asterisk may be either a width specifier or a vector
12100        * separator arg specifier, and we don't know which initially
12101        */
12102
12103       tryasterisk:
12104         if (*q == '*') {
12105             STRLEN ix; /* explicit width/vector separator index */
12106             q++;
12107             if (inRANGE(*q, '1', '9')) {
12108                 ix = expect_number(&q);
12109                 if (*q++ == '$') {
12110                     if (args)
12111                         Perl_croak_nocontext(
12112                             "Cannot yet reorder sv_vcatpvfn() arguments from va_list");
12113                     no_redundant_warning = TRUE;
12114                 } else
12115                     goto unknown;
12116             }
12117             else
12118                 ix = 0;
12119
12120             if (*q == 'v') {
12121                 SV *vecsv;
12122                 /* The asterisk was for  *v, *NNN$v: vectorizing, but not
12123                  * with the default "." */
12124                 q++;
12125                 if (vectorize)
12126                     goto unknown;
12127                 if (args)
12128                     vecsv = va_arg(*args, SV*);
12129                 else {
12130                     ix = ix ? ix - 1 : svix++;
12131                     vecsv = ix < sv_count ? svargs[ix]
12132                                        : (arg_missing = TRUE, &PL_sv_no);
12133                 }
12134                 dotstr = SvPV_const(vecsv, dotstrlen);
12135                 /* Keep the DO_UTF8 test *after* the SvPV call, else things go
12136                    bad with tied or overloaded values that return UTF8.  */
12137                 if (DO_UTF8(vecsv))
12138                     is_utf8 = TRUE;
12139                 else if (has_utf8) {
12140                     vecsv = sv_mortalcopy(vecsv);
12141                     sv_utf8_upgrade(vecsv);
12142                     dotstr = SvPV_const(vecsv, dotstrlen);
12143                     is_utf8 = TRUE;
12144                 }
12145                 vectorize = TRUE;
12146                 goto tryasterisk;
12147             }
12148
12149             /* the asterisk specified a width */
12150             {
12151                 int i = 0;
12152                 SV *sv = NULL;
12153                 if (args)
12154                     i = va_arg(*args, int);
12155                 else {
12156                     ix = ix ? ix - 1 : svix++;
12157                     sv = (ix < sv_count) ? svargs[ix]
12158                                       : (arg_missing = TRUE, (SV*)NULL);
12159                 }
12160                 width = S_sprintf_arg_num_val(aTHX_ args, i, sv, &left);
12161             }
12162         }
12163         else if (*q == 'v') {
12164             q++;
12165             if (vectorize)
12166                 goto unknown;
12167             vectorize = TRUE;
12168             dotstr = ".";
12169             dotstrlen = 1;
12170             goto tryasterisk;
12171
12172         }
12173         else {
12174         /* explicit width? */
12175             if(*q == '0') {
12176                 fill = TRUE;
12177                 q++;
12178             }
12179             if (inRANGE(*q, '1', '9'))
12180                 width = expect_number(&q);
12181         }
12182
12183       gotwidth:
12184
12185         /* PRECISION */
12186
12187         if (*q == '.') {
12188             q++;
12189             if (*q == '*') {
12190                 STRLEN ix; /* explicit precision index */
12191                 q++;
12192                 if (inRANGE(*q, '1', '9')) {
12193                     ix = expect_number(&q);
12194                     if (*q++ == '$') {
12195                         if (args)
12196                             Perl_croak_nocontext(
12197                                 "Cannot yet reorder sv_vcatpvfn() arguments from va_list");
12198                         no_redundant_warning = TRUE;
12199                     } else
12200                         goto unknown;
12201                 }
12202                 else
12203                     ix = 0;
12204
12205                 {
12206                     int i = 0;
12207                     SV *sv = NULL;
12208                     bool neg = FALSE;
12209
12210                     if (args)
12211                         i = va_arg(*args, int);
12212                     else {
12213                         ix = ix ? ix - 1 : svix++;
12214                         sv = (ix < sv_count) ? svargs[ix]
12215                                           : (arg_missing = TRUE, (SV*)NULL);
12216                     }
12217                     precis = S_sprintf_arg_num_val(aTHX_ args, i, sv, &neg);
12218                     has_precis = !neg;
12219                 }
12220             }
12221             else {
12222                 /* although it doesn't seem documented, this code has long
12223                  * behaved so that:
12224                  *   no digits following the '.' is treated like '.0'
12225                  *   the number may be preceded by any number of zeroes,
12226                  *      e.g. "%.0001f", which is the same as "%.1f"
12227                  * so I've kept that behaviour. DAPM May 2017
12228                  */
12229                 while (*q == '0')
12230                     q++;
12231                 precis = inRANGE(*q, '1', '9') ? expect_number(&q) : 0;
12232                 has_precis = TRUE;
12233             }
12234         }
12235
12236         /* SIZE */
12237
12238         switch (*q) {
12239 #ifdef WIN32
12240         case 'I':                       /* Ix, I32x, and I64x */
12241 #  ifdef USE_64_BIT_INT
12242             if (q[1] == '6' && q[2] == '4') {
12243                 q += 3;
12244                 intsize = 'q';
12245                 break;
12246             }
12247 #  endif
12248             if (q[1] == '3' && q[2] == '2') {
12249                 q += 3;
12250                 break;
12251             }
12252 #  ifdef USE_64_BIT_INT
12253             intsize = 'q';
12254 #  endif
12255             q++;
12256             break;
12257 #endif
12258 #if (IVSIZE >= 8 || defined(HAS_LONG_DOUBLE)) || \
12259     (IVSIZE == 4 && !defined(HAS_LONG_DOUBLE))
12260         case 'L':                       /* Ld */
12261             /* FALLTHROUGH */
12262 #  ifdef USE_QUADMATH
12263         case 'Q':
12264             /* FALLTHROUGH */
12265 #  endif
12266 #  if IVSIZE >= 8
12267         case 'q':                       /* qd */
12268 #  endif
12269             intsize = 'q';
12270             q++;
12271             break;
12272 #endif
12273         case 'l':
12274             ++q;
12275 #if (IVSIZE >= 8 || defined(HAS_LONG_DOUBLE)) || \
12276     (IVSIZE == 4 && !defined(HAS_LONG_DOUBLE))
12277             if (*q == 'l') {    /* lld, llf */
12278                 intsize = 'q';
12279                 ++q;
12280             }
12281             else
12282 #endif
12283                 intsize = 'l';
12284             break;
12285         case 'h':
12286             if (*++q == 'h') {  /* hhd, hhu */
12287                 intsize = 'c';
12288                 ++q;
12289             }
12290             else
12291                 intsize = 'h';
12292             break;
12293         case 'V':
12294         case 'z':
12295         case 't':
12296         case 'j':
12297             intsize = *q++;
12298             break;
12299         }
12300
12301         /* CONVERSION */
12302
12303         c = *q++; /* c now holds the conversion type */
12304
12305         /* '%' doesn't have an arg, so skip arg processing */
12306         if (c == '%') {
12307             eptr = q - 1;
12308             elen = 1;
12309             if (vectorize)
12310                 goto unknown;
12311             goto string;
12312         }
12313
12314         if (vectorize && !strchr("BbDdiOouUXx", c))
12315             goto unknown;
12316
12317         /* get next arg (individual branches do their own va_arg()
12318          * handling for the args case) */
12319
12320         if (!args) {
12321             efix = efix ? efix - 1 : svix++;
12322             argsv = efix < sv_count ? svargs[efix]
12323                                  : (arg_missing = TRUE, &PL_sv_no);
12324         }
12325
12326
12327         switch (c) {
12328
12329             /* STRINGS */
12330
12331         case 's':
12332             if (args) {
12333                 eptr = va_arg(*args, char*);
12334                 if (eptr)
12335                     if (has_precis)
12336                         elen = my_strnlen(eptr, precis);
12337                     else
12338                         elen = strlen(eptr);
12339                 else {
12340                     eptr = (char *)nullstr;
12341                     elen = sizeof nullstr - 1;
12342                 }
12343             }
12344             else {
12345                 eptr = SvPV_const(argsv, elen);
12346                 if (DO_UTF8(argsv)) {
12347                     STRLEN old_precis = precis;
12348                     if (has_precis && precis < elen) {
12349                         STRLEN ulen = sv_or_pv_len_utf8(argsv, eptr, elen);
12350                         STRLEN p = precis > ulen ? ulen : precis;
12351                         precis = sv_or_pv_pos_u2b(argsv, eptr, p, 0);
12352                                                         /* sticks at end */
12353                     }
12354                     if (width) { /* fudge width (can't fudge elen) */
12355                         if (has_precis && precis < elen)
12356                             width += precis - old_precis;
12357                         else
12358                             width +=
12359                                 elen - sv_or_pv_len_utf8(argsv,eptr,elen);
12360                     }
12361                     is_utf8 = TRUE;
12362                 }
12363             }
12364
12365         string:
12366             if (has_precis && precis < elen)
12367                 elen = precis;
12368             break;
12369
12370             /* INTEGERS */
12371
12372         case 'p':
12373             if (alt)
12374                 goto unknown;
12375
12376             /* %p extensions:
12377              *
12378              * "%...p" is normally treated like "%...x", except that the
12379              * number to print is the SV's address (or a pointer address
12380              * for C-ish sprintf).
12381              *
12382              * However, the C-ish sprintf variant allows a few special
12383              * extensions. These are currently:
12384              *
12385              * %-p       (SVf)  Like %s, but gets the string from an SV*
12386              *                  arg rather than a char* arg.
12387              *                  (This was previously %_).
12388              *
12389              * %-<num>p         Ditto but like %.<num>s (i.e. num is max width)
12390              *
12391              * %2p       (HEKf) Like %s, but using the key string in a HEK
12392              *
12393              * %3p       (HEKf256) Ditto but like %.256s
12394              *
12395              * %d%lu%4p  (UTF8f) A utf8 string. Consumes 3 args:
12396              *                       (cBOOL(utf8), len, string_buf).
12397              *                   It's handled by the "case 'd'" branch
12398              *                   rather than here.
12399              *
12400              * %<num>p   where num is 1 or > 4: reserved for future
12401              *           extensions. Warns, but then is treated as a
12402              *           general %p (print hex address) format.
12403              */
12404
12405             if (   args
12406                 && !intsize
12407                 && !fill
12408                 && !plus
12409                 && !has_precis
12410                     /* not %*p or %*1$p - any width was explicit */
12411                 && q[-2] != '*'
12412                 && q[-2] != '$'
12413             ) {
12414                 if (left) {                     /* %-p (SVf), %-NNNp */
12415                     if (width) {
12416                         precis = width;
12417                         has_precis = TRUE;
12418                     }
12419                     argsv = MUTABLE_SV(va_arg(*args, void*));
12420                     eptr = SvPV_const(argsv, elen);
12421                     if (DO_UTF8(argsv))
12422                         is_utf8 = TRUE;
12423                     width = 0;
12424                     goto string;
12425                 }
12426                 else if (width == 2 || width == 3) {    /* HEKf, HEKf256 */
12427                     HEK * const hek = va_arg(*args, HEK *);
12428                     eptr = HEK_KEY(hek);
12429                     elen = HEK_LEN(hek);
12430                     if (HEK_UTF8(hek))
12431                         is_utf8 = TRUE;
12432                     if (width == 3) {
12433                         precis = 256;
12434                         has_precis = TRUE;
12435                     }
12436                     width = 0;
12437                     goto string;
12438                 }
12439                 else if (width) {
12440                     Perl_ck_warner_d(aTHX_ packWARN(WARN_INTERNAL),
12441                          "internal %%<num>p might conflict with future printf extensions");
12442                 }
12443             }
12444
12445             /* treat as normal %...p */
12446
12447             uv = PTR2UV(args ? va_arg(*args, void*) : argsv);
12448             base = 16;
12449             goto do_integer;
12450
12451         case 'c':
12452             /* Ignore any size specifiers, since they're not documented as
12453              * being allowed for %c (ideally we should warn on e.g. '%hc').
12454              * Setting a default intsize, along with a positive
12455              * (which signals unsigned) base, causes, for C-ish use, the
12456              * va_arg to be interpreted as as unsigned int, when it's
12457              * actually signed, which will convert -ve values to high +ve
12458              * values. Note that unlike the libc %c, values > 255 will
12459              * convert to high unicode points rather than being truncated
12460              * to 8 bits. For perlish use, it will do SvUV(argsv), which
12461              * will again convert -ve args to high -ve values.
12462              */
12463             intsize = 0;
12464             base = 1; /* special value that indicates we're doing a 'c' */
12465             goto get_int_arg_val;
12466
12467         case 'D':
12468 #ifdef IV_IS_QUAD
12469             intsize = 'q';
12470 #else
12471             intsize = 'l';
12472 #endif
12473             base = -10;
12474             goto get_int_arg_val;
12475
12476         case 'd':
12477             /* probably just a plain %d, but it might be the start of the
12478              * special UTF8f format, which usually looks something like
12479              * "%d%lu%4p" (the lu may vary by platform)
12480              */
12481             assert((UTF8f)[0] == 'd');
12482             assert((UTF8f)[1] == '%');
12483
12484              if (   args              /* UTF8f only valid for C-ish sprintf */
12485                  && q == fmtstart + 1 /* plain %d, not %....d */
12486                  && patend >= fmtstart + sizeof(UTF8f) - 1 /* long enough */
12487                  && *q == '%'
12488                  && strnEQ(q + 1, UTF8f + 2, sizeof(UTF8f) - 3))
12489             {
12490                 /* The argument has already gone through cBOOL, so the cast
12491                    is safe. */
12492                 is_utf8 = (bool)va_arg(*args, int);
12493                 elen = va_arg(*args, UV);
12494                 /* if utf8 length is larger than 0x7ffff..., then it might
12495                  * have been a signed value that wrapped */
12496                 if (elen  > ((~(STRLEN)0) >> 1)) {
12497                     assert(0); /* in DEBUGGING build we want to crash */
12498                     elen = 0; /* otherwise we want to treat this as an empty string */
12499                 }
12500                 eptr = va_arg(*args, char *);
12501                 q += sizeof(UTF8f) - 2;
12502                 goto string;
12503             }
12504
12505             /* FALLTHROUGH */
12506         case 'i':
12507             base = -10;
12508             goto get_int_arg_val;
12509
12510         case 'U':
12511 #ifdef IV_IS_QUAD
12512             intsize = 'q';
12513 #else
12514             intsize = 'l';
12515 #endif
12516             /* FALLTHROUGH */
12517         case 'u':
12518             base = 10;
12519             goto get_int_arg_val;
12520
12521         case 'B':
12522         case 'b':
12523             base = 2;
12524             goto get_int_arg_val;
12525
12526         case 'O':
12527 #ifdef IV_IS_QUAD
12528             intsize = 'q';
12529 #else
12530             intsize = 'l';
12531 #endif
12532             /* FALLTHROUGH */
12533         case 'o':
12534             base = 8;
12535             goto get_int_arg_val;
12536
12537         case 'X':
12538         case 'x':
12539             base = 16;
12540
12541           get_int_arg_val:
12542
12543             if (vectorize) {
12544                 STRLEN ulen;
12545                 SV *vecsv;
12546
12547                 if (base < 0) {
12548                     base = -base;
12549                     if (plus)
12550                          esignbuf[esignlen++] = plus;
12551                 }
12552
12553                 /* initialise the vector string to iterate over */
12554
12555                 vecsv = args ? va_arg(*args, SV*) : argsv;
12556
12557                 /* if this is a version object, we need to convert
12558                  * back into v-string notation and then let the
12559                  * vectorize happen normally
12560                  */
12561                 if (sv_isobject(vecsv) && sv_derived_from(vecsv, "version")) {
12562                     if ( hv_existss(MUTABLE_HV(SvRV(vecsv)), "alpha") ) {
12563                         Perl_ck_warner_d(aTHX_ packWARN(WARN_PRINTF),
12564                         "vector argument not supported with alpha versions");
12565                         vecsv = &PL_sv_no;
12566                     }
12567                     else {
12568                         vecstr = (U8*)SvPV_const(vecsv,veclen);
12569                         vecsv = sv_newmortal();
12570                         scan_vstring((char *)vecstr, (char *)vecstr + veclen,
12571                                      vecsv);
12572                     }
12573                 }
12574                 vecstr = (U8*)SvPV_const(vecsv, veclen);
12575                 vec_utf8 = DO_UTF8(vecsv);
12576
12577               /* This is the re-entry point for when we're iterating
12578                * over the individual characters of a vector arg */
12579               vector:
12580                 if (!veclen)
12581                     goto done_valid_conversion;
12582                 if (vec_utf8)
12583                     uv = utf8n_to_uvchr(vecstr, veclen, &ulen,
12584                                         UTF8_ALLOW_ANYUV);
12585                 else {
12586                     uv = *vecstr;
12587                     ulen = 1;
12588                 }
12589                 vecstr += ulen;
12590                 veclen -= ulen;
12591             }
12592             else {
12593                 /* test arg for inf/nan. This can trigger an unwanted
12594                  * 'str' overload, so manually force 'num' overload first
12595                  * if necessary */
12596                 if (argsv) {
12597                     SvGETMAGIC(argsv);
12598                     if (UNLIKELY(SvAMAGIC(argsv)))
12599                         argsv = sv_2num(argsv);
12600                     if (UNLIKELY(isinfnansv(argsv)))
12601                         goto handle_infnan_argsv;
12602                 }
12603
12604                 if (base < 0) {
12605                     /* signed int type */
12606                     IV iv;
12607                     base = -base;
12608                     if (args) {
12609                         switch (intsize) {
12610                         case 'c':  iv = (char)va_arg(*args, int);  break;
12611                         case 'h':  iv = (short)va_arg(*args, int); break;
12612                         case 'l':  iv = va_arg(*args, long);       break;
12613                         case 'V':  iv = va_arg(*args, IV);         break;
12614                         case 'z':  iv = va_arg(*args, SSize_t);    break;
12615 #ifdef HAS_PTRDIFF_T
12616                         case 't':  iv = va_arg(*args, ptrdiff_t);  break;
12617 #endif
12618                         default:   iv = va_arg(*args, int);        break;
12619                         case 'j':  iv = va_arg(*args, PERL_INTMAX_T); break;
12620                         case 'q':
12621 #if IVSIZE >= 8
12622                                    iv = va_arg(*args, Quad_t);     break;
12623 #else
12624                                    goto unknown;
12625 #endif
12626                         }
12627                     }
12628                     else {
12629                         /* assign to tiv then cast to iv to work around
12630                          * 2003 GCC cast bug (gnu.org bugzilla #13488) */
12631                         IV tiv = SvIV_nomg(argsv);
12632                         switch (intsize) {
12633                         case 'c':  iv = (char)tiv;   break;
12634                         case 'h':  iv = (short)tiv;  break;
12635                         case 'l':  iv = (long)tiv;   break;
12636                         case 'V':
12637                         default:   iv = tiv;         break;
12638                         case 'q':
12639 #if IVSIZE >= 8
12640                                    iv = (Quad_t)tiv; break;
12641 #else
12642                                    goto unknown;
12643 #endif
12644                         }
12645                     }
12646
12647                     /* now convert iv to uv */
12648                     if (iv >= 0) {
12649                         uv = iv;
12650                         if (plus)
12651                             esignbuf[esignlen++] = plus;
12652                     }
12653                     else {
12654                         uv = -(UV)iv;
12655                         esignbuf[esignlen++] = '-';
12656                     }
12657                 }
12658                 else {
12659                     /* unsigned int type */
12660                     if (args) {
12661                         switch (intsize) {
12662                         case 'c': uv = (unsigned char)va_arg(*args, unsigned);
12663                                   break;
12664                         case 'h': uv = (unsigned short)va_arg(*args, unsigned);
12665                                   break;
12666                         case 'l': uv = va_arg(*args, unsigned long); break;
12667                         case 'V': uv = va_arg(*args, UV);            break;
12668                         case 'z': uv = va_arg(*args, Size_t);        break;
12669 #ifdef HAS_PTRDIFF_T
12670                                   /* will sign extend, but there is no
12671                                    * uptrdiff_t, so oh well */
12672                         case 't': uv = va_arg(*args, ptrdiff_t);     break;
12673 #endif
12674                         case 'j': uv = va_arg(*args, PERL_UINTMAX_T); break;
12675                         default:  uv = va_arg(*args, unsigned);      break;
12676                         case 'q':
12677 #if IVSIZE >= 8
12678                                   uv = va_arg(*args, Uquad_t);       break;
12679 #else
12680                                   goto unknown;
12681 #endif
12682                         }
12683                     }
12684                     else {
12685                         /* assign to tiv then cast to iv to work around
12686                          * 2003 GCC cast bug (gnu.org bugzilla #13488) */
12687                         UV tuv = SvUV_nomg(argsv);
12688                         switch (intsize) {
12689                         case 'c': uv = (unsigned char)tuv;  break;
12690                         case 'h': uv = (unsigned short)tuv; break;
12691                         case 'l': uv = (unsigned long)tuv;  break;
12692                         case 'V':
12693                         default:  uv = tuv;                 break;
12694                         case 'q':
12695 #if IVSIZE >= 8
12696                                   uv = (Uquad_t)tuv;        break;
12697 #else
12698                                   goto unknown;
12699 #endif
12700                         }
12701                     }
12702                 }
12703             }
12704
12705         do_integer:
12706             {
12707                 char *ptr = ebuf + sizeof ebuf;
12708                 unsigned dig;
12709                 zeros = 0;
12710
12711                 switch (base) {
12712                 case 16:
12713                     {
12714                     const char * const p =
12715                             (c == 'X') ? PL_hexdigit + 16 : PL_hexdigit;
12716
12717                         do {
12718                             dig = uv & 15;
12719                             *--ptr = p[dig];
12720                         } while (uv >>= 4);
12721                         if (alt && *ptr != '0') {
12722                             esignbuf[esignlen++] = '0';
12723                             esignbuf[esignlen++] = c;  /* 'x' or 'X' */
12724                         }
12725                         break;
12726                     }
12727                 case 8:
12728                     do {
12729                         dig = uv & 7;
12730                         *--ptr = '0' + dig;
12731                     } while (uv >>= 3);
12732                     if (alt && *ptr != '0')
12733                         *--ptr = '0';
12734                     break;
12735                 case 2:
12736                     do {
12737                         dig = uv & 1;
12738                         *--ptr = '0' + dig;
12739                     } while (uv >>= 1);
12740                     if (alt && *ptr != '0') {
12741                         esignbuf[esignlen++] = '0';
12742                         esignbuf[esignlen++] = c; /* 'b' or 'B' */
12743                     }
12744                     break;
12745
12746                 case 1:
12747                     /* special-case: base 1 indicates a 'c' format:
12748                      * we use the common code for extracting a uv,
12749                      * but handle that value differently here than
12750                      * all the other int types */
12751                     if ((uv > 255 ||
12752                          (!UVCHR_IS_INVARIANT(uv) && SvUTF8(sv)))
12753                         && !IN_BYTES)
12754                     {
12755                         assert(sizeof(ebuf) >= UTF8_MAXBYTES + 1);
12756                         eptr = ebuf;
12757                         elen = uvchr_to_utf8((U8*)eptr, uv) - (U8*)ebuf;
12758                         is_utf8 = TRUE;
12759                     }
12760                     else {
12761                         eptr = ebuf;
12762                         ebuf[0] = (char)uv;
12763                         elen = 1;
12764                     }
12765                     goto string;
12766
12767                 default:                /* it had better be ten or less */
12768                     do {
12769                         dig = uv % base;
12770                         *--ptr = '0' + dig;
12771                     } while (uv /= base);
12772                     break;
12773                 }
12774                 elen = (ebuf + sizeof ebuf) - ptr;
12775                 eptr = ptr;
12776                 if (has_precis) {
12777                     if (precis > elen)
12778                         zeros = precis - elen;
12779                     else if (precis == 0 && elen == 1 && *eptr == '0'
12780                              && !(base == 8 && alt)) /* "%#.0o" prints "0" */
12781                         elen = 0;
12782
12783                     /* a precision nullifies the 0 flag. */
12784                     fill = FALSE;
12785                 }
12786             }
12787             break;
12788
12789             /* FLOATING POINT */
12790
12791         case 'F':
12792             c = 'f';            /* maybe %F isn't supported here */
12793             /* FALLTHROUGH */
12794         case 'e': case 'E':
12795         case 'f':
12796         case 'g': case 'G':
12797         case 'a': case 'A':
12798
12799         {
12800             STRLEN float_need; /* what PL_efloatsize needs to become */
12801             bool hexfp;        /* hexadecimal floating point? */
12802
12803             vcatpvfn_long_double_t fv;
12804             NV                     nv;
12805
12806             /* This is evil, but floating point is even more evil */
12807
12808             /* for SV-style calling, we can only get NV
12809                for C-style calling, we assume %f is double;
12810                for simplicity we allow any of %Lf, %llf, %qf for long double
12811             */
12812             switch (intsize) {
12813             case 'V':
12814 #if defined(USE_LONG_DOUBLE) || defined(USE_QUADMATH)
12815                 intsize = 'q';
12816 #endif
12817                 break;
12818 /* [perl #20339] - we should accept and ignore %lf rather than die */
12819             case 'l':
12820                 /* FALLTHROUGH */
12821             default:
12822 #if defined(USE_LONG_DOUBLE) || defined(USE_QUADMATH)
12823                 intsize = args ? 0 : 'q';
12824 #endif
12825                 break;
12826             case 'q':
12827 #if defined(HAS_LONG_DOUBLE)
12828                 break;
12829 #else
12830                 /* FALLTHROUGH */
12831 #endif
12832             case 'c':
12833             case 'h':
12834             case 'z':
12835             case 't':
12836             case 'j':
12837                 goto unknown;
12838             }
12839
12840             /* Now we need (long double) if intsize == 'q', else (double). */
12841             if (args) {
12842                 /* Note: do not pull NVs off the va_list with va_arg()
12843                  * (pull doubles instead) because if you have a build
12844                  * with long doubles, you would always be pulling long
12845                  * doubles, which would badly break anyone using only
12846                  * doubles (i.e. the majority of builds). In other
12847                  * words, you cannot mix doubles and long doubles.
12848                  * The only case where you can pull off long doubles
12849                  * is when the format specifier explicitly asks so with
12850                  * e.g. "%Lg". */
12851 #ifdef USE_QUADMATH
12852                 fv = intsize == 'q' ?
12853                     va_arg(*args, NV) : va_arg(*args, double);
12854                 nv = fv;
12855 #elif LONG_DOUBLESIZE > DOUBLESIZE
12856                 if (intsize == 'q') {
12857                     fv = va_arg(*args, long double);
12858                     nv = fv;
12859                 } else {
12860                     nv = va_arg(*args, double);
12861                     VCATPVFN_NV_TO_FV(nv, fv);
12862                 }
12863 #else
12864                 nv = va_arg(*args, double);
12865                 fv = nv;
12866 #endif
12867             }
12868             else
12869             {
12870                 SvGETMAGIC(argsv);
12871                 /* we jump here if an int-ish format encountered an
12872                  * infinite/Nan argsv. After setting nv/fv, it falls
12873                  * into the isinfnan block which follows */
12874               handle_infnan_argsv:
12875                 nv = SvNV_nomg(argsv);
12876                 VCATPVFN_NV_TO_FV(nv, fv);
12877             }
12878
12879             if (Perl_isinfnan(nv)) {
12880                 if (c == 'c')
12881                     Perl_croak(aTHX_ "Cannot printf %" NVgf " with '%c'",
12882                            SvNV_nomg(argsv), (int)c);
12883
12884                 elen = S_infnan_2pv(nv, ebuf, sizeof(ebuf), plus);
12885                 assert(elen);
12886                 eptr = ebuf;
12887                 zeros     = 0;
12888                 esignlen  = 0;
12889                 dotstrlen = 0;
12890                 break;
12891             }
12892
12893             /* special-case "%.0f" */
12894             if (   c == 'f'
12895                 && !precis
12896                 && has_precis
12897                 && !(width || left || plus || alt)
12898                 && !fill
12899                 && intsize != 'q'
12900                 && ((eptr = F0convert(nv, ebuf + sizeof ebuf, &elen)))
12901             )
12902                 goto float_concat;
12903
12904             /* Determine the buffer size needed for the various
12905              * floating-point formats.
12906              *
12907              * The basic possibilities are:
12908              *
12909              *               <---P--->
12910              *    %f 1111111.123456789
12911              *    %e       1.111111123e+06
12912              *    %a     0x1.0f4471f9bp+20
12913              *    %g        1111111.12
12914              *    %g        1.11111112e+15
12915              *
12916              * where P is the value of the precision in the format, or 6
12917              * if not specified. Note the two possible output formats of
12918              * %g; in both cases the number of significant digits is <=
12919              * precision.
12920              *
12921              * For most of the format types the maximum buffer size needed
12922              * is precision, plus: any leading 1 or 0x1, the radix
12923              * point, and an exponent.  The difficult one is %f: for a
12924              * large positive exponent it can have many leading digits,
12925              * which needs to be calculated specially. Also %a is slightly
12926              * different in that in the absence of a specified precision,
12927              * it uses as many digits as necessary to distinguish
12928              * different values.
12929              *
12930              * First, here are the constant bits. For ease of calculation
12931              * we over-estimate the needed buffer size, for example by
12932              * assuming all formats have an exponent and a leading 0x1.
12933              *
12934              * Also for production use, add a little extra overhead for
12935              * safety's sake. Under debugging don't, as it means we're
12936              * more likely to quickly spot issues during development.
12937              */
12938
12939             float_need =     1  /* possible unary minus */
12940                           +  4  /* "0x1" plus very unlikely carry */
12941                           +  1  /* default radix point '.' */
12942                           +  2  /* "e-", "p+" etc */
12943                           +  6  /* exponent: up to 16383 (quad fp) */
12944 #ifndef DEBUGGING
12945                           + 20  /* safety net */
12946 #endif
12947                           +  1; /* \0 */
12948
12949
12950             /* determine the radix point len, e.g. length(".") in "1.2" */
12951 #ifdef USE_LOCALE_NUMERIC
12952             /* note that we may either explicitly use PL_numeric_radix_sv
12953              * below, or implicitly, via an snprintf() variant.
12954              * Note also things like ps_AF.utf8 which has
12955              * "\N{ARABIC DECIMAL SEPARATOR} as a radix point */
12956             if (!lc_numeric_set) {
12957                 /* only set once and reuse in-locale value on subsequent
12958                  * iterations.
12959                  * XXX what happens if we die in an eval?
12960                  */
12961                 STORE_LC_NUMERIC_SET_TO_NEEDED();
12962                 lc_numeric_set = TRUE;
12963             }
12964
12965             if (IN_LC(LC_NUMERIC)) {
12966                 /* this can't wrap unless PL_numeric_radix_sv is a string
12967                  * consuming virtually all the 32-bit or 64-bit address
12968                  * space
12969                  */
12970                 float_need += (SvCUR(PL_numeric_radix_sv) - 1);
12971
12972                 /* floating-point formats only get utf8 if the radix point
12973                  * is utf8. All other characters in the string are < 128
12974                  * and so can be safely appended to both a non-utf8 and utf8
12975                  * string as-is.
12976                  * Note that this will convert the output to utf8 even if
12977                  * the radix point didn't get output.
12978                  */
12979                 if (SvUTF8(PL_numeric_radix_sv) && !has_utf8) {
12980                     sv_utf8_upgrade(sv);
12981                     has_utf8 = TRUE;
12982                 }
12983             }
12984 #endif
12985
12986             hexfp = FALSE;
12987
12988             if (isALPHA_FOLD_EQ(c, 'f')) {
12989                 /* Determine how many digits before the radix point
12990                  * might be emitted.  frexp() (or frexpl) has some
12991                  * unspecified behaviour for nan/inf/-inf, so lucky we've
12992                  * already handled them above */
12993                 STRLEN digits;
12994                 int i = PERL_INT_MIN;
12995                 (void)Perl_frexp((NV)fv, &i);
12996                 if (i == PERL_INT_MIN)
12997                     Perl_die(aTHX_ "panic: frexp: %" VCATPVFN_FV_GF, fv);
12998
12999                 if (i > 0) {
13000                     digits = BIT_DIGITS(i);
13001                     /* this can't overflow. 'digits' will only be a few
13002                      * thousand even for the largest floating-point types.
13003                      * And up until now float_need is just some small
13004                      * constants plus radix len, which can't be in
13005                      * overflow territory unless the radix SV is consuming
13006                      * over 1/2 the address space */
13007                     assert(float_need < ((STRLEN)~0) - digits);
13008                     float_need += digits;
13009                 }
13010             }
13011             else if (UNLIKELY(isALPHA_FOLD_EQ(c, 'a'))) {
13012                 hexfp = TRUE;
13013                 if (!has_precis) {
13014                     /* %a in the absence of precision may print as many
13015                      * digits as needed to represent the entire mantissa
13016                      * bit pattern.
13017                      * This estimate seriously overshoots in most cases,
13018                      * but better the undershooting.  Firstly, all bytes
13019                      * of the NV are not mantissa, some of them are
13020                      * exponent.  Secondly, for the reasonably common
13021                      * long doubles case, the "80-bit extended", two
13022                      * or six bytes of the NV are unused. Also, we'll
13023                      * still pick up an extra +6 from the default
13024                      * precision calculation below. */
13025                     STRLEN digits =
13026 #ifdef LONGDOUBLE_DOUBLEDOUBLE
13027                         /* For the "double double", we need more.
13028                          * Since each double has their own exponent, the
13029                          * doubles may float (haha) rather far from each
13030                          * other, and the number of required bits is much
13031                          * larger, up to total of DOUBLEDOUBLE_MAXBITS bits.
13032                          * See the definition of DOUBLEDOUBLE_MAXBITS.
13033                          *
13034                          * Need 2 hexdigits for each byte. */
13035                         (DOUBLEDOUBLE_MAXBITS/8 + 1) * 2;
13036 #else
13037                         NVSIZE * 2; /* 2 hexdigits for each byte */
13038 #endif
13039                     /* see "this can't overflow" comment above */
13040                     assert(float_need < ((STRLEN)~0) - digits);
13041                     float_need += digits;
13042                 }
13043             }
13044             /* special-case "%.<number>g" if it will fit in ebuf */
13045             else if (c == 'g'
13046                 && precis   /* See earlier comment about buggy Gconvert
13047                                when digits, aka precis, is 0  */
13048                 && has_precis
13049                 /* check, in manner not involving wrapping, that it will
13050                  * fit in ebuf  */
13051                 && float_need < sizeof(ebuf)
13052                 && sizeof(ebuf) - float_need > precis
13053                 && !(width || left || plus || alt)
13054                 && !fill
13055                 && intsize != 'q'
13056             ) {
13057                 SNPRINTF_G(fv, ebuf, sizeof(ebuf), precis);
13058                 elen = strlen(ebuf);
13059                 eptr = ebuf;
13060                 goto float_concat;
13061             }
13062
13063
13064             {
13065                 STRLEN pr = has_precis ? precis : 6; /* known default */
13066                 /* this probably can't wrap, since precis is limited
13067                  * to 1/4 address space size, but better safe than sorry
13068                  */
13069                 if (float_need >= ((STRLEN)~0) - pr)
13070                     croak_memory_wrap();
13071                 float_need += pr;
13072             }
13073
13074             if (float_need < width)
13075                 float_need = width;
13076
13077             if (PL_efloatsize <= float_need) {
13078                 /* PL_efloatbuf should be at least 1 greater than
13079                  * float_need to allow a trailing \0 to be returned by
13080                  * snprintf().  If we need to grow, overgrow for the
13081                  * benefit of future generations */
13082                 const STRLEN extra = 0x20;
13083                 if (float_need >= ((STRLEN)~0) - extra)
13084                     croak_memory_wrap();
13085                 float_need += extra;
13086                 Safefree(PL_efloatbuf);
13087                 PL_efloatsize = float_need;
13088                 Newx(PL_efloatbuf, PL_efloatsize, char);
13089                 PL_efloatbuf[0] = '\0';
13090             }
13091
13092             if (UNLIKELY(hexfp)) {
13093                 elen = S_format_hexfp(aTHX_ PL_efloatbuf, PL_efloatsize, c,
13094                                 nv, fv, has_precis, precis, width,
13095                                 alt, plus, left, fill);
13096             }
13097             else {
13098                 char *ptr = ebuf + sizeof ebuf;
13099                 *--ptr = '\0';
13100                 *--ptr = c;
13101 #if defined(USE_QUADMATH)
13102                 if (intsize == 'q') {
13103                     /* "g" -> "Qg" */
13104                     *--ptr = 'Q';
13105                 }
13106                 /* FIXME: what to do if HAS_LONG_DOUBLE but not PERL_PRIfldbl? */
13107 #elif defined(HAS_LONG_DOUBLE) && defined(PERL_PRIfldbl)
13108                 /* Note that this is HAS_LONG_DOUBLE and PERL_PRIfldbl,
13109                  * not USE_LONG_DOUBLE and NVff.  In other words,
13110                  * this needs to work without USE_LONG_DOUBLE. */
13111                 if (intsize == 'q') {
13112                     /* Copy the one or more characters in a long double
13113                      * format before the 'base' ([efgEFG]) character to
13114                      * the format string. */
13115                     static char const ldblf[] = PERL_PRIfldbl;
13116                     char const *p = ldblf + sizeof(ldblf) - 3;
13117                     while (p >= ldblf) { *--ptr = *p--; }
13118                 }
13119 #endif
13120                 if (has_precis) {
13121                     base = precis;
13122                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
13123                     *--ptr = '.';
13124                 }
13125                 if (width) {
13126                     base = width;
13127                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
13128                 }
13129                 if (fill)
13130                     *--ptr = '0';
13131                 if (left)
13132                     *--ptr = '-';
13133                 if (plus)
13134                     *--ptr = plus;
13135                 if (alt)
13136                     *--ptr = '#';
13137                 *--ptr = '%';
13138
13139                 /* No taint.  Otherwise we are in the strange situation
13140                  * where printf() taints but print($float) doesn't.
13141                  * --jhi */
13142
13143                 /* hopefully the above makes ptr a very constrained format
13144                  * that is safe to use, even though it's not literal */
13145                 GCC_DIAG_IGNORE_STMT(-Wformat-nonliteral);
13146 #ifdef USE_QUADMATH
13147                 {
13148                     const char* qfmt = quadmath_format_single(ptr);
13149                     if (!qfmt)
13150                         Perl_croak_nocontext("panic: quadmath invalid format \"%s\"", ptr);
13151                     elen = quadmath_snprintf(PL_efloatbuf, PL_efloatsize,
13152                                              qfmt, nv);
13153                     if ((IV)elen == -1) {
13154                         if (qfmt != ptr)
13155                             SAVEFREEPV(qfmt);
13156                         Perl_croak_nocontext("panic: quadmath_snprintf failed, format \"%s\"", qfmt);
13157                     }
13158                     if (qfmt != ptr)
13159                         Safefree(qfmt);
13160                 }
13161 #elif defined(HAS_LONG_DOUBLE)
13162                 elen = ((intsize == 'q')
13163                         ? my_snprintf(PL_efloatbuf, PL_efloatsize, ptr, fv)
13164                         : my_snprintf(PL_efloatbuf, PL_efloatsize, ptr, (double)fv));
13165 #else
13166                 elen = my_snprintf(PL_efloatbuf, PL_efloatsize, ptr, fv);
13167 #endif
13168                 GCC_DIAG_RESTORE_STMT;
13169             }
13170
13171             eptr = PL_efloatbuf;
13172
13173           float_concat:
13174
13175             /* Since floating-point formats do their own formatting and
13176              * padding, we skip the main block of code at the end of this
13177              * loop which handles appending eptr to sv, and do our own
13178              * stripped-down version */
13179
13180             assert(!zeros);
13181             assert(!esignlen);
13182             assert(elen);
13183             assert(elen >= width);
13184
13185             S_sv_catpvn_simple(aTHX_ sv, eptr, elen);
13186
13187             goto done_valid_conversion;
13188         }
13189
13190             /* SPECIAL */
13191
13192         case 'n':
13193             {
13194                 STRLEN len;
13195                 /* XXX ideally we should warn if any flags etc have been
13196                  * set, e.g. "%-4.5n" */
13197                 /* XXX if sv was originally non-utf8 with a char in the
13198                  * range 0x80-0xff, then if it got upgraded, we should
13199                  * calculate char len rather than byte len here */
13200                 len = SvCUR(sv) - origlen;
13201                 if (args) {
13202                     int i = (len > PERL_INT_MAX) ? PERL_INT_MAX : (int)len;
13203
13204                     switch (intsize) {
13205                     case 'c':  *(va_arg(*args, char*))      = i; break;
13206                     case 'h':  *(va_arg(*args, short*))     = i; break;
13207                     default:   *(va_arg(*args, int*))       = i; break;
13208                     case 'l':  *(va_arg(*args, long*))      = i; break;
13209                     case 'V':  *(va_arg(*args, IV*))        = i; break;
13210                     case 'z':  *(va_arg(*args, SSize_t*))   = i; break;
13211 #ifdef HAS_PTRDIFF_T
13212                     case 't':  *(va_arg(*args, ptrdiff_t*)) = i; break;
13213 #endif
13214                     case 'j':  *(va_arg(*args, PERL_INTMAX_T*)) = i; break;
13215                     case 'q':
13216 #if IVSIZE >= 8
13217                                *(va_arg(*args, Quad_t*))    = i; break;
13218 #else
13219                                goto unknown;
13220 #endif
13221                     }
13222                 }
13223                 else {
13224                     if (arg_missing)
13225                         Perl_croak_nocontext(
13226                             "Missing argument for %%n in %s",
13227                                 PL_op ? OP_DESC(PL_op) : "sv_vcatpvfn()");
13228                     sv_setuv_mg(argsv, has_utf8 ? (UV)sv_len_utf8(sv) : (UV)len);
13229                 }
13230                 goto done_valid_conversion;
13231             }
13232
13233             /* UNKNOWN */
13234
13235         default:
13236       unknown:
13237             if (!args
13238                 && (PL_op->op_type == OP_PRTF || PL_op->op_type == OP_SPRINTF)
13239                 && ckWARN(WARN_PRINTF))
13240             {
13241                 SV * const msg = sv_newmortal();
13242                 Perl_sv_setpvf(aTHX_ msg, "Invalid conversion in %sprintf: ",
13243                           (PL_op->op_type == OP_PRTF) ? "" : "s");
13244                 if (fmtstart < patend) {
13245                     const char * const fmtend = q < patend ? q : patend;
13246                     const char * f;
13247                     sv_catpvs(msg, "\"%");
13248                     for (f = fmtstart; f < fmtend; f++) {
13249                         if (isPRINT(*f)) {
13250                             sv_catpvn_nomg(msg, f, 1);
13251                         } else {
13252                             Perl_sv_catpvf(aTHX_ msg,
13253                                            "\\%03" UVof, (UV)*f & 0xFF);
13254                         }
13255                     }
13256                     sv_catpvs(msg, "\"");
13257                 } else {
13258                     sv_catpvs(msg, "end of string");
13259                 }
13260                 Perl_warner(aTHX_ packWARN(WARN_PRINTF), "%" SVf, SVfARG(msg)); /* yes, this is reentrant */
13261             }
13262
13263             /* mangled format: output the '%', then continue from the
13264              * character following that */
13265             sv_catpvn_nomg(sv, fmtstart-1, 1);
13266             q = fmtstart;
13267             svix = osvix;
13268             /* Any "redundant arg" warning from now onwards will probably
13269              * just be misleading, so don't bother. */
13270             no_redundant_warning = TRUE;
13271             continue;   /* not "break" */
13272         }
13273
13274         if (is_utf8 != has_utf8) {
13275             if (is_utf8) {
13276                 if (SvCUR(sv))
13277                     sv_utf8_upgrade(sv);
13278             }
13279             else {
13280                 const STRLEN old_elen = elen;
13281                 SV * const nsv = newSVpvn_flags(eptr, elen, SVs_TEMP);
13282                 sv_utf8_upgrade(nsv);
13283                 eptr = SvPVX_const(nsv);
13284                 elen = SvCUR(nsv);
13285
13286                 if (width) { /* fudge width (can't fudge elen) */
13287                     width += elen - old_elen;
13288                 }
13289                 is_utf8 = TRUE;
13290             }
13291         }
13292
13293
13294         /* append esignbuf, filler, zeros, eptr and dotstr to sv */
13295
13296         {
13297             STRLEN need, have, gap;
13298             STRLEN i;
13299             char *s;
13300
13301             /* signed value that's wrapped? */
13302             assert(elen  <= ((~(STRLEN)0) >> 1));
13303
13304             /* if zeros is non-zero, then it represents filler between
13305              * elen and precis. So adding elen and zeros together will
13306              * always be <= precis, and the addition can never wrap */
13307             assert(!zeros || (precis > elen && precis - elen == zeros));
13308             have = elen + zeros;
13309
13310             if (have >= (((STRLEN)~0) - esignlen))
13311                 croak_memory_wrap();
13312             have += esignlen;
13313
13314             need = (have > width ? have : width);
13315             gap = need - have;
13316
13317             if (need >= (((STRLEN)~0) - (SvCUR(sv) + 1)))
13318                 croak_memory_wrap();
13319             need += (SvCUR(sv) + 1);
13320
13321             SvGROW(sv, need);
13322
13323             s = SvEND(sv);
13324
13325             if (left) {
13326                 for (i = 0; i < esignlen; i++)
13327                     *s++ = esignbuf[i];
13328                 for (i = zeros; i; i--)
13329                     *s++ = '0';
13330                 Copy(eptr, s, elen, char);
13331                 s += elen;
13332                 for (i = gap; i; i--)
13333                     *s++ = ' ';
13334             }
13335             else {
13336                 if (fill) {
13337                     for (i = 0; i < esignlen; i++)
13338                         *s++ = esignbuf[i];
13339                     assert(!zeros);
13340                     zeros = gap;
13341                 }
13342                 else {
13343                     for (i = gap; i; i--)
13344                         *s++ = ' ';
13345                     for (i = 0; i < esignlen; i++)
13346                         *s++ = esignbuf[i];
13347                 }
13348
13349                 for (i = zeros; i; i--)
13350                     *s++ = '0';
13351                 Copy(eptr, s, elen, char);
13352                 s += elen;
13353             }
13354
13355             *s = '\0';
13356             SvCUR_set(sv, s - SvPVX_const(sv));
13357
13358             if (is_utf8)
13359                 has_utf8 = TRUE;
13360             if (has_utf8)
13361                 SvUTF8_on(sv);
13362         }
13363
13364         if (vectorize && veclen) {
13365             /* we append the vector separator separately since %v isn't
13366              * very common: don't slow down the general case by adding
13367              * dotstrlen to need etc */
13368             sv_catpvn_nomg(sv, dotstr, dotstrlen);
13369             esignlen = 0;
13370             goto vector; /* do next iteration */
13371         }
13372
13373       done_valid_conversion:
13374
13375         if (arg_missing)
13376             S_warn_vcatpvfn_missing_argument(aTHX);
13377     }
13378
13379     /* Now that we've consumed all our printf format arguments (svix)
13380      * do we have things left on the stack that we didn't use?
13381      */
13382     if (!no_redundant_warning && sv_count >= svix + 1 && ckWARN(WARN_REDUNDANT)) {
13383         Perl_warner(aTHX_ packWARN(WARN_REDUNDANT), "Redundant argument in %s",
13384                 PL_op ? OP_DESC(PL_op) : "sv_vcatpvfn()");
13385     }
13386
13387     SvTAINT(sv);
13388
13389 #ifdef USE_LOCALE_NUMERIC
13390
13391     if (lc_numeric_set) {
13392         RESTORE_LC_NUMERIC();   /* Done outside loop, so don't have to
13393                                    save/restore each iteration. */
13394     }
13395
13396 #endif
13397
13398 }
13399
13400 /* =========================================================================
13401
13402 =head1 Cloning an interpreter
13403
13404 =cut
13405
13406 All the macros and functions in this section are for the private use of
13407 the main function, perl_clone().
13408
13409 The foo_dup() functions make an exact copy of an existing foo thingy.
13410 During the course of a cloning, a hash table is used to map old addresses
13411 to new addresses.  The table is created and manipulated with the
13412 ptr_table_* functions.
13413
13414  * =========================================================================*/
13415
13416
13417 #if defined(USE_ITHREADS)
13418
13419 /* XXX Remove this so it doesn't have to go thru the macro and return for nothing */
13420 #ifndef GpREFCNT_inc
13421 #  define GpREFCNT_inc(gp)      ((gp) ? (++(gp)->gp_refcnt, (gp)) : (GP*)NULL)
13422 #endif
13423
13424
13425 /* Certain cases in Perl_ss_dup have been merged, by relying on the fact
13426    that currently av_dup, gv_dup and hv_dup are the same as sv_dup.
13427    If this changes, please unmerge ss_dup.
13428    Likewise, sv_dup_inc_multiple() relies on this fact.  */
13429 #define sv_dup_inc_NN(s,t)      SvREFCNT_inc_NN(sv_dup_inc(s,t))
13430 #define av_dup(s,t)     MUTABLE_AV(sv_dup((const SV *)s,t))
13431 #define av_dup_inc(s,t) MUTABLE_AV(sv_dup_inc((const SV *)s,t))
13432 #define hv_dup(s,t)     MUTABLE_HV(sv_dup((const SV *)s,t))
13433 #define hv_dup_inc(s,t) MUTABLE_HV(sv_dup_inc((const SV *)s,t))
13434 #define cv_dup(s,t)     MUTABLE_CV(sv_dup((const SV *)s,t))
13435 #define cv_dup_inc(s,t) MUTABLE_CV(sv_dup_inc((const SV *)s,t))
13436 #define io_dup(s,t)     MUTABLE_IO(sv_dup((const SV *)s,t))
13437 #define io_dup_inc(s,t) MUTABLE_IO(sv_dup_inc((const SV *)s,t))
13438 #define gv_dup(s,t)     MUTABLE_GV(sv_dup((const SV *)s,t))
13439 #define gv_dup_inc(s,t) MUTABLE_GV(sv_dup_inc((const SV *)s,t))
13440 #define SAVEPV(p)       ((p) ? savepv(p) : NULL)
13441 #define SAVEPVN(p,n)    ((p) ? savepvn(p,n) : NULL)
13442
13443 /* clone a parser */
13444
13445 yy_parser *
13446 Perl_parser_dup(pTHX_ const yy_parser *const proto, CLONE_PARAMS *const param)
13447 {
13448     yy_parser *parser;
13449
13450     PERL_ARGS_ASSERT_PARSER_DUP;
13451
13452     if (!proto)
13453         return NULL;
13454
13455     /* look for it in the table first */
13456     parser = (yy_parser *)ptr_table_fetch(PL_ptr_table, proto);
13457     if (parser)
13458         return parser;
13459
13460     /* create anew and remember what it is */
13461     Newxz(parser, 1, yy_parser);
13462     ptr_table_store(PL_ptr_table, proto, parser);
13463
13464     /* XXX eventually, just Copy() most of the parser struct ? */
13465
13466     parser->lex_brackets = proto->lex_brackets;
13467     parser->lex_casemods = proto->lex_casemods;
13468     parser->lex_brackstack = savepvn(proto->lex_brackstack,
13469                     (proto->lex_brackets < 120 ? 120 : proto->lex_brackets));
13470     parser->lex_casestack = savepvn(proto->lex_casestack,
13471                     (proto->lex_casemods < 12 ? 12 : proto->lex_casemods));
13472     parser->lex_defer   = proto->lex_defer;
13473     parser->lex_dojoin  = proto->lex_dojoin;
13474     parser->lex_formbrack = proto->lex_formbrack;
13475     parser->lex_inpat   = proto->lex_inpat;
13476     parser->lex_inwhat  = proto->lex_inwhat;
13477     parser->lex_op      = proto->lex_op;
13478     parser->lex_repl    = sv_dup_inc(proto->lex_repl, param);
13479     parser->lex_starts  = proto->lex_starts;
13480     parser->lex_stuff   = sv_dup_inc(proto->lex_stuff, param);
13481     parser->multi_close = proto->multi_close;
13482     parser->multi_open  = proto->multi_open;
13483     parser->multi_start = proto->multi_start;
13484     parser->multi_end   = proto->multi_end;
13485     parser->preambled   = proto->preambled;
13486     parser->lex_super_state = proto->lex_super_state;
13487     parser->lex_sub_inwhat  = proto->lex_sub_inwhat;
13488     parser->lex_sub_op  = proto->lex_sub_op;
13489     parser->lex_sub_repl= sv_dup_inc(proto->lex_sub_repl, param);
13490     parser->linestr     = sv_dup_inc(proto->linestr, param);
13491     parser->expect      = proto->expect;
13492     parser->copline     = proto->copline;
13493     parser->last_lop_op = proto->last_lop_op;
13494     parser->lex_state   = proto->lex_state;
13495     parser->rsfp        = fp_dup(proto->rsfp, '<', param);
13496     /* rsfp_filters entries have fake IoDIRP() */
13497     parser->rsfp_filters= av_dup_inc(proto->rsfp_filters, param);
13498     parser->in_my       = proto->in_my;
13499     parser->in_my_stash = hv_dup(proto->in_my_stash, param);
13500     parser->error_count = proto->error_count;
13501     parser->sig_elems   = proto->sig_elems;
13502     parser->sig_optelems= proto->sig_optelems;
13503     parser->sig_slurpy  = proto->sig_slurpy;
13504     parser->recheck_utf8_validity = proto->recheck_utf8_validity;
13505
13506     {
13507         char * const ols = SvPVX(proto->linestr);
13508         char * const ls  = SvPVX(parser->linestr);
13509
13510         parser->bufptr      = ls + (proto->bufptr >= ols ?
13511                                     proto->bufptr -  ols : 0);
13512         parser->oldbufptr   = ls + (proto->oldbufptr >= ols ?
13513                                     proto->oldbufptr -  ols : 0);
13514         parser->oldoldbufptr= ls + (proto->oldoldbufptr >= ols ?
13515                                     proto->oldoldbufptr -  ols : 0);
13516         parser->linestart   = ls + (proto->linestart >= ols ?
13517                                     proto->linestart -  ols : 0);
13518         parser->last_uni    = ls + (proto->last_uni >= ols ?
13519                                     proto->last_uni -  ols : 0);
13520         parser->last_lop    = ls + (proto->last_lop >= ols ?
13521                                     proto->last_lop -  ols : 0);
13522
13523         parser->bufend      = ls + SvCUR(parser->linestr);
13524     }
13525
13526     Copy(proto->tokenbuf, parser->tokenbuf, 256, char);
13527
13528
13529     Copy(proto->nextval, parser->nextval, 5, YYSTYPE);
13530     Copy(proto->nexttype, parser->nexttype, 5,  I32);
13531     parser->nexttoke    = proto->nexttoke;
13532
13533     /* XXX should clone saved_curcop here, but we aren't passed
13534      * proto_perl; so do it in perl_clone_using instead */
13535
13536     return parser;
13537 }
13538
13539
13540 /* duplicate a file handle */
13541
13542 PerlIO *
13543 Perl_fp_dup(pTHX_ PerlIO *const fp, const char type, CLONE_PARAMS *const param)
13544 {
13545     PerlIO *ret;
13546
13547     PERL_ARGS_ASSERT_FP_DUP;
13548     PERL_UNUSED_ARG(type);
13549
13550     if (!fp)
13551         return (PerlIO*)NULL;
13552
13553     /* look for it in the table first */
13554     ret = (PerlIO*)ptr_table_fetch(PL_ptr_table, fp);
13555     if (ret)
13556         return ret;
13557
13558     /* create anew and remember what it is */
13559 #ifdef __amigaos4__
13560     ret = PerlIO_fdupopen(aTHX_ fp, param, PERLIO_DUP_CLONE|PERLIO_DUP_FD);
13561 #else
13562     ret = PerlIO_fdupopen(aTHX_ fp, param, PERLIO_DUP_CLONE);
13563 #endif
13564     ptr_table_store(PL_ptr_table, fp, ret);
13565     return ret;
13566 }
13567
13568 /* duplicate a directory handle */
13569
13570 DIR *
13571 Perl_dirp_dup(pTHX_ DIR *const dp, CLONE_PARAMS *const param)
13572 {
13573     DIR *ret;
13574
13575 #if defined(HAS_FCHDIR) && defined(HAS_TELLDIR) && defined(HAS_SEEKDIR)
13576     DIR *pwd;
13577     const Direntry_t *dirent;
13578     char smallbuf[256]; /* XXX MAXPATHLEN, surely? */
13579     char *name = NULL;
13580     STRLEN len = 0;
13581     long pos;
13582 #endif
13583
13584     PERL_UNUSED_CONTEXT;
13585     PERL_ARGS_ASSERT_DIRP_DUP;
13586
13587     if (!dp)
13588         return (DIR*)NULL;
13589
13590     /* look for it in the table first */
13591     ret = (DIR*)ptr_table_fetch(PL_ptr_table, dp);
13592     if (ret)
13593         return ret;
13594
13595 #if defined(HAS_FCHDIR) && defined(HAS_TELLDIR) && defined(HAS_SEEKDIR)
13596
13597     PERL_UNUSED_ARG(param);
13598
13599     /* create anew */
13600
13601     /* open the current directory (so we can switch back) */
13602     if (!(pwd = PerlDir_open("."))) return (DIR *)NULL;
13603
13604     /* chdir to our dir handle and open the present working directory */
13605     if (fchdir(my_dirfd(dp)) < 0 || !(ret = PerlDir_open("."))) {
13606         PerlDir_close(pwd);
13607         return (DIR *)NULL;
13608     }
13609     /* Now we should have two dir handles pointing to the same dir. */
13610
13611     /* Be nice to the calling code and chdir back to where we were. */
13612     /* XXX If this fails, then what? */
13613     PERL_UNUSED_RESULT(fchdir(my_dirfd(pwd)));
13614
13615     /* We have no need of the pwd handle any more. */
13616     PerlDir_close(pwd);
13617
13618 #ifdef DIRNAMLEN
13619 # define d_namlen(d) (d)->d_namlen
13620 #else
13621 # define d_namlen(d) strlen((d)->d_name)
13622 #endif
13623     /* Iterate once through dp, to get the file name at the current posi-
13624        tion. Then step back. */
13625     pos = PerlDir_tell(dp);
13626     if ((dirent = PerlDir_read(dp))) {
13627         len = d_namlen(dirent);
13628         if (len > sizeof(dirent->d_name) && sizeof(dirent->d_name) > PTRSIZE) {
13629             /* If the len is somehow magically longer than the
13630              * maximum length of the directory entry, even though
13631              * we could fit it in a buffer, we could not copy it
13632              * from the dirent.  Bail out. */
13633             PerlDir_close(ret);
13634             return (DIR*)NULL;
13635         }
13636         if (len <= sizeof smallbuf) name = smallbuf;
13637         else Newx(name, len, char);
13638         Move(dirent->d_name, name, len, char);
13639     }
13640     PerlDir_seek(dp, pos);
13641
13642     /* Iterate through the new dir handle, till we find a file with the
13643        right name. */
13644     if (!dirent) /* just before the end */
13645         for(;;) {
13646             pos = PerlDir_tell(ret);
13647             if (PerlDir_read(ret)) continue; /* not there yet */
13648             PerlDir_seek(ret, pos); /* step back */
13649             break;
13650         }
13651     else {
13652         const long pos0 = PerlDir_tell(ret);
13653         for(;;) {
13654             pos = PerlDir_tell(ret);
13655             if ((dirent = PerlDir_read(ret))) {
13656                 if (len == (STRLEN)d_namlen(dirent)
13657                     && memEQ(name, dirent->d_name, len)) {
13658                     /* found it */
13659                     PerlDir_seek(ret, pos); /* step back */
13660                     break;
13661                 }
13662                 /* else we are not there yet; keep iterating */
13663             }
13664             else { /* This is not meant to happen. The best we can do is
13665                       reset the iterator to the beginning. */
13666                 PerlDir_seek(ret, pos0);
13667                 break;
13668             }
13669         }
13670     }
13671 #undef d_namlen
13672
13673     if (name && name != smallbuf)
13674         Safefree(name);
13675 #endif
13676
13677 #ifdef WIN32
13678     ret = win32_dirp_dup(dp, param);
13679 #endif
13680
13681     /* pop it in the pointer table */
13682     if (ret)
13683         ptr_table_store(PL_ptr_table, dp, ret);
13684
13685     return ret;
13686 }
13687
13688 /* duplicate a typeglob */
13689
13690 GP *
13691 Perl_gp_dup(pTHX_ GP *const gp, CLONE_PARAMS *const param)
13692 {
13693     GP *ret;
13694
13695     PERL_ARGS_ASSERT_GP_DUP;
13696
13697     if (!gp)
13698         return (GP*)NULL;
13699     /* look for it in the table first */
13700     ret = (GP*)ptr_table_fetch(PL_ptr_table, gp);
13701     if (ret)
13702         return ret;
13703
13704     /* create anew and remember what it is */
13705     Newxz(ret, 1, GP);
13706     ptr_table_store(PL_ptr_table, gp, ret);
13707
13708     /* clone */
13709     /* ret->gp_refcnt must be 0 before any other dups are called. We're relying
13710        on Newxz() to do this for us.  */
13711     ret->gp_sv          = sv_dup_inc(gp->gp_sv, param);
13712     ret->gp_io          = io_dup_inc(gp->gp_io, param);
13713     ret->gp_form        = cv_dup_inc(gp->gp_form, param);
13714     ret->gp_av          = av_dup_inc(gp->gp_av, param);
13715     ret->gp_hv          = hv_dup_inc(gp->gp_hv, param);
13716     ret->gp_egv = gv_dup(gp->gp_egv, param);/* GvEGV is not refcounted */
13717     ret->gp_cv          = cv_dup_inc(gp->gp_cv, param);
13718     ret->gp_cvgen       = gp->gp_cvgen;
13719     ret->gp_line        = gp->gp_line;
13720     ret->gp_file_hek    = hek_dup(gp->gp_file_hek, param);
13721     return ret;
13722 }
13723
13724 /* duplicate a chain of magic */
13725
13726 MAGIC *
13727 Perl_mg_dup(pTHX_ MAGIC *mg, CLONE_PARAMS *const param)
13728 {
13729     MAGIC *mgret = NULL;
13730     MAGIC **mgprev_p = &mgret;
13731
13732     PERL_ARGS_ASSERT_MG_DUP;
13733
13734     for (; mg; mg = mg->mg_moremagic) {
13735         MAGIC *nmg;
13736
13737         if ((param->flags & CLONEf_JOIN_IN)
13738                 && mg->mg_type == PERL_MAGIC_backref)
13739             /* when joining, we let the individual SVs add themselves to
13740              * backref as needed. */
13741             continue;
13742
13743         Newx(nmg, 1, MAGIC);
13744         *mgprev_p = nmg;
13745         mgprev_p = &(nmg->mg_moremagic);
13746
13747         /* There was a comment "XXX copy dynamic vtable?" but as we don't have
13748            dynamic vtables, I'm not sure why Sarathy wrote it. The comment dates
13749            from the original commit adding Perl_mg_dup() - revision 4538.
13750            Similarly there is the annotation "XXX random ptr?" next to the
13751            assignment to nmg->mg_ptr.  */
13752         *nmg = *mg;
13753
13754         /* FIXME for plugins
13755         if (nmg->mg_type == PERL_MAGIC_qr) {
13756             nmg->mg_obj = MUTABLE_SV(CALLREGDUPE((REGEXP*)nmg->mg_obj, param));
13757         }
13758         else
13759         */
13760         nmg->mg_obj = (nmg->mg_flags & MGf_REFCOUNTED)
13761                           ? nmg->mg_type == PERL_MAGIC_backref
13762                                 /* The backref AV has its reference
13763                                  * count deliberately bumped by 1 */
13764                                 ? SvREFCNT_inc(av_dup_inc((const AV *)
13765                                                     nmg->mg_obj, param))
13766                                 : sv_dup_inc(nmg->mg_obj, param)
13767                           : (nmg->mg_type == PERL_MAGIC_regdatum ||
13768                              nmg->mg_type == PERL_MAGIC_regdata)
13769                                   ? nmg->mg_obj
13770                                   : sv_dup(nmg->mg_obj, param);
13771
13772         if (nmg->mg_ptr && nmg->mg_type != PERL_MAGIC_regex_global) {
13773             if (nmg->mg_len > 0) {
13774                 nmg->mg_ptr     = SAVEPVN(nmg->mg_ptr, nmg->mg_len);
13775                 if (nmg->mg_type == PERL_MAGIC_overload_table &&
13776                         AMT_AMAGIC((AMT*)nmg->mg_ptr))
13777                 {
13778                     AMT * const namtp = (AMT*)nmg->mg_ptr;
13779                     sv_dup_inc_multiple((SV**)(namtp->table),
13780                                         (SV**)(namtp->table), NofAMmeth, param);
13781                 }
13782             }
13783             else if (nmg->mg_len == HEf_SVKEY)
13784                 nmg->mg_ptr = (char*)sv_dup_inc((const SV *)nmg->mg_ptr, param);
13785         }
13786         if ((nmg->mg_flags & MGf_DUP) && nmg->mg_virtual && nmg->mg_virtual->svt_dup) {
13787             nmg->mg_virtual->svt_dup(aTHX_ nmg, param);
13788         }
13789     }
13790     return mgret;
13791 }
13792
13793 #endif /* USE_ITHREADS */
13794
13795 struct ptr_tbl_arena {
13796     struct ptr_tbl_arena *next;
13797     struct ptr_tbl_ent array[1023/3]; /* as ptr_tbl_ent has 3 pointers.  */
13798 };
13799
13800 /* create a new pointer-mapping table */
13801
13802 PTR_TBL_t *
13803 Perl_ptr_table_new(pTHX)
13804 {
13805     PTR_TBL_t *tbl;
13806     PERL_UNUSED_CONTEXT;
13807
13808     Newx(tbl, 1, PTR_TBL_t);
13809     tbl->tbl_max        = 511;
13810     tbl->tbl_items      = 0;
13811     tbl->tbl_arena      = NULL;
13812     tbl->tbl_arena_next = NULL;
13813     tbl->tbl_arena_end  = NULL;
13814     Newxz(tbl->tbl_ary, tbl->tbl_max + 1, PTR_TBL_ENT_t*);
13815     return tbl;
13816 }
13817
13818 #define PTR_TABLE_HASH(ptr) \
13819   ((PTR2UV(ptr) >> 3) ^ (PTR2UV(ptr) >> (3 + 7)) ^ (PTR2UV(ptr) >> (3 + 17)))
13820
13821 /* map an existing pointer using a table */
13822
13823 STATIC PTR_TBL_ENT_t *
13824 S_ptr_table_find(PTR_TBL_t *const tbl, const void *const sv)
13825 {
13826     PTR_TBL_ENT_t *tblent;
13827     const UV hash = PTR_TABLE_HASH(sv);
13828
13829     PERL_ARGS_ASSERT_PTR_TABLE_FIND;
13830
13831     tblent = tbl->tbl_ary[hash & tbl->tbl_max];
13832     for (; tblent; tblent = tblent->next) {
13833         if (tblent->oldval == sv)
13834             return tblent;
13835     }
13836     return NULL;
13837 }
13838
13839 void *
13840 Perl_ptr_table_fetch(pTHX_ PTR_TBL_t *const tbl, const void *const sv)
13841 {
13842     PTR_TBL_ENT_t const *const tblent = ptr_table_find(tbl, sv);
13843
13844     PERL_ARGS_ASSERT_PTR_TABLE_FETCH;
13845     PERL_UNUSED_CONTEXT;
13846
13847     return tblent ? tblent->newval : NULL;
13848 }
13849
13850 /* add a new entry to a pointer-mapping table 'tbl'.  In hash terms, 'oldsv' is
13851  * the key; 'newsv' is the value.  The names "old" and "new" are specific to
13852  * the core's typical use of ptr_tables in thread cloning. */
13853
13854 void
13855 Perl_ptr_table_store(pTHX_ PTR_TBL_t *const tbl, const void *const oldsv, void *const newsv)
13856 {
13857     PTR_TBL_ENT_t *tblent = ptr_table_find(tbl, oldsv);
13858
13859     PERL_ARGS_ASSERT_PTR_TABLE_STORE;
13860     PERL_UNUSED_CONTEXT;
13861
13862     if (tblent) {
13863         tblent->newval = newsv;
13864     } else {
13865         const UV entry = PTR_TABLE_HASH(oldsv) & tbl->tbl_max;
13866
13867         if (tbl->tbl_arena_next == tbl->tbl_arena_end) {
13868             struct ptr_tbl_arena *new_arena;
13869
13870             Newx(new_arena, 1, struct ptr_tbl_arena);
13871             new_arena->next = tbl->tbl_arena;
13872             tbl->tbl_arena = new_arena;
13873             tbl->tbl_arena_next = new_arena->array;
13874             tbl->tbl_arena_end = C_ARRAY_END(new_arena->array);
13875         }
13876
13877         tblent = tbl->tbl_arena_next++;
13878
13879         tblent->oldval = oldsv;
13880         tblent->newval = newsv;
13881         tblent->next = tbl->tbl_ary[entry];
13882         tbl->tbl_ary[entry] = tblent;
13883         tbl->tbl_items++;
13884         if (tblent->next && tbl->tbl_items > tbl->tbl_max)
13885             ptr_table_split(tbl);
13886     }
13887 }
13888
13889 /* double the hash bucket size of an existing ptr table */
13890
13891 void
13892 Perl_ptr_table_split(pTHX_ PTR_TBL_t *const tbl)
13893 {
13894     PTR_TBL_ENT_t **ary = tbl->tbl_ary;
13895     const UV oldsize = tbl->tbl_max + 1;
13896     UV newsize = oldsize * 2;
13897     UV i;
13898
13899     PERL_ARGS_ASSERT_PTR_TABLE_SPLIT;
13900     PERL_UNUSED_CONTEXT;
13901
13902     Renew(ary, newsize, PTR_TBL_ENT_t*);
13903     Zero(&ary[oldsize], newsize-oldsize, PTR_TBL_ENT_t*);
13904     tbl->tbl_max = --newsize;
13905     tbl->tbl_ary = ary;
13906     for (i=0; i < oldsize; i++, ary++) {
13907         PTR_TBL_ENT_t **entp = ary;
13908         PTR_TBL_ENT_t *ent = *ary;
13909         PTR_TBL_ENT_t **curentp;
13910         if (!ent)
13911             continue;
13912         curentp = ary + oldsize;
13913         do {
13914             if ((newsize & PTR_TABLE_HASH(ent->oldval)) != i) {
13915                 *entp = ent->next;
13916                 ent->next = *curentp;
13917                 *curentp = ent;
13918             }
13919             else
13920                 entp = &ent->next;
13921             ent = *entp;
13922         } while (ent);
13923     }
13924 }
13925
13926 /* remove all the entries from a ptr table */
13927 /* Deprecated - will be removed post 5.14 */
13928
13929 void
13930 Perl_ptr_table_clear(pTHX_ PTR_TBL_t *const tbl)
13931 {
13932     PERL_UNUSED_CONTEXT;
13933     if (tbl && tbl->tbl_items) {
13934         struct ptr_tbl_arena *arena = tbl->tbl_arena;
13935
13936         Zero(tbl->tbl_ary, tbl->tbl_max + 1, struct ptr_tbl_ent *);
13937
13938         while (arena) {
13939             struct ptr_tbl_arena *next = arena->next;
13940
13941             Safefree(arena);
13942             arena = next;
13943         };
13944
13945         tbl->tbl_items = 0;
13946         tbl->tbl_arena = NULL;
13947         tbl->tbl_arena_next = NULL;
13948         tbl->tbl_arena_end = NULL;
13949     }
13950 }
13951
13952 /* clear and free a ptr table */
13953
13954 void
13955 Perl_ptr_table_free(pTHX_ PTR_TBL_t *const tbl)
13956 {
13957     struct ptr_tbl_arena *arena;
13958
13959     PERL_UNUSED_CONTEXT;
13960
13961     if (!tbl) {
13962         return;
13963     }
13964
13965     arena = tbl->tbl_arena;
13966
13967     while (arena) {
13968         struct ptr_tbl_arena *next = arena->next;
13969
13970         Safefree(arena);
13971         arena = next;
13972     }
13973
13974     Safefree(tbl->tbl_ary);
13975     Safefree(tbl);
13976 }
13977
13978 #if defined(USE_ITHREADS)
13979
13980 void
13981 Perl_rvpv_dup(pTHX_ SV *const dstr, const SV *const sstr, CLONE_PARAMS *const param)
13982 {
13983     PERL_ARGS_ASSERT_RVPV_DUP;
13984
13985     assert(!isREGEXP(sstr));
13986     if (SvROK(sstr)) {
13987         if (SvWEAKREF(sstr)) {
13988             SvRV_set(dstr, sv_dup(SvRV_const(sstr), param));
13989             if (param->flags & CLONEf_JOIN_IN) {
13990                 /* if joining, we add any back references individually rather
13991                  * than copying the whole backref array */
13992                 Perl_sv_add_backref(aTHX_ SvRV(dstr), dstr);
13993             }
13994         }
13995         else
13996             SvRV_set(dstr, sv_dup_inc(SvRV_const(sstr), param));
13997     }
13998     else if (SvPVX_const(sstr)) {
13999         /* Has something there */
14000         if (SvLEN(sstr)) {
14001             /* Normal PV - clone whole allocated space */
14002             SvPV_set(dstr, SAVEPVN(SvPVX_const(sstr), SvLEN(sstr)-1));
14003             /* sstr may not be that normal, but actually copy on write.
14004                But we are a true, independent SV, so:  */
14005             SvIsCOW_off(dstr);
14006         }
14007         else {
14008             /* Special case - not normally malloced for some reason */
14009             if (isGV_with_GP(sstr)) {
14010                 /* Don't need to do anything here.  */
14011             }
14012             else if ((SvIsCOW(sstr))) {
14013                 /* A "shared" PV - clone it as "shared" PV */
14014                 SvPV_set(dstr,
14015                          HEK_KEY(hek_dup(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)),
14016                                          param)));
14017             }
14018             else {
14019                 /* Some other special case - random pointer */
14020                 SvPV_set(dstr, (char *) SvPVX_const(sstr));             
14021             }
14022         }
14023     }
14024     else {
14025         /* Copy the NULL */
14026         SvPV_set(dstr, NULL);
14027     }
14028 }
14029
14030 /* duplicate a list of SVs. source and dest may point to the same memory.  */
14031 static SV **
14032 S_sv_dup_inc_multiple(pTHX_ SV *const *source, SV **dest,
14033                       SSize_t items, CLONE_PARAMS *const param)
14034 {
14035     PERL_ARGS_ASSERT_SV_DUP_INC_MULTIPLE;
14036
14037     while (items-- > 0) {
14038         *dest++ = sv_dup_inc(*source++, param);
14039     }
14040
14041     return dest;
14042 }
14043
14044 /* duplicate an SV of any type (including AV, HV etc) */
14045
14046 static SV *
14047 S_sv_dup_common(pTHX_ const SV *const sstr, CLONE_PARAMS *const param)
14048 {
14049     dVAR;
14050     SV *dstr;
14051
14052     PERL_ARGS_ASSERT_SV_DUP_COMMON;
14053
14054     if (SvTYPE(sstr) == (svtype)SVTYPEMASK) {
14055 #ifdef DEBUG_LEAKING_SCALARS_ABORT
14056         abort();
14057 #endif
14058         return NULL;
14059     }
14060     /* look for it in the table first */
14061     dstr = MUTABLE_SV(ptr_table_fetch(PL_ptr_table, sstr));
14062     if (dstr)
14063         return dstr;
14064
14065     if(param->flags & CLONEf_JOIN_IN) {
14066         /** We are joining here so we don't want do clone
14067             something that is bad **/
14068         if (SvTYPE(sstr) == SVt_PVHV) {
14069             const HEK * const hvname = HvNAME_HEK(sstr);
14070             if (hvname) {
14071                 /** don't clone stashes if they already exist **/
14072                 dstr = MUTABLE_SV(gv_stashpvn(HEK_KEY(hvname), HEK_LEN(hvname),
14073                                                 HEK_UTF8(hvname) ? SVf_UTF8 : 0));
14074                 ptr_table_store(PL_ptr_table, sstr, dstr);
14075                 return dstr;
14076             }
14077         }
14078         else if (SvTYPE(sstr) == SVt_PVGV && !SvFAKE(sstr)) {
14079             HV *stash = GvSTASH(sstr);
14080             const HEK * hvname;
14081             if (stash && (hvname = HvNAME_HEK(stash))) {
14082                 /** don't clone GVs if they already exist **/
14083                 SV **svp;
14084                 stash = gv_stashpvn(HEK_KEY(hvname), HEK_LEN(hvname),
14085                                     HEK_UTF8(hvname) ? SVf_UTF8 : 0);
14086                 svp = hv_fetch(
14087                         stash, GvNAME(sstr),
14088                         GvNAMEUTF8(sstr)
14089                             ? -GvNAMELEN(sstr)
14090                             :  GvNAMELEN(sstr),
14091                         0
14092                       );
14093                 if (svp && *svp && SvTYPE(*svp) == SVt_PVGV) {
14094                     ptr_table_store(PL_ptr_table, sstr, *svp);
14095                     return *svp;
14096                 }
14097             }
14098         }
14099     }
14100
14101     /* create anew and remember what it is */
14102     new_SV(dstr);
14103
14104 #ifdef DEBUG_LEAKING_SCALARS
14105     dstr->sv_debug_optype = sstr->sv_debug_optype;
14106     dstr->sv_debug_line = sstr->sv_debug_line;
14107     dstr->sv_debug_inpad = sstr->sv_debug_inpad;
14108     dstr->sv_debug_parent = (SV*)sstr;
14109     FREE_SV_DEBUG_FILE(dstr);
14110     dstr->sv_debug_file = savesharedpv(sstr->sv_debug_file);
14111 #endif
14112
14113     ptr_table_store(PL_ptr_table, sstr, dstr);
14114
14115     /* clone */
14116     SvFLAGS(dstr)       = SvFLAGS(sstr);
14117     SvFLAGS(dstr)       &= ~SVf_OOK;            /* don't propagate OOK hack */
14118     SvREFCNT(dstr)      = 0;                    /* must be before any other dups! */
14119
14120 #ifdef DEBUGGING
14121     if (SvANY(sstr) && PL_watch_pvx && SvPVX_const(sstr) == PL_watch_pvx)
14122         PerlIO_printf(Perl_debug_log, "watch at %p hit, found string \"%s\"\n",
14123                       (void*)PL_watch_pvx, SvPVX_const(sstr));
14124 #endif
14125
14126     /* don't clone objects whose class has asked us not to */
14127     if (SvOBJECT(sstr)
14128      && ! (SvFLAGS(SvSTASH(sstr)) & SVphv_CLONEABLE))
14129     {
14130         SvFLAGS(dstr) = 0;
14131         return dstr;
14132     }
14133
14134     switch (SvTYPE(sstr)) {
14135     case SVt_NULL:
14136         SvANY(dstr)     = NULL;
14137         break;
14138     case SVt_IV:
14139         SET_SVANY_FOR_BODYLESS_IV(dstr);
14140         if(SvROK(sstr)) {
14141             Perl_rvpv_dup(aTHX_ dstr, sstr, param);
14142         } else {
14143             SvIV_set(dstr, SvIVX(sstr));
14144         }
14145         break;
14146     case SVt_NV:
14147 #if NVSIZE <= IVSIZE
14148         SET_SVANY_FOR_BODYLESS_NV(dstr);
14149 #else
14150         SvANY(dstr)     = new_XNV();
14151 #endif
14152         SvNV_set(dstr, SvNVX(sstr));
14153         break;
14154     default:
14155         {
14156             /* These are all the types that need complex bodies allocating.  */
14157             void *new_body;
14158             const svtype sv_type = SvTYPE(sstr);
14159             const struct body_details *const sv_type_details
14160                 = bodies_by_type + sv_type;
14161
14162             switch (sv_type) {
14163             default:
14164                 Perl_croak(aTHX_ "Bizarre SvTYPE [%" IVdf "]", (IV)SvTYPE(sstr));
14165                 NOT_REACHED; /* NOTREACHED */
14166                 break;
14167
14168             case SVt_PVGV:
14169             case SVt_PVIO:
14170             case SVt_PVFM:
14171             case SVt_PVHV:
14172             case SVt_PVAV:
14173             case SVt_PVCV:
14174             case SVt_PVLV:
14175             case SVt_REGEXP:
14176             case SVt_PVMG:
14177             case SVt_PVNV:
14178             case SVt_PVIV:
14179             case SVt_INVLIST:
14180             case SVt_PV:
14181                 assert(sv_type_details->body_size);
14182                 if (sv_type_details->arena) {
14183                     new_body_inline(new_body, sv_type);
14184                     new_body
14185                         = (void*)((char*)new_body - sv_type_details->offset);
14186                 } else {
14187                     new_body = new_NOARENA(sv_type_details);
14188                 }
14189             }
14190             assert(new_body);
14191             SvANY(dstr) = new_body;
14192
14193 #ifndef PURIFY
14194             Copy(((char*)SvANY(sstr)) + sv_type_details->offset,
14195                  ((char*)SvANY(dstr)) + sv_type_details->offset,
14196                  sv_type_details->copy, char);
14197 #else
14198             Copy(((char*)SvANY(sstr)),
14199                  ((char*)SvANY(dstr)),
14200                  sv_type_details->body_size + sv_type_details->offset, char);
14201 #endif
14202
14203             if (sv_type != SVt_PVAV && sv_type != SVt_PVHV
14204                 && !isGV_with_GP(dstr)
14205                 && !isREGEXP(dstr)
14206                 && !(sv_type == SVt_PVIO && !(IoFLAGS(dstr) & IOf_FAKE_DIRP)))
14207                 Perl_rvpv_dup(aTHX_ dstr, sstr, param);
14208
14209             /* The Copy above means that all the source (unduplicated) pointers
14210                are now in the destination.  We can check the flags and the
14211                pointers in either, but it's possible that there's less cache
14212                missing by always going for the destination.
14213                FIXME - instrument and check that assumption  */
14214             if (sv_type >= SVt_PVMG) {
14215                 if (SvMAGIC(dstr))
14216                     SvMAGIC_set(dstr, mg_dup(SvMAGIC(dstr), param));
14217                 if (SvOBJECT(dstr) && SvSTASH(dstr))
14218                     SvSTASH_set(dstr, hv_dup_inc(SvSTASH(dstr), param));
14219                 else SvSTASH_set(dstr, 0); /* don't copy DESTROY cache */
14220             }
14221
14222             /* The cast silences a GCC warning about unhandled types.  */
14223             switch ((int)sv_type) {
14224             case SVt_PV:
14225                 break;
14226             case SVt_PVIV:
14227                 break;
14228             case SVt_PVNV:
14229                 break;
14230             case SVt_PVMG:
14231                 break;
14232             case SVt_REGEXP:
14233               duprex:
14234                 /* FIXME for plugins */
14235                 re_dup_guts((REGEXP*) sstr, (REGEXP*) dstr, param);
14236                 break;
14237             case SVt_PVLV:
14238                 /* XXX LvTARGOFF sometimes holds PMOP* when DEBUGGING */
14239                 if (LvTYPE(dstr) == 't') /* for tie: unrefcnted fake (SV**) */
14240                     LvTARG(dstr) = dstr;
14241                 else if (LvTYPE(dstr) == 'T') /* for tie: fake HE */
14242                     LvTARG(dstr) = MUTABLE_SV(he_dup((HE*)LvTARG(dstr), 0, param));
14243                 else
14244                     LvTARG(dstr) = sv_dup_inc(LvTARG(dstr), param);
14245                 if (isREGEXP(sstr)) goto duprex;
14246                 /* FALLTHROUGH */
14247             case SVt_PVGV:
14248                 /* non-GP case already handled above */
14249                 if(isGV_with_GP(sstr)) {
14250                     GvNAME_HEK(dstr) = hek_dup(GvNAME_HEK(dstr), param);
14251                     /* Don't call sv_add_backref here as it's going to be
14252                        created as part of the magic cloning of the symbol
14253                        table--unless this is during a join and the stash
14254                        is not actually being cloned.  */
14255                     /* Danger Will Robinson - GvGP(dstr) isn't initialised
14256                        at the point of this comment.  */
14257                     GvSTASH(dstr) = hv_dup(GvSTASH(dstr), param);
14258                     if (param->flags & CLONEf_JOIN_IN)
14259                         Perl_sv_add_backref(aTHX_ MUTABLE_SV(GvSTASH(dstr)), dstr);
14260                     GvGP_set(dstr, gp_dup(GvGP(sstr), param));
14261                     (void)GpREFCNT_inc(GvGP(dstr));
14262                 }
14263                 break;
14264             case SVt_PVIO:
14265                 /* PL_parser->rsfp_filters entries have fake IoDIRP() */
14266                 if(IoFLAGS(dstr) & IOf_FAKE_DIRP) {
14267                     /* I have no idea why fake dirp (rsfps)
14268                        should be treated differently but otherwise
14269                        we end up with leaks -- sky*/
14270                     IoTOP_GV(dstr)      = gv_dup_inc(IoTOP_GV(dstr), param);
14271                     IoFMT_GV(dstr)      = gv_dup_inc(IoFMT_GV(dstr), param);
14272                     IoBOTTOM_GV(dstr)   = gv_dup_inc(IoBOTTOM_GV(dstr), param);
14273                 } else {
14274                     IoTOP_GV(dstr)      = gv_dup(IoTOP_GV(dstr), param);
14275                     IoFMT_GV(dstr)      = gv_dup(IoFMT_GV(dstr), param);
14276                     IoBOTTOM_GV(dstr)   = gv_dup(IoBOTTOM_GV(dstr), param);
14277                     if (IoDIRP(dstr)) {
14278                         IoDIRP(dstr)    = dirp_dup(IoDIRP(dstr), param);
14279                     } else {
14280                         NOOP;
14281                         /* IoDIRP(dstr) is already a copy of IoDIRP(sstr)  */
14282                     }
14283                     IoIFP(dstr) = fp_dup(IoIFP(sstr), IoTYPE(dstr), param);
14284                 }
14285                 if (IoOFP(dstr) == IoIFP(sstr))
14286                     IoOFP(dstr) = IoIFP(dstr);
14287                 else
14288                     IoOFP(dstr) = fp_dup(IoOFP(dstr), IoTYPE(dstr), param);
14289                 IoTOP_NAME(dstr)        = SAVEPV(IoTOP_NAME(dstr));
14290                 IoFMT_NAME(dstr)        = SAVEPV(IoFMT_NAME(dstr));
14291                 IoBOTTOM_NAME(dstr)     = SAVEPV(IoBOTTOM_NAME(dstr));
14292                 break;
14293             case SVt_PVAV:
14294                 /* avoid cloning an empty array */
14295                 if (AvARRAY((const AV *)sstr) && AvFILLp((const AV *)sstr) >= 0) {
14296                     SV **dst_ary, **src_ary;
14297                     SSize_t items = AvFILLp((const AV *)sstr) + 1;
14298
14299                     src_ary = AvARRAY((const AV *)sstr);
14300                     Newx(dst_ary, AvMAX((const AV *)sstr)+1, SV*);
14301                     ptr_table_store(PL_ptr_table, src_ary, dst_ary);
14302                     AvARRAY(MUTABLE_AV(dstr)) = dst_ary;
14303                     AvALLOC((const AV *)dstr) = dst_ary;
14304                     if (AvREAL((const AV *)sstr)) {
14305                         dst_ary = sv_dup_inc_multiple(src_ary, dst_ary, items,
14306                                                       param);
14307                     }
14308                     else {
14309                         while (items-- > 0)
14310                             *dst_ary++ = sv_dup(*src_ary++, param);
14311                     }
14312                     items = AvMAX((const AV *)sstr) - AvFILLp((const AV *)sstr);
14313                     while (items-- > 0) {
14314                         *dst_ary++ = NULL;
14315                     }
14316                 }
14317                 else {
14318                     AvARRAY(MUTABLE_AV(dstr))   = NULL;
14319                     AvALLOC((const AV *)dstr)   = (SV**)NULL;
14320                     AvMAX(  (const AV *)dstr)   = -1;
14321                     AvFILLp((const AV *)dstr)   = -1;
14322                 }
14323                 break;
14324             case SVt_PVHV:
14325                 if (HvARRAY((const HV *)sstr)) {
14326                     STRLEN i = 0;
14327                     const bool sharekeys = !!HvSHAREKEYS(sstr);
14328                     XPVHV * const dxhv = (XPVHV*)SvANY(dstr);
14329                     XPVHV * const sxhv = (XPVHV*)SvANY(sstr);
14330                     char *darray;
14331                     Newx(darray, PERL_HV_ARRAY_ALLOC_BYTES(dxhv->xhv_max+1)
14332                         + (SvOOK(sstr) ? sizeof(struct xpvhv_aux) : 0),
14333                         char);
14334                     HvARRAY(dstr) = (HE**)darray;
14335                     while (i <= sxhv->xhv_max) {
14336                         const HE * const source = HvARRAY(sstr)[i];
14337                         HvARRAY(dstr)[i] = source
14338                             ? he_dup(source, sharekeys, param) : 0;
14339                         ++i;
14340                     }
14341                     if (SvOOK(sstr)) {
14342                         const struct xpvhv_aux * const saux = HvAUX(sstr);
14343                         struct xpvhv_aux * const daux = HvAUX(dstr);
14344                         /* This flag isn't copied.  */
14345                         SvOOK_on(dstr);
14346
14347                         if (saux->xhv_name_count) {
14348                             HEK ** const sname = saux->xhv_name_u.xhvnameu_names;
14349                             const I32 count
14350                              = saux->xhv_name_count < 0
14351                                 ? -saux->xhv_name_count
14352                                 :  saux->xhv_name_count;
14353                             HEK **shekp = sname + count;
14354                             HEK **dhekp;
14355                             Newx(daux->xhv_name_u.xhvnameu_names, count, HEK *);
14356                             dhekp = daux->xhv_name_u.xhvnameu_names + count;
14357                             while (shekp-- > sname) {
14358                                 dhekp--;
14359                                 *dhekp = hek_dup(*shekp, param);
14360                             }
14361                         }
14362                         else {
14363                             daux->xhv_name_u.xhvnameu_name
14364                                 = hek_dup(saux->xhv_name_u.xhvnameu_name,
14365                                           param);
14366                         }
14367                         daux->xhv_name_count = saux->xhv_name_count;
14368
14369                         daux->xhv_aux_flags = saux->xhv_aux_flags;
14370 #ifdef PERL_HASH_RANDOMIZE_KEYS
14371                         daux->xhv_rand = saux->xhv_rand;
14372                         daux->xhv_last_rand = saux->xhv_last_rand;
14373 #endif
14374                         daux->xhv_riter = saux->xhv_riter;
14375                         daux->xhv_eiter = saux->xhv_eiter
14376                             ? he_dup(saux->xhv_eiter,
14377                                         cBOOL(HvSHAREKEYS(sstr)), param) : 0;
14378                         /* backref array needs refcnt=2; see sv_add_backref */
14379                         daux->xhv_backreferences =
14380                             (param->flags & CLONEf_JOIN_IN)
14381                                 /* when joining, we let the individual GVs and
14382                                  * CVs add themselves to backref as
14383                                  * needed. This avoids pulling in stuff
14384                                  * that isn't required, and simplifies the
14385                                  * case where stashes aren't cloned back
14386                                  * if they already exist in the parent
14387                                  * thread */
14388                             ? NULL
14389                             : saux->xhv_backreferences
14390                                 ? (SvTYPE(saux->xhv_backreferences) == SVt_PVAV)
14391                                     ? MUTABLE_AV(SvREFCNT_inc(
14392                                           sv_dup_inc((const SV *)
14393                                             saux->xhv_backreferences, param)))
14394                                     : MUTABLE_AV(sv_dup((const SV *)
14395                                             saux->xhv_backreferences, param))
14396                                 : 0;
14397
14398                         daux->xhv_mro_meta = saux->xhv_mro_meta
14399                             ? mro_meta_dup(saux->xhv_mro_meta, param)
14400                             : 0;
14401
14402                         /* Record stashes for possible cloning in Perl_clone(). */
14403                         if (HvNAME(sstr))
14404                             av_push(param->stashes, dstr);
14405                     }
14406                 }
14407                 else
14408                     HvARRAY(MUTABLE_HV(dstr)) = NULL;
14409                 break;
14410             case SVt_PVCV:
14411                 if (!(param->flags & CLONEf_COPY_STACKS)) {
14412                     CvDEPTH(dstr) = 0;
14413                 }
14414                 /* FALLTHROUGH */
14415             case SVt_PVFM:
14416                 /* NOTE: not refcounted */
14417                 SvANY(MUTABLE_CV(dstr))->xcv_stash =
14418                     hv_dup(CvSTASH(dstr), param);
14419                 if ((param->flags & CLONEf_JOIN_IN) && CvSTASH(dstr))
14420                     Perl_sv_add_backref(aTHX_ MUTABLE_SV(CvSTASH(dstr)), dstr);
14421                 if (!CvISXSUB(dstr)) {
14422                     OP_REFCNT_LOCK;
14423                     CvROOT(dstr) = OpREFCNT_inc(CvROOT(dstr));
14424                     OP_REFCNT_UNLOCK;
14425                     CvSLABBED_off(dstr);
14426                 } else if (CvCONST(dstr)) {
14427                     CvXSUBANY(dstr).any_ptr =
14428                         sv_dup_inc((const SV *)CvXSUBANY(dstr).any_ptr, param);
14429                 }
14430                 assert(!CvSLABBED(dstr));
14431                 if (CvDYNFILE(dstr)) CvFILE(dstr) = SAVEPV(CvFILE(dstr));
14432                 if (CvNAMED(dstr))
14433                     SvANY((CV *)dstr)->xcv_gv_u.xcv_hek =
14434                         hek_dup(CvNAME_HEK((CV *)sstr), param);
14435                 /* don't dup if copying back - CvGV isn't refcounted, so the
14436                  * duped GV may never be freed. A bit of a hack! DAPM */
14437                 else
14438                   SvANY(MUTABLE_CV(dstr))->xcv_gv_u.xcv_gv =
14439                     CvCVGV_RC(dstr)
14440                     ? gv_dup_inc(CvGV(sstr), param)
14441                     : (param->flags & CLONEf_JOIN_IN)
14442                         ? NULL
14443                         : gv_dup(CvGV(sstr), param);
14444
14445                 if (!CvISXSUB(sstr)) {
14446                     PADLIST * padlist = CvPADLIST(sstr);
14447                     if(padlist)
14448                         padlist = padlist_dup(padlist, param);
14449                     CvPADLIST_set(dstr, padlist);
14450                 } else
14451 /* unthreaded perl can't sv_dup so we dont support unthreaded's CvHSCXT */
14452                     PoisonPADLIST(dstr);
14453
14454                 CvOUTSIDE(dstr) =
14455                     CvWEAKOUTSIDE(sstr)
14456                     ? cv_dup(    CvOUTSIDE(dstr), param)
14457                     : cv_dup_inc(CvOUTSIDE(dstr), param);
14458                 break;
14459             }
14460         }
14461     }
14462
14463     return dstr;
14464  }
14465
14466 SV *
14467 Perl_sv_dup_inc(pTHX_ const SV *const sstr, CLONE_PARAMS *const param)
14468 {
14469     PERL_ARGS_ASSERT_SV_DUP_INC;
14470     return sstr ? SvREFCNT_inc(sv_dup_common(sstr, param)) : NULL;
14471 }
14472
14473 SV *
14474 Perl_sv_dup(pTHX_ const SV *const sstr, CLONE_PARAMS *const param)
14475 {
14476     SV *dstr = sstr ? sv_dup_common(sstr, param) : NULL;
14477     PERL_ARGS_ASSERT_SV_DUP;
14478
14479     /* Track every SV that (at least initially) had a reference count of 0.
14480        We need to do this by holding an actual reference to it in this array.
14481        If we attempt to cheat, turn AvREAL_off(), and store only pointers
14482        (akin to the stashes hash, and the perl stack), we come unstuck if
14483        a weak reference (or other SV legitimately SvREFCNT() == 0 for this
14484        thread) is manipulated in a CLONE method, because CLONE runs before the
14485        unreferenced array is walked to find SVs still with SvREFCNT() == 0
14486        (and fix things up by giving each a reference via the temps stack).
14487        Instead, during CLONE, if the 0-referenced SV has SvREFCNT_inc() and
14488        then SvREFCNT_dec(), it will be cleaned up (and added to the free list)
14489        before the walk of unreferenced happens and a reference to that is SV
14490        added to the temps stack. At which point we have the same SV considered
14491        to be in use, and free to be re-used. Not good.
14492     */
14493     if (dstr && !(param->flags & CLONEf_COPY_STACKS) && !SvREFCNT(dstr)) {
14494         assert(param->unreferenced);
14495         av_push(param->unreferenced, SvREFCNT_inc(dstr));
14496     }
14497
14498     return dstr;
14499 }
14500
14501 /* duplicate a context */
14502
14503 PERL_CONTEXT *
14504 Perl_cx_dup(pTHX_ PERL_CONTEXT *cxs, I32 ix, I32 max, CLONE_PARAMS* param)
14505 {
14506     PERL_CONTEXT *ncxs;
14507
14508     PERL_ARGS_ASSERT_CX_DUP;
14509
14510     if (!cxs)
14511         return (PERL_CONTEXT*)NULL;
14512
14513     /* look for it in the table first */
14514     ncxs = (PERL_CONTEXT*)ptr_table_fetch(PL_ptr_table, cxs);
14515     if (ncxs)
14516         return ncxs;
14517
14518     /* create anew and remember what it is */
14519     Newx(ncxs, max + 1, PERL_CONTEXT);
14520     ptr_table_store(PL_ptr_table, cxs, ncxs);
14521     Copy(cxs, ncxs, max + 1, PERL_CONTEXT);
14522
14523     while (ix >= 0) {
14524         PERL_CONTEXT * const ncx = &ncxs[ix];
14525         if (CxTYPE(ncx) == CXt_SUBST) {
14526             Perl_croak(aTHX_ "Cloning substitution context is unimplemented");
14527         }
14528         else {
14529             ncx->blk_oldcop = (COP*)any_dup(ncx->blk_oldcop, param->proto_perl);
14530             switch (CxTYPE(ncx)) {
14531             case CXt_SUB:
14532                 ncx->blk_sub.cv         = cv_dup_inc(ncx->blk_sub.cv, param);
14533                 if(CxHASARGS(ncx)){
14534                     ncx->blk_sub.savearray = av_dup_inc(ncx->blk_sub.savearray,param);
14535                 } else {
14536                     ncx->blk_sub.savearray = NULL;
14537                 }
14538                 ncx->blk_sub.prevcomppad = (PAD*)ptr_table_fetch(PL_ptr_table,
14539                                            ncx->blk_sub.prevcomppad);
14540                 break;
14541             case CXt_EVAL:
14542                 ncx->blk_eval.old_namesv = sv_dup_inc(ncx->blk_eval.old_namesv,
14543                                                       param);
14544                 /* XXX should this sv_dup_inc? Or only if CxEVAL_TXT_REFCNTED ???? */
14545                 ncx->blk_eval.cur_text  = sv_dup(ncx->blk_eval.cur_text, param);
14546                 ncx->blk_eval.cv = cv_dup(ncx->blk_eval.cv, param);
14547                 /* XXX what do do with cur_top_env ???? */
14548                 break;
14549             case CXt_LOOP_LAZYSV:
14550                 ncx->blk_loop.state_u.lazysv.end
14551                     = sv_dup_inc(ncx->blk_loop.state_u.lazysv.end, param);
14552                 /* Fallthrough: duplicate lazysv.cur by using the ary.ary
14553                    duplication code instead.
14554                    We are taking advantage of (1) av_dup_inc and sv_dup_inc
14555                    actually being the same function, and (2) order
14556                    equivalence of the two unions.
14557                    We can assert the later [but only at run time :-(]  */
14558                 assert ((void *) &ncx->blk_loop.state_u.ary.ary ==
14559                         (void *) &ncx->blk_loop.state_u.lazysv.cur);
14560                 /* FALLTHROUGH */
14561             case CXt_LOOP_ARY:
14562                 ncx->blk_loop.state_u.ary.ary
14563                     = av_dup_inc(ncx->blk_loop.state_u.ary.ary, param);
14564                 /* FALLTHROUGH */
14565             case CXt_LOOP_LIST:
14566             case CXt_LOOP_LAZYIV:
14567                 /* code common to all 'for' CXt_LOOP_* types */
14568                 ncx->blk_loop.itersave =
14569                                     sv_dup_inc(ncx->blk_loop.itersave, param);
14570                 if (CxPADLOOP(ncx)) {
14571                     PADOFFSET off = ncx->blk_loop.itervar_u.svp
14572                                     - &CX_CURPAD_SV(ncx->blk_loop, 0);
14573                     ncx->blk_loop.oldcomppad =
14574                                     (PAD*)ptr_table_fetch(PL_ptr_table,
14575                                                 ncx->blk_loop.oldcomppad);
14576                     ncx->blk_loop.itervar_u.svp =
14577                                     &CX_CURPAD_SV(ncx->blk_loop, off);
14578                 }
14579                 else {
14580                     /* this copies the GV if CXp_FOR_GV, or the SV for an
14581                      * alias (for \$x (...)) - relies on gv_dup being the
14582                      * same as sv_dup */
14583                     ncx->blk_loop.itervar_u.gv
14584                         = gv_dup((const GV *)ncx->blk_loop.itervar_u.gv,
14585                                     param);
14586                 }
14587                 break;
14588             case CXt_LOOP_PLAIN:
14589                 break;
14590             case CXt_FORMAT:
14591                 ncx->blk_format.prevcomppad =
14592                         (PAD*)ptr_table_fetch(PL_ptr_table,
14593                                            ncx->blk_format.prevcomppad);
14594                 ncx->blk_format.cv      = cv_dup_inc(ncx->blk_format.cv, param);
14595                 ncx->blk_format.gv      = gv_dup(ncx->blk_format.gv, param);
14596                 ncx->blk_format.dfoutgv = gv_dup_inc(ncx->blk_format.dfoutgv,
14597                                                      param);
14598                 break;
14599             case CXt_GIVEN:
14600                 ncx->blk_givwhen.defsv_save =
14601                                 sv_dup_inc(ncx->blk_givwhen.defsv_save, param);
14602                 break;
14603             case CXt_BLOCK:
14604             case CXt_NULL:
14605             case CXt_WHEN:
14606                 break;
14607             }
14608         }
14609         --ix;
14610     }
14611     return ncxs;
14612 }
14613
14614 /* duplicate a stack info structure */
14615
14616 PERL_SI *
14617 Perl_si_dup(pTHX_ PERL_SI *si, CLONE_PARAMS* param)
14618 {
14619     PERL_SI *nsi;
14620
14621     PERL_ARGS_ASSERT_SI_DUP;
14622
14623     if (!si)
14624         return (PERL_SI*)NULL;
14625
14626     /* look for it in the table first */
14627     nsi = (PERL_SI*)ptr_table_fetch(PL_ptr_table, si);
14628     if (nsi)
14629         return nsi;
14630
14631     /* create anew and remember what it is */
14632     Newx(nsi, 1, PERL_SI);
14633     ptr_table_store(PL_ptr_table, si, nsi);
14634
14635     nsi->si_stack       = av_dup_inc(si->si_stack, param);
14636     nsi->si_cxix        = si->si_cxix;
14637     nsi->si_cxmax       = si->si_cxmax;
14638     nsi->si_cxstack     = cx_dup(si->si_cxstack, si->si_cxix, si->si_cxmax, param);
14639     nsi->si_type        = si->si_type;
14640     nsi->si_prev        = si_dup(si->si_prev, param);
14641     nsi->si_next        = si_dup(si->si_next, param);
14642     nsi->si_markoff     = si->si_markoff;
14643 #if defined DEBUGGING && !defined DEBUGGING_RE_ONLY
14644     nsi->si_stack_hwm   = 0;
14645 #endif
14646
14647     return nsi;
14648 }
14649
14650 #define POPINT(ss,ix)   ((ss)[--(ix)].any_i32)
14651 #define TOPINT(ss,ix)   ((ss)[ix].any_i32)
14652 #define POPLONG(ss,ix)  ((ss)[--(ix)].any_long)
14653 #define TOPLONG(ss,ix)  ((ss)[ix].any_long)
14654 #define POPIV(ss,ix)    ((ss)[--(ix)].any_iv)
14655 #define TOPIV(ss,ix)    ((ss)[ix].any_iv)
14656 #define POPUV(ss,ix)    ((ss)[--(ix)].any_uv)
14657 #define TOPUV(ss,ix)    ((ss)[ix].any_uv)
14658 #define POPBOOL(ss,ix)  ((ss)[--(ix)].any_bool)
14659 #define TOPBOOL(ss,ix)  ((ss)[ix].any_bool)
14660 #define POPPTR(ss,ix)   ((ss)[--(ix)].any_ptr)
14661 #define TOPPTR(ss,ix)   ((ss)[ix].any_ptr)
14662 #define POPDPTR(ss,ix)  ((ss)[--(ix)].any_dptr)
14663 #define TOPDPTR(ss,ix)  ((ss)[ix].any_dptr)
14664 #define POPDXPTR(ss,ix) ((ss)[--(ix)].any_dxptr)
14665 #define TOPDXPTR(ss,ix) ((ss)[ix].any_dxptr)
14666
14667 /* XXXXX todo */
14668 #define pv_dup_inc(p)   SAVEPV(p)
14669 #define pv_dup(p)       SAVEPV(p)
14670 #define svp_dup_inc(p,pp)       any_dup(p,pp)
14671
14672 /* map any object to the new equivent - either something in the
14673  * ptr table, or something in the interpreter structure
14674  */
14675
14676 void *
14677 Perl_any_dup(pTHX_ void *v, const PerlInterpreter *proto_perl)
14678 {
14679     void *ret;
14680
14681     PERL_ARGS_ASSERT_ANY_DUP;
14682
14683     if (!v)
14684         return (void*)NULL;
14685
14686     /* look for it in the table first */
14687     ret = ptr_table_fetch(PL_ptr_table, v);
14688     if (ret)
14689         return ret;
14690
14691     /* see if it is part of the interpreter structure */
14692     if (v >= (void*)proto_perl && v < (void*)(proto_perl+1))
14693         ret = (void*)(((char*)aTHX) + (((char*)v) - (char*)proto_perl));
14694     else {
14695         ret = v;
14696     }
14697
14698     return ret;
14699 }
14700
14701 /* duplicate the save stack */
14702
14703 ANY *
14704 Perl_ss_dup(pTHX_ PerlInterpreter *proto_perl, CLONE_PARAMS* param)
14705 {
14706     dVAR;
14707     ANY * const ss      = proto_perl->Isavestack;
14708     const I32 max       = proto_perl->Isavestack_max + SS_MAXPUSH;
14709     I32 ix              = proto_perl->Isavestack_ix;
14710     ANY *nss;
14711     const SV *sv;
14712     const GV *gv;
14713     const AV *av;
14714     const HV *hv;
14715     void* ptr;
14716     int intval;
14717     long longval;
14718     GP *gp;
14719     IV iv;
14720     I32 i;
14721     char *c = NULL;
14722     void (*dptr) (void*);
14723     void (*dxptr) (pTHX_ void*);
14724
14725     PERL_ARGS_ASSERT_SS_DUP;
14726
14727     Newx(nss, max, ANY);
14728
14729     while (ix > 0) {
14730         const UV uv = POPUV(ss,ix);
14731         const U8 type = (U8)uv & SAVE_MASK;
14732
14733         TOPUV(nss,ix) = uv;
14734         switch (type) {
14735         case SAVEt_CLEARSV:
14736         case SAVEt_CLEARPADRANGE:
14737             break;
14738         case SAVEt_HELEM:               /* hash element */
14739         case SAVEt_SV:                  /* scalar reference */
14740             sv = (const SV *)POPPTR(ss,ix);
14741             TOPPTR(nss,ix) = SvREFCNT_inc(sv_dup_inc(sv, param));
14742             /* FALLTHROUGH */
14743         case SAVEt_ITEM:                        /* normal string */
14744         case SAVEt_GVSV:                        /* scalar slot in GV */
14745             sv = (const SV *)POPPTR(ss,ix);
14746             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
14747             if (type == SAVEt_SV)
14748                 break;
14749             /* FALLTHROUGH */
14750         case SAVEt_FREESV:
14751         case SAVEt_MORTALIZESV:
14752         case SAVEt_READONLY_OFF:
14753             sv = (const SV *)POPPTR(ss,ix);
14754             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
14755             break;
14756         case SAVEt_FREEPADNAME:
14757             ptr = POPPTR(ss,ix);
14758             TOPPTR(nss,ix) = padname_dup((PADNAME *)ptr, param);
14759             PadnameREFCNT((PADNAME *)TOPPTR(nss,ix))++;
14760             break;
14761         case SAVEt_SHARED_PVREF:                /* char* in shared space */
14762             c = (char*)POPPTR(ss,ix);
14763             TOPPTR(nss,ix) = savesharedpv(c);
14764             ptr = POPPTR(ss,ix);
14765             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14766             break;
14767         case SAVEt_GENERIC_SVREF:               /* generic sv */
14768         case SAVEt_SVREF:                       /* scalar reference */
14769             sv = (const SV *)POPPTR(ss,ix);
14770             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
14771             if (type == SAVEt_SVREF)
14772                 SvREFCNT_inc_simple_void((SV *)TOPPTR(nss,ix));
14773             ptr = POPPTR(ss,ix);
14774             TOPPTR(nss,ix) = svp_dup_inc((SV**)ptr, proto_perl);/* XXXXX */
14775             break;
14776         case SAVEt_GVSLOT:              /* any slot in GV */
14777             sv = (const SV *)POPPTR(ss,ix);
14778             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
14779             ptr = POPPTR(ss,ix);
14780             TOPPTR(nss,ix) = svp_dup_inc((SV**)ptr, proto_perl);/* XXXXX */
14781             sv = (const SV *)POPPTR(ss,ix);
14782             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
14783             break;
14784         case SAVEt_HV:                          /* hash reference */
14785         case SAVEt_AV:                          /* array reference */
14786             sv = (const SV *) POPPTR(ss,ix);
14787             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
14788             /* FALLTHROUGH */
14789         case SAVEt_COMPPAD:
14790         case SAVEt_NSTAB:
14791             sv = (const SV *) POPPTR(ss,ix);
14792             TOPPTR(nss,ix) = sv_dup(sv, param);
14793             break;
14794         case SAVEt_INT:                         /* int reference */
14795             ptr = POPPTR(ss,ix);
14796             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14797             intval = (int)POPINT(ss,ix);
14798             TOPINT(nss,ix) = intval;
14799             break;
14800         case SAVEt_LONG:                        /* long reference */
14801             ptr = POPPTR(ss,ix);
14802             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14803             longval = (long)POPLONG(ss,ix);
14804             TOPLONG(nss,ix) = longval;
14805             break;
14806         case SAVEt_I32:                         /* I32 reference */
14807             ptr = POPPTR(ss,ix);
14808             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14809             i = POPINT(ss,ix);
14810             TOPINT(nss,ix) = i;
14811             break;
14812         case SAVEt_IV:                          /* IV reference */
14813         case SAVEt_STRLEN:                      /* STRLEN/size_t ref */
14814             ptr = POPPTR(ss,ix);
14815             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14816             iv = POPIV(ss,ix);
14817             TOPIV(nss,ix) = iv;
14818             break;
14819         case SAVEt_TMPSFLOOR:
14820             iv = POPIV(ss,ix);
14821             TOPIV(nss,ix) = iv;
14822             break;
14823         case SAVEt_HPTR:                        /* HV* reference */
14824         case SAVEt_APTR:                        /* AV* reference */
14825         case SAVEt_SPTR:                        /* SV* reference */
14826             ptr = POPPTR(ss,ix);
14827             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14828             sv = (const SV *)POPPTR(ss,ix);
14829             TOPPTR(nss,ix) = sv_dup(sv, param);
14830             break;
14831         case SAVEt_VPTR:                        /* random* reference */
14832             ptr = POPPTR(ss,ix);
14833             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14834             /* FALLTHROUGH */
14835         case SAVEt_INT_SMALL:
14836         case SAVEt_I32_SMALL:
14837         case SAVEt_I16:                         /* I16 reference */
14838         case SAVEt_I8:                          /* I8 reference */
14839         case SAVEt_BOOL:
14840             ptr = POPPTR(ss,ix);
14841             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14842             break;
14843         case SAVEt_GENERIC_PVREF:               /* generic char* */
14844         case SAVEt_PPTR:                        /* char* reference */
14845             ptr = POPPTR(ss,ix);
14846             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14847             c = (char*)POPPTR(ss,ix);
14848             TOPPTR(nss,ix) = pv_dup(c);
14849             break;
14850         case SAVEt_GP:                          /* scalar reference */
14851             gp = (GP*)POPPTR(ss,ix);
14852             TOPPTR(nss,ix) = gp = gp_dup(gp, param);
14853             (void)GpREFCNT_inc(gp);
14854             gv = (const GV *)POPPTR(ss,ix);
14855             TOPPTR(nss,ix) = gv_dup_inc(gv, param);
14856             break;
14857         case SAVEt_FREEOP:
14858             ptr = POPPTR(ss,ix);
14859             if (ptr && (((OP*)ptr)->op_private & OPpREFCOUNTED)) {
14860                 /* these are assumed to be refcounted properly */
14861                 OP *o;
14862                 switch (((OP*)ptr)->op_type) {
14863                 case OP_LEAVESUB:
14864                 case OP_LEAVESUBLV:
14865                 case OP_LEAVEEVAL:
14866                 case OP_LEAVE:
14867                 case OP_SCOPE:
14868                 case OP_LEAVEWRITE:
14869                     TOPPTR(nss,ix) = ptr;
14870                     o = (OP*)ptr;
14871                     OP_REFCNT_LOCK;
14872                     (void) OpREFCNT_inc(o);
14873                     OP_REFCNT_UNLOCK;
14874                     break;
14875                 default:
14876                     TOPPTR(nss,ix) = NULL;
14877                     break;
14878                 }
14879             }
14880             else
14881                 TOPPTR(nss,ix) = NULL;
14882             break;
14883         case SAVEt_FREECOPHH:
14884             ptr = POPPTR(ss,ix);
14885             TOPPTR(nss,ix) = cophh_copy((COPHH *)ptr);
14886             break;
14887         case SAVEt_ADELETE:
14888             av = (const AV *)POPPTR(ss,ix);
14889             TOPPTR(nss,ix) = av_dup_inc(av, param);
14890             i = POPINT(ss,ix);
14891             TOPINT(nss,ix) = i;
14892             break;
14893         case SAVEt_DELETE:
14894             hv = (const HV *)POPPTR(ss,ix);
14895             TOPPTR(nss,ix) = hv_dup_inc(hv, param);
14896             i = POPINT(ss,ix);
14897             TOPINT(nss,ix) = i;
14898             /* FALLTHROUGH */
14899         case SAVEt_FREEPV:
14900             c = (char*)POPPTR(ss,ix);
14901             TOPPTR(nss,ix) = pv_dup_inc(c);
14902             break;
14903         case SAVEt_STACK_POS:           /* Position on Perl stack */
14904             i = POPINT(ss,ix);
14905             TOPINT(nss,ix) = i;
14906             break;
14907         case SAVEt_DESTRUCTOR:
14908             ptr = POPPTR(ss,ix);
14909             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
14910             dptr = POPDPTR(ss,ix);
14911             TOPDPTR(nss,ix) = DPTR2FPTR(void (*)(void*),
14912                                         any_dup(FPTR2DPTR(void *, dptr),
14913                                                 proto_perl));
14914             break;
14915         case SAVEt_DESTRUCTOR_X:
14916             ptr = POPPTR(ss,ix);
14917             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
14918             dxptr = POPDXPTR(ss,ix);
14919             TOPDXPTR(nss,ix) = DPTR2FPTR(void (*)(pTHX_ void*),
14920                                          any_dup(FPTR2DPTR(void *, dxptr),
14921                                                  proto_perl));
14922             break;
14923         case SAVEt_REGCONTEXT:
14924         case SAVEt_ALLOC:
14925             ix -= uv >> SAVE_TIGHT_SHIFT;
14926             break;
14927         case SAVEt_AELEM:               /* array element */
14928             sv = (const SV *)POPPTR(ss,ix);
14929             TOPPTR(nss,ix) = SvREFCNT_inc(sv_dup_inc(sv, param));
14930             iv = POPIV(ss,ix);
14931             TOPIV(nss,ix) = iv;
14932             av = (const AV *)POPPTR(ss,ix);
14933             TOPPTR(nss,ix) = av_dup_inc(av, param);
14934             break;
14935         case SAVEt_OP:
14936             ptr = POPPTR(ss,ix);
14937             TOPPTR(nss,ix) = ptr;
14938             break;
14939         case SAVEt_HINTS:
14940             ptr = POPPTR(ss,ix);
14941             ptr = cophh_copy((COPHH*)ptr);
14942             TOPPTR(nss,ix) = ptr;
14943             i = POPINT(ss,ix);
14944             TOPINT(nss,ix) = i;
14945             if (i & HINT_LOCALIZE_HH) {
14946                 hv = (const HV *)POPPTR(ss,ix);
14947                 TOPPTR(nss,ix) = hv_dup_inc(hv, param);
14948             }
14949             break;
14950         case SAVEt_PADSV_AND_MORTALIZE:
14951             longval = (long)POPLONG(ss,ix);
14952             TOPLONG(nss,ix) = longval;
14953             ptr = POPPTR(ss,ix);
14954             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14955             sv = (const SV *)POPPTR(ss,ix);
14956             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
14957             break;
14958         case SAVEt_SET_SVFLAGS:
14959             i = POPINT(ss,ix);
14960             TOPINT(nss,ix) = i;
14961             i = POPINT(ss,ix);
14962             TOPINT(nss,ix) = i;
14963             sv = (const SV *)POPPTR(ss,ix);
14964             TOPPTR(nss,ix) = sv_dup(sv, param);
14965             break;
14966         case SAVEt_COMPILE_WARNINGS:
14967             ptr = POPPTR(ss,ix);
14968             TOPPTR(nss,ix) = DUP_WARNINGS((STRLEN*)ptr);
14969             break;
14970         case SAVEt_PARSER:
14971             ptr = POPPTR(ss,ix);
14972             TOPPTR(nss,ix) = parser_dup((const yy_parser*)ptr, param);
14973             break;
14974         default:
14975             Perl_croak(aTHX_
14976                        "panic: ss_dup inconsistency (%" IVdf ")", (IV) type);
14977         }
14978     }
14979
14980     return nss;
14981 }
14982
14983
14984 /* if sv is a stash, call $class->CLONE_SKIP(), and set the SVphv_CLONEABLE
14985  * flag to the result. This is done for each stash before cloning starts,
14986  * so we know which stashes want their objects cloned */
14987
14988 static void
14989 do_mark_cloneable_stash(pTHX_ SV *const sv)
14990 {
14991     const HEK * const hvname = HvNAME_HEK((const HV *)sv);
14992     if (hvname) {
14993         GV* const cloner = gv_fetchmethod_autoload(MUTABLE_HV(sv), "CLONE_SKIP", 0);
14994         SvFLAGS(sv) |= SVphv_CLONEABLE; /* clone objects by default */
14995         if (cloner && GvCV(cloner)) {
14996             dSP;
14997             UV status;
14998
14999             ENTER;
15000             SAVETMPS;
15001             PUSHMARK(SP);
15002             mXPUSHs(newSVhek(hvname));
15003             PUTBACK;
15004             call_sv(MUTABLE_SV(GvCV(cloner)), G_SCALAR);
15005             SPAGAIN;
15006             status = POPu;
15007             PUTBACK;
15008             FREETMPS;
15009             LEAVE;
15010             if (status)
15011                 SvFLAGS(sv) &= ~SVphv_CLONEABLE;
15012         }
15013     }
15014 }
15015
15016
15017
15018 /*
15019 =for apidoc perl_clone
15020
15021 Create and return a new interpreter by cloning the current one.
15022
15023 C<perl_clone> takes these flags as parameters:
15024
15025 C<CLONEf_COPY_STACKS> - is used to, well, copy the stacks also,
15026 without it we only clone the data and zero the stacks,
15027 with it we copy the stacks and the new perl interpreter is
15028 ready to run at the exact same point as the previous one.
15029 The pseudo-fork code uses C<COPY_STACKS> while the
15030 threads->create doesn't.
15031
15032 C<CLONEf_KEEP_PTR_TABLE> -
15033 C<perl_clone> keeps a ptr_table with the pointer of the old
15034 variable as a key and the new variable as a value,
15035 this allows it to check if something has been cloned and not
15036 clone it again but rather just use the value and increase the
15037 refcount.  If C<KEEP_PTR_TABLE> is not set then C<perl_clone> will kill
15038 the ptr_table using the function
15039 C<ptr_table_free(PL_ptr_table); PL_ptr_table = NULL;>,
15040 reason to keep it around is if you want to dup some of your own
15041 variable who are outside the graph perl scans, an example of this
15042 code is in F<threads.xs> create.
15043
15044 C<CLONEf_CLONE_HOST> -
15045 This is a win32 thing, it is ignored on unix, it tells perls
15046 win32host code (which is c++) to clone itself, this is needed on
15047 win32 if you want to run two threads at the same time,
15048 if you just want to do some stuff in a separate perl interpreter
15049 and then throw it away and return to the original one,
15050 you don't need to do anything.
15051
15052 =cut
15053 */
15054
15055 /* XXX the above needs expanding by someone who actually understands it ! */
15056 EXTERN_C PerlInterpreter *
15057 perl_clone_host(PerlInterpreter* proto_perl, UV flags);
15058
15059 PerlInterpreter *
15060 perl_clone(PerlInterpreter *proto_perl, UV flags)
15061 {
15062    dVAR;
15063 #ifdef PERL_IMPLICIT_SYS
15064
15065     PERL_ARGS_ASSERT_PERL_CLONE;
15066
15067    /* perlhost.h so we need to call into it
15068    to clone the host, CPerlHost should have a c interface, sky */
15069
15070 #ifndef __amigaos4__
15071    if (flags & CLONEf_CLONE_HOST) {
15072        return perl_clone_host(proto_perl,flags);
15073    }
15074 #endif
15075    return perl_clone_using(proto_perl, flags,
15076                             proto_perl->IMem,
15077                             proto_perl->IMemShared,
15078                             proto_perl->IMemParse,
15079                             proto_perl->IEnv,
15080                             proto_perl->IStdIO,
15081                             proto_perl->ILIO,
15082                             proto_perl->IDir,
15083                             proto_perl->ISock,
15084                             proto_perl->IProc);
15085 }
15086
15087 PerlInterpreter *
15088 perl_clone_using(PerlInterpreter *proto_perl, UV flags,
15089                  struct IPerlMem* ipM, struct IPerlMem* ipMS,
15090                  struct IPerlMem* ipMP, struct IPerlEnv* ipE,
15091                  struct IPerlStdIO* ipStd, struct IPerlLIO* ipLIO,
15092                  struct IPerlDir* ipD, struct IPerlSock* ipS,
15093                  struct IPerlProc* ipP)
15094 {
15095     /* XXX many of the string copies here can be optimized if they're
15096      * constants; they need to be allocated as common memory and just
15097      * their pointers copied. */
15098
15099     IV i;
15100     CLONE_PARAMS clone_params;
15101     CLONE_PARAMS* const param = &clone_params;
15102
15103     PerlInterpreter * const my_perl = (PerlInterpreter*)(*ipM->pMalloc)(ipM, sizeof(PerlInterpreter));
15104
15105     PERL_ARGS_ASSERT_PERL_CLONE_USING;
15106 #else           /* !PERL_IMPLICIT_SYS */
15107     IV i;
15108     CLONE_PARAMS clone_params;
15109     CLONE_PARAMS* param = &clone_params;
15110     PerlInterpreter * const my_perl = (PerlInterpreter*)PerlMem_malloc(sizeof(PerlInterpreter));
15111
15112     PERL_ARGS_ASSERT_PERL_CLONE;
15113 #endif          /* PERL_IMPLICIT_SYS */
15114
15115     /* for each stash, determine whether its objects should be cloned */
15116     S_visit(proto_perl, do_mark_cloneable_stash, SVt_PVHV, SVTYPEMASK);
15117     PERL_SET_THX(my_perl);
15118
15119 #ifdef DEBUGGING
15120     PoisonNew(my_perl, 1, PerlInterpreter);
15121     PL_op = NULL;
15122     PL_curcop = NULL;
15123     PL_defstash = NULL; /* may be used by perl malloc() */
15124     PL_markstack = 0;
15125     PL_scopestack = 0;
15126     PL_scopestack_name = 0;
15127     PL_savestack = 0;
15128     PL_savestack_ix = 0;
15129     PL_savestack_max = -1;
15130     PL_sig_pending = 0;
15131     PL_parser = NULL;
15132     Zero(&PL_debug_pad, 1, struct perl_debug_pad);
15133     Zero(&PL_padname_undef, 1, PADNAME);
15134     Zero(&PL_padname_const, 1, PADNAME);
15135 #  ifdef DEBUG_LEAKING_SCALARS
15136     PL_sv_serial = (((UV)my_perl >> 2) & 0xfff) * 1000000;
15137 #  endif
15138 #  ifdef PERL_TRACE_OPS
15139     Zero(PL_op_exec_cnt, OP_max+2, UV);
15140 #  endif
15141 #else   /* !DEBUGGING */
15142     Zero(my_perl, 1, PerlInterpreter);
15143 #endif  /* DEBUGGING */
15144
15145 #ifdef PERL_IMPLICIT_SYS
15146     /* host pointers */
15147     PL_Mem              = ipM;
15148     PL_MemShared        = ipMS;
15149     PL_MemParse         = ipMP;
15150     PL_Env              = ipE;
15151     PL_StdIO            = ipStd;
15152     PL_LIO              = ipLIO;
15153     PL_Dir              = ipD;
15154     PL_Sock             = ipS;
15155     PL_Proc             = ipP;
15156 #endif          /* PERL_IMPLICIT_SYS */
15157
15158
15159     param->flags = flags;
15160     /* Nothing in the core code uses this, but we make it available to
15161        extensions (using mg_dup).  */
15162     param->proto_perl = proto_perl;
15163     /* Likely nothing will use this, but it is initialised to be consistent
15164        with Perl_clone_params_new().  */
15165     param->new_perl = my_perl;
15166     param->unreferenced = NULL;
15167
15168
15169     INIT_TRACK_MEMPOOL(my_perl->Imemory_debug_header, my_perl);
15170
15171     PL_body_arenas = NULL;
15172     Zero(&PL_body_roots, 1, PL_body_roots);
15173     
15174     PL_sv_count         = 0;
15175     PL_sv_root          = NULL;
15176     PL_sv_arenaroot     = NULL;
15177
15178     PL_debug            = proto_perl->Idebug;
15179
15180     /* dbargs array probably holds garbage */
15181     PL_dbargs           = NULL;
15182
15183     PL_compiling = proto_perl->Icompiling;
15184
15185     /* pseudo environmental stuff */
15186     PL_origargc         = proto_perl->Iorigargc;
15187     PL_origargv         = proto_perl->Iorigargv;
15188
15189 #ifndef NO_TAINT_SUPPORT
15190     /* Set tainting stuff before PerlIO_debug can possibly get called */
15191     PL_tainting         = proto_perl->Itainting;
15192     PL_taint_warn       = proto_perl->Itaint_warn;
15193 #else
15194     PL_tainting         = FALSE;
15195     PL_taint_warn       = FALSE;
15196 #endif
15197
15198     PL_minus_c          = proto_perl->Iminus_c;
15199
15200     PL_localpatches     = proto_perl->Ilocalpatches;
15201     PL_splitstr         = proto_perl->Isplitstr;
15202     PL_minus_n          = proto_perl->Iminus_n;
15203     PL_minus_p          = proto_perl->Iminus_p;
15204     PL_minus_l          = proto_perl->Iminus_l;
15205     PL_minus_a          = proto_perl->Iminus_a;
15206     PL_minus_E          = proto_perl->Iminus_E;
15207     PL_minus_F          = proto_perl->Iminus_F;
15208     PL_doswitches       = proto_perl->Idoswitches;
15209     PL_dowarn           = proto_perl->Idowarn;
15210 #ifdef PERL_SAWAMPERSAND
15211     PL_sawampersand     = proto_perl->Isawampersand;
15212 #endif
15213     PL_unsafe           = proto_perl->Iunsafe;
15214     PL_perldb           = proto_perl->Iperldb;
15215     PL_perl_destruct_level = proto_perl->Iperl_destruct_level;
15216     PL_exit_flags       = proto_perl->Iexit_flags;
15217
15218     /* XXX time(&PL_basetime) when asked for? */
15219     PL_basetime         = proto_perl->Ibasetime;
15220
15221     PL_maxsysfd         = proto_perl->Imaxsysfd;
15222     PL_statusvalue      = proto_perl->Istatusvalue;
15223 #ifdef __VMS
15224     PL_statusvalue_vms  = proto_perl->Istatusvalue_vms;
15225 #else
15226     PL_statusvalue_posix = proto_perl->Istatusvalue_posix;
15227 #endif
15228
15229     /* RE engine related */
15230     PL_regmatch_slab    = NULL;
15231     PL_reg_curpm        = NULL;
15232
15233     PL_sub_generation   = proto_perl->Isub_generation;
15234
15235     /* funky return mechanisms */
15236     PL_forkprocess      = proto_perl->Iforkprocess;
15237
15238     /* internal state */
15239     PL_main_start       = proto_perl->Imain_start;
15240     PL_eval_root        = proto_perl->Ieval_root;
15241     PL_eval_start       = proto_perl->Ieval_start;
15242
15243     PL_filemode         = proto_perl->Ifilemode;
15244     PL_lastfd           = proto_perl->Ilastfd;
15245     PL_oldname          = proto_perl->Ioldname;         /* XXX not quite right */
15246     PL_gensym           = proto_perl->Igensym;
15247
15248     PL_laststatval      = proto_perl->Ilaststatval;
15249     PL_laststype        = proto_perl->Ilaststype;
15250     PL_mess_sv          = NULL;
15251
15252     PL_profiledata      = NULL;
15253
15254     PL_generation       = proto_perl->Igeneration;
15255
15256     PL_in_clean_objs    = proto_perl->Iin_clean_objs;
15257     PL_in_clean_all     = proto_perl->Iin_clean_all;
15258
15259     PL_delaymagic_uid   = proto_perl->Idelaymagic_uid;
15260     PL_delaymagic_euid  = proto_perl->Idelaymagic_euid;
15261     PL_delaymagic_gid   = proto_perl->Idelaymagic_gid;
15262     PL_delaymagic_egid  = proto_perl->Idelaymagic_egid;
15263     PL_nomemok          = proto_perl->Inomemok;
15264     PL_an               = proto_perl->Ian;
15265     PL_evalseq          = proto_perl->Ievalseq;
15266     PL_origenviron      = proto_perl->Iorigenviron;     /* XXX not quite right */
15267     PL_origalen         = proto_perl->Iorigalen;
15268
15269     PL_sighandlerp      = proto_perl->Isighandlerp;
15270
15271     PL_runops           = proto_perl->Irunops;
15272
15273     PL_subline          = proto_perl->Isubline;
15274
15275     PL_cv_has_eval      = proto_perl->Icv_has_eval;
15276
15277 #ifdef FCRYPT
15278     PL_cryptseen        = proto_perl->Icryptseen;
15279 #endif
15280
15281 #ifdef USE_LOCALE_COLLATE
15282     PL_collation_ix     = proto_perl->Icollation_ix;
15283     PL_collation_standard       = proto_perl->Icollation_standard;
15284     PL_collxfrm_base    = proto_perl->Icollxfrm_base;
15285     PL_collxfrm_mult    = proto_perl->Icollxfrm_mult;
15286     PL_strxfrm_max_cp   = proto_perl->Istrxfrm_max_cp;
15287 #endif /* USE_LOCALE_COLLATE */
15288
15289 #ifdef USE_LOCALE_NUMERIC
15290     PL_numeric_standard = proto_perl->Inumeric_standard;
15291     PL_numeric_underlying       = proto_perl->Inumeric_underlying;
15292     PL_numeric_underlying_is_standard   = proto_perl->Inumeric_underlying_is_standard;
15293 #endif /* !USE_LOCALE_NUMERIC */
15294
15295     /* Did the locale setup indicate UTF-8? */
15296     PL_utf8locale       = proto_perl->Iutf8locale;
15297     PL_in_utf8_CTYPE_locale = proto_perl->Iin_utf8_CTYPE_locale;
15298     PL_in_utf8_COLLATE_locale = proto_perl->Iin_utf8_COLLATE_locale;
15299     my_strlcpy(PL_locale_utf8ness, proto_perl->Ilocale_utf8ness, sizeof(PL_locale_utf8ness));
15300 #if defined(USE_ITHREADS) && ! defined(USE_THREAD_SAFE_LOCALE)
15301     PL_lc_numeric_mutex_depth = 0;
15302 #endif
15303     /* Unicode features (see perlrun/-C) */
15304     PL_unicode          = proto_perl->Iunicode;
15305
15306     /* Pre-5.8 signals control */
15307     PL_signals          = proto_perl->Isignals;
15308
15309     /* times() ticks per second */
15310     PL_clocktick        = proto_perl->Iclocktick;
15311
15312     /* Recursion stopper for PerlIO_find_layer */
15313     PL_in_load_module   = proto_perl->Iin_load_module;
15314
15315     /* sort() routine */
15316     PL_sort_RealCmp     = proto_perl->Isort_RealCmp;
15317
15318     /* Not really needed/useful since the reenrant_retint is "volatile",
15319      * but do it for consistency's sake. */
15320     PL_reentrant_retint = proto_perl->Ireentrant_retint;
15321
15322     /* Hooks to shared SVs and locks. */
15323     PL_sharehook        = proto_perl->Isharehook;
15324     PL_lockhook         = proto_perl->Ilockhook;
15325     PL_unlockhook       = proto_perl->Iunlockhook;
15326     PL_threadhook       = proto_perl->Ithreadhook;
15327     PL_destroyhook      = proto_perl->Idestroyhook;
15328     PL_signalhook       = proto_perl->Isignalhook;
15329
15330     PL_globhook         = proto_perl->Iglobhook;
15331
15332     /* swatch cache */
15333     PL_last_swash_hv    = NULL; /* reinits on demand */
15334     PL_last_swash_klen  = 0;
15335     PL_last_swash_key[0]= '\0';
15336     PL_last_swash_tmps  = (U8*)NULL;
15337     PL_last_swash_slen  = 0;
15338
15339     PL_srand_called     = proto_perl->Isrand_called;
15340     Copy(&(proto_perl->Irandom_state), &PL_random_state, 1, PL_RANDOM_STATE_TYPE);
15341
15342     if (flags & CLONEf_COPY_STACKS) {
15343         /* next allocation will be PL_tmps_stack[PL_tmps_ix+1] */
15344         PL_tmps_ix              = proto_perl->Itmps_ix;
15345         PL_tmps_max             = proto_perl->Itmps_max;
15346         PL_tmps_floor           = proto_perl->Itmps_floor;
15347
15348         /* next push_scope()/ENTER sets PL_scopestack[PL_scopestack_ix]
15349          * NOTE: unlike the others! */
15350         PL_scopestack_ix        = proto_perl->Iscopestack_ix;
15351         PL_scopestack_max       = proto_perl->Iscopestack_max;
15352
15353         /* next SSPUSHFOO() sets PL_savestack[PL_savestack_ix]
15354          * NOTE: unlike the others! */
15355         PL_savestack_ix         = proto_perl->Isavestack_ix;
15356         PL_savestack_max        = proto_perl->Isavestack_max;
15357     }
15358
15359     PL_start_env        = proto_perl->Istart_env;       /* XXXXXX */
15360     PL_top_env          = &PL_start_env;
15361
15362     PL_op               = proto_perl->Iop;
15363
15364     PL_Sv               = NULL;
15365     PL_Xpv              = (XPV*)NULL;
15366     my_perl->Ina        = proto_perl->Ina;
15367
15368     PL_statcache        = proto_perl->Istatcache;
15369
15370 #ifndef NO_TAINT_SUPPORT
15371     PL_tainted          = proto_perl->Itainted;
15372 #else
15373     PL_tainted          = FALSE;
15374 #endif
15375     PL_curpm            = proto_perl->Icurpm;   /* XXX No PMOP ref count */
15376
15377     PL_chopset          = proto_perl->Ichopset; /* XXX never deallocated */
15378
15379     PL_restartjmpenv    = proto_perl->Irestartjmpenv;
15380     PL_restartop        = proto_perl->Irestartop;
15381     PL_in_eval          = proto_perl->Iin_eval;
15382     PL_delaymagic       = proto_perl->Idelaymagic;
15383     PL_phase            = proto_perl->Iphase;
15384     PL_localizing       = proto_perl->Ilocalizing;
15385
15386     PL_hv_fetch_ent_mh  = NULL;
15387     PL_modcount         = proto_perl->Imodcount;
15388     PL_lastgotoprobe    = NULL;
15389     PL_dumpindent       = proto_perl->Idumpindent;
15390
15391     PL_efloatbuf        = NULL;         /* reinits on demand */
15392     PL_efloatsize       = 0;                    /* reinits on demand */
15393
15394     /* regex stuff */
15395
15396     PL_colorset         = 0;            /* reinits PL_colors[] */
15397     /*PL_colors[6]      = {0,0,0,0,0,0};*/
15398
15399     /* Pluggable optimizer */
15400     PL_peepp            = proto_perl->Ipeepp;
15401     PL_rpeepp           = proto_perl->Irpeepp;
15402     /* op_free() hook */
15403     PL_opfreehook       = proto_perl->Iopfreehook;
15404
15405 #ifdef USE_REENTRANT_API
15406     /* XXX: things like -Dm will segfault here in perlio, but doing
15407      *  PERL_SET_CONTEXT(proto_perl);
15408      * breaks too many other things
15409      */
15410     Perl_reentrant_init(aTHX);
15411 #endif
15412
15413     /* create SV map for pointer relocation */
15414     PL_ptr_table = ptr_table_new();
15415
15416     /* initialize these special pointers as early as possible */
15417     init_constants();
15418     ptr_table_store(PL_ptr_table, &proto_perl->Isv_undef, &PL_sv_undef);
15419     ptr_table_store(PL_ptr_table, &proto_perl->Isv_no, &PL_sv_no);
15420     ptr_table_store(PL_ptr_table, &proto_perl->Isv_zero, &PL_sv_zero);
15421     ptr_table_store(PL_ptr_table, &proto_perl->Isv_yes, &PL_sv_yes);
15422     ptr_table_store(PL_ptr_table, &proto_perl->Ipadname_const,
15423                     &PL_padname_const);
15424
15425     /* create (a non-shared!) shared string table */
15426     PL_strtab           = newHV();
15427     HvSHAREKEYS_off(PL_strtab);
15428     hv_ksplit(PL_strtab, HvTOTALKEYS(proto_perl->Istrtab));
15429     ptr_table_store(PL_ptr_table, proto_perl->Istrtab, PL_strtab);
15430
15431     Zero(PL_sv_consts, SV_CONSTS_COUNT, SV*);
15432
15433     /* This PV will be free'd special way so must set it same way op.c does */
15434     PL_compiling.cop_file    = savesharedpv(PL_compiling.cop_file);
15435     ptr_table_store(PL_ptr_table, proto_perl->Icompiling.cop_file, PL_compiling.cop_file);
15436
15437     ptr_table_store(PL_ptr_table, &proto_perl->Icompiling, &PL_compiling);
15438     PL_compiling.cop_warnings = DUP_WARNINGS(PL_compiling.cop_warnings);
15439     CopHINTHASH_set(&PL_compiling, cophh_copy(CopHINTHASH_get(&PL_compiling)));
15440     PL_curcop           = (COP*)any_dup(proto_perl->Icurcop, proto_perl);
15441
15442     param->stashes      = newAV();  /* Setup array of objects to call clone on */
15443     /* This makes no difference to the implementation, as it always pushes
15444        and shifts pointers to other SVs without changing their reference
15445        count, with the array becoming empty before it is freed. However, it
15446        makes it conceptually clear what is going on, and will avoid some
15447        work inside av.c, filling slots between AvFILL() and AvMAX() with
15448        &PL_sv_undef, and SvREFCNT_dec()ing those.  */
15449     AvREAL_off(param->stashes);
15450
15451     if (!(flags & CLONEf_COPY_STACKS)) {
15452         param->unreferenced = newAV();
15453     }
15454
15455 #ifdef PERLIO_LAYERS
15456     /* Clone PerlIO tables as soon as we can handle general xx_dup() */
15457     PerlIO_clone(aTHX_ proto_perl, param);
15458 #endif
15459
15460     PL_envgv            = gv_dup_inc(proto_perl->Ienvgv, param);
15461     PL_incgv            = gv_dup_inc(proto_perl->Iincgv, param);
15462     PL_hintgv           = gv_dup_inc(proto_perl->Ihintgv, param);
15463     PL_origfilename     = SAVEPV(proto_perl->Iorigfilename);
15464     PL_xsubfilename     = proto_perl->Ixsubfilename;
15465     PL_diehook          = sv_dup_inc(proto_perl->Idiehook, param);
15466     PL_warnhook         = sv_dup_inc(proto_perl->Iwarnhook, param);
15467
15468     /* switches */
15469     PL_patchlevel       = sv_dup_inc(proto_perl->Ipatchlevel, param);
15470     PL_inplace          = SAVEPV(proto_perl->Iinplace);
15471     PL_e_script         = sv_dup_inc(proto_perl->Ie_script, param);
15472
15473     /* magical thingies */
15474
15475     SvPVCLEAR(PERL_DEBUG_PAD(0));        /* For regex debugging. */
15476     SvPVCLEAR(PERL_DEBUG_PAD(1));        /* ext/re needs these */
15477     SvPVCLEAR(PERL_DEBUG_PAD(2));        /* even without DEBUGGING. */
15478
15479    
15480     /* Clone the regex array */
15481     /* ORANGE FIXME for plugins, probably in the SV dup code.
15482        newSViv(PTR2IV(CALLREGDUPE(
15483        INT2PTR(REGEXP *, SvIVX(regex)), param))))
15484     */
15485     PL_regex_padav = av_dup_inc(proto_perl->Iregex_padav, param);
15486     PL_regex_pad = AvARRAY(PL_regex_padav);
15487
15488     PL_stashpadmax      = proto_perl->Istashpadmax;
15489     PL_stashpadix       = proto_perl->Istashpadix ;
15490     Newx(PL_stashpad, PL_stashpadmax, HV *);
15491     {
15492         PADOFFSET o = 0;
15493         for (; o < PL_stashpadmax; ++o)
15494             PL_stashpad[o] = hv_dup(proto_perl->Istashpad[o], param);
15495     }
15496
15497     /* shortcuts to various I/O objects */
15498     PL_ofsgv            = gv_dup_inc(proto_perl->Iofsgv, param);
15499     PL_stdingv          = gv_dup(proto_perl->Istdingv, param);
15500     PL_stderrgv         = gv_dup(proto_perl->Istderrgv, param);
15501     PL_defgv            = gv_dup(proto_perl->Idefgv, param);
15502     PL_argvgv           = gv_dup_inc(proto_perl->Iargvgv, param);
15503     PL_argvoutgv        = gv_dup(proto_perl->Iargvoutgv, param);
15504     PL_argvout_stack    = av_dup_inc(proto_perl->Iargvout_stack, param);
15505
15506     /* shortcuts to regexp stuff */
15507     PL_replgv           = gv_dup_inc(proto_perl->Ireplgv, param);
15508
15509     /* shortcuts to misc objects */
15510     PL_errgv            = gv_dup(proto_perl->Ierrgv, param);
15511
15512     /* shortcuts to debugging objects */
15513     PL_DBgv             = gv_dup_inc(proto_perl->IDBgv, param);
15514     PL_DBline           = gv_dup_inc(proto_perl->IDBline, param);
15515     PL_DBsub            = gv_dup_inc(proto_perl->IDBsub, param);
15516     PL_DBsingle         = sv_dup(proto_perl->IDBsingle, param);
15517     PL_DBtrace          = sv_dup(proto_perl->IDBtrace, param);
15518     PL_DBsignal         = sv_dup(proto_perl->IDBsignal, param);
15519     Copy(proto_perl->IDBcontrol, PL_DBcontrol, DBVARMG_COUNT, IV);
15520
15521     /* symbol tables */
15522     PL_defstash         = hv_dup_inc(proto_perl->Idefstash, param);
15523     PL_curstash         = hv_dup_inc(proto_perl->Icurstash, param);
15524     PL_debstash         = hv_dup(proto_perl->Idebstash, param);
15525     PL_globalstash      = hv_dup(proto_perl->Iglobalstash, param);
15526     PL_curstname        = sv_dup_inc(proto_perl->Icurstname, param);
15527
15528     PL_beginav          = av_dup_inc(proto_perl->Ibeginav, param);
15529     PL_beginav_save     = av_dup_inc(proto_perl->Ibeginav_save, param);
15530     PL_checkav_save     = av_dup_inc(proto_perl->Icheckav_save, param);
15531     PL_unitcheckav      = av_dup_inc(proto_perl->Iunitcheckav, param);
15532     PL_unitcheckav_save = av_dup_inc(proto_perl->Iunitcheckav_save, param);
15533     PL_endav            = av_dup_inc(proto_perl->Iendav, param);
15534     PL_checkav          = av_dup_inc(proto_perl->Icheckav, param);
15535     PL_initav           = av_dup_inc(proto_perl->Iinitav, param);
15536     PL_savebegin        = proto_perl->Isavebegin;
15537
15538     PL_isarev           = hv_dup_inc(proto_perl->Iisarev, param);
15539
15540     /* subprocess state */
15541     PL_fdpid            = av_dup_inc(proto_perl->Ifdpid, param);
15542
15543     if (proto_perl->Iop_mask)
15544         PL_op_mask      = SAVEPVN(proto_perl->Iop_mask, PL_maxo);
15545     else
15546         PL_op_mask      = NULL;
15547     /* PL_asserting        = proto_perl->Iasserting; */
15548
15549     /* current interpreter roots */
15550     PL_main_cv          = cv_dup_inc(proto_perl->Imain_cv, param);
15551     OP_REFCNT_LOCK;
15552     PL_main_root        = OpREFCNT_inc(proto_perl->Imain_root);
15553     OP_REFCNT_UNLOCK;
15554
15555     /* runtime control stuff */
15556     PL_curcopdb         = (COP*)any_dup(proto_perl->Icurcopdb, proto_perl);
15557
15558     PL_preambleav       = av_dup_inc(proto_perl->Ipreambleav, param);
15559
15560     PL_ors_sv           = sv_dup_inc(proto_perl->Iors_sv, param);
15561
15562     /* interpreter atexit processing */
15563     PL_exitlistlen      = proto_perl->Iexitlistlen;
15564     if (PL_exitlistlen) {
15565         Newx(PL_exitlist, PL_exitlistlen, PerlExitListEntry);
15566         Copy(proto_perl->Iexitlist, PL_exitlist, PL_exitlistlen, PerlExitListEntry);
15567     }
15568     else
15569         PL_exitlist     = (PerlExitListEntry*)NULL;
15570
15571     PL_my_cxt_size = proto_perl->Imy_cxt_size;
15572     if (PL_my_cxt_size) {
15573         Newx(PL_my_cxt_list, PL_my_cxt_size, void *);
15574         Copy(proto_perl->Imy_cxt_list, PL_my_cxt_list, PL_my_cxt_size, void *);
15575     }
15576     else {
15577         PL_my_cxt_list  = (void**)NULL;
15578     }
15579     PL_modglobal        = hv_dup_inc(proto_perl->Imodglobal, param);
15580     PL_custom_op_names  = hv_dup_inc(proto_perl->Icustom_op_names,param);
15581     PL_custom_op_descs  = hv_dup_inc(proto_perl->Icustom_op_descs,param);
15582     PL_custom_ops       = hv_dup_inc(proto_perl->Icustom_ops, param);
15583
15584     PL_compcv                   = cv_dup(proto_perl->Icompcv, param);
15585
15586     PAD_CLONE_VARS(proto_perl, param);
15587
15588 #ifdef HAVE_INTERP_INTERN
15589     sys_intern_dup(&proto_perl->Isys_intern, &PL_sys_intern);
15590 #endif
15591
15592     PL_DBcv             = cv_dup(proto_perl->IDBcv, param);
15593
15594 #ifdef PERL_USES_PL_PIDSTATUS
15595     PL_pidstatus        = newHV();                      /* XXX flag for cloning? */
15596 #endif
15597     PL_osname           = SAVEPV(proto_perl->Iosname);
15598     PL_parser           = parser_dup(proto_perl->Iparser, param);
15599
15600     /* XXX this only works if the saved cop has already been cloned */
15601     if (proto_perl->Iparser) {
15602         PL_parser->saved_curcop = (COP*)any_dup(
15603                                     proto_perl->Iparser->saved_curcop,
15604                                     proto_perl);
15605     }
15606
15607     PL_subname          = sv_dup_inc(proto_perl->Isubname, param);
15608
15609 #if   defined(USE_POSIX_2008_LOCALE)      \
15610  &&   defined(USE_THREAD_SAFE_LOCALE)     \
15611  && ! defined(HAS_QUERYLOCALE)
15612     for (i = 0; i < (int) C_ARRAY_LENGTH(PL_curlocales); i++) {
15613         PL_curlocales[i] = savepv("."); /* An illegal value */
15614     }
15615 #endif
15616 #ifdef USE_LOCALE_CTYPE
15617     /* Should we warn if uses locale? */
15618     PL_warn_locale      = sv_dup_inc(proto_perl->Iwarn_locale, param);
15619 #endif
15620
15621 #ifdef USE_LOCALE_COLLATE
15622     PL_collation_name   = SAVEPV(proto_perl->Icollation_name);
15623 #endif /* USE_LOCALE_COLLATE */
15624
15625 #ifdef USE_LOCALE_NUMERIC
15626     PL_numeric_name     = SAVEPV(proto_perl->Inumeric_name);
15627     PL_numeric_radix_sv = sv_dup_inc(proto_perl->Inumeric_radix_sv, param);
15628
15629 #  if defined(HAS_POSIX_2008_LOCALE)
15630     PL_underlying_numeric_obj = NULL;
15631 #  endif
15632 #endif /* !USE_LOCALE_NUMERIC */
15633
15634     PL_langinfo_buf = NULL;
15635     PL_langinfo_bufsize = 0;
15636
15637     PL_setlocale_buf = NULL;
15638     PL_setlocale_bufsize = 0;
15639
15640     /* utf8 character class swashes */
15641     PL_seen_deprecated_macro = hv_dup_inc(proto_perl->Iseen_deprecated_macro, param);
15642
15643     if (proto_perl->Ipsig_pend) {
15644         Newxz(PL_psig_pend, SIG_SIZE, int);
15645     }
15646     else {
15647         PL_psig_pend    = (int*)NULL;
15648     }
15649
15650     if (proto_perl->Ipsig_name) {
15651         Newx(PL_psig_name, 2 * SIG_SIZE, SV*);
15652         sv_dup_inc_multiple(proto_perl->Ipsig_name, PL_psig_name, 2 * SIG_SIZE,
15653                             param);
15654         PL_psig_ptr = PL_psig_name + SIG_SIZE;
15655     }
15656     else {
15657         PL_psig_ptr     = (SV**)NULL;
15658         PL_psig_name    = (SV**)NULL;
15659     }
15660
15661     if (flags & CLONEf_COPY_STACKS) {
15662         Newx(PL_tmps_stack, PL_tmps_max, SV*);
15663         sv_dup_inc_multiple(proto_perl->Itmps_stack, PL_tmps_stack,
15664                             PL_tmps_ix+1, param);
15665
15666         /* next PUSHMARK() sets *(PL_markstack_ptr+1) */
15667         i = proto_perl->Imarkstack_max - proto_perl->Imarkstack;
15668         Newx(PL_markstack, i, I32);
15669         PL_markstack_max        = PL_markstack + (proto_perl->Imarkstack_max
15670                                                   - proto_perl->Imarkstack);
15671         PL_markstack_ptr        = PL_markstack + (proto_perl->Imarkstack_ptr
15672                                                   - proto_perl->Imarkstack);
15673         Copy(proto_perl->Imarkstack, PL_markstack,
15674              PL_markstack_ptr - PL_markstack + 1, I32);
15675
15676         /* next push_scope()/ENTER sets PL_scopestack[PL_scopestack_ix]
15677          * NOTE: unlike the others! */
15678         Newx(PL_scopestack, PL_scopestack_max, I32);
15679         Copy(proto_perl->Iscopestack, PL_scopestack, PL_scopestack_ix, I32);
15680
15681 #ifdef DEBUGGING
15682         Newx(PL_scopestack_name, PL_scopestack_max, const char *);
15683         Copy(proto_perl->Iscopestack_name, PL_scopestack_name, PL_scopestack_ix, const char *);
15684 #endif
15685         /* reset stack AV to correct length before its duped via
15686          * PL_curstackinfo */
15687         AvFILLp(proto_perl->Icurstack) =
15688                             proto_perl->Istack_sp - proto_perl->Istack_base;
15689
15690         /* NOTE: si_dup() looks at PL_markstack */
15691         PL_curstackinfo         = si_dup(proto_perl->Icurstackinfo, param);
15692
15693         /* PL_curstack          = PL_curstackinfo->si_stack; */
15694         PL_curstack             = av_dup(proto_perl->Icurstack, param);
15695         PL_mainstack            = av_dup(proto_perl->Imainstack, param);
15696
15697         /* next PUSHs() etc. set *(PL_stack_sp+1) */
15698         PL_stack_base           = AvARRAY(PL_curstack);
15699         PL_stack_sp             = PL_stack_base + (proto_perl->Istack_sp
15700                                                    - proto_perl->Istack_base);
15701         PL_stack_max            = PL_stack_base + AvMAX(PL_curstack);
15702
15703         /*Newxz(PL_savestack, PL_savestack_max, ANY);*/
15704         PL_savestack            = ss_dup(proto_perl, param);
15705     }
15706     else {
15707         init_stacks();
15708         ENTER;                  /* perl_destruct() wants to LEAVE; */
15709     }
15710
15711     PL_statgv           = gv_dup(proto_perl->Istatgv, param);
15712     PL_statname         = sv_dup_inc(proto_perl->Istatname, param);
15713
15714     PL_rs               = sv_dup_inc(proto_perl->Irs, param);
15715     PL_last_in_gv       = gv_dup(proto_perl->Ilast_in_gv, param);
15716     PL_defoutgv         = gv_dup_inc(proto_perl->Idefoutgv, param);
15717     PL_toptarget        = sv_dup_inc(proto_perl->Itoptarget, param);
15718     PL_bodytarget       = sv_dup_inc(proto_perl->Ibodytarget, param);
15719     PL_formtarget       = sv_dup(proto_perl->Iformtarget, param);
15720
15721     PL_errors           = sv_dup_inc(proto_perl->Ierrors, param);
15722
15723     PL_sortcop          = (OP*)any_dup(proto_perl->Isortcop, proto_perl);
15724     PL_firstgv          = gv_dup_inc(proto_perl->Ifirstgv, param);
15725     PL_secondgv         = gv_dup_inc(proto_perl->Isecondgv, param);
15726
15727     PL_stashcache       = newHV();
15728
15729     PL_watchaddr        = (char **) ptr_table_fetch(PL_ptr_table,
15730                                             proto_perl->Iwatchaddr);
15731     PL_watchok          = PL_watchaddr ? * PL_watchaddr : NULL;
15732     if (PL_debug && PL_watchaddr) {
15733         PerlIO_printf(Perl_debug_log,
15734           "WATCHING: %" UVxf " cloned as %" UVxf " with value %" UVxf "\n",
15735           PTR2UV(proto_perl->Iwatchaddr), PTR2UV(PL_watchaddr),
15736           PTR2UV(PL_watchok));
15737     }
15738
15739     PL_registered_mros  = hv_dup_inc(proto_perl->Iregistered_mros, param);
15740     PL_blockhooks       = av_dup_inc(proto_perl->Iblockhooks, param);
15741
15742     /* Call the ->CLONE method, if it exists, for each of the stashes
15743        identified by sv_dup() above.
15744     */
15745     while(av_tindex(param->stashes) != -1) {
15746         HV* const stash = MUTABLE_HV(av_shift(param->stashes));
15747         GV* const cloner = gv_fetchmethod_autoload(stash, "CLONE", 0);
15748         if (cloner && GvCV(cloner)) {
15749             dSP;
15750             ENTER;
15751             SAVETMPS;
15752             PUSHMARK(SP);
15753             mXPUSHs(newSVhek(HvNAME_HEK(stash)));
15754             PUTBACK;
15755             call_sv(MUTABLE_SV(GvCV(cloner)), G_DISCARD);
15756             FREETMPS;
15757             LEAVE;
15758         }
15759     }
15760
15761     if (!(flags & CLONEf_KEEP_PTR_TABLE)) {
15762         ptr_table_free(PL_ptr_table);
15763         PL_ptr_table = NULL;
15764     }
15765
15766     if (!(flags & CLONEf_COPY_STACKS)) {
15767         unreferenced_to_tmp_stack(param->unreferenced);
15768     }
15769
15770     SvREFCNT_dec(param->stashes);
15771
15772     /* orphaned? eg threads->new inside BEGIN or use */
15773     if (PL_compcv && ! SvREFCNT(PL_compcv)) {
15774         SvREFCNT_inc_simple_void(PL_compcv);
15775         SAVEFREESV(PL_compcv);
15776     }
15777
15778     return my_perl;
15779 }
15780
15781 static void
15782 S_unreferenced_to_tmp_stack(pTHX_ AV *const unreferenced)
15783 {
15784     PERL_ARGS_ASSERT_UNREFERENCED_TO_TMP_STACK;
15785     
15786     if (AvFILLp(unreferenced) > -1) {
15787         SV **svp = AvARRAY(unreferenced);
15788         SV **const last = svp + AvFILLp(unreferenced);
15789         SSize_t count = 0;
15790
15791         do {
15792             if (SvREFCNT(*svp) == 1)
15793                 ++count;
15794         } while (++svp <= last);
15795
15796         EXTEND_MORTAL(count);
15797         svp = AvARRAY(unreferenced);
15798
15799         do {
15800             if (SvREFCNT(*svp) == 1) {
15801                 /* Our reference is the only one to this SV. This means that
15802                    in this thread, the scalar effectively has a 0 reference.
15803                    That doesn't work (cleanup never happens), so donate our
15804                    reference to it onto the save stack. */
15805                 PL_tmps_stack[++PL_tmps_ix] = *svp;
15806             } else {
15807                 /* As an optimisation, because we are already walking the
15808                    entire array, instead of above doing either
15809                    SvREFCNT_inc(*svp) or *svp = &PL_sv_undef, we can instead
15810                    release our reference to the scalar, so that at the end of
15811                    the array owns zero references to the scalars it happens to
15812                    point to. We are effectively converting the array from
15813                    AvREAL() on to AvREAL() off. This saves the av_clear()
15814                    (triggered by the SvREFCNT_dec(unreferenced) below) from
15815                    walking the array a second time.  */
15816                 SvREFCNT_dec(*svp);
15817             }
15818
15819         } while (++svp <= last);
15820         AvREAL_off(unreferenced);
15821     }
15822     SvREFCNT_dec_NN(unreferenced);
15823 }
15824
15825 void
15826 Perl_clone_params_del(CLONE_PARAMS *param)
15827 {
15828     /* This seemingly funky ordering keeps the build with PERL_GLOBAL_STRUCT
15829        happy: */
15830     PerlInterpreter *const to = param->new_perl;
15831     dTHXa(to);
15832     PerlInterpreter *const was = PERL_GET_THX;
15833
15834     PERL_ARGS_ASSERT_CLONE_PARAMS_DEL;
15835
15836     if (was != to) {
15837         PERL_SET_THX(to);
15838     }
15839
15840     SvREFCNT_dec(param->stashes);
15841     if (param->unreferenced)
15842         unreferenced_to_tmp_stack(param->unreferenced);
15843
15844     Safefree(param);
15845
15846     if (was != to) {
15847         PERL_SET_THX(was);
15848     }
15849 }
15850
15851 CLONE_PARAMS *
15852 Perl_clone_params_new(PerlInterpreter *const from, PerlInterpreter *const to)
15853 {
15854     dVAR;
15855     /* Need to play this game, as newAV() can call safesysmalloc(), and that
15856        does a dTHX; to get the context from thread local storage.
15857        FIXME - under PERL_CORE Newx(), Safefree() and friends should expand to
15858        a version that passes in my_perl.  */
15859     PerlInterpreter *const was = PERL_GET_THX;
15860     CLONE_PARAMS *param;
15861
15862     PERL_ARGS_ASSERT_CLONE_PARAMS_NEW;
15863
15864     if (was != to) {
15865         PERL_SET_THX(to);
15866     }
15867
15868     /* Given that we've set the context, we can do this unshared.  */
15869     Newx(param, 1, CLONE_PARAMS);
15870
15871     param->flags = 0;
15872     param->proto_perl = from;
15873     param->new_perl = to;
15874     param->stashes = (AV *)Perl_newSV_type(to, SVt_PVAV);
15875     AvREAL_off(param->stashes);
15876     param->unreferenced = (AV *)Perl_newSV_type(to, SVt_PVAV);
15877
15878     if (was != to) {
15879         PERL_SET_THX(was);
15880     }
15881     return param;
15882 }
15883
15884 #endif /* USE_ITHREADS */
15885
15886 void
15887 Perl_init_constants(pTHX)
15888 {
15889     dVAR;
15890
15891     SvREFCNT(&PL_sv_undef)      = SvREFCNT_IMMORTAL;
15892     SvFLAGS(&PL_sv_undef)       = SVf_READONLY|SVf_PROTECT|SVt_NULL;
15893     SvANY(&PL_sv_undef)         = NULL;
15894
15895     SvANY(&PL_sv_no)            = new_XPVNV();
15896     SvREFCNT(&PL_sv_no)         = SvREFCNT_IMMORTAL;
15897     SvFLAGS(&PL_sv_no)          = SVt_PVNV|SVf_READONLY|SVf_PROTECT
15898                                   |SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
15899                                   |SVp_POK|SVf_POK;
15900
15901     SvANY(&PL_sv_yes)           = new_XPVNV();
15902     SvREFCNT(&PL_sv_yes)        = SvREFCNT_IMMORTAL;
15903     SvFLAGS(&PL_sv_yes)         = SVt_PVNV|SVf_READONLY|SVf_PROTECT
15904                                   |SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
15905                                   |SVp_POK|SVf_POK;
15906
15907     SvANY(&PL_sv_zero)          = new_XPVNV();
15908     SvREFCNT(&PL_sv_zero)       = SvREFCNT_IMMORTAL;
15909     SvFLAGS(&PL_sv_zero)        = SVt_PVNV|SVf_READONLY|SVf_PROTECT
15910                                   |SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
15911                                   |SVp_POK|SVf_POK
15912                                   |SVs_PADTMP;
15913
15914     SvPV_set(&PL_sv_no, (char*)PL_No);
15915     SvCUR_set(&PL_sv_no, 0);
15916     SvLEN_set(&PL_sv_no, 0);
15917     SvIV_set(&PL_sv_no, 0);
15918     SvNV_set(&PL_sv_no, 0);
15919
15920     SvPV_set(&PL_sv_yes, (char*)PL_Yes);
15921     SvCUR_set(&PL_sv_yes, 1);
15922     SvLEN_set(&PL_sv_yes, 0);
15923     SvIV_set(&PL_sv_yes, 1);
15924     SvNV_set(&PL_sv_yes, 1);
15925
15926     SvPV_set(&PL_sv_zero, (char*)PL_Zero);
15927     SvCUR_set(&PL_sv_zero, 1);
15928     SvLEN_set(&PL_sv_zero, 0);
15929     SvIV_set(&PL_sv_zero, 0);
15930     SvNV_set(&PL_sv_zero, 0);
15931
15932     PadnamePV(&PL_padname_const) = (char *)PL_No;
15933
15934     assert(SvIMMORTAL_INTERP(&PL_sv_yes));
15935     assert(SvIMMORTAL_INTERP(&PL_sv_undef));
15936     assert(SvIMMORTAL_INTERP(&PL_sv_no));
15937     assert(SvIMMORTAL_INTERP(&PL_sv_zero));
15938
15939     assert(SvIMMORTAL(&PL_sv_yes));
15940     assert(SvIMMORTAL(&PL_sv_undef));
15941     assert(SvIMMORTAL(&PL_sv_no));
15942     assert(SvIMMORTAL(&PL_sv_zero));
15943
15944     assert( SvIMMORTAL_TRUE(&PL_sv_yes));
15945     assert(!SvIMMORTAL_TRUE(&PL_sv_undef));
15946     assert(!SvIMMORTAL_TRUE(&PL_sv_no));
15947     assert(!SvIMMORTAL_TRUE(&PL_sv_zero));
15948
15949     assert( SvTRUE_nomg_NN(&PL_sv_yes));
15950     assert(!SvTRUE_nomg_NN(&PL_sv_undef));
15951     assert(!SvTRUE_nomg_NN(&PL_sv_no));
15952     assert(!SvTRUE_nomg_NN(&PL_sv_zero));
15953 }
15954
15955 /*
15956 =head1 Unicode Support
15957
15958 =for apidoc sv_recode_to_utf8
15959
15960 C<encoding> is assumed to be an C<Encode> object, on entry the PV
15961 of C<sv> is assumed to be octets in that encoding, and C<sv>
15962 will be converted into Unicode (and UTF-8).
15963
15964 If C<sv> already is UTF-8 (or if it is not C<POK>), or if C<encoding>
15965 is not a reference, nothing is done to C<sv>.  If C<encoding> is not
15966 an C<Encode::XS> Encoding object, bad things will happen.
15967 (See F<cpan/Encode/encoding.pm> and L<Encode>.)
15968
15969 The PV of C<sv> is returned.
15970
15971 =cut */
15972
15973 char *
15974 Perl_sv_recode_to_utf8(pTHX_ SV *sv, SV *encoding)
15975 {
15976     PERL_ARGS_ASSERT_SV_RECODE_TO_UTF8;
15977
15978     if (SvPOK(sv) && !SvUTF8(sv) && !IN_BYTES && SvROK(encoding)) {
15979         SV *uni;
15980         STRLEN len;
15981         const char *s;
15982         dSP;
15983         SV *nsv = sv;
15984         ENTER;
15985         PUSHSTACK;
15986         SAVETMPS;
15987         if (SvPADTMP(nsv)) {
15988             nsv = sv_newmortal();
15989             SvSetSV_nosteal(nsv, sv);
15990         }
15991         save_re_context();
15992         PUSHMARK(sp);
15993         EXTEND(SP, 3);
15994         PUSHs(encoding);
15995         PUSHs(nsv);
15996 /*
15997   NI-S 2002/07/09
15998   Passing sv_yes is wrong - it needs to be or'ed set of constants
15999   for Encode::XS, while UTf-8 decode (currently) assumes a true value means
16000   remove converted chars from source.
16001
16002   Both will default the value - let them.
16003
16004         XPUSHs(&PL_sv_yes);
16005 */
16006         PUTBACK;
16007         call_method("decode", G_SCALAR);
16008         SPAGAIN;
16009         uni = POPs;
16010         PUTBACK;
16011         s = SvPV_const(uni, len);
16012         if (s != SvPVX_const(sv)) {
16013             SvGROW(sv, len + 1);
16014             Move(s, SvPVX(sv), len + 1, char);
16015             SvCUR_set(sv, len);
16016         }
16017         FREETMPS;
16018         POPSTACK;
16019         LEAVE;
16020         if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
16021             /* clear pos and any utf8 cache */
16022             MAGIC * mg = mg_find(sv, PERL_MAGIC_regex_global);
16023             if (mg)
16024                 mg->mg_len = -1;
16025             if ((mg = mg_find(sv, PERL_MAGIC_utf8)))
16026                 magic_setutf8(sv,mg); /* clear UTF8 cache */
16027         }
16028         SvUTF8_on(sv);
16029         return SvPVX(sv);
16030     }
16031     return SvPOKp(sv) ? SvPVX(sv) : NULL;
16032 }
16033
16034 /*
16035 =for apidoc sv_cat_decode
16036
16037 C<encoding> is assumed to be an C<Encode> object, the PV of C<ssv> is
16038 assumed to be octets in that encoding and decoding the input starts
16039 from the position which S<C<(PV + *offset)>> pointed to.  C<dsv> will be
16040 concatenated with the decoded UTF-8 string from C<ssv>.  Decoding will terminate
16041 when the string C<tstr> appears in decoding output or the input ends on
16042 the PV of C<ssv>.  The value which C<offset> points will be modified
16043 to the last input position on C<ssv>.
16044
16045 Returns TRUE if the terminator was found, else returns FALSE.
16046
16047 =cut */
16048
16049 bool
16050 Perl_sv_cat_decode(pTHX_ SV *dsv, SV *encoding,
16051                    SV *ssv, int *offset, char *tstr, int tlen)
16052 {
16053     bool ret = FALSE;
16054
16055     PERL_ARGS_ASSERT_SV_CAT_DECODE;
16056
16057     if (SvPOK(ssv) && SvPOK(dsv) && SvROK(encoding)) {
16058         SV *offsv;
16059         dSP;
16060         ENTER;
16061         SAVETMPS;
16062         save_re_context();
16063         PUSHMARK(sp);
16064         EXTEND(SP, 6);
16065         PUSHs(encoding);
16066         PUSHs(dsv);
16067         PUSHs(ssv);
16068         offsv = newSViv(*offset);
16069         mPUSHs(offsv);
16070         mPUSHp(tstr, tlen);
16071         PUTBACK;
16072         call_method("cat_decode", G_SCALAR);
16073         SPAGAIN;
16074         ret = SvTRUE(TOPs);
16075         *offset = SvIV(offsv);
16076         PUTBACK;
16077         FREETMPS;
16078         LEAVE;
16079     }
16080     else
16081         Perl_croak(aTHX_ "Invalid argument to sv_cat_decode");
16082     return ret;
16083
16084 }
16085
16086 /* ---------------------------------------------------------------------
16087  *
16088  * support functions for report_uninit()
16089  */
16090
16091 /* the maxiumum size of array or hash where we will scan looking
16092  * for the undefined element that triggered the warning */
16093
16094 #define FUV_MAX_SEARCH_SIZE 1000
16095
16096 /* Look for an entry in the hash whose value has the same SV as val;
16097  * If so, return a mortal copy of the key. */
16098
16099 STATIC SV*
16100 S_find_hash_subscript(pTHX_ const HV *const hv, const SV *const val)
16101 {
16102     dVAR;
16103     HE **array;
16104     I32 i;
16105
16106     PERL_ARGS_ASSERT_FIND_HASH_SUBSCRIPT;
16107
16108     if (!hv || SvMAGICAL(hv) || !HvARRAY(hv) ||
16109                         (HvTOTALKEYS(hv) > FUV_MAX_SEARCH_SIZE))
16110         return NULL;
16111
16112     array = HvARRAY(hv);
16113
16114     for (i=HvMAX(hv); i>=0; i--) {
16115         HE *entry;
16116         for (entry = array[i]; entry; entry = HeNEXT(entry)) {
16117             if (HeVAL(entry) != val)
16118                 continue;
16119             if (    HeVAL(entry) == &PL_sv_undef ||
16120                     HeVAL(entry) == &PL_sv_placeholder)
16121                 continue;
16122             if (!HeKEY(entry))
16123                 return NULL;
16124             if (HeKLEN(entry) == HEf_SVKEY)
16125                 return sv_mortalcopy(HeKEY_sv(entry));
16126             return sv_2mortal(newSVhek(HeKEY_hek(entry)));
16127         }
16128     }
16129     return NULL;
16130 }
16131
16132 /* Look for an entry in the array whose value has the same SV as val;
16133  * If so, return the index, otherwise return -1. */
16134
16135 STATIC SSize_t
16136 S_find_array_subscript(pTHX_ const AV *const av, const SV *const val)
16137 {
16138     PERL_ARGS_ASSERT_FIND_ARRAY_SUBSCRIPT;
16139
16140     if (!av || SvMAGICAL(av) || !AvARRAY(av) ||
16141                         (AvFILLp(av) > FUV_MAX_SEARCH_SIZE))
16142         return -1;
16143
16144     if (val != &PL_sv_undef) {
16145         SV ** const svp = AvARRAY(av);
16146         SSize_t i;
16147
16148         for (i=AvFILLp(av); i>=0; i--)
16149             if (svp[i] == val)
16150                 return i;
16151     }
16152     return -1;
16153 }
16154
16155 /* varname(): return the name of a variable, optionally with a subscript.
16156  * If gv is non-zero, use the name of that global, along with gvtype (one
16157  * of "$", "@", "%"); otherwise use the name of the lexical at pad offset
16158  * targ.  Depending on the value of the subscript_type flag, return:
16159  */
16160
16161 #define FUV_SUBSCRIPT_NONE      1       /* "@foo"          */
16162 #define FUV_SUBSCRIPT_ARRAY     2       /* "$foo[aindex]"  */
16163 #define FUV_SUBSCRIPT_HASH      3       /* "$foo{keyname}" */
16164 #define FUV_SUBSCRIPT_WITHIN    4       /* "within @foo"   */
16165
16166 SV*
16167 Perl_varname(pTHX_ const GV *const gv, const char gvtype, PADOFFSET targ,
16168         const SV *const keyname, SSize_t aindex, int subscript_type)
16169 {
16170
16171     SV * const name = sv_newmortal();
16172     if (gv && isGV(gv)) {
16173         char buffer[2];
16174         buffer[0] = gvtype;
16175         buffer[1] = 0;
16176
16177         /* as gv_fullname4(), but add literal '^' for $^FOO names  */
16178
16179         gv_fullname4(name, gv, buffer, 0);
16180
16181         if ((unsigned int)SvPVX(name)[1] <= 26) {
16182             buffer[0] = '^';
16183             buffer[1] = SvPVX(name)[1] + 'A' - 1;
16184
16185             /* Swap the 1 unprintable control character for the 2 byte pretty
16186                version - ie substr($name, 1, 1) = $buffer; */
16187             sv_insert(name, 1, 1, buffer, 2);
16188         }
16189     }
16190     else {
16191         CV * const cv = gv ? ((CV *)gv) : find_runcv(NULL);
16192         PADNAME *sv;
16193
16194         assert(!cv || SvTYPE(cv) == SVt_PVCV || SvTYPE(cv) == SVt_PVFM);
16195
16196         if (!cv || !CvPADLIST(cv))
16197             return NULL;
16198         sv = padnamelist_fetch(PadlistNAMES(CvPADLIST(cv)), targ);
16199         sv_setpvn(name, PadnamePV(sv), PadnameLEN(sv));
16200         SvUTF8_on(name);
16201     }
16202
16203     if (subscript_type == FUV_SUBSCRIPT_HASH) {
16204         SV * const sv = newSV(0);
16205         STRLEN len;
16206         const char * const pv = SvPV_nomg_const((SV*)keyname, len);
16207
16208         *SvPVX(name) = '$';
16209         Perl_sv_catpvf(aTHX_ name, "{%s}",
16210             pv_pretty(sv, pv, len, 32, NULL, NULL,
16211                     PERL_PV_PRETTY_DUMP | PERL_PV_ESCAPE_UNI_DETECT ));
16212         SvREFCNT_dec_NN(sv);
16213     }
16214     else if (subscript_type == FUV_SUBSCRIPT_ARRAY) {
16215         *SvPVX(name) = '$';
16216         Perl_sv_catpvf(aTHX_ name, "[%" IVdf "]", (IV)aindex);
16217     }
16218     else if (subscript_type == FUV_SUBSCRIPT_WITHIN) {
16219         /* We know that name has no magic, so can use 0 instead of SV_GMAGIC */
16220         Perl_sv_insert_flags(aTHX_ name, 0, 0,  STR_WITH_LEN("within "), 0);
16221     }
16222
16223     return name;
16224 }
16225
16226
16227 /*
16228 =for apidoc find_uninit_var
16229
16230 Find the name of the undefined variable (if any) that caused the operator
16231 to issue a "Use of uninitialized value" warning.
16232 If match is true, only return a name if its value matches C<uninit_sv>.
16233 So roughly speaking, if a unary operator (such as C<OP_COS>) generates a
16234 warning, then following the direct child of the op may yield an
16235 C<OP_PADSV> or C<OP_GV> that gives the name of the undefined variable.  On the
16236 other hand, with C<OP_ADD> there are two branches to follow, so we only print
16237 the variable name if we get an exact match.
16238 C<desc_p> points to a string pointer holding the description of the op.
16239 This may be updated if needed.
16240
16241 The name is returned as a mortal SV.
16242
16243 Assumes that C<PL_op> is the OP that originally triggered the error, and that
16244 C<PL_comppad>/C<PL_curpad> points to the currently executing pad.
16245
16246 =cut
16247 */
16248
16249 STATIC SV *
16250 S_find_uninit_var(pTHX_ const OP *const obase, const SV *const uninit_sv,
16251                   bool match, const char **desc_p)
16252 {
16253     dVAR;
16254     SV *sv;
16255     const GV *gv;
16256     const OP *o, *o2, *kid;
16257
16258     PERL_ARGS_ASSERT_FIND_UNINIT_VAR;
16259
16260     if (!obase || (match && (!uninit_sv || uninit_sv == &PL_sv_undef ||
16261                             uninit_sv == &PL_sv_placeholder)))
16262         return NULL;
16263
16264     switch (obase->op_type) {
16265
16266     case OP_UNDEF:
16267         /* undef should care if its args are undef - any warnings
16268          * will be from tied/magic vars */
16269         break;
16270
16271     case OP_RV2AV:
16272     case OP_RV2HV:
16273     case OP_PADAV:
16274     case OP_PADHV:
16275       {
16276         const bool pad  = (    obase->op_type == OP_PADAV
16277                             || obase->op_type == OP_PADHV
16278                             || obase->op_type == OP_PADRANGE
16279                           );
16280
16281         const bool hash = (    obase->op_type == OP_PADHV
16282                             || obase->op_type == OP_RV2HV
16283                             || (obase->op_type == OP_PADRANGE
16284                                 && SvTYPE(PAD_SVl(obase->op_targ)) == SVt_PVHV)
16285                           );
16286         SSize_t index = 0;
16287         SV *keysv = NULL;
16288         int subscript_type = FUV_SUBSCRIPT_WITHIN;
16289
16290         if (pad) { /* @lex, %lex */
16291             sv = PAD_SVl(obase->op_targ);
16292             gv = NULL;
16293         }
16294         else {
16295             if (cUNOPx(obase)->op_first->op_type == OP_GV) {
16296             /* @global, %global */
16297                 gv = cGVOPx_gv(cUNOPx(obase)->op_first);
16298                 if (!gv)
16299                     break;
16300                 sv = hash ? MUTABLE_SV(GvHV(gv)): MUTABLE_SV(GvAV(gv));
16301             }
16302             else if (obase == PL_op) /* @{expr}, %{expr} */
16303                 return find_uninit_var(cUNOPx(obase)->op_first,
16304                                                 uninit_sv, match, desc_p);
16305             else /* @{expr}, %{expr} as a sub-expression */
16306                 return NULL;
16307         }
16308
16309         /* attempt to find a match within the aggregate */
16310         if (hash) {
16311             keysv = find_hash_subscript((const HV*)sv, uninit_sv);
16312             if (keysv)
16313                 subscript_type = FUV_SUBSCRIPT_HASH;
16314         }
16315         else {
16316             index = find_array_subscript((const AV *)sv, uninit_sv);
16317             if (index >= 0)
16318                 subscript_type = FUV_SUBSCRIPT_ARRAY;
16319         }
16320
16321         if (match && subscript_type == FUV_SUBSCRIPT_WITHIN)
16322             break;
16323
16324         return varname(gv, (char)(hash ? '%' : '@'), obase->op_targ,
16325                                     keysv, index, subscript_type);
16326       }
16327
16328     case OP_RV2SV:
16329         if (cUNOPx(obase)->op_first->op_type == OP_GV) {
16330             /* $global */
16331             gv = cGVOPx_gv(cUNOPx(obase)->op_first);
16332             if (!gv || !GvSTASH(gv))
16333                 break;
16334             if (match && (GvSV(gv) != uninit_sv))
16335                 break;
16336             return varname(gv, '$', 0, NULL, 0, FUV_SUBSCRIPT_NONE);
16337         }
16338         /* ${expr} */
16339         return find_uninit_var(cUNOPx(obase)->op_first, uninit_sv, 1, desc_p);
16340
16341     case OP_PADSV:
16342         if (match && PAD_SVl(obase->op_targ) != uninit_sv)
16343             break;
16344         return varname(NULL, '$', obase->op_targ,
16345                                     NULL, 0, FUV_SUBSCRIPT_NONE);
16346
16347     case OP_GVSV:
16348         gv = cGVOPx_gv(obase);
16349         if (!gv || (match && GvSV(gv) != uninit_sv) || !GvSTASH(gv))
16350             break;
16351         return varname(gv, '$', 0, NULL, 0, FUV_SUBSCRIPT_NONE);
16352
16353     case OP_AELEMFAST_LEX:
16354         if (match) {
16355             SV **svp;
16356             AV *av = MUTABLE_AV(PAD_SV(obase->op_targ));
16357             if (!av || SvRMAGICAL(av))
16358                 break;
16359             svp = av_fetch(av, (I8)obase->op_private, FALSE);
16360             if (!svp || *svp != uninit_sv)
16361                 break;
16362         }
16363         return varname(NULL, '$', obase->op_targ,
16364                        NULL, (I8)obase->op_private, FUV_SUBSCRIPT_ARRAY);
16365     case OP_AELEMFAST:
16366         {
16367             gv = cGVOPx_gv(obase);
16368             if (!gv)
16369                 break;
16370             if (match) {
16371                 SV **svp;
16372                 AV *const av = GvAV(gv);
16373                 if (!av || SvRMAGICAL(av))
16374                     break;
16375                 svp = av_fetch(av, (I8)obase->op_private, FALSE);
16376                 if (!svp || *svp != uninit_sv)
16377                     break;
16378             }
16379             return varname(gv, '$', 0,
16380                     NULL, (I8)obase->op_private, FUV_SUBSCRIPT_ARRAY);
16381         }
16382         NOT_REACHED; /* NOTREACHED */
16383
16384     case OP_EXISTS:
16385         o = cUNOPx(obase)->op_first;
16386         if (!o || o->op_type != OP_NULL ||
16387                 ! (o->op_targ == OP_AELEM || o->op_targ == OP_HELEM))
16388             break;
16389         return find_uninit_var(cBINOPo->op_last, uninit_sv, match, desc_p);
16390
16391     case OP_AELEM:
16392     case OP_HELEM:
16393     {
16394         bool negate = FALSE;
16395
16396         if (PL_op == obase)
16397             /* $a[uninit_expr] or $h{uninit_expr} */
16398             return find_uninit_var(cBINOPx(obase)->op_last,
16399                                                 uninit_sv, match, desc_p);
16400
16401         gv = NULL;
16402         o = cBINOPx(obase)->op_first;
16403         kid = cBINOPx(obase)->op_last;
16404
16405         /* get the av or hv, and optionally the gv */
16406         sv = NULL;
16407         if  (o->op_type == OP_PADAV || o->op_type == OP_PADHV) {
16408             sv = PAD_SV(o->op_targ);
16409         }
16410         else if ((o->op_type == OP_RV2AV || o->op_type == OP_RV2HV)
16411                 && cUNOPo->op_first->op_type == OP_GV)
16412         {
16413             gv = cGVOPx_gv(cUNOPo->op_first);
16414             if (!gv)
16415                 break;
16416             sv = o->op_type
16417                 == OP_RV2HV ? MUTABLE_SV(GvHV(gv)) : MUTABLE_SV(GvAV(gv));
16418         }
16419         if (!sv)
16420             break;
16421
16422         if (kid && kid->op_type == OP_NEGATE) {
16423             negate = TRUE;
16424             kid = cUNOPx(kid)->op_first;
16425         }
16426
16427         if (kid && kid->op_type == OP_CONST && SvOK(cSVOPx_sv(kid))) {
16428             /* index is constant */
16429             SV* kidsv;
16430             if (negate) {
16431                 kidsv = newSVpvs_flags("-", SVs_TEMP);
16432                 sv_catsv(kidsv, cSVOPx_sv(kid));
16433             }
16434             else
16435                 kidsv = cSVOPx_sv(kid);
16436             if (match) {
16437                 if (SvMAGICAL(sv))
16438                     break;
16439                 if (obase->op_type == OP_HELEM) {
16440                     HE* he = hv_fetch_ent(MUTABLE_HV(sv), kidsv, 0, 0);
16441                     if (!he || HeVAL(he) != uninit_sv)
16442                         break;
16443                 }
16444                 else {
16445                     SV * const  opsv = cSVOPx_sv(kid);
16446                     const IV  opsviv = SvIV(opsv);
16447                     SV * const * const svp = av_fetch(MUTABLE_AV(sv),
16448                         negate ? - opsviv : opsviv,
16449                         FALSE);
16450                     if (!svp || *svp != uninit_sv)
16451                         break;
16452                 }
16453             }
16454             if (obase->op_type == OP_HELEM)
16455                 return varname(gv, '%', o->op_targ,
16456                             kidsv, 0, FUV_SUBSCRIPT_HASH);
16457             else
16458                 return varname(gv, '@', o->op_targ, NULL,
16459                     negate ? - SvIV(cSVOPx_sv(kid)) : SvIV(cSVOPx_sv(kid)),
16460                     FUV_SUBSCRIPT_ARRAY);
16461         }
16462         else  {
16463             /* index is an expression;
16464              * attempt to find a match within the aggregate */
16465             if (obase->op_type == OP_HELEM) {
16466                 SV * const keysv = find_hash_subscript((const HV*)sv, uninit_sv);
16467                 if (keysv)
16468                     return varname(gv, '%', o->op_targ,
16469                                                 keysv, 0, FUV_SUBSCRIPT_HASH);
16470             }
16471             else {
16472                 const SSize_t index
16473                     = find_array_subscript((const AV *)sv, uninit_sv);
16474                 if (index >= 0)
16475                     return varname(gv, '@', o->op_targ,
16476                                         NULL, index, FUV_SUBSCRIPT_ARRAY);
16477             }
16478             if (match)
16479                 break;
16480             return varname(gv,
16481                 (char)((o->op_type == OP_PADAV || o->op_type == OP_RV2AV)
16482                 ? '@' : '%'),
16483                 o->op_targ, NULL, 0, FUV_SUBSCRIPT_WITHIN);
16484         }
16485         NOT_REACHED; /* NOTREACHED */
16486     }
16487
16488     case OP_MULTIDEREF: {
16489         /* If we were executing OP_MULTIDEREF when the undef warning
16490          * triggered, then it must be one of the index values within
16491          * that triggered it. If not, then the only possibility is that
16492          * the value retrieved by the last aggregate index might be the
16493          * culprit. For the former, we set PL_multideref_pc each time before
16494          * using an index, so work though the item list until we reach
16495          * that point. For the latter, just work through the entire item
16496          * list; the last aggregate retrieved will be the candidate.
16497          * There is a third rare possibility: something triggered
16498          * magic while fetching an array/hash element. Just display
16499          * nothing in this case.
16500          */
16501
16502         /* the named aggregate, if any */
16503         PADOFFSET agg_targ = 0;
16504         GV       *agg_gv   = NULL;
16505         /* the last-seen index */
16506         UV        index_type;
16507         PADOFFSET index_targ;
16508         GV       *index_gv;
16509         IV        index_const_iv = 0; /* init for spurious compiler warn */
16510         SV       *index_const_sv;
16511         int       depth = 0;  /* how many array/hash lookups we've done */
16512
16513         UNOP_AUX_item *items = cUNOP_AUXx(obase)->op_aux;
16514         UNOP_AUX_item *last = NULL;
16515         UV actions = items->uv;
16516         bool is_hv;
16517
16518         if (PL_op == obase) {
16519             last = PL_multideref_pc;
16520             assert(last >= items && last <= items + items[-1].uv);
16521         }
16522
16523         assert(actions);
16524
16525         while (1) {
16526             is_hv = FALSE;
16527             switch (actions & MDEREF_ACTION_MASK) {
16528
16529             case MDEREF_reload:
16530                 actions = (++items)->uv;
16531                 continue;
16532
16533             case MDEREF_HV_padhv_helem:               /* $lex{...} */
16534                 is_hv = TRUE;
16535                 /* FALLTHROUGH */
16536             case MDEREF_AV_padav_aelem:               /* $lex[...] */
16537                 agg_targ = (++items)->pad_offset;
16538                 agg_gv = NULL;
16539                 break;
16540
16541             case MDEREF_HV_gvhv_helem:                /* $pkg{...} */
16542                 is_hv = TRUE;
16543                 /* FALLTHROUGH */
16544             case MDEREF_AV_gvav_aelem:                /* $pkg[...] */
16545                 agg_targ = 0;
16546                 agg_gv = (GV*)UNOP_AUX_item_sv(++items);
16547                 assert(isGV_with_GP(agg_gv));
16548                 break;
16549
16550             case MDEREF_HV_gvsv_vivify_rv2hv_helem:   /* $pkg->{...} */
16551             case MDEREF_HV_padsv_vivify_rv2hv_helem:  /* $lex->{...} */
16552                 ++items;
16553                 /* FALLTHROUGH */
16554             case MDEREF_HV_pop_rv2hv_helem:           /* expr->{...} */
16555             case MDEREF_HV_vivify_rv2hv_helem:        /* vivify, ->{...} */
16556                 agg_targ = 0;
16557                 agg_gv   = NULL;
16558                 is_hv    = TRUE;
16559                 break;
16560
16561             case MDEREF_AV_gvsv_vivify_rv2av_aelem:   /* $pkg->[...] */
16562             case MDEREF_AV_padsv_vivify_rv2av_aelem:  /* $lex->[...] */
16563                 ++items;
16564                 /* FALLTHROUGH */
16565             case MDEREF_AV_pop_rv2av_aelem:           /* expr->[...] */
16566             case MDEREF_AV_vivify_rv2av_aelem:        /* vivify, ->[...] */
16567                 agg_targ = 0;
16568                 agg_gv   = NULL;
16569             } /* switch */
16570
16571             index_targ     = 0;
16572             index_gv       = NULL;
16573             index_const_sv = NULL;
16574
16575             index_type = (actions & MDEREF_INDEX_MASK);
16576             switch (index_type) {
16577             case MDEREF_INDEX_none:
16578                 break;
16579             case MDEREF_INDEX_const:
16580                 if (is_hv)
16581                     index_const_sv = UNOP_AUX_item_sv(++items)
16582                 else
16583                     index_const_iv = (++items)->iv;
16584                 break;
16585             case MDEREF_INDEX_padsv:
16586                 index_targ = (++items)->pad_offset;
16587                 break;
16588             case MDEREF_INDEX_gvsv:
16589                 index_gv = (GV*)UNOP_AUX_item_sv(++items);
16590                 assert(isGV_with_GP(index_gv));
16591                 break;
16592             }
16593
16594             if (index_type != MDEREF_INDEX_none)
16595                 depth++;
16596
16597             if (   index_type == MDEREF_INDEX_none
16598                 || (actions & MDEREF_FLAG_last)
16599                 || (last && items >= last)
16600             )
16601                 break;
16602
16603             actions >>= MDEREF_SHIFT;
16604         } /* while */
16605
16606         if (PL_op == obase) {
16607             /* most likely index was undef */
16608
16609             *desc_p = (    (actions & MDEREF_FLAG_last)
16610                         && (obase->op_private
16611                                 & (OPpMULTIDEREF_EXISTS|OPpMULTIDEREF_DELETE)))
16612                         ?
16613                             (obase->op_private & OPpMULTIDEREF_EXISTS)
16614                                 ? "exists"
16615                                 : "delete"
16616                         : is_hv ? "hash element" : "array element";
16617             assert(index_type != MDEREF_INDEX_none);
16618             if (index_gv) {
16619                 if (GvSV(index_gv) == uninit_sv)
16620                     return varname(index_gv, '$', 0, NULL, 0,
16621                                                     FUV_SUBSCRIPT_NONE);
16622                 else
16623                     return NULL;
16624             }
16625             if (index_targ) {
16626                 if (PL_curpad[index_targ] == uninit_sv)
16627                     return varname(NULL, '$', index_targ,
16628                                     NULL, 0, FUV_SUBSCRIPT_NONE);
16629                 else
16630                     return NULL;
16631             }
16632             /* If we got to this point it was undef on a const subscript,
16633              * so magic probably involved, e.g. $ISA[0]. Give up. */
16634             return NULL;
16635         }
16636
16637         /* the SV returned by pp_multideref() was undef, if anything was */
16638
16639         if (depth != 1)
16640             break;
16641
16642         if (agg_targ)
16643             sv = PAD_SV(agg_targ);
16644         else if (agg_gv)
16645             sv = is_hv ? MUTABLE_SV(GvHV(agg_gv)) : MUTABLE_SV(GvAV(agg_gv));
16646         else
16647             break;
16648
16649         if (index_type == MDEREF_INDEX_const) {
16650             if (match) {
16651                 if (SvMAGICAL(sv))
16652                     break;
16653                 if (is_hv) {
16654                     HE* he = hv_fetch_ent(MUTABLE_HV(sv), index_const_sv, 0, 0);
16655                     if (!he || HeVAL(he) != uninit_sv)
16656                         break;
16657                 }
16658                 else {
16659                     SV * const * const svp =
16660                             av_fetch(MUTABLE_AV(sv), index_const_iv, FALSE);
16661                     if (!svp || *svp != uninit_sv)
16662                         break;
16663                 }
16664             }
16665             return is_hv
16666                 ? varname(agg_gv, '%', agg_targ,
16667                                 index_const_sv, 0,    FUV_SUBSCRIPT_HASH)
16668                 : varname(agg_gv, '@', agg_targ,
16669                                 NULL, index_const_iv, FUV_SUBSCRIPT_ARRAY);
16670         }
16671         else  {
16672             /* index is an var */
16673             if (is_hv) {
16674                 SV * const keysv = find_hash_subscript((const HV*)sv, uninit_sv);
16675                 if (keysv)
16676                     return varname(agg_gv, '%', agg_targ,
16677                                                 keysv, 0, FUV_SUBSCRIPT_HASH);
16678             }
16679             else {
16680                 const SSize_t index
16681                     = find_array_subscript((const AV *)sv, uninit_sv);
16682                 if (index >= 0)
16683                     return varname(agg_gv, '@', agg_targ,
16684                                         NULL, index, FUV_SUBSCRIPT_ARRAY);
16685             }
16686             if (match)
16687                 break;
16688             return varname(agg_gv,
16689                 is_hv ? '%' : '@',
16690                 agg_targ, NULL, 0, FUV_SUBSCRIPT_WITHIN);
16691         }
16692         NOT_REACHED; /* NOTREACHED */
16693     }
16694
16695     case OP_AASSIGN:
16696         /* only examine RHS */
16697         return find_uninit_var(cBINOPx(obase)->op_first, uninit_sv,
16698                                                                 match, desc_p);
16699
16700     case OP_OPEN:
16701         o = cUNOPx(obase)->op_first;
16702         if (   o->op_type == OP_PUSHMARK
16703            || (o->op_type == OP_NULL && o->op_targ == OP_PUSHMARK)
16704         )
16705             o = OpSIBLING(o);
16706
16707         if (!OpHAS_SIBLING(o)) {
16708             /* one-arg version of open is highly magical */
16709
16710             if (o->op_type == OP_GV) { /* open FOO; */
16711                 gv = cGVOPx_gv(o);
16712                 if (match && GvSV(gv) != uninit_sv)
16713                     break;
16714                 return varname(gv, '$', 0,
16715                             NULL, 0, FUV_SUBSCRIPT_NONE);
16716             }
16717             /* other possibilities not handled are:
16718              * open $x; or open my $x;  should return '${*$x}'
16719              * open expr;               should return '$'.expr ideally
16720              */
16721              break;
16722         }
16723         match = 1;
16724         goto do_op;
16725
16726     /* ops where $_ may be an implicit arg */
16727     case OP_TRANS:
16728     case OP_TRANSR:
16729     case OP_SUBST:
16730     case OP_MATCH:
16731         if ( !(obase->op_flags & OPf_STACKED)) {
16732             if (uninit_sv == DEFSV)
16733                 return newSVpvs_flags("$_", SVs_TEMP);
16734             else if (obase->op_targ
16735                   && uninit_sv == PAD_SVl(obase->op_targ))
16736                 return varname(NULL, '$', obase->op_targ, NULL, 0,
16737                                FUV_SUBSCRIPT_NONE);
16738         }
16739         goto do_op;
16740
16741     case OP_PRTF:
16742     case OP_PRINT:
16743     case OP_SAY:
16744         match = 1; /* print etc can return undef on defined args */
16745         /* skip filehandle as it can't produce 'undef' warning  */
16746         o = cUNOPx(obase)->op_first;
16747         if ((obase->op_flags & OPf_STACKED)
16748             &&
16749                (   o->op_type == OP_PUSHMARK
16750                || (o->op_type == OP_NULL && o->op_targ == OP_PUSHMARK)))
16751             o = OpSIBLING(OpSIBLING(o));
16752         goto do_op2;
16753
16754
16755     case OP_ENTEREVAL: /* could be eval $undef or $x='$undef'; eval $x */
16756     case OP_CUSTOM: /* XS or custom code could trigger random warnings */
16757
16758         /* the following ops are capable of returning PL_sv_undef even for
16759          * defined arg(s) */
16760
16761     case OP_BACKTICK:
16762     case OP_PIPE_OP:
16763     case OP_FILENO:
16764     case OP_BINMODE:
16765     case OP_TIED:
16766     case OP_GETC:
16767     case OP_SYSREAD:
16768     case OP_SEND:
16769     case OP_IOCTL:
16770     case OP_SOCKET:
16771     case OP_SOCKPAIR:
16772     case OP_BIND:
16773     case OP_CONNECT:
16774     case OP_LISTEN:
16775     case OP_ACCEPT:
16776     case OP_SHUTDOWN:
16777     case OP_SSOCKOPT:
16778     case OP_GETPEERNAME:
16779     case OP_FTRREAD:
16780     case OP_FTRWRITE:
16781     case OP_FTREXEC:
16782     case OP_FTROWNED:
16783     case OP_FTEREAD:
16784     case OP_FTEWRITE:
16785     case OP_FTEEXEC:
16786     case OP_FTEOWNED:
16787     case OP_FTIS:
16788     case OP_FTZERO:
16789     case OP_FTSIZE:
16790     case OP_FTFILE:
16791     case OP_FTDIR:
16792     case OP_FTLINK:
16793     case OP_FTPIPE:
16794     case OP_FTSOCK:
16795     case OP_FTBLK:
16796     case OP_FTCHR:
16797     case OP_FTTTY:
16798     case OP_FTSUID:
16799     case OP_FTSGID:
16800     case OP_FTSVTX:
16801     case OP_FTTEXT:
16802     case OP_FTBINARY:
16803     case OP_FTMTIME:
16804     case OP_FTATIME:
16805     case OP_FTCTIME:
16806     case OP_READLINK:
16807     case OP_OPEN_DIR:
16808     case OP_READDIR:
16809     case OP_TELLDIR:
16810     case OP_SEEKDIR:
16811     case OP_REWINDDIR:
16812     case OP_CLOSEDIR:
16813     case OP_GMTIME:
16814     case OP_ALARM:
16815     case OP_SEMGET:
16816     case OP_GETLOGIN:
16817     case OP_SUBSTR:
16818     case OP_AEACH:
16819     case OP_EACH:
16820     case OP_SORT:
16821     case OP_CALLER:
16822     case OP_DOFILE:
16823     case OP_PROTOTYPE:
16824     case OP_NCMP:
16825     case OP_SMARTMATCH:
16826     case OP_UNPACK:
16827     case OP_SYSOPEN:
16828     case OP_SYSSEEK:
16829         match = 1;
16830         goto do_op;
16831
16832     case OP_ENTERSUB:
16833     case OP_GOTO:
16834         /* XXX tmp hack: these two may call an XS sub, and currently
16835           XS subs don't have a SUB entry on the context stack, so CV and
16836           pad determination goes wrong, and BAD things happen. So, just
16837           don't try to determine the value under those circumstances.
16838           Need a better fix at dome point. DAPM 11/2007 */
16839         break;
16840
16841     case OP_FLIP:
16842     case OP_FLOP:
16843     {
16844         GV * const gv = gv_fetchpvs(".", GV_NOTQUAL, SVt_PV);
16845         if (gv && GvSV(gv) == uninit_sv)
16846             return newSVpvs_flags("$.", SVs_TEMP);
16847         goto do_op;
16848     }
16849
16850     case OP_POS:
16851         /* def-ness of rval pos() is independent of the def-ness of its arg */
16852         if ( !(obase->op_flags & OPf_MOD))
16853             break;
16854         /* FALLTHROUGH */
16855
16856     case OP_SCHOMP:
16857     case OP_CHOMP:
16858         if (SvROK(PL_rs) && uninit_sv == SvRV(PL_rs))
16859             return newSVpvs_flags("${$/}", SVs_TEMP);
16860         /* FALLTHROUGH */
16861
16862     default:
16863     do_op:
16864         if (!(obase->op_flags & OPf_KIDS))
16865             break;
16866         o = cUNOPx(obase)->op_first;
16867         
16868     do_op2:
16869         if (!o)
16870             break;
16871
16872         /* This loop checks all the kid ops, skipping any that cannot pos-
16873          * sibly be responsible for the uninitialized value; i.e., defined
16874          * constants and ops that return nothing.  If there is only one op
16875          * left that is not skipped, then we *know* it is responsible for
16876          * the uninitialized value.  If there is more than one op left, we
16877          * have to look for an exact match in the while() loop below.
16878          * Note that we skip padrange, because the individual pad ops that
16879          * it replaced are still in the tree, so we work on them instead.
16880          */
16881         o2 = NULL;
16882         for (kid=o; kid; kid = OpSIBLING(kid)) {
16883             const OPCODE type = kid->op_type;
16884             if ( (type == OP_CONST && SvOK(cSVOPx_sv(kid)))
16885               || (type == OP_NULL  && ! (kid->op_flags & OPf_KIDS))
16886               || (type == OP_PUSHMARK)
16887               || (type == OP_PADRANGE)
16888             )
16889             continue;
16890
16891             if (o2) { /* more than one found */
16892                 o2 = NULL;
16893                 break;
16894             }
16895             o2 = kid;
16896         }
16897         if (o2)
16898             return find_uninit_var(o2, uninit_sv, match, desc_p);
16899
16900         /* scan all args */
16901         while (o) {
16902             sv = find_uninit_var(o, uninit_sv, 1, desc_p);
16903             if (sv)
16904                 return sv;
16905             o = OpSIBLING(o);
16906         }
16907         break;
16908     }
16909     return NULL;
16910 }
16911
16912
16913 /*
16914 =for apidoc report_uninit
16915
16916 Print appropriate "Use of uninitialized variable" warning.
16917
16918 =cut
16919 */
16920
16921 void
16922 Perl_report_uninit(pTHX_ const SV *uninit_sv)
16923 {
16924     const char *desc = NULL;
16925     SV* varname = NULL;
16926
16927     if (PL_op) {
16928         desc = PL_op->op_type == OP_STRINGIFY && PL_op->op_folded
16929                 ? "join or string"
16930                 : PL_op->op_type == OP_MULTICONCAT
16931                     && (PL_op->op_private & OPpMULTICONCAT_FAKE)
16932                 ? "sprintf"
16933                 : OP_DESC(PL_op);
16934         if (uninit_sv && PL_curpad) {
16935             varname = find_uninit_var(PL_op, uninit_sv, 0, &desc);
16936             if (varname)
16937                 sv_insert(varname, 0, 0, " ", 1);
16938         }
16939     }
16940     else if (PL_curstackinfo->si_type == PERLSI_SORT && cxstack_ix == 0)
16941         /* we've reached the end of a sort block or sub,
16942          * and the uninit value is probably what that code returned */
16943         desc = "sort";
16944
16945     /* PL_warn_uninit_sv is constant */
16946     GCC_DIAG_IGNORE_STMT(-Wformat-nonliteral);
16947     if (desc)
16948         /* diag_listed_as: Use of uninitialized value%s */
16949         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit_sv,
16950                 SVfARG(varname ? varname : &PL_sv_no),
16951                 " in ", desc);
16952     else
16953         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit,
16954                 "", "", "");
16955     GCC_DIAG_RESTORE_STMT;
16956 }
16957
16958 /*
16959  * ex: set ts=8 sts=4 sw=4 et:
16960  */