This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
embed.fnc: Change x flag to e
[perl5.git] / sv.c
1 /*    sv.c
2  *
3  *    Copyright (C) 1991, 1992, 1993, 1994, 1995, 1996, 1997, 1998, 1999, 2000,
4  *    2001, 2002, 2003, 2004, 2005, 2006, 2007, 2008, 2009 by Larry Wall
5  *    and others
6  *
7  *    You may distribute under the terms of either the GNU General Public
8  *    License or the Artistic License, as specified in the README file.
9  *
10  */
11
12 /*
13  * 'I wonder what the Entish is for "yes" and "no",' he thought.
14  *                                                      --Pippin
15  *
16  *     [p.480 of _The Lord of the Rings_, III/iv: "Treebeard"]
17  */
18
19 /*
20  *
21  *
22  * This file contains the code that creates, manipulates and destroys
23  * scalar values (SVs). The other types (AV, HV, GV, etc.) reuse the
24  * structure of an SV, so their creation and destruction is handled
25  * here; higher-level functions are in av.c, hv.c, and so on. Opcode
26  * level functions (eg. substr, split, join) for each of the types are
27  * in the pp*.c files.
28  */
29
30 #include "EXTERN.h"
31 #define PERL_IN_SV_C
32 #include "perl.h"
33 #include "regcomp.h"
34 #ifdef __VMS
35 # include <rms.h>
36 #endif
37
38 #ifdef __Lynx__
39 /* Missing proto on LynxOS */
40   char *gconvert(double, int, int,  char *);
41 #endif
42
43 #ifdef USE_QUADMATH
44 #  define SNPRINTF_G(nv, buffer, size, ndig) \
45     quadmath_snprintf(buffer, size, "%.*Qg", (int)ndig, (NV)(nv))
46 #else
47 #  define SNPRINTF_G(nv, buffer, size, ndig) \
48     PERL_UNUSED_RESULT(Gconvert((NV)(nv), (int)ndig, 0, buffer))
49 #endif
50
51 #ifndef SV_COW_THRESHOLD
52 #    define SV_COW_THRESHOLD                    0   /* COW iff len > K */
53 #endif
54 #ifndef SV_COWBUF_THRESHOLD
55 #    define SV_COWBUF_THRESHOLD                 1250 /* COW iff len > K */
56 #endif
57 #ifndef SV_COW_MAX_WASTE_THRESHOLD
58 #    define SV_COW_MAX_WASTE_THRESHOLD          80   /* COW iff (len - cur) < K */
59 #endif
60 #ifndef SV_COWBUF_WASTE_THRESHOLD
61 #    define SV_COWBUF_WASTE_THRESHOLD           80   /* COW iff (len - cur) < K */
62 #endif
63 #ifndef SV_COW_MAX_WASTE_FACTOR_THRESHOLD
64 #    define SV_COW_MAX_WASTE_FACTOR_THRESHOLD   2    /* COW iff len < (cur * K) */
65 #endif
66 #ifndef SV_COWBUF_WASTE_FACTOR_THRESHOLD
67 #    define SV_COWBUF_WASTE_FACTOR_THRESHOLD    2    /* COW iff len < (cur * K) */
68 #endif
69 /* Work around compiler warnings about unsigned >= THRESHOLD when thres-
70    hold is 0. */
71 #if SV_COW_THRESHOLD
72 # define GE_COW_THRESHOLD(cur) ((cur) >= SV_COW_THRESHOLD)
73 #else
74 # define GE_COW_THRESHOLD(cur) 1
75 #endif
76 #if SV_COWBUF_THRESHOLD
77 # define GE_COWBUF_THRESHOLD(cur) ((cur) >= SV_COWBUF_THRESHOLD)
78 #else
79 # define GE_COWBUF_THRESHOLD(cur) 1
80 #endif
81 #if SV_COW_MAX_WASTE_THRESHOLD
82 # define GE_COW_MAX_WASTE_THRESHOLD(cur,len) (((len)-(cur)) < SV_COW_MAX_WASTE_THRESHOLD)
83 #else
84 # define GE_COW_MAX_WASTE_THRESHOLD(cur,len) 1
85 #endif
86 #if SV_COWBUF_WASTE_THRESHOLD
87 # define GE_COWBUF_WASTE_THRESHOLD(cur,len) (((len)-(cur)) < SV_COWBUF_WASTE_THRESHOLD)
88 #else
89 # define GE_COWBUF_WASTE_THRESHOLD(cur,len) 1
90 #endif
91 #if SV_COW_MAX_WASTE_FACTOR_THRESHOLD
92 # define GE_COW_MAX_WASTE_FACTOR_THRESHOLD(cur,len) ((len) < SV_COW_MAX_WASTE_FACTOR_THRESHOLD * (cur))
93 #else
94 # define GE_COW_MAX_WASTE_FACTOR_THRESHOLD(cur,len) 1
95 #endif
96 #if SV_COWBUF_WASTE_FACTOR_THRESHOLD
97 # define GE_COWBUF_WASTE_FACTOR_THRESHOLD(cur,len) ((len) < SV_COWBUF_WASTE_FACTOR_THRESHOLD * (cur))
98 #else
99 # define GE_COWBUF_WASTE_FACTOR_THRESHOLD(cur,len) 1
100 #endif
101
102 #define CHECK_COW_THRESHOLD(cur,len) (\
103     GE_COW_THRESHOLD((cur)) && \
104     GE_COW_MAX_WASTE_THRESHOLD((cur),(len)) && \
105     GE_COW_MAX_WASTE_FACTOR_THRESHOLD((cur),(len)) \
106 )
107 #define CHECK_COWBUF_THRESHOLD(cur,len) (\
108     GE_COWBUF_THRESHOLD((cur)) && \
109     GE_COWBUF_WASTE_THRESHOLD((cur),(len)) && \
110     GE_COWBUF_WASTE_FACTOR_THRESHOLD((cur),(len)) \
111 )
112
113 #ifdef PERL_UTF8_CACHE_ASSERT
114 /* if adding more checks watch out for the following tests:
115  *   t/op/index.t t/op/length.t t/op/pat.t t/op/substr.t
116  *   lib/utf8.t lib/Unicode/Collate/t/index.t
117  * --jhi
118  */
119 #   define ASSERT_UTF8_CACHE(cache) \
120     STMT_START { if (cache) { assert((cache)[0] <= (cache)[1]); \
121                               assert((cache)[2] <= (cache)[3]); \
122                               assert((cache)[3] <= (cache)[1]);} \
123                               } STMT_END
124 #else
125 #   define ASSERT_UTF8_CACHE(cache) NOOP
126 #endif
127
128 static const char S_destroy[] = "DESTROY";
129 #define S_destroy_len (sizeof(S_destroy)-1)
130
131 /* ============================================================================
132
133 =head1 Allocation and deallocation of SVs.
134
135 An SV (or AV, HV, etc.) is allocated in two parts: the head (struct
136 sv, av, hv...) contains type and reference count information, and for
137 many types, a pointer to the body (struct xrv, xpv, xpviv...), which
138 contains fields specific to each type.  Some types store all they need
139 in the head, so don't have a body.
140
141 In all but the most memory-paranoid configurations (ex: PURIFY), heads
142 and bodies are allocated out of arenas, which by default are
143 approximately 4K chunks of memory parcelled up into N heads or bodies.
144 Sv-bodies are allocated by their sv-type, guaranteeing size
145 consistency needed to allocate safely from arrays.
146
147 For SV-heads, the first slot in each arena is reserved, and holds a
148 link to the next arena, some flags, and a note of the number of slots.
149 Snaked through each arena chain is a linked list of free items; when
150 this becomes empty, an extra arena is allocated and divided up into N
151 items which are threaded into the free list.
152
153 SV-bodies are similar, but they use arena-sets by default, which
154 separate the link and info from the arena itself, and reclaim the 1st
155 slot in the arena.  SV-bodies are further described later.
156
157 The following global variables are associated with arenas:
158
159  PL_sv_arenaroot     pointer to list of SV arenas
160  PL_sv_root          pointer to list of free SV structures
161
162  PL_body_arenas      head of linked-list of body arenas
163  PL_body_roots[]     array of pointers to list of free bodies of svtype
164                      arrays are indexed by the svtype needed
165
166 A few special SV heads are not allocated from an arena, but are
167 instead directly created in the interpreter structure, eg PL_sv_undef.
168 The size of arenas can be changed from the default by setting
169 PERL_ARENA_SIZE appropriately at compile time.
170
171 The SV arena serves the secondary purpose of allowing still-live SVs
172 to be located and destroyed during final cleanup.
173
174 At the lowest level, the macros new_SV() and del_SV() grab and free
175 an SV head.  (If debugging with -DD, del_SV() calls the function S_del_sv()
176 to return the SV to the free list with error checking.) new_SV() calls
177 more_sv() / sv_add_arena() to add an extra arena if the free list is empty.
178 SVs in the free list have their SvTYPE field set to all ones.
179
180 At the time of very final cleanup, sv_free_arenas() is called from
181 perl_destruct() to physically free all the arenas allocated since the
182 start of the interpreter.
183
184 The function visit() scans the SV arenas list, and calls a specified
185 function for each SV it finds which is still live - ie which has an SvTYPE
186 other than all 1's, and a non-zero SvREFCNT. visit() is used by the
187 following functions (specified as [function that calls visit()] / [function
188 called by visit() for each SV]):
189
190     sv_report_used() / do_report_used()
191                         dump all remaining SVs (debugging aid)
192
193     sv_clean_objs() / do_clean_objs(),do_clean_named_objs(),
194                       do_clean_named_io_objs(),do_curse()
195                         Attempt to free all objects pointed to by RVs,
196                         try to do the same for all objects indir-
197                         ectly referenced by typeglobs too, and
198                         then do a final sweep, cursing any
199                         objects that remain.  Called once from
200                         perl_destruct(), prior to calling sv_clean_all()
201                         below.
202
203     sv_clean_all() / do_clean_all()
204                         SvREFCNT_dec(sv) each remaining SV, possibly
205                         triggering an sv_free(). It also sets the
206                         SVf_BREAK flag on the SV to indicate that the
207                         refcnt has been artificially lowered, and thus
208                         stopping sv_free() from giving spurious warnings
209                         about SVs which unexpectedly have a refcnt
210                         of zero.  called repeatedly from perl_destruct()
211                         until there are no SVs left.
212
213 =head2 Arena allocator API Summary
214
215 Private API to rest of sv.c
216
217     new_SV(),  del_SV(),
218
219     new_XPVNV(), del_XPVGV(),
220     etc
221
222 Public API:
223
224     sv_report_used(), sv_clean_objs(), sv_clean_all(), sv_free_arenas()
225
226 =cut
227
228  * ========================================================================= */
229
230 /*
231  * "A time to plant, and a time to uproot what was planted..."
232  */
233
234 #ifdef PERL_MEM_LOG
235 #  define MEM_LOG_NEW_SV(sv, file, line, func)  \
236             Perl_mem_log_new_sv(sv, file, line, func)
237 #  define MEM_LOG_DEL_SV(sv, file, line, func)  \
238             Perl_mem_log_del_sv(sv, file, line, func)
239 #else
240 #  define MEM_LOG_NEW_SV(sv, file, line, func)  NOOP
241 #  define MEM_LOG_DEL_SV(sv, file, line, func)  NOOP
242 #endif
243
244 #ifdef DEBUG_LEAKING_SCALARS
245 #  define FREE_SV_DEBUG_FILE(sv) STMT_START { \
246         if ((sv)->sv_debug_file) PerlMemShared_free((sv)->sv_debug_file); \
247     } STMT_END
248 #  define DEBUG_SV_SERIAL(sv)                                               \
249     DEBUG_m(PerlIO_printf(Perl_debug_log, "0x%" UVxf ": (%05ld) del_SV\n",    \
250             PTR2UV(sv), (long)(sv)->sv_debug_serial))
251 #else
252 #  define FREE_SV_DEBUG_FILE(sv)
253 #  define DEBUG_SV_SERIAL(sv)   NOOP
254 #endif
255
256 #ifdef PERL_POISON
257 #  define SvARENA_CHAIN(sv)     ((sv)->sv_u.svu_rv)
258 #  define SvARENA_CHAIN_SET(sv,val)     (sv)->sv_u.svu_rv = MUTABLE_SV((val))
259 /* Whilst I'd love to do this, it seems that things like to check on
260    unreferenced scalars
261 #  define POISON_SV_HEAD(sv)    PoisonNew(sv, 1, struct STRUCT_SV)
262 */
263 #  define POISON_SV_HEAD(sv)    PoisonNew(&SvANY(sv), 1, void *), \
264                                 PoisonNew(&SvREFCNT(sv), 1, U32)
265 #else
266 #  define SvARENA_CHAIN(sv)     SvANY(sv)
267 #  define SvARENA_CHAIN_SET(sv,val)     SvANY(sv) = (void *)(val)
268 #  define POISON_SV_HEAD(sv)
269 #endif
270
271 /* Mark an SV head as unused, and add to free list.
272  *
273  * If SVf_BREAK is set, skip adding it to the free list, as this SV had
274  * its refcount artificially decremented during global destruction, so
275  * there may be dangling pointers to it. The last thing we want in that
276  * case is for it to be reused. */
277
278 #define plant_SV(p) \
279     STMT_START {                                        \
280         const U32 old_flags = SvFLAGS(p);                       \
281         MEM_LOG_DEL_SV(p, __FILE__, __LINE__, FUNCTION__);  \
282         DEBUG_SV_SERIAL(p);                             \
283         FREE_SV_DEBUG_FILE(p);                          \
284         POISON_SV_HEAD(p);                              \
285         SvFLAGS(p) = SVTYPEMASK;                        \
286         if (!(old_flags & SVf_BREAK)) {         \
287             SvARENA_CHAIN_SET(p, PL_sv_root);   \
288             PL_sv_root = (p);                           \
289         }                                               \
290         --PL_sv_count;                                  \
291     } STMT_END
292
293 #define uproot_SV(p) \
294     STMT_START {                                        \
295         (p) = PL_sv_root;                               \
296         PL_sv_root = MUTABLE_SV(SvARENA_CHAIN(p));              \
297         ++PL_sv_count;                                  \
298     } STMT_END
299
300
301 /* make some more SVs by adding another arena */
302
303 STATIC SV*
304 S_more_sv(pTHX)
305 {
306     SV* sv;
307     char *chunk;                /* must use New here to match call to */
308     Newx(chunk,PERL_ARENA_SIZE,char);  /* Safefree() in sv_free_arenas() */
309     sv_add_arena(chunk, PERL_ARENA_SIZE, 0);
310     uproot_SV(sv);
311     return sv;
312 }
313
314 /* new_SV(): return a new, empty SV head */
315
316 #ifdef DEBUG_LEAKING_SCALARS
317 /* provide a real function for a debugger to play with */
318 STATIC SV*
319 S_new_SV(pTHX_ const char *file, int line, const char *func)
320 {
321     SV* sv;
322
323     if (PL_sv_root)
324         uproot_SV(sv);
325     else
326         sv = S_more_sv(aTHX);
327     SvANY(sv) = 0;
328     SvREFCNT(sv) = 1;
329     SvFLAGS(sv) = 0;
330     sv->sv_debug_optype = PL_op ? PL_op->op_type : 0;
331     sv->sv_debug_line = (U16) (PL_parser && PL_parser->copline != NOLINE
332                 ? PL_parser->copline
333                 :  PL_curcop
334                     ? CopLINE(PL_curcop)
335                     : 0
336             );
337     sv->sv_debug_inpad = 0;
338     sv->sv_debug_parent = NULL;
339     sv->sv_debug_file = PL_curcop ? savesharedpv(CopFILE(PL_curcop)): NULL;
340
341     sv->sv_debug_serial = PL_sv_serial++;
342
343     MEM_LOG_NEW_SV(sv, file, line, func);
344     DEBUG_m(PerlIO_printf(Perl_debug_log, "0x%" UVxf ": (%05ld) new_SV (from %s:%d [%s])\n",
345             PTR2UV(sv), (long)sv->sv_debug_serial, file, line, func));
346
347     return sv;
348 }
349 #  define new_SV(p) (p)=S_new_SV(aTHX_ __FILE__, __LINE__, FUNCTION__)
350
351 #else
352 #  define new_SV(p) \
353     STMT_START {                                        \
354         if (PL_sv_root)                                 \
355             uproot_SV(p);                               \
356         else                                            \
357             (p) = S_more_sv(aTHX);                      \
358         SvANY(p) = 0;                                   \
359         SvREFCNT(p) = 1;                                \
360         SvFLAGS(p) = 0;                                 \
361         MEM_LOG_NEW_SV(p, __FILE__, __LINE__, FUNCTION__);  \
362     } STMT_END
363 #endif
364
365
366 /* del_SV(): return an empty SV head to the free list */
367
368 #ifdef DEBUGGING
369
370 #define del_SV(p) \
371     STMT_START {                                        \
372         if (DEBUG_D_TEST)                               \
373             del_sv(p);                                  \
374         else                                            \
375             plant_SV(p);                                \
376     } STMT_END
377
378 STATIC void
379 S_del_sv(pTHX_ SV *p)
380 {
381     PERL_ARGS_ASSERT_DEL_SV;
382
383     if (DEBUG_D_TEST) {
384         SV* sva;
385         bool ok = 0;
386         for (sva = PL_sv_arenaroot; sva; sva = MUTABLE_SV(SvANY(sva))) {
387             const SV * const sv = sva + 1;
388             const SV * const svend = &sva[SvREFCNT(sva)];
389             if (p >= sv && p < svend) {
390                 ok = 1;
391                 break;
392             }
393         }
394         if (!ok) {
395             Perl_ck_warner_d(aTHX_ packWARN(WARN_INTERNAL),
396                              "Attempt to free non-arena SV: 0x%" UVxf
397                              pTHX__FORMAT, PTR2UV(p) pTHX__VALUE);
398             return;
399         }
400     }
401     plant_SV(p);
402 }
403
404 #else /* ! DEBUGGING */
405
406 #define del_SV(p)   plant_SV(p)
407
408 #endif /* DEBUGGING */
409
410
411 /*
412 =head1 SV Manipulation Functions
413
414 =for apidoc sv_add_arena
415
416 Given a chunk of memory, link it to the head of the list of arenas,
417 and split it into a list of free SVs.
418
419 =cut
420 */
421
422 static void
423 S_sv_add_arena(pTHX_ char *const ptr, const U32 size, const U32 flags)
424 {
425     SV *const sva = MUTABLE_SV(ptr);
426     SV* sv;
427     SV* svend;
428
429     PERL_ARGS_ASSERT_SV_ADD_ARENA;
430
431     /* The first SV in an arena isn't an SV. */
432     SvANY(sva) = (void *) PL_sv_arenaroot;              /* ptr to next arena */
433     SvREFCNT(sva) = size / sizeof(SV);          /* number of SV slots */
434     SvFLAGS(sva) = flags;                       /* FAKE if not to be freed */
435
436     PL_sv_arenaroot = sva;
437     PL_sv_root = sva + 1;
438
439     svend = &sva[SvREFCNT(sva) - 1];
440     sv = sva + 1;
441     while (sv < svend) {
442         SvARENA_CHAIN_SET(sv, (sv + 1));
443 #ifdef DEBUGGING
444         SvREFCNT(sv) = 0;
445 #endif
446         /* Must always set typemask because it's always checked in on cleanup
447            when the arenas are walked looking for objects.  */
448         SvFLAGS(sv) = SVTYPEMASK;
449         sv++;
450     }
451     SvARENA_CHAIN_SET(sv, 0);
452 #ifdef DEBUGGING
453     SvREFCNT(sv) = 0;
454 #endif
455     SvFLAGS(sv) = SVTYPEMASK;
456 }
457
458 /* visit(): call the named function for each non-free SV in the arenas
459  * whose flags field matches the flags/mask args. */
460
461 STATIC I32
462 S_visit(pTHX_ SVFUNC_t f, const U32 flags, const U32 mask)
463 {
464     SV* sva;
465     I32 visited = 0;
466
467     PERL_ARGS_ASSERT_VISIT;
468
469     for (sva = PL_sv_arenaroot; sva; sva = MUTABLE_SV(SvANY(sva))) {
470         const SV * const svend = &sva[SvREFCNT(sva)];
471         SV* sv;
472         for (sv = sva + 1; sv < svend; ++sv) {
473             if (SvTYPE(sv) != (svtype)SVTYPEMASK
474                     && (sv->sv_flags & mask) == flags
475                     && SvREFCNT(sv))
476             {
477                 (*f)(aTHX_ sv);
478                 ++visited;
479             }
480         }
481     }
482     return visited;
483 }
484
485 #ifdef DEBUGGING
486
487 /* called by sv_report_used() for each live SV */
488
489 static void
490 do_report_used(pTHX_ SV *const sv)
491 {
492     if (SvTYPE(sv) != (svtype)SVTYPEMASK) {
493         PerlIO_printf(Perl_debug_log, "****\n");
494         sv_dump(sv);
495     }
496 }
497 #endif
498
499 /*
500 =for apidoc sv_report_used
501
502 Dump the contents of all SVs not yet freed (debugging aid).
503
504 =cut
505 */
506
507 void
508 Perl_sv_report_used(pTHX)
509 {
510 #ifdef DEBUGGING
511     visit(do_report_used, 0, 0);
512 #else
513     PERL_UNUSED_CONTEXT;
514 #endif
515 }
516
517 /* called by sv_clean_objs() for each live SV */
518
519 static void
520 do_clean_objs(pTHX_ SV *const ref)
521 {
522     assert (SvROK(ref));
523     {
524         SV * const target = SvRV(ref);
525         if (SvOBJECT(target)) {
526             DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning object ref:\n "), sv_dump(ref)));
527             if (SvWEAKREF(ref)) {
528                 sv_del_backref(target, ref);
529                 SvWEAKREF_off(ref);
530                 SvRV_set(ref, NULL);
531             } else {
532                 SvROK_off(ref);
533                 SvRV_set(ref, NULL);
534                 SvREFCNT_dec_NN(target);
535             }
536         }
537     }
538 }
539
540
541 /* clear any slots in a GV which hold objects - except IO;
542  * called by sv_clean_objs() for each live GV */
543
544 static void
545 do_clean_named_objs(pTHX_ SV *const sv)
546 {
547     SV *obj;
548     assert(SvTYPE(sv) == SVt_PVGV);
549     assert(isGV_with_GP(sv));
550     if (!GvGP(sv))
551         return;
552
553     /* freeing GP entries may indirectly free the current GV;
554      * hold onto it while we mess with the GP slots */
555     SvREFCNT_inc(sv);
556
557     if ( ((obj = GvSV(sv) )) && SvOBJECT(obj)) {
558         DEBUG_D((PerlIO_printf(Perl_debug_log,
559                 "Cleaning named glob SV object:\n "), sv_dump(obj)));
560         GvSV(sv) = NULL;
561         SvREFCNT_dec_NN(obj);
562     }
563     if ( ((obj = MUTABLE_SV(GvAV(sv)) )) && SvOBJECT(obj)) {
564         DEBUG_D((PerlIO_printf(Perl_debug_log,
565                 "Cleaning named glob AV object:\n "), sv_dump(obj)));
566         GvAV(sv) = NULL;
567         SvREFCNT_dec_NN(obj);
568     }
569     if ( ((obj = MUTABLE_SV(GvHV(sv)) )) && SvOBJECT(obj)) {
570         DEBUG_D((PerlIO_printf(Perl_debug_log,
571                 "Cleaning named glob HV object:\n "), sv_dump(obj)));
572         GvHV(sv) = NULL;
573         SvREFCNT_dec_NN(obj);
574     }
575     if ( ((obj = MUTABLE_SV(GvCV(sv)) )) && SvOBJECT(obj)) {
576         DEBUG_D((PerlIO_printf(Perl_debug_log,
577                 "Cleaning named glob CV object:\n "), sv_dump(obj)));
578         GvCV_set(sv, NULL);
579         SvREFCNT_dec_NN(obj);
580     }
581     SvREFCNT_dec_NN(sv); /* undo the inc above */
582 }
583
584 /* clear any IO slots in a GV which hold objects (except stderr, defout);
585  * called by sv_clean_objs() for each live GV */
586
587 static void
588 do_clean_named_io_objs(pTHX_ SV *const sv)
589 {
590     SV *obj;
591     assert(SvTYPE(sv) == SVt_PVGV);
592     assert(isGV_with_GP(sv));
593     if (!GvGP(sv) || sv == (SV*)PL_stderrgv || sv == (SV*)PL_defoutgv)
594         return;
595
596     SvREFCNT_inc(sv);
597     if ( ((obj = MUTABLE_SV(GvIO(sv)) )) && SvOBJECT(obj)) {
598         DEBUG_D((PerlIO_printf(Perl_debug_log,
599                 "Cleaning named glob IO object:\n "), sv_dump(obj)));
600         GvIOp(sv) = NULL;
601         SvREFCNT_dec_NN(obj);
602     }
603     SvREFCNT_dec_NN(sv); /* undo the inc above */
604 }
605
606 /* Void wrapper to pass to visit() */
607 static void
608 do_curse(pTHX_ SV * const sv) {
609     if ((PL_stderrgv && GvGP(PL_stderrgv) && (SV*)GvIO(PL_stderrgv) == sv)
610      || (PL_defoutgv && GvGP(PL_defoutgv) && (SV*)GvIO(PL_defoutgv) == sv))
611         return;
612     (void)curse(sv, 0);
613 }
614
615 /*
616 =for apidoc sv_clean_objs
617
618 Attempt to destroy all objects not yet freed.
619
620 =cut
621 */
622
623 void
624 Perl_sv_clean_objs(pTHX)
625 {
626     GV *olddef, *olderr;
627     PL_in_clean_objs = TRUE;
628     visit(do_clean_objs, SVf_ROK, SVf_ROK);
629     /* Some barnacles may yet remain, clinging to typeglobs.
630      * Run the non-IO destructors first: they may want to output
631      * error messages, close files etc */
632     visit(do_clean_named_objs, SVt_PVGV|SVpgv_GP, SVTYPEMASK|SVp_POK|SVpgv_GP);
633     visit(do_clean_named_io_objs, SVt_PVGV|SVpgv_GP, SVTYPEMASK|SVp_POK|SVpgv_GP);
634     /* And if there are some very tenacious barnacles clinging to arrays,
635        closures, or what have you.... */
636     visit(do_curse, SVs_OBJECT, SVs_OBJECT);
637     olddef = PL_defoutgv;
638     PL_defoutgv = NULL; /* disable skip of PL_defoutgv */
639     if (olddef && isGV_with_GP(olddef))
640         do_clean_named_io_objs(aTHX_ MUTABLE_SV(olddef));
641     olderr = PL_stderrgv;
642     PL_stderrgv = NULL; /* disable skip of PL_stderrgv */
643     if (olderr && isGV_with_GP(olderr))
644         do_clean_named_io_objs(aTHX_ MUTABLE_SV(olderr));
645     SvREFCNT_dec(olddef);
646     PL_in_clean_objs = FALSE;
647 }
648
649 /* called by sv_clean_all() for each live SV */
650
651 static void
652 do_clean_all(pTHX_ SV *const sv)
653 {
654     if (sv == (const SV *) PL_fdpid || sv == (const SV *)PL_strtab) {
655         /* don't clean pid table and strtab */
656         return;
657     }
658     DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning loops: SV at 0x%" UVxf "\n", PTR2UV(sv)) ));
659     SvFLAGS(sv) |= SVf_BREAK;
660     SvREFCNT_dec_NN(sv);
661 }
662
663 /*
664 =for apidoc sv_clean_all
665
666 Decrement the refcnt of each remaining SV, possibly triggering a
667 cleanup.  This function may have to be called multiple times to free
668 SVs which are in complex self-referential hierarchies.
669
670 =cut
671 */
672
673 I32
674 Perl_sv_clean_all(pTHX)
675 {
676     I32 cleaned;
677     PL_in_clean_all = TRUE;
678     cleaned = visit(do_clean_all, 0,0);
679     return cleaned;
680 }
681
682 /*
683   ARENASETS: a meta-arena implementation which separates arena-info
684   into struct arena_set, which contains an array of struct
685   arena_descs, each holding info for a single arena.  By separating
686   the meta-info from the arena, we recover the 1st slot, formerly
687   borrowed for list management.  The arena_set is about the size of an
688   arena, avoiding the needless malloc overhead of a naive linked-list.
689
690   The cost is 1 arena-set malloc per ~320 arena-mallocs, + the unused
691   memory in the last arena-set (1/2 on average).  In trade, we get
692   back the 1st slot in each arena (ie 1.7% of a CV-arena, less for
693   smaller types).  The recovery of the wasted space allows use of
694   small arenas for large, rare body types, by changing array* fields
695   in body_details_by_type[] below.
696 */
697 struct arena_desc {
698     char       *arena;          /* the raw storage, allocated aligned */
699     size_t      size;           /* its size ~4k typ */
700     svtype      utype;          /* bodytype stored in arena */
701 };
702
703 struct arena_set;
704
705 /* Get the maximum number of elements in set[] such that struct arena_set
706    will fit within PERL_ARENA_SIZE, which is probably just under 4K, and
707    therefore likely to be 1 aligned memory page.  */
708
709 #define ARENAS_PER_SET  ((PERL_ARENA_SIZE - sizeof(struct arena_set*) \
710                           - 2 * sizeof(int)) / sizeof (struct arena_desc))
711
712 struct arena_set {
713     struct arena_set* next;
714     unsigned int   set_size;    /* ie ARENAS_PER_SET */
715     unsigned int   curr;        /* index of next available arena-desc */
716     struct arena_desc set[ARENAS_PER_SET];
717 };
718
719 /*
720 =for apidoc sv_free_arenas
721
722 Deallocate the memory used by all arenas.  Note that all the individual SV
723 heads and bodies within the arenas must already have been freed.
724
725 =cut
726
727 */
728 void
729 Perl_sv_free_arenas(pTHX)
730 {
731     SV* sva;
732     SV* svanext;
733     unsigned int i;
734
735     /* Free arenas here, but be careful about fake ones.  (We assume
736        contiguity of the fake ones with the corresponding real ones.) */
737
738     for (sva = PL_sv_arenaroot; sva; sva = svanext) {
739         svanext = MUTABLE_SV(SvANY(sva));
740         while (svanext && SvFAKE(svanext))
741             svanext = MUTABLE_SV(SvANY(svanext));
742
743         if (!SvFAKE(sva))
744             Safefree(sva);
745     }
746
747     {
748         struct arena_set *aroot = (struct arena_set*) PL_body_arenas;
749
750         while (aroot) {
751             struct arena_set *current = aroot;
752             i = aroot->curr;
753             while (i--) {
754                 assert(aroot->set[i].arena);
755                 Safefree(aroot->set[i].arena);
756             }
757             aroot = aroot->next;
758             Safefree(current);
759         }
760     }
761     PL_body_arenas = 0;
762
763     i = PERL_ARENA_ROOTS_SIZE;
764     while (i--)
765         PL_body_roots[i] = 0;
766
767     PL_sv_arenaroot = 0;
768     PL_sv_root = 0;
769 }
770
771 /*
772   Here are mid-level routines that manage the allocation of bodies out
773   of the various arenas.  There are 4 kinds of arenas:
774
775   1. SV-head arenas, which are discussed and handled above
776   2. regular body arenas
777   3. arenas for reduced-size bodies
778   4. Hash-Entry arenas
779
780   Arena types 2 & 3 are chained by body-type off an array of
781   arena-root pointers, which is indexed by svtype.  Some of the
782   larger/less used body types are malloced singly, since a large
783   unused block of them is wasteful.  Also, several svtypes dont have
784   bodies; the data fits into the sv-head itself.  The arena-root
785   pointer thus has a few unused root-pointers (which may be hijacked
786   later for arena type 4)
787
788   3 differs from 2 as an optimization; some body types have several
789   unused fields in the front of the structure (which are kept in-place
790   for consistency).  These bodies can be allocated in smaller chunks,
791   because the leading fields arent accessed.  Pointers to such bodies
792   are decremented to point at the unused 'ghost' memory, knowing that
793   the pointers are used with offsets to the real memory.
794
795 Allocation of SV-bodies is similar to SV-heads, differing as follows;
796 the allocation mechanism is used for many body types, so is somewhat
797 more complicated, it uses arena-sets, and has no need for still-live
798 SV detection.
799
800 At the outermost level, (new|del)_X*V macros return bodies of the
801 appropriate type.  These macros call either (new|del)_body_type or
802 (new|del)_body_allocated macro pairs, depending on specifics of the
803 type.  Most body types use the former pair, the latter pair is used to
804 allocate body types with "ghost fields".
805
806 "ghost fields" are fields that are unused in certain types, and
807 consequently don't need to actually exist.  They are declared because
808 they're part of a "base type", which allows use of functions as
809 methods.  The simplest examples are AVs and HVs, 2 aggregate types
810 which don't use the fields which support SCALAR semantics.
811
812 For these types, the arenas are carved up into appropriately sized
813 chunks, we thus avoid wasted memory for those unaccessed members.
814 When bodies are allocated, we adjust the pointer back in memory by the
815 size of the part not allocated, so it's as if we allocated the full
816 structure.  (But things will all go boom if you write to the part that
817 is "not there", because you'll be overwriting the last members of the
818 preceding structure in memory.)
819
820 We calculate the correction using the STRUCT_OFFSET macro on the first
821 member present.  If the allocated structure is smaller (no initial NV
822 actually allocated) then the net effect is to subtract the size of the NV
823 from the pointer, to return a new pointer as if an initial NV were actually
824 allocated.  (We were using structures named *_allocated for this, but
825 this turned out to be a subtle bug, because a structure without an NV
826 could have a lower alignment constraint, but the compiler is allowed to
827 optimised accesses based on the alignment constraint of the actual pointer
828 to the full structure, for example, using a single 64 bit load instruction
829 because it "knows" that two adjacent 32 bit members will be 8-byte aligned.)
830
831 This is the same trick as was used for NV and IV bodies.  Ironically it
832 doesn't need to be used for NV bodies any more, because NV is now at
833 the start of the structure.  IV bodies, and also in some builds NV bodies,
834 don't need it either, because they are no longer allocated.
835
836 In turn, the new_body_* allocators call S_new_body(), which invokes
837 new_body_inline macro, which takes a lock, and takes a body off the
838 linked list at PL_body_roots[sv_type], calling Perl_more_bodies() if
839 necessary to refresh an empty list.  Then the lock is released, and
840 the body is returned.
841
842 Perl_more_bodies allocates a new arena, and carves it up into an array of N
843 bodies, which it strings into a linked list.  It looks up arena-size
844 and body-size from the body_details table described below, thus
845 supporting the multiple body-types.
846
847 If PURIFY is defined, or PERL_ARENA_SIZE=0, arenas are not used, and
848 the (new|del)_X*V macros are mapped directly to malloc/free.
849
850 For each sv-type, struct body_details bodies_by_type[] carries
851 parameters which control these aspects of SV handling:
852
853 Arena_size determines whether arenas are used for this body type, and if
854 so, how big they are.  PURIFY or PERL_ARENA_SIZE=0 set this field to
855 zero, forcing individual mallocs and frees.
856
857 Body_size determines how big a body is, and therefore how many fit into
858 each arena.  Offset carries the body-pointer adjustment needed for
859 "ghost fields", and is used in *_allocated macros.
860
861 But its main purpose is to parameterize info needed in
862 Perl_sv_upgrade().  The info here dramatically simplifies the function
863 vs the implementation in 5.8.8, making it table-driven.  All fields
864 are used for this, except for arena_size.
865
866 For the sv-types that have no bodies, arenas are not used, so those
867 PL_body_roots[sv_type] are unused, and can be overloaded.  In
868 something of a special case, SVt_NULL is borrowed for HE arenas;
869 PL_body_roots[HE_SVSLOT=SVt_NULL] is filled by S_more_he, but the
870 bodies_by_type[SVt_NULL] slot is not used, as the table is not
871 available in hv.c.
872
873 */
874
875 struct body_details {
876     U8 body_size;       /* Size to allocate  */
877     U8 copy;            /* Size of structure to copy (may be shorter)  */
878     U8 offset;          /* Size of unalloced ghost fields to first alloced field*/
879     PERL_BITFIELD8 type : 4;        /* We have space for a sanity check. */
880     PERL_BITFIELD8 cant_upgrade : 1;/* Cannot upgrade this type */
881     PERL_BITFIELD8 zero_nv : 1;     /* zero the NV when upgrading from this */
882     PERL_BITFIELD8 arena : 1;       /* Allocated from an arena */
883     U32 arena_size;                 /* Size of arena to allocate */
884 };
885
886 #define HADNV FALSE
887 #define NONV TRUE
888
889
890 #ifdef PURIFY
891 /* With -DPURFIY we allocate everything directly, and don't use arenas.
892    This seems a rather elegant way to simplify some of the code below.  */
893 #define HASARENA FALSE
894 #else
895 #define HASARENA TRUE
896 #endif
897 #define NOARENA FALSE
898
899 /* Size the arenas to exactly fit a given number of bodies.  A count
900    of 0 fits the max number bodies into a PERL_ARENA_SIZE.block,
901    simplifying the default.  If count > 0, the arena is sized to fit
902    only that many bodies, allowing arenas to be used for large, rare
903    bodies (XPVFM, XPVIO) without undue waste.  The arena size is
904    limited by PERL_ARENA_SIZE, so we can safely oversize the
905    declarations.
906  */
907 #define FIT_ARENA0(body_size)                           \
908     ((size_t)(PERL_ARENA_SIZE / body_size) * body_size)
909 #define FIT_ARENAn(count,body_size)                     \
910     ( count * body_size <= PERL_ARENA_SIZE)             \
911     ? count * body_size                                 \
912     : FIT_ARENA0 (body_size)
913 #define FIT_ARENA(count,body_size)                      \
914    (U32)(count                                          \
915     ? FIT_ARENAn (count, body_size)                     \
916     : FIT_ARENA0 (body_size))
917
918 /* Calculate the length to copy. Specifically work out the length less any
919    final padding the compiler needed to add.  See the comment in sv_upgrade
920    for why copying the padding proved to be a bug.  */
921
922 #define copy_length(type, last_member) \
923         STRUCT_OFFSET(type, last_member) \
924         + sizeof (((type*)SvANY((const SV *)0))->last_member)
925
926 static const struct body_details bodies_by_type[] = {
927     /* HEs use this offset for their arena.  */
928     { 0, 0, 0, SVt_NULL, FALSE, NONV, NOARENA, 0 },
929
930     /* IVs are in the head, so the allocation size is 0.  */
931     { 0,
932       sizeof(IV), /* This is used to copy out the IV body.  */
933       STRUCT_OFFSET(XPVIV, xiv_iv), SVt_IV, FALSE, NONV,
934       NOARENA /* IVS don't need an arena  */, 0
935     },
936
937 #if NVSIZE <= IVSIZE
938     { 0, sizeof(NV),
939       STRUCT_OFFSET(XPVNV, xnv_u),
940       SVt_NV, FALSE, HADNV, NOARENA, 0 },
941 #else
942     { sizeof(NV), sizeof(NV),
943       STRUCT_OFFSET(XPVNV, xnv_u),
944       SVt_NV, FALSE, HADNV, HASARENA, FIT_ARENA(0, sizeof(NV)) },
945 #endif
946
947     { sizeof(XPV) - STRUCT_OFFSET(XPV, xpv_cur),
948       copy_length(XPV, xpv_len) - STRUCT_OFFSET(XPV, xpv_cur),
949       + STRUCT_OFFSET(XPV, xpv_cur),
950       SVt_PV, FALSE, NONV, HASARENA,
951       FIT_ARENA(0, sizeof(XPV) - STRUCT_OFFSET(XPV, xpv_cur)) },
952
953     { sizeof(XINVLIST) - STRUCT_OFFSET(XPV, xpv_cur),
954       copy_length(XINVLIST, is_offset) - STRUCT_OFFSET(XPV, xpv_cur),
955       + STRUCT_OFFSET(XPV, xpv_cur),
956       SVt_INVLIST, TRUE, NONV, HASARENA,
957       FIT_ARENA(0, sizeof(XINVLIST) - STRUCT_OFFSET(XPV, xpv_cur)) },
958
959     { sizeof(XPVIV) - STRUCT_OFFSET(XPV, xpv_cur),
960       copy_length(XPVIV, xiv_u) - STRUCT_OFFSET(XPV, xpv_cur),
961       + STRUCT_OFFSET(XPV, xpv_cur),
962       SVt_PVIV, FALSE, NONV, HASARENA,
963       FIT_ARENA(0, sizeof(XPVIV) - STRUCT_OFFSET(XPV, xpv_cur)) },
964
965     { sizeof(XPVNV) - STRUCT_OFFSET(XPV, xpv_cur),
966       copy_length(XPVNV, xnv_u) - STRUCT_OFFSET(XPV, xpv_cur),
967       + STRUCT_OFFSET(XPV, xpv_cur),
968       SVt_PVNV, FALSE, HADNV, HASARENA,
969       FIT_ARENA(0, sizeof(XPVNV) - STRUCT_OFFSET(XPV, xpv_cur)) },
970
971     { sizeof(XPVMG), copy_length(XPVMG, xnv_u), 0, SVt_PVMG, FALSE, HADNV,
972       HASARENA, FIT_ARENA(0, sizeof(XPVMG)) },
973
974     { sizeof(regexp),
975       sizeof(regexp),
976       0,
977       SVt_REGEXP, TRUE, NONV, HASARENA,
978       FIT_ARENA(0, sizeof(regexp))
979     },
980
981     { sizeof(XPVGV), sizeof(XPVGV), 0, SVt_PVGV, TRUE, HADNV,
982       HASARENA, FIT_ARENA(0, sizeof(XPVGV)) },
983     
984     { sizeof(XPVLV), sizeof(XPVLV), 0, SVt_PVLV, TRUE, HADNV,
985       HASARENA, FIT_ARENA(0, sizeof(XPVLV)) },
986
987     { sizeof(XPVAV),
988       copy_length(XPVAV, xav_alloc),
989       0,
990       SVt_PVAV, TRUE, NONV, HASARENA,
991       FIT_ARENA(0, sizeof(XPVAV)) },
992
993     { sizeof(XPVHV),
994       copy_length(XPVHV, xhv_max),
995       0,
996       SVt_PVHV, TRUE, NONV, HASARENA,
997       FIT_ARENA(0, sizeof(XPVHV)) },
998
999     { sizeof(XPVCV),
1000       sizeof(XPVCV),
1001       0,
1002       SVt_PVCV, TRUE, NONV, HASARENA,
1003       FIT_ARENA(0, sizeof(XPVCV)) },
1004
1005     { sizeof(XPVFM),
1006       sizeof(XPVFM),
1007       0,
1008       SVt_PVFM, TRUE, NONV, NOARENA,
1009       FIT_ARENA(20, sizeof(XPVFM)) },
1010
1011     { sizeof(XPVIO),
1012       sizeof(XPVIO),
1013       0,
1014       SVt_PVIO, TRUE, NONV, HASARENA,
1015       FIT_ARENA(24, sizeof(XPVIO)) },
1016 };
1017
1018 #define new_body_allocated(sv_type)             \
1019     (void *)((char *)S_new_body(aTHX_ sv_type)  \
1020              - bodies_by_type[sv_type].offset)
1021
1022 /* return a thing to the free list */
1023
1024 #define del_body(thing, root)                           \
1025     STMT_START {                                        \
1026         void ** const thing_copy = (void **)thing;      \
1027         *thing_copy = *root;                            \
1028         *root = (void*)thing_copy;                      \
1029     } STMT_END
1030
1031 #ifdef PURIFY
1032 #if !(NVSIZE <= IVSIZE)
1033 #  define new_XNV()     safemalloc(sizeof(XPVNV))
1034 #endif
1035 #define new_XPVNV()     safemalloc(sizeof(XPVNV))
1036 #define new_XPVMG()     safemalloc(sizeof(XPVMG))
1037
1038 #define del_XPVGV(p)    safefree(p)
1039
1040 #else /* !PURIFY */
1041
1042 #if !(NVSIZE <= IVSIZE)
1043 #  define new_XNV()     new_body_allocated(SVt_NV)
1044 #endif
1045 #define new_XPVNV()     new_body_allocated(SVt_PVNV)
1046 #define new_XPVMG()     new_body_allocated(SVt_PVMG)
1047
1048 #define del_XPVGV(p)    del_body(p + bodies_by_type[SVt_PVGV].offset,   \
1049                                  &PL_body_roots[SVt_PVGV])
1050
1051 #endif /* PURIFY */
1052
1053 /* no arena for you! */
1054
1055 #define new_NOARENA(details) \
1056         safemalloc((details)->body_size + (details)->offset)
1057 #define new_NOARENAZ(details) \
1058         safecalloc((details)->body_size + (details)->offset, 1)
1059
1060 void *
1061 Perl_more_bodies (pTHX_ const svtype sv_type, const size_t body_size,
1062                   const size_t arena_size)
1063 {
1064     void ** const root = &PL_body_roots[sv_type];
1065     struct arena_desc *adesc;
1066     struct arena_set *aroot = (struct arena_set *) PL_body_arenas;
1067     unsigned int curr;
1068     char *start;
1069     const char *end;
1070     const size_t good_arena_size = Perl_malloc_good_size(arena_size);
1071 #if defined(DEBUGGING) && defined(PERL_GLOBAL_STRUCT)
1072     dVAR;
1073 #endif
1074 #if defined(DEBUGGING) && !defined(PERL_GLOBAL_STRUCT)
1075     static bool done_sanity_check;
1076
1077     /* PERL_GLOBAL_STRUCT cannot coexist with global
1078      * variables like done_sanity_check. */
1079     if (!done_sanity_check) {
1080         unsigned int i = SVt_LAST;
1081
1082         done_sanity_check = TRUE;
1083
1084         while (i--)
1085             assert (bodies_by_type[i].type == i);
1086     }
1087 #endif
1088
1089     assert(arena_size);
1090
1091     /* may need new arena-set to hold new arena */
1092     if (!aroot || aroot->curr >= aroot->set_size) {
1093         struct arena_set *newroot;
1094         Newxz(newroot, 1, struct arena_set);
1095         newroot->set_size = ARENAS_PER_SET;
1096         newroot->next = aroot;
1097         aroot = newroot;
1098         PL_body_arenas = (void *) newroot;
1099         DEBUG_m(PerlIO_printf(Perl_debug_log, "new arenaset %p\n", (void*)aroot));
1100     }
1101
1102     /* ok, now have arena-set with at least 1 empty/available arena-desc */
1103     curr = aroot->curr++;
1104     adesc = &(aroot->set[curr]);
1105     assert(!adesc->arena);
1106     
1107     Newx(adesc->arena, good_arena_size, char);
1108     adesc->size = good_arena_size;
1109     adesc->utype = sv_type;
1110     DEBUG_m(PerlIO_printf(Perl_debug_log, "arena %d added: %p size %" UVuf "\n",
1111                           curr, (void*)adesc->arena, (UV)good_arena_size));
1112
1113     start = (char *) adesc->arena;
1114
1115     /* Get the address of the byte after the end of the last body we can fit.
1116        Remember, this is integer division:  */
1117     end = start + good_arena_size / body_size * body_size;
1118
1119     /* computed count doesn't reflect the 1st slot reservation */
1120 #if defined(MYMALLOC) || defined(HAS_MALLOC_GOOD_SIZE)
1121     DEBUG_m(PerlIO_printf(Perl_debug_log,
1122                           "arena %p end %p arena-size %d (from %d) type %d "
1123                           "size %d ct %d\n",
1124                           (void*)start, (void*)end, (int)good_arena_size,
1125                           (int)arena_size, sv_type, (int)body_size,
1126                           (int)good_arena_size / (int)body_size));
1127 #else
1128     DEBUG_m(PerlIO_printf(Perl_debug_log,
1129                           "arena %p end %p arena-size %d type %d size %d ct %d\n",
1130                           (void*)start, (void*)end,
1131                           (int)arena_size, sv_type, (int)body_size,
1132                           (int)good_arena_size / (int)body_size));
1133 #endif
1134     *root = (void *)start;
1135
1136     while (1) {
1137         /* Where the next body would start:  */
1138         char * const next = start + body_size;
1139
1140         if (next >= end) {
1141             /* This is the last body:  */
1142             assert(next == end);
1143
1144             *(void **)start = 0;
1145             return *root;
1146         }
1147
1148         *(void**) start = (void *)next;
1149         start = next;
1150     }
1151 }
1152
1153 /* grab a new thing from the free list, allocating more if necessary.
1154    The inline version is used for speed in hot routines, and the
1155    function using it serves the rest (unless PURIFY).
1156 */
1157 #define new_body_inline(xpv, sv_type) \
1158     STMT_START { \
1159         void ** const r3wt = &PL_body_roots[sv_type]; \
1160         xpv = (PTR_TBL_ENT_t*) (*((void **)(r3wt))      \
1161           ? *((void **)(r3wt)) : Perl_more_bodies(aTHX_ sv_type, \
1162                                              bodies_by_type[sv_type].body_size,\
1163                                              bodies_by_type[sv_type].arena_size)); \
1164         *(r3wt) = *(void**)(xpv); \
1165     } STMT_END
1166
1167 #ifndef PURIFY
1168
1169 STATIC void *
1170 S_new_body(pTHX_ const svtype sv_type)
1171 {
1172     void *xpv;
1173     new_body_inline(xpv, sv_type);
1174     return xpv;
1175 }
1176
1177 #endif
1178
1179 static const struct body_details fake_rv =
1180     { 0, 0, 0, SVt_IV, FALSE, NONV, NOARENA, 0 };
1181
1182 /*
1183 =for apidoc sv_upgrade
1184
1185 Upgrade an SV to a more complex form.  Generally adds a new body type to the
1186 SV, then copies across as much information as possible from the old body.
1187 It croaks if the SV is already in a more complex form than requested.  You
1188 generally want to use the C<SvUPGRADE> macro wrapper, which checks the type
1189 before calling C<sv_upgrade>, and hence does not croak.  See also
1190 C<L</svtype>>.
1191
1192 =cut
1193 */
1194
1195 void
1196 Perl_sv_upgrade(pTHX_ SV *const sv, svtype new_type)
1197 {
1198     void*       old_body;
1199     void*       new_body;
1200     const svtype old_type = SvTYPE(sv);
1201     const struct body_details *new_type_details;
1202     const struct body_details *old_type_details
1203         = bodies_by_type + old_type;
1204     SV *referent = NULL;
1205
1206     PERL_ARGS_ASSERT_SV_UPGRADE;
1207
1208     if (old_type == new_type)
1209         return;
1210
1211     /* This clause was purposefully added ahead of the early return above to
1212        the shared string hackery for (sort {$a <=> $b} keys %hash), with the
1213        inference by Nick I-S that it would fix other troublesome cases. See
1214        changes 7162, 7163 (f130fd4589cf5fbb24149cd4db4137c8326f49c1 and parent)
1215
1216        Given that shared hash key scalars are no longer PVIV, but PV, there is
1217        no longer need to unshare so as to free up the IVX slot for its proper
1218        purpose. So it's safe to move the early return earlier.  */
1219
1220     if (new_type > SVt_PVMG && SvIsCOW(sv)) {
1221         sv_force_normal_flags(sv, 0);
1222     }
1223
1224     old_body = SvANY(sv);
1225
1226     /* Copying structures onto other structures that have been neatly zeroed
1227        has a subtle gotcha. Consider XPVMG
1228
1229        +------+------+------+------+------+-------+-------+
1230        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |
1231        +------+------+------+------+------+-------+-------+
1232        0      4      8     12     16     20      24      28
1233
1234        where NVs are aligned to 8 bytes, so that sizeof that structure is
1235        actually 32 bytes long, with 4 bytes of padding at the end:
1236
1237        +------+------+------+------+------+-------+-------+------+
1238        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH | ???  |
1239        +------+------+------+------+------+-------+-------+------+
1240        0      4      8     12     16     20      24      28     32
1241
1242        so what happens if you allocate memory for this structure:
1243
1244        +------+------+------+------+------+-------+-------+------+------+...
1245        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |  GP  | NAME |
1246        +------+------+------+------+------+-------+-------+------+------+...
1247        0      4      8     12     16     20      24      28     32     36
1248
1249        zero it, then copy sizeof(XPVMG) bytes on top of it? Not quite what you
1250        expect, because you copy the area marked ??? onto GP. Now, ??? may have
1251        started out as zero once, but it's quite possible that it isn't. So now,
1252        rather than a nicely zeroed GP, you have it pointing somewhere random.
1253        Bugs ensue.
1254
1255        (In fact, GP ends up pointing at a previous GP structure, because the
1256        principle cause of the padding in XPVMG getting garbage is a copy of
1257        sizeof(XPVMG) bytes from a XPVGV structure in sv_unglob. Right now
1258        this happens to be moot because XPVGV has been re-ordered, with GP
1259        no longer after STASH)
1260
1261        So we are careful and work out the size of used parts of all the
1262        structures.  */
1263
1264     switch (old_type) {
1265     case SVt_NULL:
1266         break;
1267     case SVt_IV:
1268         if (SvROK(sv)) {
1269             referent = SvRV(sv);
1270             old_type_details = &fake_rv;
1271             if (new_type == SVt_NV)
1272                 new_type = SVt_PVNV;
1273         } else {
1274             if (new_type < SVt_PVIV) {
1275                 new_type = (new_type == SVt_NV)
1276                     ? SVt_PVNV : SVt_PVIV;
1277             }
1278         }
1279         break;
1280     case SVt_NV:
1281         if (new_type < SVt_PVNV) {
1282             new_type = SVt_PVNV;
1283         }
1284         break;
1285     case SVt_PV:
1286         assert(new_type > SVt_PV);
1287         STATIC_ASSERT_STMT(SVt_IV < SVt_PV);
1288         STATIC_ASSERT_STMT(SVt_NV < SVt_PV);
1289         break;
1290     case SVt_PVIV:
1291         break;
1292     case SVt_PVNV:
1293         break;
1294     case SVt_PVMG:
1295         /* Because the XPVMG of PL_mess_sv isn't allocated from the arena,
1296            there's no way that it can be safely upgraded, because perl.c
1297            expects to Safefree(SvANY(PL_mess_sv))  */
1298         assert(sv != PL_mess_sv);
1299         break;
1300     default:
1301         if (UNLIKELY(old_type_details->cant_upgrade))
1302             Perl_croak(aTHX_ "Can't upgrade %s (%" UVuf ") to %" UVuf,
1303                        sv_reftype(sv, 0), (UV) old_type, (UV) new_type);
1304     }
1305
1306     if (UNLIKELY(old_type > new_type))
1307         Perl_croak(aTHX_ "sv_upgrade from type %d down to type %d",
1308                 (int)old_type, (int)new_type);
1309
1310     new_type_details = bodies_by_type + new_type;
1311
1312     SvFLAGS(sv) &= ~SVTYPEMASK;
1313     SvFLAGS(sv) |= new_type;
1314
1315     /* This can't happen, as SVt_NULL is <= all values of new_type, so one of
1316        the return statements above will have triggered.  */
1317     assert (new_type != SVt_NULL);
1318     switch (new_type) {
1319     case SVt_IV:
1320         assert(old_type == SVt_NULL);
1321         SET_SVANY_FOR_BODYLESS_IV(sv);
1322         SvIV_set(sv, 0);
1323         return;
1324     case SVt_NV:
1325         assert(old_type == SVt_NULL);
1326 #if NVSIZE <= IVSIZE
1327         SET_SVANY_FOR_BODYLESS_NV(sv);
1328 #else
1329         SvANY(sv) = new_XNV();
1330 #endif
1331         SvNV_set(sv, 0);
1332         return;
1333     case SVt_PVHV:
1334     case SVt_PVAV:
1335         assert(new_type_details->body_size);
1336
1337 #ifndef PURIFY  
1338         assert(new_type_details->arena);
1339         assert(new_type_details->arena_size);
1340         /* This points to the start of the allocated area.  */
1341         new_body_inline(new_body, new_type);
1342         Zero(new_body, new_type_details->body_size, char);
1343         new_body = ((char *)new_body) - new_type_details->offset;
1344 #else
1345         /* We always allocated the full length item with PURIFY. To do this
1346            we fake things so that arena is false for all 16 types..  */
1347         new_body = new_NOARENAZ(new_type_details);
1348 #endif
1349         SvANY(sv) = new_body;
1350         if (new_type == SVt_PVAV) {
1351             AvMAX(sv)   = -1;
1352             AvFILLp(sv) = -1;
1353             AvREAL_only(sv);
1354             if (old_type_details->body_size) {
1355                 AvALLOC(sv) = 0;
1356             } else {
1357                 /* It will have been zeroed when the new body was allocated.
1358                    Lets not write to it, in case it confuses a write-back
1359                    cache.  */
1360             }
1361         } else {
1362             assert(!SvOK(sv));
1363             SvOK_off(sv);
1364 #ifndef NODEFAULT_SHAREKEYS
1365             HvSHAREKEYS_on(sv);         /* key-sharing on by default */
1366 #endif
1367             /* start with PERL_HASH_DEFAULT_HvMAX+1 buckets: */
1368             HvMAX(sv) = PERL_HASH_DEFAULT_HvMAX;
1369         }
1370
1371         /* SVt_NULL isn't the only thing upgraded to AV or HV.
1372            The target created by newSVrv also is, and it can have magic.
1373            However, it never has SvPVX set.
1374         */
1375         if (old_type == SVt_IV) {
1376             assert(!SvROK(sv));
1377         } else if (old_type >= SVt_PV) {
1378             assert(SvPVX_const(sv) == 0);
1379         }
1380
1381         if (old_type >= SVt_PVMG) {
1382             SvMAGIC_set(sv, ((XPVMG*)old_body)->xmg_u.xmg_magic);
1383             SvSTASH_set(sv, ((XPVMG*)old_body)->xmg_stash);
1384         } else {
1385             sv->sv_u.svu_array = NULL; /* or svu_hash  */
1386         }
1387         break;
1388
1389     case SVt_PVIV:
1390         /* XXX Is this still needed?  Was it ever needed?   Surely as there is
1391            no route from NV to PVIV, NOK can never be true  */
1392         assert(!SvNOKp(sv));
1393         assert(!SvNOK(sv));
1394         /* FALLTHROUGH */
1395     case SVt_PVIO:
1396     case SVt_PVFM:
1397     case SVt_PVGV:
1398     case SVt_PVCV:
1399     case SVt_PVLV:
1400     case SVt_INVLIST:
1401     case SVt_REGEXP:
1402     case SVt_PVMG:
1403     case SVt_PVNV:
1404     case SVt_PV:
1405
1406         assert(new_type_details->body_size);
1407         /* We always allocated the full length item with PURIFY. To do this
1408            we fake things so that arena is false for all 16 types..  */
1409         if(new_type_details->arena) {
1410             /* This points to the start of the allocated area.  */
1411             new_body_inline(new_body, new_type);
1412             Zero(new_body, new_type_details->body_size, char);
1413             new_body = ((char *)new_body) - new_type_details->offset;
1414         } else {
1415             new_body = new_NOARENAZ(new_type_details);
1416         }
1417         SvANY(sv) = new_body;
1418
1419         if (old_type_details->copy) {
1420             /* There is now the potential for an upgrade from something without
1421                an offset (PVNV or PVMG) to something with one (PVCV, PVFM)  */
1422             int offset = old_type_details->offset;
1423             int length = old_type_details->copy;
1424
1425             if (new_type_details->offset > old_type_details->offset) {
1426                 const int difference
1427                     = new_type_details->offset - old_type_details->offset;
1428                 offset += difference;
1429                 length -= difference;
1430             }
1431             assert (length >= 0);
1432                 
1433             Copy((char *)old_body + offset, (char *)new_body + offset, length,
1434                  char);
1435         }
1436
1437 #ifndef NV_ZERO_IS_ALLBITS_ZERO
1438         /* If NV 0.0 is stores as all bits 0 then Zero() already creates a
1439          * correct 0.0 for us.  Otherwise, if the old body didn't have an
1440          * NV slot, but the new one does, then we need to initialise the
1441          * freshly created NV slot with whatever the correct bit pattern is
1442          * for 0.0  */
1443         if (old_type_details->zero_nv && !new_type_details->zero_nv
1444             && !isGV_with_GP(sv))
1445             SvNV_set(sv, 0);
1446 #endif
1447
1448         if (UNLIKELY(new_type == SVt_PVIO)) {
1449             IO * const io = MUTABLE_IO(sv);
1450             GV *iogv = gv_fetchpvs("IO::File::", GV_ADD, SVt_PVHV);
1451
1452             SvOBJECT_on(io);
1453             /* Clear the stashcache because a new IO could overrule a package
1454                name */
1455             DEBUG_o(Perl_deb(aTHX_ "sv_upgrade clearing PL_stashcache\n"));
1456             hv_clear(PL_stashcache);
1457
1458             SvSTASH_set(io, MUTABLE_HV(SvREFCNT_inc(GvHV(iogv))));
1459             IoPAGE_LEN(sv) = 60;
1460         }
1461         if (old_type < SVt_PV) {
1462             /* referent will be NULL unless the old type was SVt_IV emulating
1463                SVt_RV */
1464             sv->sv_u.svu_rv = referent;
1465         }
1466         break;
1467     default:
1468         Perl_croak(aTHX_ "panic: sv_upgrade to unknown type %lu",
1469                    (unsigned long)new_type);
1470     }
1471
1472     /* if this is zero, this is a body-less SVt_NULL, SVt_IV/SVt_RV,
1473        and sometimes SVt_NV */
1474     if (old_type_details->body_size) {
1475 #ifdef PURIFY
1476         safefree(old_body);
1477 #else
1478         /* Note that there is an assumption that all bodies of types that
1479            can be upgraded came from arenas. Only the more complex non-
1480            upgradable types are allowed to be directly malloc()ed.  */
1481         assert(old_type_details->arena);
1482         del_body((void*)((char*)old_body + old_type_details->offset),
1483                  &PL_body_roots[old_type]);
1484 #endif
1485     }
1486 }
1487
1488 /*
1489 =for apidoc sv_backoff
1490
1491 Remove any string offset.  You should normally use the C<SvOOK_off> macro
1492 wrapper instead.
1493
1494 =cut
1495 */
1496
1497 /* prior to 5.000 stable, this function returned the new OOK-less SvFLAGS
1498    prior to 5.23.4 this function always returned 0
1499 */
1500
1501 void
1502 Perl_sv_backoff(SV *const sv)
1503 {
1504     STRLEN delta;
1505     const char * const s = SvPVX_const(sv);
1506
1507     PERL_ARGS_ASSERT_SV_BACKOFF;
1508
1509     assert(SvOOK(sv));
1510     assert(SvTYPE(sv) != SVt_PVHV);
1511     assert(SvTYPE(sv) != SVt_PVAV);
1512
1513     SvOOK_offset(sv, delta);
1514     
1515     SvLEN_set(sv, SvLEN(sv) + delta);
1516     SvPV_set(sv, SvPVX(sv) - delta);
1517     SvFLAGS(sv) &= ~SVf_OOK;
1518     Move(s, SvPVX(sv), SvCUR(sv)+1, char);
1519     return;
1520 }
1521
1522
1523 /* forward declaration */
1524 static void S_sv_uncow(pTHX_ SV * const sv, const U32 flags);
1525
1526
1527 /*
1528 =for apidoc sv_grow
1529
1530 Expands the character buffer in the SV.  If necessary, uses C<sv_unref> and
1531 upgrades the SV to C<SVt_PV>.  Returns a pointer to the character buffer.
1532 Use the C<SvGROW> wrapper instead.
1533
1534 =cut
1535 */
1536
1537
1538 char *
1539 Perl_sv_grow(pTHX_ SV *const sv, STRLEN newlen)
1540 {
1541     char *s;
1542
1543     PERL_ARGS_ASSERT_SV_GROW;
1544
1545     if (SvROK(sv))
1546         sv_unref(sv);
1547     if (SvTYPE(sv) < SVt_PV) {
1548         sv_upgrade(sv, SVt_PV);
1549         s = SvPVX_mutable(sv);
1550     }
1551     else if (SvOOK(sv)) {       /* pv is offset? */
1552         sv_backoff(sv);
1553         s = SvPVX_mutable(sv);
1554         if (newlen > SvLEN(sv))
1555             newlen += 10 * (newlen - SvCUR(sv)); /* avoid copy each time */
1556     }
1557     else
1558     {
1559         if (SvIsCOW(sv)) S_sv_uncow(aTHX_ sv, 0);
1560         s = SvPVX_mutable(sv);
1561     }
1562
1563 #ifdef PERL_COPY_ON_WRITE
1564     /* the new COW scheme uses SvPVX(sv)[SvLEN(sv)-1] (if spare)
1565      * to store the COW count. So in general, allocate one more byte than
1566      * asked for, to make it likely this byte is always spare: and thus
1567      * make more strings COW-able.
1568      *
1569      * Only increment if the allocation isn't MEM_SIZE_MAX,
1570      * otherwise it will wrap to 0.
1571      */
1572     if ( newlen != MEM_SIZE_MAX )
1573         newlen++;
1574 #endif
1575
1576 #if defined(PERL_USE_MALLOC_SIZE) && defined(Perl_safesysmalloc_size)
1577 #define PERL_UNWARANTED_CHUMMINESS_WITH_MALLOC
1578 #endif
1579
1580     if (newlen > SvLEN(sv)) {           /* need more room? */
1581         STRLEN minlen = SvCUR(sv);
1582         minlen += (minlen >> PERL_STRLEN_EXPAND_SHIFT) + 10;
1583         if (newlen < minlen)
1584             newlen = minlen;
1585 #ifndef PERL_UNWARANTED_CHUMMINESS_WITH_MALLOC
1586
1587         /* Don't round up on the first allocation, as odds are pretty good that
1588          * the initial request is accurate as to what is really needed */
1589         if (SvLEN(sv)) {
1590             STRLEN rounded = PERL_STRLEN_ROUNDUP(newlen);
1591             if (rounded > newlen)
1592                 newlen = rounded;
1593         }
1594 #endif
1595         if (SvLEN(sv) && s) {
1596             s = (char*)saferealloc(s, newlen);
1597         }
1598         else {
1599             s = (char*)safemalloc(newlen);
1600             if (SvPVX_const(sv) && SvCUR(sv)) {
1601                 Move(SvPVX_const(sv), s, SvCUR(sv), char);
1602             }
1603         }
1604         SvPV_set(sv, s);
1605 #ifdef PERL_UNWARANTED_CHUMMINESS_WITH_MALLOC
1606         /* Do this here, do it once, do it right, and then we will never get
1607            called back into sv_grow() unless there really is some growing
1608            needed.  */
1609         SvLEN_set(sv, Perl_safesysmalloc_size(s));
1610 #else
1611         SvLEN_set(sv, newlen);
1612 #endif
1613     }
1614     return s;
1615 }
1616
1617 /*
1618 =for apidoc sv_setiv
1619
1620 Copies an integer into the given SV, upgrading first if necessary.
1621 Does not handle 'set' magic.  See also C<L</sv_setiv_mg>>.
1622
1623 =cut
1624 */
1625
1626 void
1627 Perl_sv_setiv(pTHX_ SV *const sv, const IV i)
1628 {
1629     PERL_ARGS_ASSERT_SV_SETIV;
1630
1631     SV_CHECK_THINKFIRST_COW_DROP(sv);
1632     switch (SvTYPE(sv)) {
1633     case SVt_NULL:
1634     case SVt_NV:
1635         sv_upgrade(sv, SVt_IV);
1636         break;
1637     case SVt_PV:
1638         sv_upgrade(sv, SVt_PVIV);
1639         break;
1640
1641     case SVt_PVGV:
1642         if (!isGV_with_GP(sv))
1643             break;
1644         /* FALLTHROUGH */
1645     case SVt_PVAV:
1646     case SVt_PVHV:
1647     case SVt_PVCV:
1648     case SVt_PVFM:
1649     case SVt_PVIO:
1650         /* diag_listed_as: Can't coerce %s to %s in %s */
1651         Perl_croak(aTHX_ "Can't coerce %s to integer in %s", sv_reftype(sv,0),
1652                    OP_DESC(PL_op));
1653         NOT_REACHED; /* NOTREACHED */
1654         break;
1655     default: NOOP;
1656     }
1657     (void)SvIOK_only(sv);                       /* validate number */
1658     SvIV_set(sv, i);
1659     SvTAINT(sv);
1660 }
1661
1662 /*
1663 =for apidoc sv_setiv_mg
1664
1665 Like C<sv_setiv>, but also handles 'set' magic.
1666
1667 =cut
1668 */
1669
1670 void
1671 Perl_sv_setiv_mg(pTHX_ SV *const sv, const IV i)
1672 {
1673     PERL_ARGS_ASSERT_SV_SETIV_MG;
1674
1675     sv_setiv(sv,i);
1676     SvSETMAGIC(sv);
1677 }
1678
1679 /*
1680 =for apidoc sv_setuv
1681
1682 Copies an unsigned integer into the given SV, upgrading first if necessary.
1683 Does not handle 'set' magic.  See also C<L</sv_setuv_mg>>.
1684
1685 =cut
1686 */
1687
1688 void
1689 Perl_sv_setuv(pTHX_ SV *const sv, const UV u)
1690 {
1691     PERL_ARGS_ASSERT_SV_SETUV;
1692
1693     /* With the if statement to ensure that integers are stored as IVs whenever
1694        possible:
1695        u=1.49  s=0.52  cu=72.49  cs=10.64  scripts=270  tests=20865
1696
1697        without
1698        u=1.35  s=0.47  cu=73.45  cs=11.43  scripts=270  tests=20865
1699
1700        If you wish to remove the following if statement, so that this routine
1701        (and its callers) always return UVs, please benchmark to see what the
1702        effect is. Modern CPUs may be different. Or may not :-)
1703     */
1704     if (u <= (UV)IV_MAX) {
1705        sv_setiv(sv, (IV)u);
1706        return;
1707     }
1708     sv_setiv(sv, 0);
1709     SvIsUV_on(sv);
1710     SvUV_set(sv, u);
1711 }
1712
1713 /*
1714 =for apidoc sv_setuv_mg
1715
1716 Like C<sv_setuv>, but also handles 'set' magic.
1717
1718 =cut
1719 */
1720
1721 void
1722 Perl_sv_setuv_mg(pTHX_ SV *const sv, const UV u)
1723 {
1724     PERL_ARGS_ASSERT_SV_SETUV_MG;
1725
1726     sv_setuv(sv,u);
1727     SvSETMAGIC(sv);
1728 }
1729
1730 /*
1731 =for apidoc sv_setnv
1732
1733 Copies a double into the given SV, upgrading first if necessary.
1734 Does not handle 'set' magic.  See also C<L</sv_setnv_mg>>.
1735
1736 =cut
1737 */
1738
1739 void
1740 Perl_sv_setnv(pTHX_ SV *const sv, const NV num)
1741 {
1742     PERL_ARGS_ASSERT_SV_SETNV;
1743
1744     SV_CHECK_THINKFIRST_COW_DROP(sv);
1745     switch (SvTYPE(sv)) {
1746     case SVt_NULL:
1747     case SVt_IV:
1748         sv_upgrade(sv, SVt_NV);
1749         break;
1750     case SVt_PV:
1751     case SVt_PVIV:
1752         sv_upgrade(sv, SVt_PVNV);
1753         break;
1754
1755     case SVt_PVGV:
1756         if (!isGV_with_GP(sv))
1757             break;
1758         /* FALLTHROUGH */
1759     case SVt_PVAV:
1760     case SVt_PVHV:
1761     case SVt_PVCV:
1762     case SVt_PVFM:
1763     case SVt_PVIO:
1764         /* diag_listed_as: Can't coerce %s to %s in %s */
1765         Perl_croak(aTHX_ "Can't coerce %s to number in %s", sv_reftype(sv,0),
1766                    OP_DESC(PL_op));
1767         NOT_REACHED; /* NOTREACHED */
1768         break;
1769     default: NOOP;
1770     }
1771     SvNV_set(sv, num);
1772     (void)SvNOK_only(sv);                       /* validate number */
1773     SvTAINT(sv);
1774 }
1775
1776 /*
1777 =for apidoc sv_setnv_mg
1778
1779 Like C<sv_setnv>, but also handles 'set' magic.
1780
1781 =cut
1782 */
1783
1784 void
1785 Perl_sv_setnv_mg(pTHX_ SV *const sv, const NV num)
1786 {
1787     PERL_ARGS_ASSERT_SV_SETNV_MG;
1788
1789     sv_setnv(sv,num);
1790     SvSETMAGIC(sv);
1791 }
1792
1793 /* Return a cleaned-up, printable version of sv, for non-numeric, or
1794  * not incrementable warning display.
1795  * Originally part of S_not_a_number().
1796  * The return value may be != tmpbuf.
1797  */
1798
1799 STATIC const char *
1800 S_sv_display(pTHX_ SV *const sv, char *tmpbuf, STRLEN tmpbuf_size) {
1801     const char *pv;
1802
1803      PERL_ARGS_ASSERT_SV_DISPLAY;
1804
1805      if (DO_UTF8(sv)) {
1806           SV *dsv = newSVpvs_flags("", SVs_TEMP);
1807           pv = sv_uni_display(dsv, sv, 32, UNI_DISPLAY_ISPRINT);
1808      } else {
1809           char *d = tmpbuf;
1810           const char * const limit = tmpbuf + tmpbuf_size - 8;
1811           /* each *s can expand to 4 chars + "...\0",
1812              i.e. need room for 8 chars */
1813         
1814           const char *s = SvPVX_const(sv);
1815           const char * const end = s + SvCUR(sv);
1816           for ( ; s < end && d < limit; s++ ) {
1817                int ch = *s & 0xFF;
1818                if (! isASCII(ch) && !isPRINT_LC(ch)) {
1819                     *d++ = 'M';
1820                     *d++ = '-';
1821
1822                     /* Map to ASCII "equivalent" of Latin1 */
1823                     ch = LATIN1_TO_NATIVE(NATIVE_TO_LATIN1(ch) & 127);
1824                }
1825                if (ch == '\n') {
1826                     *d++ = '\\';
1827                     *d++ = 'n';
1828                }
1829                else if (ch == '\r') {
1830                     *d++ = '\\';
1831                     *d++ = 'r';
1832                }
1833                else if (ch == '\f') {
1834                     *d++ = '\\';
1835                     *d++ = 'f';
1836                }
1837                else if (ch == '\\') {
1838                     *d++ = '\\';
1839                     *d++ = '\\';
1840                }
1841                else if (ch == '\0') {
1842                     *d++ = '\\';
1843                     *d++ = '0';
1844                }
1845                else if (isPRINT_LC(ch))
1846                     *d++ = ch;
1847                else {
1848                     *d++ = '^';
1849                     *d++ = toCTRL(ch);
1850                }
1851           }
1852           if (s < end) {
1853                *d++ = '.';
1854                *d++ = '.';
1855                *d++ = '.';
1856           }
1857           *d = '\0';
1858           pv = tmpbuf;
1859     }
1860
1861     return pv;
1862 }
1863
1864 /* Print an "isn't numeric" warning, using a cleaned-up,
1865  * printable version of the offending string
1866  */
1867
1868 STATIC void
1869 S_not_a_number(pTHX_ SV *const sv)
1870 {
1871      char tmpbuf[64];
1872      const char *pv;
1873
1874      PERL_ARGS_ASSERT_NOT_A_NUMBER;
1875
1876      pv = sv_display(sv, tmpbuf, sizeof(tmpbuf));
1877
1878     if (PL_op)
1879         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1880                     /* diag_listed_as: Argument "%s" isn't numeric%s */
1881                     "Argument \"%s\" isn't numeric in %s", pv,
1882                     OP_DESC(PL_op));
1883     else
1884         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1885                     /* diag_listed_as: Argument "%s" isn't numeric%s */
1886                     "Argument \"%s\" isn't numeric", pv);
1887 }
1888
1889 STATIC void
1890 S_not_incrementable(pTHX_ SV *const sv) {
1891      char tmpbuf[64];
1892      const char *pv;
1893
1894      PERL_ARGS_ASSERT_NOT_INCREMENTABLE;
1895
1896      pv = sv_display(sv, tmpbuf, sizeof(tmpbuf));
1897
1898      Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1899                  "Argument \"%s\" treated as 0 in increment (++)", pv);
1900 }
1901
1902 /*
1903 =for apidoc looks_like_number
1904
1905 Test if the content of an SV looks like a number (or is a number).
1906 C<Inf> and C<Infinity> are treated as numbers (so will not issue a
1907 non-numeric warning), even if your C<atof()> doesn't grok them.  Get-magic is
1908 ignored.
1909
1910 =cut
1911 */
1912
1913 I32
1914 Perl_looks_like_number(pTHX_ SV *const sv)
1915 {
1916     const char *sbegin;
1917     STRLEN len;
1918     int numtype;
1919
1920     PERL_ARGS_ASSERT_LOOKS_LIKE_NUMBER;
1921
1922     if (SvPOK(sv) || SvPOKp(sv)) {
1923         sbegin = SvPV_nomg_const(sv, len);
1924     }
1925     else
1926         return SvFLAGS(sv) & (SVf_NOK|SVp_NOK|SVf_IOK|SVp_IOK);
1927     numtype = grok_number(sbegin, len, NULL);
1928     return ((numtype & IS_NUMBER_TRAILING)) ? 0 : numtype;
1929 }
1930
1931 STATIC bool
1932 S_glob_2number(pTHX_ GV * const gv)
1933 {
1934     PERL_ARGS_ASSERT_GLOB_2NUMBER;
1935
1936     /* We know that all GVs stringify to something that is not-a-number,
1937         so no need to test that.  */
1938     if (ckWARN(WARN_NUMERIC))
1939     {
1940         SV *const buffer = sv_newmortal();
1941         gv_efullname3(buffer, gv, "*");
1942         not_a_number(buffer);
1943     }
1944     /* We just want something true to return, so that S_sv_2iuv_common
1945         can tail call us and return true.  */
1946     return TRUE;
1947 }
1948
1949 /* Actually, ISO C leaves conversion of UV to IV undefined, but
1950    until proven guilty, assume that things are not that bad... */
1951
1952 /*
1953    NV_PRESERVES_UV:
1954
1955    As 64 bit platforms often have an NV that doesn't preserve all bits of
1956    an IV (an assumption perl has been based on to date) it becomes necessary
1957    to remove the assumption that the NV always carries enough precision to
1958    recreate the IV whenever needed, and that the NV is the canonical form.
1959    Instead, IV/UV and NV need to be given equal rights. So as to not lose
1960    precision as a side effect of conversion (which would lead to insanity
1961    and the dragon(s) in t/op/numconvert.t getting very angry) the intent is
1962    1) to distinguish between IV/UV/NV slots that have a valid conversion cached
1963       where precision was lost, and IV/UV/NV slots that have a valid conversion
1964       which has lost no precision
1965    2) to ensure that if a numeric conversion to one form is requested that
1966       would lose precision, the precise conversion (or differently
1967       imprecise conversion) is also performed and cached, to prevent
1968       requests for different numeric formats on the same SV causing
1969       lossy conversion chains. (lossless conversion chains are perfectly
1970       acceptable (still))
1971
1972
1973    flags are used:
1974    SvIOKp is true if the IV slot contains a valid value
1975    SvIOK  is true only if the IV value is accurate (UV if SvIOK_UV true)
1976    SvNOKp is true if the NV slot contains a valid value
1977    SvNOK  is true only if the NV value is accurate
1978
1979    so
1980    while converting from PV to NV, check to see if converting that NV to an
1981    IV(or UV) would lose accuracy over a direct conversion from PV to
1982    IV(or UV). If it would, cache both conversions, return NV, but mark
1983    SV as IOK NOKp (ie not NOK).
1984
1985    While converting from PV to IV, check to see if converting that IV to an
1986    NV would lose accuracy over a direct conversion from PV to NV. If it
1987    would, cache both conversions, flag similarly.
1988
1989    Before, the SV value "3.2" could become NV=3.2 IV=3 NOK, IOK quite
1990    correctly because if IV & NV were set NV *always* overruled.
1991    Now, "3.2" will become NV=3.2 IV=3 NOK, IOKp, because the flag's meaning
1992    changes - now IV and NV together means that the two are interchangeable:
1993    SvIVX == (IV) SvNVX && SvNVX == (NV) SvIVX;
1994
1995    The benefit of this is that operations such as pp_add know that if
1996    SvIOK is true for both left and right operands, then integer addition
1997    can be used instead of floating point (for cases where the result won't
1998    overflow). Before, floating point was always used, which could lead to
1999    loss of precision compared with integer addition.
2000
2001    * making IV and NV equal status should make maths accurate on 64 bit
2002      platforms
2003    * may speed up maths somewhat if pp_add and friends start to use
2004      integers when possible instead of fp. (Hopefully the overhead in
2005      looking for SvIOK and checking for overflow will not outweigh the
2006      fp to integer speedup)
2007    * will slow down integer operations (callers of SvIV) on "inaccurate"
2008      values, as the change from SvIOK to SvIOKp will cause a call into
2009      sv_2iv each time rather than a macro access direct to the IV slot
2010    * should speed up number->string conversion on integers as IV is
2011      favoured when IV and NV are equally accurate
2012
2013    ####################################################################
2014    You had better be using SvIOK_notUV if you want an IV for arithmetic:
2015    SvIOK is true if (IV or UV), so you might be getting (IV)SvUV.
2016    On the other hand, SvUOK is true iff UV.
2017    ####################################################################
2018
2019    Your mileage will vary depending your CPU's relative fp to integer
2020    performance ratio.
2021 */
2022
2023 #ifndef NV_PRESERVES_UV
2024 #  define IS_NUMBER_UNDERFLOW_IV 1
2025 #  define IS_NUMBER_UNDERFLOW_UV 2
2026 #  define IS_NUMBER_IV_AND_UV    2
2027 #  define IS_NUMBER_OVERFLOW_IV  4
2028 #  define IS_NUMBER_OVERFLOW_UV  5
2029
2030 /* sv_2iuv_non_preserve(): private routine for use by sv_2iv() and sv_2uv() */
2031
2032 /* For sv_2nv these three cases are "SvNOK and don't bother casting"  */
2033 STATIC int
2034 S_sv_2iuv_non_preserve(pTHX_ SV *const sv
2035 #  ifdef DEBUGGING
2036                        , I32 numtype
2037 #  endif
2038                        )
2039 {
2040     PERL_ARGS_ASSERT_SV_2IUV_NON_PRESERVE;
2041     PERL_UNUSED_CONTEXT;
2042
2043     DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_2iuv_non '%s', IV=0x%" UVxf " NV=%" NVgf " inttype=%" UVXf "\n", SvPVX_const(sv), SvIVX(sv), SvNVX(sv), (UV)numtype));
2044     if (SvNVX(sv) < (NV)IV_MIN) {
2045         (void)SvIOKp_on(sv);
2046         (void)SvNOK_on(sv);
2047         SvIV_set(sv, IV_MIN);
2048         return IS_NUMBER_UNDERFLOW_IV;
2049     }
2050     if (SvNVX(sv) > (NV)UV_MAX) {
2051         (void)SvIOKp_on(sv);
2052         (void)SvNOK_on(sv);
2053         SvIsUV_on(sv);
2054         SvUV_set(sv, UV_MAX);
2055         return IS_NUMBER_OVERFLOW_UV;
2056     }
2057     (void)SvIOKp_on(sv);
2058     (void)SvNOK_on(sv);
2059     /* Can't use strtol etc to convert this string.  (See truth table in
2060        sv_2iv  */
2061     if (SvNVX(sv) <= (UV)IV_MAX) {
2062         SvIV_set(sv, I_V(SvNVX(sv)));
2063         if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
2064             SvIOK_on(sv); /* Integer is precise. NOK, IOK */
2065         } else {
2066             /* Integer is imprecise. NOK, IOKp */
2067         }
2068         return SvNVX(sv) < 0 ? IS_NUMBER_UNDERFLOW_UV : IS_NUMBER_IV_AND_UV;
2069     }
2070     SvIsUV_on(sv);
2071     SvUV_set(sv, U_V(SvNVX(sv)));
2072     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
2073         if (SvUVX(sv) == UV_MAX) {
2074             /* As we know that NVs don't preserve UVs, UV_MAX cannot
2075                possibly be preserved by NV. Hence, it must be overflow.
2076                NOK, IOKp */
2077             return IS_NUMBER_OVERFLOW_UV;
2078         }
2079         SvIOK_on(sv); /* Integer is precise. NOK, UOK */
2080     } else {
2081         /* Integer is imprecise. NOK, IOKp */
2082     }
2083     return IS_NUMBER_OVERFLOW_IV;
2084 }
2085 #endif /* !NV_PRESERVES_UV*/
2086
2087 /* If numtype is infnan, set the NV of the sv accordingly.
2088  * If numtype is anything else, try setting the NV using Atof(PV). */
2089 #ifdef USING_MSVC6
2090 #  pragma warning(push)
2091 #  pragma warning(disable:4756;disable:4056)
2092 #endif
2093 static void
2094 S_sv_setnv(pTHX_ SV* sv, int numtype)
2095 {
2096     bool pok = cBOOL(SvPOK(sv));
2097     bool nok = FALSE;
2098 #ifdef NV_INF
2099     if ((numtype & IS_NUMBER_INFINITY)) {
2100         SvNV_set(sv, (numtype & IS_NUMBER_NEG) ? -NV_INF : NV_INF);
2101         nok = TRUE;
2102     } else
2103 #endif
2104 #ifdef NV_NAN
2105     if ((numtype & IS_NUMBER_NAN)) {
2106         SvNV_set(sv, NV_NAN);
2107         nok = TRUE;
2108     } else
2109 #endif
2110     if (pok) {
2111         SvNV_set(sv, Atof(SvPVX_const(sv)));
2112         /* Purposefully no true nok here, since we don't want to blow
2113          * away the possible IOK/UV of an existing sv. */
2114     }
2115     if (nok) {
2116         SvNOK_only(sv); /* No IV or UV please, this is pure infnan. */
2117         if (pok)
2118             SvPOK_on(sv); /* PV is okay, though. */
2119     }
2120 }
2121 #ifdef USING_MSVC6
2122 #  pragma warning(pop)
2123 #endif
2124
2125 STATIC bool
2126 S_sv_2iuv_common(pTHX_ SV *const sv)
2127 {
2128     PERL_ARGS_ASSERT_SV_2IUV_COMMON;
2129
2130     if (SvNOKp(sv)) {
2131         /* erm. not sure. *should* never get NOKp (without NOK) from sv_2nv
2132          * without also getting a cached IV/UV from it at the same time
2133          * (ie PV->NV conversion should detect loss of accuracy and cache
2134          * IV or UV at same time to avoid this. */
2135         /* IV-over-UV optimisation - choose to cache IV if possible */
2136
2137         if (SvTYPE(sv) == SVt_NV)
2138             sv_upgrade(sv, SVt_PVNV);
2139
2140         (void)SvIOKp_on(sv);    /* Must do this first, to clear any SvOOK */
2141         /* < not <= as for NV doesn't preserve UV, ((NV)IV_MAX+1) will almost
2142            certainly cast into the IV range at IV_MAX, whereas the correct
2143            answer is the UV IV_MAX +1. Hence < ensures that dodgy boundary
2144            cases go to UV */
2145 #if defined(NAN_COMPARE_BROKEN) && defined(Perl_isnan)
2146         if (Perl_isnan(SvNVX(sv))) {
2147             SvUV_set(sv, 0);
2148             SvIsUV_on(sv);
2149             return FALSE;
2150         }
2151 #endif
2152         if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2153             SvIV_set(sv, I_V(SvNVX(sv)));
2154             if (SvNVX(sv) == (NV) SvIVX(sv)
2155 #ifndef NV_PRESERVES_UV
2156                 && SvIVX(sv) != IV_MIN /* avoid negating IV_MIN below */
2157                 && (((UV)1 << NV_PRESERVES_UV_BITS) >
2158                     (UV)(SvIVX(sv) > 0 ? SvIVX(sv) : -SvIVX(sv)))
2159                 /* Don't flag it as "accurately an integer" if the number
2160                    came from a (by definition imprecise) NV operation, and
2161                    we're outside the range of NV integer precision */
2162 #endif
2163                 ) {
2164                 if (SvNOK(sv))
2165                     SvIOK_on(sv);  /* Can this go wrong with rounding? NWC */
2166                 else {
2167                     /* scalar has trailing garbage, eg "42a" */
2168                 }
2169                 DEBUG_c(PerlIO_printf(Perl_debug_log,
2170                                       "0x%" UVxf " iv(%" NVgf " => %" IVdf ") (precise)\n",
2171                                       PTR2UV(sv),
2172                                       SvNVX(sv),
2173                                       SvIVX(sv)));
2174
2175             } else {
2176                 /* IV not precise.  No need to convert from PV, as NV
2177                    conversion would already have cached IV if it detected
2178                    that PV->IV would be better than PV->NV->IV
2179                    flags already correct - don't set public IOK.  */
2180                 DEBUG_c(PerlIO_printf(Perl_debug_log,
2181                                       "0x%" UVxf " iv(%" NVgf " => %" IVdf ") (imprecise)\n",
2182                                       PTR2UV(sv),
2183                                       SvNVX(sv),
2184                                       SvIVX(sv)));
2185             }
2186             /* Can the above go wrong if SvIVX == IV_MIN and SvNVX < IV_MIN,
2187                but the cast (NV)IV_MIN rounds to a the value less (more
2188                negative) than IV_MIN which happens to be equal to SvNVX ??
2189                Analogous to 0xFFFFFFFFFFFFFFFF rounding up to NV (2**64) and
2190                NV rounding back to 0xFFFFFFFFFFFFFFFF, so UVX == UV(NVX) and
2191                (NV)UVX == NVX are both true, but the values differ. :-(
2192                Hopefully for 2s complement IV_MIN is something like
2193                0x8000000000000000 which will be exact. NWC */
2194         }
2195         else {
2196             SvUV_set(sv, U_V(SvNVX(sv)));
2197             if (
2198                 (SvNVX(sv) == (NV) SvUVX(sv))
2199 #ifndef  NV_PRESERVES_UV
2200                 /* Make sure it's not 0xFFFFFFFFFFFFFFFF */
2201                 /*&& (SvUVX(sv) != UV_MAX) irrelevant with code below */
2202                 && (((UV)1 << NV_PRESERVES_UV_BITS) > SvUVX(sv))
2203                 /* Don't flag it as "accurately an integer" if the number
2204                    came from a (by definition imprecise) NV operation, and
2205                    we're outside the range of NV integer precision */
2206 #endif
2207                 && SvNOK(sv)
2208                 )
2209                 SvIOK_on(sv);
2210             SvIsUV_on(sv);
2211             DEBUG_c(PerlIO_printf(Perl_debug_log,
2212                                   "0x%" UVxf " 2iv(%" UVuf " => %" IVdf ") (as unsigned)\n",
2213                                   PTR2UV(sv),
2214                                   SvUVX(sv),
2215                                   SvUVX(sv)));
2216         }
2217     }
2218     else if (SvPOKp(sv)) {
2219         UV value;
2220         int numtype;
2221         const char *s = SvPVX_const(sv);
2222         const STRLEN cur = SvCUR(sv);
2223
2224         /* short-cut for a single digit string like "1" */
2225
2226         if (cur == 1) {
2227             char c = *s;
2228             if (isDIGIT(c)) {
2229                 if (SvTYPE(sv) < SVt_PVIV)
2230                     sv_upgrade(sv, SVt_PVIV);
2231                 (void)SvIOK_on(sv);
2232                 SvIV_set(sv, (IV)(c - '0'));
2233                 return FALSE;
2234             }
2235         }
2236
2237         numtype = grok_number(s, cur, &value);
2238         /* We want to avoid a possible problem when we cache an IV/ a UV which
2239            may be later translated to an NV, and the resulting NV is not
2240            the same as the direct translation of the initial string
2241            (eg 123.456 can shortcut to the IV 123 with atol(), but we must
2242            be careful to ensure that the value with the .456 is around if the
2243            NV value is requested in the future).
2244         
2245            This means that if we cache such an IV/a UV, we need to cache the
2246            NV as well.  Moreover, we trade speed for space, and do not
2247            cache the NV if we are sure it's not needed.
2248          */
2249
2250         /* SVt_PVNV is one higher than SVt_PVIV, hence this order  */
2251         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2252              == IS_NUMBER_IN_UV) {
2253             /* It's definitely an integer, only upgrade to PVIV */
2254             if (SvTYPE(sv) < SVt_PVIV)
2255                 sv_upgrade(sv, SVt_PVIV);
2256             (void)SvIOK_on(sv);
2257         } else if (SvTYPE(sv) < SVt_PVNV)
2258             sv_upgrade(sv, SVt_PVNV);
2259
2260         if ((numtype & (IS_NUMBER_INFINITY | IS_NUMBER_NAN))) {
2261             if (ckWARN(WARN_NUMERIC) && ((numtype & IS_NUMBER_TRAILING)))
2262                 not_a_number(sv);
2263             S_sv_setnv(aTHX_ sv, numtype);
2264             return FALSE;
2265         }
2266
2267         /* If NVs preserve UVs then we only use the UV value if we know that
2268            we aren't going to call atof() below. If NVs don't preserve UVs
2269            then the value returned may have more precision than atof() will
2270            return, even though value isn't perfectly accurate.  */
2271         if ((numtype & (IS_NUMBER_IN_UV
2272 #ifdef NV_PRESERVES_UV
2273                         | IS_NUMBER_NOT_INT
2274 #endif
2275             )) == IS_NUMBER_IN_UV) {
2276             /* This won't turn off the public IOK flag if it was set above  */
2277             (void)SvIOKp_on(sv);
2278
2279             if (!(numtype & IS_NUMBER_NEG)) {
2280                 /* positive */;
2281                 if (value <= (UV)IV_MAX) {
2282                     SvIV_set(sv, (IV)value);
2283                 } else {
2284                     /* it didn't overflow, and it was positive. */
2285                     SvUV_set(sv, value);
2286                     SvIsUV_on(sv);
2287                 }
2288             } else {
2289                 /* 2s complement assumption  */
2290                 if (value <= (UV)IV_MIN) {
2291                     SvIV_set(sv, value == (UV)IV_MIN
2292                                     ? IV_MIN : -(IV)value);
2293                 } else {
2294                     /* Too negative for an IV.  This is a double upgrade, but
2295                        I'm assuming it will be rare.  */
2296                     if (SvTYPE(sv) < SVt_PVNV)
2297                         sv_upgrade(sv, SVt_PVNV);
2298                     SvNOK_on(sv);
2299                     SvIOK_off(sv);
2300                     SvIOKp_on(sv);
2301                     SvNV_set(sv, -(NV)value);
2302                     SvIV_set(sv, IV_MIN);
2303                 }
2304             }
2305         }
2306         /* For !NV_PRESERVES_UV and IS_NUMBER_IN_UV and IS_NUMBER_NOT_INT we
2307            will be in the previous block to set the IV slot, and the next
2308            block to set the NV slot.  So no else here.  */
2309         
2310         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2311             != IS_NUMBER_IN_UV) {
2312             /* It wasn't an (integer that doesn't overflow the UV). */
2313             S_sv_setnv(aTHX_ sv, numtype);
2314
2315             if (! numtype && ckWARN(WARN_NUMERIC))
2316                 not_a_number(sv);
2317
2318             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%" UVxf " 2iv(%" NVgf ")\n",
2319                                   PTR2UV(sv), SvNVX(sv)));
2320
2321 #ifdef NV_PRESERVES_UV
2322             (void)SvIOKp_on(sv);
2323             (void)SvNOK_on(sv);
2324 #if defined(NAN_COMPARE_BROKEN) && defined(Perl_isnan)
2325             if (Perl_isnan(SvNVX(sv))) {
2326                 SvUV_set(sv, 0);
2327                 SvIsUV_on(sv);
2328                 return FALSE;
2329             }
2330 #endif
2331             if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2332                 SvIV_set(sv, I_V(SvNVX(sv)));
2333                 if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
2334                     SvIOK_on(sv);
2335                 } else {
2336                     NOOP;  /* Integer is imprecise. NOK, IOKp */
2337                 }
2338                 /* UV will not work better than IV */
2339             } else {
2340                 if (SvNVX(sv) > (NV)UV_MAX) {
2341                     SvIsUV_on(sv);
2342                     /* Integer is inaccurate. NOK, IOKp, is UV */
2343                     SvUV_set(sv, UV_MAX);
2344                 } else {
2345                     SvUV_set(sv, U_V(SvNVX(sv)));
2346                     /* 0xFFFFFFFFFFFFFFFF not an issue in here, NVs
2347                        NV preservse UV so can do correct comparison.  */
2348                     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
2349                         SvIOK_on(sv);
2350                     } else {
2351                         NOOP;   /* Integer is imprecise. NOK, IOKp, is UV */
2352                     }
2353                 }
2354                 SvIsUV_on(sv);
2355             }
2356 #else /* NV_PRESERVES_UV */
2357             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2358                 == (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT)) {
2359                 /* The IV/UV slot will have been set from value returned by
2360                    grok_number above.  The NV slot has just been set using
2361                    Atof.  */
2362                 SvNOK_on(sv);
2363                 assert (SvIOKp(sv));
2364             } else {
2365                 if (((UV)1 << NV_PRESERVES_UV_BITS) >
2366                     U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2367                     /* Small enough to preserve all bits. */
2368                     (void)SvIOKp_on(sv);
2369                     SvNOK_on(sv);
2370                     SvIV_set(sv, I_V(SvNVX(sv)));
2371                     if ((NV)(SvIVX(sv)) == SvNVX(sv))
2372                         SvIOK_on(sv);
2373                     /* Assumption: first non-preserved integer is < IV_MAX,
2374                        this NV is in the preserved range, therefore: */
2375                     if (!(U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))
2376                           < (UV)IV_MAX)) {
2377                         Perl_croak(aTHX_ "sv_2iv assumed (U_V(fabs((double)SvNVX(sv))) < (UV)IV_MAX) but SvNVX(sv)=%" NVgf " U_V is 0x%" UVxf ", IV_MAX is 0x%" UVxf "\n", SvNVX(sv), U_V(SvNVX(sv)), (UV)IV_MAX);
2378                     }
2379                 } else {
2380                     /* IN_UV NOT_INT
2381                          0      0       already failed to read UV.
2382                          0      1       already failed to read UV.
2383                          1      0       you won't get here in this case. IV/UV
2384                                         slot set, public IOK, Atof() unneeded.
2385                          1      1       already read UV.
2386                        so there's no point in sv_2iuv_non_preserve() attempting
2387                        to use atol, strtol, strtoul etc.  */
2388 #  ifdef DEBUGGING
2389                     sv_2iuv_non_preserve (sv, numtype);
2390 #  else
2391                     sv_2iuv_non_preserve (sv);
2392 #  endif
2393                 }
2394             }
2395 #endif /* NV_PRESERVES_UV */
2396         /* It might be more code efficient to go through the entire logic above
2397            and conditionally set with SvIOKp_on() rather than SvIOK(), but it
2398            gets complex and potentially buggy, so more programmer efficient
2399            to do it this way, by turning off the public flags:  */
2400         if (!numtype)
2401             SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK);
2402         }
2403     }
2404     else  {
2405         if (isGV_with_GP(sv))
2406             return glob_2number(MUTABLE_GV(sv));
2407
2408         if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
2409                 report_uninit(sv);
2410         if (SvTYPE(sv) < SVt_IV)
2411             /* Typically the caller expects that sv_any is not NULL now.  */
2412             sv_upgrade(sv, SVt_IV);
2413         /* Return 0 from the caller.  */
2414         return TRUE;
2415     }
2416     return FALSE;
2417 }
2418
2419 /*
2420 =for apidoc sv_2iv_flags
2421
2422 Return the integer value of an SV, doing any necessary string
2423 conversion.  If C<flags> has the C<SV_GMAGIC> bit set, does an C<mg_get()> first.
2424 Normally used via the C<SvIV(sv)> and C<SvIVx(sv)> macros.
2425
2426 =cut
2427 */
2428
2429 IV
2430 Perl_sv_2iv_flags(pTHX_ SV *const sv, const I32 flags)
2431 {
2432     PERL_ARGS_ASSERT_SV_2IV_FLAGS;
2433
2434     assert (SvTYPE(sv) != SVt_PVAV && SvTYPE(sv) != SVt_PVHV
2435          && SvTYPE(sv) != SVt_PVFM);
2436
2437     if (SvGMAGICAL(sv) && (flags & SV_GMAGIC))
2438         mg_get(sv);
2439
2440     if (SvROK(sv)) {
2441         if (SvAMAGIC(sv)) {
2442             SV * tmpstr;
2443             if (flags & SV_SKIP_OVERLOAD)
2444                 return 0;
2445             tmpstr = AMG_CALLunary(sv, numer_amg);
2446             if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2447                 return SvIV(tmpstr);
2448             }
2449         }
2450         return PTR2IV(SvRV(sv));
2451     }
2452
2453     if (SvVALID(sv) || isREGEXP(sv)) {
2454         /* FBMs use the space for SvIVX and SvNVX for other purposes, so
2455            must not let them cache IVs.
2456            In practice they are extremely unlikely to actually get anywhere
2457            accessible by user Perl code - the only way that I'm aware of is when
2458            a constant subroutine which is used as the second argument to index.
2459
2460            Regexps have no SvIVX and SvNVX fields.
2461         */
2462         assert(SvPOKp(sv));
2463         {
2464             UV value;
2465             const char * const ptr =
2466                 isREGEXP(sv) ? RX_WRAPPED((REGEXP*)sv) : SvPVX_const(sv);
2467             const int numtype
2468                 = grok_number(ptr, SvCUR(sv), &value);
2469
2470             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2471                 == IS_NUMBER_IN_UV) {
2472                 /* It's definitely an integer */
2473                 if (numtype & IS_NUMBER_NEG) {
2474                     if (value < (UV)IV_MIN)
2475                         return -(IV)value;
2476                 } else {
2477                     if (value < (UV)IV_MAX)
2478                         return (IV)value;
2479                 }
2480             }
2481
2482             /* Quite wrong but no good choices. */
2483             if ((numtype & IS_NUMBER_INFINITY)) {
2484                 return (numtype & IS_NUMBER_NEG) ? IV_MIN : IV_MAX;
2485             } else if ((numtype & IS_NUMBER_NAN)) {
2486                 return 0; /* So wrong. */
2487             }
2488
2489             if (!numtype) {
2490                 if (ckWARN(WARN_NUMERIC))
2491                     not_a_number(sv);
2492             }
2493             return I_V(Atof(ptr));
2494         }
2495     }
2496
2497     if (SvTHINKFIRST(sv)) {
2498         if (SvREADONLY(sv) && !SvOK(sv)) {
2499             if (ckWARN(WARN_UNINITIALIZED))
2500                 report_uninit(sv);
2501             return 0;
2502         }
2503     }
2504
2505     if (!SvIOKp(sv)) {
2506         if (S_sv_2iuv_common(aTHX_ sv))
2507             return 0;
2508     }
2509
2510     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%" UVxf " 2iv(%" IVdf ")\n",
2511         PTR2UV(sv),SvIVX(sv)));
2512     return SvIsUV(sv) ? (IV)SvUVX(sv) : SvIVX(sv);
2513 }
2514
2515 /*
2516 =for apidoc sv_2uv_flags
2517
2518 Return the unsigned integer value of an SV, doing any necessary string
2519 conversion.  If C<flags> has the C<SV_GMAGIC> bit set, does an C<mg_get()> first.
2520 Normally used via the C<SvUV(sv)> and C<SvUVx(sv)> macros.
2521
2522 =cut
2523 */
2524
2525 UV
2526 Perl_sv_2uv_flags(pTHX_ SV *const sv, const I32 flags)
2527 {
2528     PERL_ARGS_ASSERT_SV_2UV_FLAGS;
2529
2530     if (SvGMAGICAL(sv) && (flags & SV_GMAGIC))
2531         mg_get(sv);
2532
2533     if (SvROK(sv)) {
2534         if (SvAMAGIC(sv)) {
2535             SV *tmpstr;
2536             if (flags & SV_SKIP_OVERLOAD)
2537                 return 0;
2538             tmpstr = AMG_CALLunary(sv, numer_amg);
2539             if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2540                 return SvUV(tmpstr);
2541             }
2542         }
2543         return PTR2UV(SvRV(sv));
2544     }
2545
2546     if (SvVALID(sv) || isREGEXP(sv)) {
2547         /* FBMs use the space for SvIVX and SvNVX for other purposes, and use
2548            the same flag bit as SVf_IVisUV, so must not let them cache IVs.  
2549            Regexps have no SvIVX and SvNVX fields. */
2550         assert(SvPOKp(sv));
2551         {
2552             UV value;
2553             const char * const ptr =
2554                 isREGEXP(sv) ? RX_WRAPPED((REGEXP*)sv) : SvPVX_const(sv);
2555             const int numtype
2556                 = grok_number(ptr, SvCUR(sv), &value);
2557
2558             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2559                 == IS_NUMBER_IN_UV) {
2560                 /* It's definitely an integer */
2561                 if (!(numtype & IS_NUMBER_NEG))
2562                     return value;
2563             }
2564
2565             /* Quite wrong but no good choices. */
2566             if ((numtype & IS_NUMBER_INFINITY)) {
2567                 return UV_MAX; /* So wrong. */
2568             } else if ((numtype & IS_NUMBER_NAN)) {
2569                 return 0; /* So wrong. */
2570             }
2571
2572             if (!numtype) {
2573                 if (ckWARN(WARN_NUMERIC))
2574                     not_a_number(sv);
2575             }
2576             return U_V(Atof(ptr));
2577         }
2578     }
2579
2580     if (SvTHINKFIRST(sv)) {
2581         if (SvREADONLY(sv) && !SvOK(sv)) {
2582             if (ckWARN(WARN_UNINITIALIZED))
2583                 report_uninit(sv);
2584             return 0;
2585         }
2586     }
2587
2588     if (!SvIOKp(sv)) {
2589         if (S_sv_2iuv_common(aTHX_ sv))
2590             return 0;
2591     }
2592
2593     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%" UVxf " 2uv(%" UVuf ")\n",
2594                           PTR2UV(sv),SvUVX(sv)));
2595     return SvIsUV(sv) ? SvUVX(sv) : (UV)SvIVX(sv);
2596 }
2597
2598 /*
2599 =for apidoc sv_2nv_flags
2600
2601 Return the num value of an SV, doing any necessary string or integer
2602 conversion.  If C<flags> has the C<SV_GMAGIC> bit set, does an C<mg_get()> first.
2603 Normally used via the C<SvNV(sv)> and C<SvNVx(sv)> macros.
2604
2605 =cut
2606 */
2607
2608 NV
2609 Perl_sv_2nv_flags(pTHX_ SV *const sv, const I32 flags)
2610 {
2611     PERL_ARGS_ASSERT_SV_2NV_FLAGS;
2612
2613     assert (SvTYPE(sv) != SVt_PVAV && SvTYPE(sv) != SVt_PVHV
2614          && SvTYPE(sv) != SVt_PVFM);
2615     if (SvGMAGICAL(sv) || SvVALID(sv) || isREGEXP(sv)) {
2616         /* FBMs use the space for SvIVX and SvNVX for other purposes, and use
2617            the same flag bit as SVf_IVisUV, so must not let them cache NVs.
2618            Regexps have no SvIVX and SvNVX fields.  */
2619         const char *ptr;
2620         if (flags & SV_GMAGIC)
2621             mg_get(sv);
2622         if (SvNOKp(sv))
2623             return SvNVX(sv);
2624         if (SvPOKp(sv) && !SvIOKp(sv)) {
2625             ptr = SvPVX_const(sv);
2626             if (!SvIOKp(sv) && ckWARN(WARN_NUMERIC) &&
2627                 !grok_number(ptr, SvCUR(sv), NULL))
2628                 not_a_number(sv);
2629             return Atof(ptr);
2630         }
2631         if (SvIOKp(sv)) {
2632             if (SvIsUV(sv))
2633                 return (NV)SvUVX(sv);
2634             else
2635                 return (NV)SvIVX(sv);
2636         }
2637         if (SvROK(sv)) {
2638             goto return_rok;
2639         }
2640         assert(SvTYPE(sv) >= SVt_PVMG);
2641         /* This falls through to the report_uninit near the end of the
2642            function. */
2643     } else if (SvTHINKFIRST(sv)) {
2644         if (SvROK(sv)) {
2645         return_rok:
2646             if (SvAMAGIC(sv)) {
2647                 SV *tmpstr;
2648                 if (flags & SV_SKIP_OVERLOAD)
2649                     return 0;
2650                 tmpstr = AMG_CALLunary(sv, numer_amg);
2651                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2652                     return SvNV(tmpstr);
2653                 }
2654             }
2655             return PTR2NV(SvRV(sv));
2656         }
2657         if (SvREADONLY(sv) && !SvOK(sv)) {
2658             if (ckWARN(WARN_UNINITIALIZED))
2659                 report_uninit(sv);
2660             return 0.0;
2661         }
2662     }
2663     if (SvTYPE(sv) < SVt_NV) {
2664         /* The logic to use SVt_PVNV if necessary is in sv_upgrade.  */
2665         sv_upgrade(sv, SVt_NV);
2666         CLANG_DIAG_IGNORE_STMT(-Wthread-safety);
2667         DEBUG_c({
2668             DECLARATION_FOR_LC_NUMERIC_MANIPULATION;
2669             STORE_LC_NUMERIC_SET_STANDARD();
2670             PerlIO_printf(Perl_debug_log,
2671                           "0x%" UVxf " num(%" NVgf ")\n",
2672                           PTR2UV(sv), SvNVX(sv));
2673             RESTORE_LC_NUMERIC();
2674         });
2675         CLANG_DIAG_RESTORE_STMT;
2676
2677     }
2678     else if (SvTYPE(sv) < SVt_PVNV)
2679         sv_upgrade(sv, SVt_PVNV);
2680     if (SvNOKp(sv)) {
2681         return SvNVX(sv);
2682     }
2683     if (SvIOKp(sv)) {
2684         SvNV_set(sv, SvIsUV(sv) ? (NV)SvUVX(sv) : (NV)SvIVX(sv));
2685 #ifdef NV_PRESERVES_UV
2686         if (SvIOK(sv))
2687             SvNOK_on(sv);
2688         else
2689             SvNOKp_on(sv);
2690 #else
2691         /* Only set the public NV OK flag if this NV preserves the IV  */
2692         /* Check it's not 0xFFFFFFFFFFFFFFFF */
2693         if (SvIOK(sv) &&
2694             SvIsUV(sv) ? ((SvUVX(sv) != UV_MAX)&&(SvUVX(sv) == U_V(SvNVX(sv))))
2695                        : (SvIVX(sv) == I_V(SvNVX(sv))))
2696             SvNOK_on(sv);
2697         else
2698             SvNOKp_on(sv);
2699 #endif
2700     }
2701     else if (SvPOKp(sv)) {
2702         UV value;
2703         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2704         if (!SvIOKp(sv) && !numtype && ckWARN(WARN_NUMERIC))
2705             not_a_number(sv);
2706 #ifdef NV_PRESERVES_UV
2707         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2708             == IS_NUMBER_IN_UV) {
2709             /* It's definitely an integer */
2710             SvNV_set(sv, (numtype & IS_NUMBER_NEG) ? -(NV)value : (NV)value);
2711         } else {
2712             S_sv_setnv(aTHX_ sv, numtype);
2713         }
2714         if (numtype)
2715             SvNOK_on(sv);
2716         else
2717             SvNOKp_on(sv);
2718 #else
2719         SvNV_set(sv, Atof(SvPVX_const(sv)));
2720         /* Only set the public NV OK flag if this NV preserves the value in
2721            the PV at least as well as an IV/UV would.
2722            Not sure how to do this 100% reliably. */
2723         /* if that shift count is out of range then Configure's test is
2724            wonky. We shouldn't be in here with NV_PRESERVES_UV_BITS ==
2725            UV_BITS */
2726         if (((UV)1 << NV_PRESERVES_UV_BITS) >
2727             U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2728             SvNOK_on(sv); /* Definitely small enough to preserve all bits */
2729         } else if (!(numtype & IS_NUMBER_IN_UV)) {
2730             /* Can't use strtol etc to convert this string, so don't try.
2731                sv_2iv and sv_2uv will use the NV to convert, not the PV.  */
2732             SvNOK_on(sv);
2733         } else {
2734             /* value has been set.  It may not be precise.  */
2735             if ((numtype & IS_NUMBER_NEG) && (value >= (UV)IV_MIN)) {
2736                 /* 2s complement assumption for (UV)IV_MIN  */
2737                 SvNOK_on(sv); /* Integer is too negative.  */
2738             } else {
2739                 SvNOKp_on(sv);
2740                 SvIOKp_on(sv);
2741
2742                 if (numtype & IS_NUMBER_NEG) {
2743                     /* -IV_MIN is undefined, but we should never reach
2744                      * this point with both IS_NUMBER_NEG and value ==
2745                      * (UV)IV_MIN */
2746                     assert(value != (UV)IV_MIN);
2747                     SvIV_set(sv, -(IV)value);
2748                 } else if (value <= (UV)IV_MAX) {
2749                     SvIV_set(sv, (IV)value);
2750                 } else {
2751                     SvUV_set(sv, value);
2752                     SvIsUV_on(sv);
2753                 }
2754
2755                 if (numtype & IS_NUMBER_NOT_INT) {
2756                     /* I believe that even if the original PV had decimals,
2757                        they are lost beyond the limit of the FP precision.
2758                        However, neither is canonical, so both only get p
2759                        flags.  NWC, 2000/11/25 */
2760                     /* Both already have p flags, so do nothing */
2761                 } else {
2762                     const NV nv = SvNVX(sv);
2763                     /* XXX should this spot have NAN_COMPARE_BROKEN, too? */
2764                     if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2765                         if (SvIVX(sv) == I_V(nv)) {
2766                             SvNOK_on(sv);
2767                         } else {
2768                             /* It had no "." so it must be integer.  */
2769                         }
2770                         SvIOK_on(sv);
2771                     } else {
2772                         /* between IV_MAX and NV(UV_MAX).
2773                            Could be slightly > UV_MAX */
2774
2775                         if (numtype & IS_NUMBER_NOT_INT) {
2776                             /* UV and NV both imprecise.  */
2777                         } else {
2778                             const UV nv_as_uv = U_V(nv);
2779
2780                             if (value == nv_as_uv && SvUVX(sv) != UV_MAX) {
2781                                 SvNOK_on(sv);
2782                             }
2783                             SvIOK_on(sv);
2784                         }
2785                     }
2786                 }
2787             }
2788         }
2789         /* It might be more code efficient to go through the entire logic above
2790            and conditionally set with SvNOKp_on() rather than SvNOK(), but it
2791            gets complex and potentially buggy, so more programmer efficient
2792            to do it this way, by turning off the public flags:  */
2793         if (!numtype)
2794             SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK);
2795 #endif /* NV_PRESERVES_UV */
2796     }
2797     else  {
2798         if (isGV_with_GP(sv)) {
2799             glob_2number(MUTABLE_GV(sv));
2800             return 0.0;
2801         }
2802
2803         if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
2804             report_uninit(sv);
2805         assert (SvTYPE(sv) >= SVt_NV);
2806         /* Typically the caller expects that sv_any is not NULL now.  */
2807         /* XXX Ilya implies that this is a bug in callers that assume this
2808            and ideally should be fixed.  */
2809         return 0.0;
2810     }
2811     CLANG_DIAG_IGNORE_STMT(-Wthread-safety);
2812     DEBUG_c({
2813         DECLARATION_FOR_LC_NUMERIC_MANIPULATION;
2814         STORE_LC_NUMERIC_SET_STANDARD();
2815         PerlIO_printf(Perl_debug_log, "0x%" UVxf " 2nv(%" NVgf ")\n",
2816                       PTR2UV(sv), SvNVX(sv));
2817         RESTORE_LC_NUMERIC();
2818     });
2819     CLANG_DIAG_RESTORE_STMT;
2820     return SvNVX(sv);
2821 }
2822
2823 /*
2824 =for apidoc sv_2num
2825
2826 Return an SV with the numeric value of the source SV, doing any necessary
2827 reference or overload conversion.  The caller is expected to have handled
2828 get-magic already.
2829
2830 =cut
2831 */
2832
2833 SV *
2834 Perl_sv_2num(pTHX_ SV *const sv)
2835 {
2836     PERL_ARGS_ASSERT_SV_2NUM;
2837
2838     if (!SvROK(sv))
2839         return sv;
2840     if (SvAMAGIC(sv)) {
2841         SV * const tmpsv = AMG_CALLunary(sv, numer_amg);
2842         TAINT_IF(tmpsv && SvTAINTED(tmpsv));
2843         if (tmpsv && (!SvROK(tmpsv) || (SvRV(tmpsv) != SvRV(sv))))
2844             return sv_2num(tmpsv);
2845     }
2846     return sv_2mortal(newSVuv(PTR2UV(SvRV(sv))));
2847 }
2848
2849 /* int2str_table: lookup table containing string representations of all
2850  * two digit numbers. For example, int2str_table.arr[0] is "00" and
2851  * int2str_table.arr[12*2] is "12".
2852  *
2853  * We are going to read two bytes at a time, so we have to ensure that
2854  * the array is aligned to a 2 byte boundary. That's why it was made a
2855  * union with a dummy U16 member. */
2856 static const union {
2857     char arr[200];
2858     U16 dummy;
2859 } int2str_table = {{
2860     '0', '0', '0', '1', '0', '2', '0', '3', '0', '4', '0', '5', '0', '6',
2861     '0', '7', '0', '8', '0', '9', '1', '0', '1', '1', '1', '2', '1', '3',
2862     '1', '4', '1', '5', '1', '6', '1', '7', '1', '8', '1', '9', '2', '0',
2863     '2', '1', '2', '2', '2', '3', '2', '4', '2', '5', '2', '6', '2', '7',
2864     '2', '8', '2', '9', '3', '0', '3', '1', '3', '2', '3', '3', '3', '4',
2865     '3', '5', '3', '6', '3', '7', '3', '8', '3', '9', '4', '0', '4', '1',
2866     '4', '2', '4', '3', '4', '4', '4', '5', '4', '6', '4', '7', '4', '8',
2867     '4', '9', '5', '0', '5', '1', '5', '2', '5', '3', '5', '4', '5', '5',
2868     '5', '6', '5', '7', '5', '8', '5', '9', '6', '0', '6', '1', '6', '2',
2869     '6', '3', '6', '4', '6', '5', '6', '6', '6', '7', '6', '8', '6', '9',
2870     '7', '0', '7', '1', '7', '2', '7', '3', '7', '4', '7', '5', '7', '6',
2871     '7', '7', '7', '8', '7', '9', '8', '0', '8', '1', '8', '2', '8', '3',
2872     '8', '4', '8', '5', '8', '6', '8', '7', '8', '8', '8', '9', '9', '0',
2873     '9', '1', '9', '2', '9', '3', '9', '4', '9', '5', '9', '6', '9', '7',
2874     '9', '8', '9', '9'
2875 }};
2876
2877 /* uiv_2buf(): private routine for use by sv_2pv_flags(): print an IV or
2878  * UV as a string towards the end of buf, and return pointers to start and
2879  * end of it.
2880  *
2881  * We assume that buf is at least TYPE_CHARS(UV) long.
2882  */
2883
2884 PERL_STATIC_INLINE char *
2885 S_uiv_2buf(char *const buf, const IV iv, UV uv, const int is_uv, char **const peob)
2886 {
2887     char *ptr = buf + TYPE_CHARS(UV);
2888     char * const ebuf = ptr;
2889     int sign;
2890     U16 *word_ptr, *word_table;
2891
2892     PERL_ARGS_ASSERT_UIV_2BUF;
2893
2894     /* ptr has to be properly aligned, because we will cast it to U16* */
2895     assert(PTR2nat(ptr) % 2 == 0);
2896     /* we are going to read/write two bytes at a time */
2897     word_ptr = (U16*)ptr;
2898     word_table = (U16*)int2str_table.arr;
2899
2900     if (UNLIKELY(is_uv))
2901         sign = 0;
2902     else if (iv >= 0) {
2903         uv = iv;
2904         sign = 0;
2905     } else {
2906         /* Using 0- here to silence bogus warning from MS VC */
2907         uv = (UV) (0 - (UV) iv);
2908         sign = 1;
2909     }
2910
2911     while (uv > 99) {
2912         *--word_ptr = word_table[uv % 100];
2913         uv /= 100;
2914     }
2915     ptr = (char*)word_ptr;
2916
2917     if (uv < 10)
2918         *--ptr = (char)uv + '0';
2919     else {
2920         *--word_ptr = word_table[uv];
2921         ptr = (char*)word_ptr;
2922     }
2923
2924     if (sign)
2925         *--ptr = '-';
2926
2927     *peob = ebuf;
2928     return ptr;
2929 }
2930
2931 /* Helper for sv_2pv_flags and sv_vcatpvfn_flags.  If the NV is an
2932  * infinity or a not-a-number, writes the appropriate strings to the
2933  * buffer, including a zero byte.  On success returns the written length,
2934  * excluding the zero byte, on failure (not an infinity, not a nan)
2935  * returns zero, assert-fails on maxlen being too short.
2936  *
2937  * XXX for "Inf", "-Inf", and "NaN", we could have three read-only
2938  * shared string constants we point to, instead of generating a new
2939  * string for each instance. */
2940 STATIC size_t
2941 S_infnan_2pv(NV nv, char* buffer, size_t maxlen, char plus) {
2942     char* s = buffer;
2943     assert(maxlen >= 4);
2944     if (Perl_isinf(nv)) {
2945         if (nv < 0) {
2946             if (maxlen < 5) /* "-Inf\0"  */
2947                 return 0;
2948             *s++ = '-';
2949         } else if (plus) {
2950             *s++ = '+';
2951         }
2952         *s++ = 'I';
2953         *s++ = 'n';
2954         *s++ = 'f';
2955     }
2956     else if (Perl_isnan(nv)) {
2957         *s++ = 'N';
2958         *s++ = 'a';
2959         *s++ = 'N';
2960         /* XXX optionally output the payload mantissa bits as
2961          * "(unsigned)" (to match the nan("...") C99 function,
2962          * or maybe as "(0xhhh...)"  would make more sense...
2963          * provide a format string so that the user can decide?
2964          * NOTE: would affect the maxlen and assert() logic.*/
2965     }
2966     else {
2967       return 0;
2968     }
2969     assert((s == buffer + 3) || (s == buffer + 4));
2970     *s = 0;
2971     return s - buffer;
2972 }
2973
2974 /*
2975 =for apidoc sv_2pv_flags
2976
2977 Returns a pointer to the string value of an SV, and sets C<*lp> to its length.
2978 If flags has the C<SV_GMAGIC> bit set, does an C<mg_get()> first.  Coerces C<sv> to a
2979 string if necessary.  Normally invoked via the C<SvPV_flags> macro.
2980 C<sv_2pv()> and C<sv_2pv_nomg> usually end up here too.
2981
2982 =cut
2983 */
2984
2985 char *
2986 Perl_sv_2pv_flags(pTHX_ SV *const sv, STRLEN *const lp, const I32 flags)
2987 {
2988     char *s;
2989
2990     PERL_ARGS_ASSERT_SV_2PV_FLAGS;
2991
2992     assert (SvTYPE(sv) != SVt_PVAV && SvTYPE(sv) != SVt_PVHV
2993          && SvTYPE(sv) != SVt_PVFM);
2994     if (SvGMAGICAL(sv) && (flags & SV_GMAGIC))
2995         mg_get(sv);
2996     if (SvROK(sv)) {
2997         if (SvAMAGIC(sv)) {
2998             SV *tmpstr;
2999             if (flags & SV_SKIP_OVERLOAD)
3000                 return NULL;
3001             tmpstr = AMG_CALLunary(sv, string_amg);
3002             TAINT_IF(tmpstr && SvTAINTED(tmpstr));
3003             if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
3004                 /* Unwrap this:  */
3005                 /* char *pv = lp ? SvPV(tmpstr, *lp) : SvPV_nolen(tmpstr);
3006                  */
3007
3008                 char *pv;
3009                 if ((SvFLAGS(tmpstr) & (SVf_POK)) == SVf_POK) {
3010                     if (flags & SV_CONST_RETURN) {
3011                         pv = (char *) SvPVX_const(tmpstr);
3012                     } else {
3013                         pv = (flags & SV_MUTABLE_RETURN)
3014                             ? SvPVX_mutable(tmpstr) : SvPVX(tmpstr);
3015                     }
3016                     if (lp)
3017                         *lp = SvCUR(tmpstr);
3018                 } else {
3019                     pv = sv_2pv_flags(tmpstr, lp, flags);
3020                 }
3021                 if (SvUTF8(tmpstr))
3022                     SvUTF8_on(sv);
3023                 else
3024                     SvUTF8_off(sv);
3025                 return pv;
3026             }
3027         }
3028         {
3029             STRLEN len;
3030             char *retval;
3031             char *buffer;
3032             SV *const referent = SvRV(sv);
3033
3034             if (!referent) {
3035                 len = 7;
3036                 retval = buffer = savepvn("NULLREF", len);
3037             } else if (SvTYPE(referent) == SVt_REGEXP &&
3038                        (!(PL_curcop->cop_hints & HINT_NO_AMAGIC) ||
3039                         amagic_is_enabled(string_amg))) {
3040                 REGEXP * const re = (REGEXP *)MUTABLE_PTR(referent);
3041
3042                 assert(re);
3043                         
3044                 /* If the regex is UTF-8 we want the containing scalar to
3045                    have an UTF-8 flag too */
3046                 if (RX_UTF8(re))
3047                     SvUTF8_on(sv);
3048                 else
3049                     SvUTF8_off(sv);     
3050
3051                 if (lp)
3052                     *lp = RX_WRAPLEN(re);
3053  
3054                 return RX_WRAPPED(re);
3055             } else {
3056                 const char *const typestr = sv_reftype(referent, 0);
3057                 const STRLEN typelen = strlen(typestr);
3058                 UV addr = PTR2UV(referent);
3059                 const char *stashname = NULL;
3060                 STRLEN stashnamelen = 0; /* hush, gcc */
3061                 const char *buffer_end;
3062
3063                 if (SvOBJECT(referent)) {
3064                     const HEK *const name = HvNAME_HEK(SvSTASH(referent));
3065
3066                     if (name) {
3067                         stashname = HEK_KEY(name);
3068                         stashnamelen = HEK_LEN(name);
3069
3070                         if (HEK_UTF8(name)) {
3071                             SvUTF8_on(sv);
3072                         } else {
3073                             SvUTF8_off(sv);
3074                         }
3075                     } else {
3076                         stashname = "__ANON__";
3077                         stashnamelen = 8;
3078                     }
3079                     len = stashnamelen + 1 /* = */ + typelen + 3 /* (0x */
3080                         + 2 * sizeof(UV) + 2 /* )\0 */;
3081                 } else {
3082                     len = typelen + 3 /* (0x */
3083                         + 2 * sizeof(UV) + 2 /* )\0 */;
3084                 }
3085
3086                 Newx(buffer, len, char);
3087                 buffer_end = retval = buffer + len;
3088
3089                 /* Working backwards  */
3090                 *--retval = '\0';
3091                 *--retval = ')';
3092                 do {
3093                     *--retval = PL_hexdigit[addr & 15];
3094                 } while (addr >>= 4);
3095                 *--retval = 'x';
3096                 *--retval = '0';
3097                 *--retval = '(';
3098
3099                 retval -= typelen;
3100                 memcpy(retval, typestr, typelen);
3101
3102                 if (stashname) {
3103                     *--retval = '=';
3104                     retval -= stashnamelen;
3105                     memcpy(retval, stashname, stashnamelen);
3106                 }
3107                 /* retval may not necessarily have reached the start of the
3108                    buffer here.  */
3109                 assert (retval >= buffer);
3110
3111                 len = buffer_end - retval - 1; /* -1 for that \0  */
3112             }
3113             if (lp)
3114                 *lp = len;
3115             SAVEFREEPV(buffer);
3116             return retval;
3117         }
3118     }
3119
3120     if (SvPOKp(sv)) {
3121         if (lp)
3122             *lp = SvCUR(sv);
3123         if (flags & SV_MUTABLE_RETURN)
3124             return SvPVX_mutable(sv);
3125         if (flags & SV_CONST_RETURN)
3126             return (char *)SvPVX_const(sv);
3127         return SvPVX(sv);
3128     }
3129
3130     if (SvIOK(sv)) {
3131         /* I'm assuming that if both IV and NV are equally valid then
3132            converting the IV is going to be more efficient */
3133         const U32 isUIOK = SvIsUV(sv);
3134         /* The purpose of this union is to ensure that arr is aligned on
3135            a 2 byte boundary, because that is what uiv_2buf() requires */
3136         union {
3137             char arr[TYPE_CHARS(UV)];
3138             U16 dummy;
3139         } buf;
3140         char *ebuf, *ptr;
3141         STRLEN len;
3142
3143         if (SvTYPE(sv) < SVt_PVIV)
3144             sv_upgrade(sv, SVt_PVIV);
3145         ptr = uiv_2buf(buf.arr, SvIVX(sv), SvUVX(sv), isUIOK, &ebuf);
3146         len = ebuf - ptr;
3147         /* inlined from sv_setpvn */
3148         s = SvGROW_mutable(sv, len + 1);
3149         Move(ptr, s, len, char);
3150         s += len;
3151         *s = '\0';
3152         SvPOK_on(sv);
3153     }
3154     else if (SvNOK(sv)) {
3155         if (SvTYPE(sv) < SVt_PVNV)
3156             sv_upgrade(sv, SVt_PVNV);
3157         if (SvNVX(sv) == 0.0
3158 #if defined(NAN_COMPARE_BROKEN) && defined(Perl_isnan)
3159             && !Perl_isnan(SvNVX(sv))
3160 #endif
3161         ) {
3162             s = SvGROW_mutable(sv, 2);
3163             *s++ = '0';
3164             *s = '\0';
3165         } else {
3166             STRLEN len;
3167             STRLEN size = 5; /* "-Inf\0" */
3168
3169             s = SvGROW_mutable(sv, size);
3170             len = S_infnan_2pv(SvNVX(sv), s, size, 0);
3171             if (len > 0) {
3172                 s += len;
3173                 SvPOK_on(sv);
3174             }
3175             else {
3176                 /* some Xenix systems wipe out errno here */
3177                 dSAVE_ERRNO;
3178
3179                 size =
3180                     1 + /* sign */
3181                     1 + /* "." */
3182                     NV_DIG +
3183                     1 + /* "e" */
3184                     1 + /* sign */
3185                     5 + /* exponent digits */
3186                     1 + /* \0 */
3187                     2; /* paranoia */
3188
3189                 s = SvGROW_mutable(sv, size);
3190 #ifndef USE_LOCALE_NUMERIC
3191                 SNPRINTF_G(SvNVX(sv), s, SvLEN(sv), NV_DIG);
3192
3193                 SvPOK_on(sv);
3194 #else
3195                 {
3196                     bool local_radix;
3197                     DECLARATION_FOR_LC_NUMERIC_MANIPULATION;
3198                     STORE_LC_NUMERIC_SET_TO_NEEDED();
3199
3200                     local_radix = _NOT_IN_NUMERIC_STANDARD;
3201                     if (local_radix && SvCUR(PL_numeric_radix_sv) > 1) {
3202                         size += SvCUR(PL_numeric_radix_sv) - 1;
3203                         s = SvGROW_mutable(sv, size);
3204                     }
3205
3206                     SNPRINTF_G(SvNVX(sv), s, SvLEN(sv), NV_DIG);
3207
3208                     /* If the radix character is UTF-8, and actually is in the
3209                      * output, turn on the UTF-8 flag for the scalar */
3210                     if (   local_radix
3211                         && SvUTF8(PL_numeric_radix_sv)
3212                         && instr(s, SvPVX_const(PL_numeric_radix_sv)))
3213                     {
3214                         SvUTF8_on(sv);
3215                     }
3216
3217                     RESTORE_LC_NUMERIC();
3218                 }
3219
3220                 /* We don't call SvPOK_on(), because it may come to
3221                  * pass that the locale changes so that the
3222                  * stringification we just did is no longer correct.  We
3223                  * will have to re-stringify every time it is needed */
3224 #endif
3225                 RESTORE_ERRNO;
3226             }
3227             while (*s) s++;
3228         }
3229     }
3230     else if (isGV_with_GP(sv)) {
3231         GV *const gv = MUTABLE_GV(sv);
3232         SV *const buffer = sv_newmortal();
3233
3234         gv_efullname3(buffer, gv, "*");
3235
3236         assert(SvPOK(buffer));
3237         if (SvUTF8(buffer))
3238             SvUTF8_on(sv);
3239         else
3240             SvUTF8_off(sv);
3241         if (lp)
3242             *lp = SvCUR(buffer);
3243         return SvPVX(buffer);
3244     }
3245     else {
3246         if (lp)
3247             *lp = 0;
3248         if (flags & SV_UNDEF_RETURNS_NULL)
3249             return NULL;
3250         if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
3251             report_uninit(sv);
3252         /* Typically the caller expects that sv_any is not NULL now.  */
3253         if (!SvREADONLY(sv) && SvTYPE(sv) < SVt_PV)
3254             sv_upgrade(sv, SVt_PV);
3255         return (char *)"";
3256     }
3257
3258     {
3259         const STRLEN len = s - SvPVX_const(sv);
3260         if (lp) 
3261             *lp = len;
3262         SvCUR_set(sv, len);
3263     }
3264     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%" UVxf " 2pv(%s)\n",
3265                           PTR2UV(sv),SvPVX_const(sv)));
3266     if (flags & SV_CONST_RETURN)
3267         return (char *)SvPVX_const(sv);
3268     if (flags & SV_MUTABLE_RETURN)
3269         return SvPVX_mutable(sv);
3270     return SvPVX(sv);
3271 }
3272
3273 /*
3274 =for apidoc sv_copypv
3275
3276 Copies a stringified representation of the source SV into the
3277 destination SV.  Automatically performs any necessary C<mg_get> and
3278 coercion of numeric values into strings.  Guaranteed to preserve
3279 C<UTF8> flag even from overloaded objects.  Similar in nature to
3280 C<sv_2pv[_flags]> but operates directly on an SV instead of just the
3281 string.  Mostly uses C<sv_2pv_flags> to do its work, except when that
3282 would lose the UTF-8'ness of the PV.
3283
3284 =for apidoc sv_copypv_nomg
3285
3286 Like C<sv_copypv>, but doesn't invoke get magic first.
3287
3288 =for apidoc sv_copypv_flags
3289
3290 Implementation of C<sv_copypv> and C<sv_copypv_nomg>.  Calls get magic iff flags
3291 has the C<SV_GMAGIC> bit set.
3292
3293 =cut
3294 */
3295
3296 void
3297 Perl_sv_copypv_flags(pTHX_ SV *const dsv, SV *const ssv, const I32 flags)
3298 {
3299     STRLEN len;
3300     const char *s;
3301
3302     PERL_ARGS_ASSERT_SV_COPYPV_FLAGS;
3303
3304     s = SvPV_flags_const(ssv,len,(flags & SV_GMAGIC));
3305     sv_setpvn(dsv,s,len);
3306     if (SvUTF8(ssv))
3307         SvUTF8_on(dsv);
3308     else
3309         SvUTF8_off(dsv);
3310 }
3311
3312 /*
3313 =for apidoc sv_2pvbyte
3314
3315 Return a pointer to the byte-encoded representation of the SV, and set C<*lp>
3316 to its length.  May cause the SV to be downgraded from UTF-8 as a
3317 side-effect.
3318
3319 Usually accessed via the C<SvPVbyte> macro.
3320
3321 =cut
3322 */
3323
3324 char *
3325 Perl_sv_2pvbyte(pTHX_ SV *sv, STRLEN *const lp)
3326 {
3327     PERL_ARGS_ASSERT_SV_2PVBYTE;
3328
3329     SvGETMAGIC(sv);
3330     if (((SvREADONLY(sv) || SvFAKE(sv)) && !SvIsCOW(sv))
3331      || isGV_with_GP(sv) || SvROK(sv)) {
3332         SV *sv2 = sv_newmortal();
3333         sv_copypv_nomg(sv2,sv);
3334         sv = sv2;
3335     }
3336     sv_utf8_downgrade(sv,0);
3337     return lp ? SvPV_nomg(sv,*lp) : SvPV_nomg_nolen(sv);
3338 }
3339
3340 /*
3341 =for apidoc sv_2pvutf8
3342
3343 Return a pointer to the UTF-8-encoded representation of the SV, and set C<*lp>
3344 to its length.  May cause the SV to be upgraded to UTF-8 as a side-effect.
3345
3346 Usually accessed via the C<SvPVutf8> macro.
3347
3348 =cut
3349 */
3350
3351 char *
3352 Perl_sv_2pvutf8(pTHX_ SV *sv, STRLEN *const lp)
3353 {
3354     PERL_ARGS_ASSERT_SV_2PVUTF8;
3355
3356     if (((SvREADONLY(sv) || SvFAKE(sv)) && !SvIsCOW(sv))
3357      || isGV_with_GP(sv) || SvROK(sv))
3358         sv = sv_mortalcopy(sv);
3359     else
3360         SvGETMAGIC(sv);
3361     sv_utf8_upgrade_nomg(sv);
3362     return lp ? SvPV_nomg(sv,*lp) : SvPV_nomg_nolen(sv);
3363 }
3364
3365
3366 /*
3367 =for apidoc sv_2bool
3368
3369 This macro is only used by C<sv_true()> or its macro equivalent, and only if
3370 the latter's argument is neither C<SvPOK>, C<SvIOK> nor C<SvNOK>.
3371 It calls C<sv_2bool_flags> with the C<SV_GMAGIC> flag.
3372
3373 =for apidoc sv_2bool_flags
3374
3375 This function is only used by C<sv_true()> and friends,  and only if
3376 the latter's argument is neither C<SvPOK>, C<SvIOK> nor C<SvNOK>.  If the flags
3377 contain C<SV_GMAGIC>, then it does an C<mg_get()> first.
3378
3379
3380 =cut
3381 */
3382
3383 bool
3384 Perl_sv_2bool_flags(pTHX_ SV *sv, I32 flags)
3385 {
3386     PERL_ARGS_ASSERT_SV_2BOOL_FLAGS;
3387
3388     restart:
3389     if(flags & SV_GMAGIC) SvGETMAGIC(sv);
3390
3391     if (!SvOK(sv))
3392         return 0;
3393     if (SvROK(sv)) {
3394         if (SvAMAGIC(sv)) {
3395             SV * const tmpsv = AMG_CALLunary(sv, bool__amg);
3396             if (tmpsv && (!SvROK(tmpsv) || (SvRV(tmpsv) != SvRV(sv)))) {
3397                 bool svb;
3398                 sv = tmpsv;
3399                 if(SvGMAGICAL(sv)) {
3400                     flags = SV_GMAGIC;
3401                     goto restart; /* call sv_2bool */
3402                 }
3403                 /* expanded SvTRUE_common(sv, (flags = 0, goto restart)) */
3404                 else if(!SvOK(sv)) {
3405                     svb = 0;
3406                 }
3407                 else if(SvPOK(sv)) {
3408                     svb = SvPVXtrue(sv);
3409                 }
3410                 else if((SvFLAGS(sv) & (SVf_IOK|SVf_NOK))) {
3411                     svb = (SvIOK(sv) && SvIVX(sv) != 0)
3412                         || (SvNOK(sv) && SvNVX(sv) != 0.0);
3413                 }
3414                 else {
3415                     flags = 0;
3416                     goto restart; /* call sv_2bool_nomg */
3417                 }
3418                 return cBOOL(svb);
3419             }
3420         }
3421         assert(SvRV(sv));
3422         return TRUE;
3423     }
3424     if (isREGEXP(sv))
3425         return
3426           RX_WRAPLEN(sv) > 1 || (RX_WRAPLEN(sv) && *RX_WRAPPED(sv) != '0');
3427
3428     if (SvNOK(sv) && !SvPOK(sv))
3429         return SvNVX(sv) != 0.0;
3430
3431     return SvTRUE_common(sv, isGV_with_GP(sv) ? 1 : 0);
3432 }
3433
3434 /*
3435 =for apidoc sv_utf8_upgrade
3436
3437 Converts the PV of an SV to its UTF-8-encoded form.
3438 Forces the SV to string form if it is not already.
3439 Will C<mg_get> on C<sv> if appropriate.
3440 Always sets the C<SvUTF8> flag to avoid future validity checks even
3441 if the whole string is the same in UTF-8 as not.
3442 Returns the number of bytes in the converted string
3443
3444 This is not a general purpose byte encoding to Unicode interface:
3445 use the Encode extension for that.
3446
3447 =for apidoc sv_utf8_upgrade_nomg
3448
3449 Like C<sv_utf8_upgrade>, but doesn't do magic on C<sv>.
3450
3451 =for apidoc sv_utf8_upgrade_flags
3452
3453 Converts the PV of an SV to its UTF-8-encoded form.
3454 Forces the SV to string form if it is not already.
3455 Always sets the SvUTF8 flag to avoid future validity checks even
3456 if all the bytes are invariant in UTF-8.
3457 If C<flags> has C<SV_GMAGIC> bit set,
3458 will C<mg_get> on C<sv> if appropriate, else not.
3459
3460 The C<SV_FORCE_UTF8_UPGRADE> flag is now ignored.
3461
3462 Returns the number of bytes in the converted string.
3463
3464 This is not a general purpose byte encoding to Unicode interface:
3465 use the Encode extension for that.
3466
3467 =for apidoc sv_utf8_upgrade_flags_grow
3468
3469 Like C<sv_utf8_upgrade_flags>, but has an additional parameter C<extra>, which is
3470 the number of unused bytes the string of C<sv> is guaranteed to have free after
3471 it upon return.  This allows the caller to reserve extra space that it intends
3472 to fill, to avoid extra grows.
3473
3474 C<sv_utf8_upgrade>, C<sv_utf8_upgrade_nomg>, and C<sv_utf8_upgrade_flags>
3475 are implemented in terms of this function.
3476
3477 Returns the number of bytes in the converted string (not including the spares).
3478
3479 =cut
3480
3481 If the routine itself changes the string, it adds a trailing C<NUL>.  Such a
3482 C<NUL> isn't guaranteed due to having other routines do the work in some input
3483 cases, or if the input is already flagged as being in utf8.
3484
3485 */
3486
3487 STRLEN
3488 Perl_sv_utf8_upgrade_flags_grow(pTHX_ SV *const sv, const I32 flags, STRLEN extra)
3489 {
3490     PERL_ARGS_ASSERT_SV_UTF8_UPGRADE_FLAGS_GROW;
3491
3492     if (sv == &PL_sv_undef)
3493         return 0;
3494     if (!SvPOK_nog(sv)) {
3495         STRLEN len = 0;
3496         if (SvREADONLY(sv) && (SvPOKp(sv) || SvIOKp(sv) || SvNOKp(sv))) {
3497             (void) sv_2pv_flags(sv,&len, flags);
3498             if (SvUTF8(sv)) {
3499                 if (extra) SvGROW(sv, SvCUR(sv) + extra);
3500                 return len;
3501             }
3502         } else {
3503             (void) SvPV_force_flags(sv,len,flags & SV_GMAGIC);
3504         }
3505     }
3506
3507     /* SVt_REGEXP's shouldn't be upgraded to UTF8 - they're already
3508      * compiled and individual nodes will remain non-utf8 even if the
3509      * stringified version of the pattern gets upgraded. Whether the
3510      * PVX of a REGEXP should be grown or we should just croak, I don't
3511      * know - DAPM */
3512     if (SvUTF8(sv) || isREGEXP(sv)) {
3513         if (extra) SvGROW(sv, SvCUR(sv) + extra);
3514         return SvCUR(sv);
3515     }
3516
3517     if (SvIsCOW(sv)) {
3518         S_sv_uncow(aTHX_ sv, 0);
3519     }
3520
3521     if (SvCUR(sv) == 0) {
3522         if (extra) SvGROW(sv, extra + 1); /* Make sure is room for a trailing
3523                                              byte */
3524     } else { /* Assume Latin-1/EBCDIC */
3525         /* This function could be much more efficient if we
3526          * had a FLAG in SVs to signal if there are any variant
3527          * chars in the PV.  Given that there isn't such a flag
3528          * make the loop as fast as possible. */
3529         U8 * s = (U8 *) SvPVX_const(sv);
3530         U8 *t = s;
3531         
3532         if (is_utf8_invariant_string_loc(s, SvCUR(sv), (const U8 **) &t)) {
3533
3534             /* utf8 conversion not needed because all are invariants.  Mark
3535              * as UTF-8 even if no variant - saves scanning loop */
3536             SvUTF8_on(sv);
3537             if (extra) SvGROW(sv, SvCUR(sv) + extra);
3538             return SvCUR(sv);
3539         }
3540
3541         /* Here, there is at least one variant (t points to the first one), so
3542          * the string should be converted to utf8.  Everything from 's' to
3543          * 't - 1' will occupy only 1 byte each on output.
3544          *
3545          * Note that the incoming SV may not have a trailing '\0', as certain
3546          * code in pp_formline can send us partially built SVs.
3547          *
3548          * There are two main ways to convert.  One is to create a new string
3549          * and go through the input starting from the beginning, appending each
3550          * converted value onto the new string as we go along.  Going this
3551          * route, it's probably best to initially allocate enough space in the
3552          * string rather than possibly running out of space and having to
3553          * reallocate and then copy what we've done so far.  Since everything
3554          * from 's' to 't - 1' is invariant, the destination can be initialized
3555          * with these using a fast memory copy.  To be sure to allocate enough
3556          * space, one could use the worst case scenario, where every remaining
3557          * byte expands to two under UTF-8, or one could parse it and count
3558          * exactly how many do expand.
3559          *
3560          * The other way is to unconditionally parse the remainder of the
3561          * string to figure out exactly how big the expanded string will be,
3562          * growing if needed.  Then start at the end of the string and place
3563          * the character there at the end of the unfilled space in the expanded
3564          * one, working backwards until reaching 't'.
3565          *
3566          * The problem with assuming the worst case scenario is that for very
3567          * long strings, we could allocate much more memory than actually
3568          * needed, which can create performance problems.  If we have to parse
3569          * anyway, the second method is the winner as it may avoid an extra
3570          * copy.  The code used to use the first method under some
3571          * circumstances, but now that there is faster variant counting on
3572          * ASCII platforms, the second method is used exclusively, eliminating
3573          * some code that no longer has to be maintained. */
3574
3575         {
3576             /* Count the total number of variants there are.  We can start
3577              * just beyond the first one, which is known to be at 't' */
3578             const Size_t invariant_length = t - s;
3579             U8 * e = (U8 *) SvEND(sv);
3580
3581             /* The length of the left overs, plus 1. */
3582             const Size_t remaining_length_p1 = e - t;
3583
3584             /* We expand by 1 for the variant at 't' and one for each remaining
3585              * variant (we start looking at 't+1') */
3586             Size_t expansion = 1 + variant_under_utf8_count(t + 1, e);
3587
3588             /* +1 = trailing NUL */
3589             Size_t need = SvCUR(sv) + expansion + extra + 1;
3590             U8 * d;
3591
3592             /* Grow if needed */
3593             if (SvLEN(sv) < need) {
3594                 t = invariant_length + (U8*) SvGROW(sv, need);
3595                 e = t + remaining_length_p1;
3596             }
3597             SvCUR_set(sv, invariant_length + remaining_length_p1 + expansion);
3598
3599             /* Set the NUL at the end */
3600             d = (U8 *) SvEND(sv);
3601             *d-- = '\0';
3602
3603             /* Having decremented d, it points to the position to put the
3604              * very last byte of the expanded string.  Go backwards through
3605              * the string, copying and expanding as we go, stopping when we
3606              * get to the part that is invariant the rest of the way down */
3607
3608             e--;
3609             while (e >= t) {
3610                 if (NATIVE_BYTE_IS_INVARIANT(*e)) {
3611                     *d-- = *e;
3612                 } else {
3613                     *d-- = UTF8_EIGHT_BIT_LO(*e);
3614                     *d-- = UTF8_EIGHT_BIT_HI(*e);
3615                 }
3616                 e--;
3617             }
3618
3619             if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
3620                 /* Update pos. We do it at the end rather than during
3621                  * the upgrade, to avoid slowing down the common case
3622                  * (upgrade without pos).
3623                  * pos can be stored as either bytes or characters.  Since
3624                  * this was previously a byte string we can just turn off
3625                  * the bytes flag. */
3626                 MAGIC * mg = mg_find(sv, PERL_MAGIC_regex_global);
3627                 if (mg) {
3628                     mg->mg_flags &= ~MGf_BYTES;
3629                 }
3630                 if ((mg = mg_find(sv, PERL_MAGIC_utf8)))
3631                     magic_setutf8(sv,mg); /* clear UTF8 cache */
3632             }
3633         }
3634     }
3635
3636     SvUTF8_on(sv);
3637     return SvCUR(sv);
3638 }
3639
3640 /*
3641 =for apidoc sv_utf8_downgrade
3642
3643 Attempts to convert the PV of an SV from characters to bytes.
3644 If the PV contains a character that cannot fit
3645 in a byte, this conversion will fail;
3646 in this case, either returns false or, if C<fail_ok> is not
3647 true, croaks.
3648
3649 This is not a general purpose Unicode to byte encoding interface:
3650 use the C<Encode> extension for that.
3651
3652 =cut
3653 */
3654
3655 bool
3656 Perl_sv_utf8_downgrade(pTHX_ SV *const sv, const bool fail_ok)
3657 {
3658     PERL_ARGS_ASSERT_SV_UTF8_DOWNGRADE;
3659
3660     if (SvPOKp(sv) && SvUTF8(sv)) {
3661         if (SvCUR(sv)) {
3662             U8 *s;
3663             STRLEN len;
3664             int mg_flags = SV_GMAGIC;
3665
3666             if (SvIsCOW(sv)) {
3667                 S_sv_uncow(aTHX_ sv, 0);
3668             }
3669             if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
3670                 /* update pos */
3671                 MAGIC * mg = mg_find(sv, PERL_MAGIC_regex_global);
3672                 if (mg && mg->mg_len > 0 && mg->mg_flags & MGf_BYTES) {
3673                         mg->mg_len = sv_pos_b2u_flags(sv, mg->mg_len,
3674                                                 SV_GMAGIC|SV_CONST_RETURN);
3675                         mg_flags = 0; /* sv_pos_b2u does get magic */
3676                 }
3677                 if ((mg = mg_find(sv, PERL_MAGIC_utf8)))
3678                     magic_setutf8(sv,mg); /* clear UTF8 cache */
3679
3680             }
3681             s = (U8 *) SvPV_flags(sv, len, mg_flags);
3682
3683             if (!utf8_to_bytes(s, &len)) {
3684                 if (fail_ok)
3685                     return FALSE;
3686                 else {
3687                     if (PL_op)
3688                         Perl_croak(aTHX_ "Wide character in %s",
3689                                    OP_DESC(PL_op));
3690                     else
3691                         Perl_croak(aTHX_ "Wide character");
3692                 }
3693             }
3694             SvCUR_set(sv, len);
3695         }
3696     }
3697     SvUTF8_off(sv);
3698     return TRUE;
3699 }
3700
3701 /*
3702 =for apidoc sv_utf8_encode
3703
3704 Converts the PV of an SV to UTF-8, but then turns the C<SvUTF8>
3705 flag off so that it looks like octets again.
3706
3707 =cut
3708 */
3709
3710 void
3711 Perl_sv_utf8_encode(pTHX_ SV *const sv)
3712 {
3713     PERL_ARGS_ASSERT_SV_UTF8_ENCODE;
3714
3715     if (SvREADONLY(sv)) {
3716         sv_force_normal_flags(sv, 0);
3717     }
3718     (void) sv_utf8_upgrade(sv);
3719     SvUTF8_off(sv);
3720 }
3721
3722 /*
3723 =for apidoc sv_utf8_decode
3724
3725 If the PV of the SV is an octet sequence in Perl's extended UTF-8
3726 and contains a multiple-byte character, the C<SvUTF8> flag is turned on
3727 so that it looks like a character.  If the PV contains only single-byte
3728 characters, the C<SvUTF8> flag stays off.
3729 Scans PV for validity and returns FALSE if the PV is invalid UTF-8.
3730
3731 =cut
3732 */
3733
3734 bool
3735 Perl_sv_utf8_decode(pTHX_ SV *const sv)
3736 {
3737     PERL_ARGS_ASSERT_SV_UTF8_DECODE;
3738
3739     if (SvPOKp(sv)) {
3740         const U8 *start, *c, *first_variant;
3741
3742         /* The octets may have got themselves encoded - get them back as
3743          * bytes
3744          */
3745         if (!sv_utf8_downgrade(sv, TRUE))
3746             return FALSE;
3747
3748         /* it is actually just a matter of turning the utf8 flag on, but
3749          * we want to make sure everything inside is valid utf8 first.
3750          */
3751         c = start = (const U8 *) SvPVX_const(sv);
3752         if (! is_utf8_invariant_string_loc(c, SvCUR(sv), &first_variant)) {
3753             if (!is_utf8_string(first_variant, SvCUR(sv) - (first_variant -c)))
3754                 return FALSE;
3755             SvUTF8_on(sv);
3756         }
3757         if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
3758             /* XXX Is this dead code?  XS_utf8_decode calls SvSETMAGIC
3759                    after this, clearing pos.  Does anything on CPAN
3760                    need this? */
3761             /* adjust pos to the start of a UTF8 char sequence */
3762             MAGIC * mg = mg_find(sv, PERL_MAGIC_regex_global);
3763             if (mg) {
3764                 I32 pos = mg->mg_len;
3765                 if (pos > 0) {
3766                     for (c = start + pos; c > start; c--) {
3767                         if (UTF8_IS_START(*c))
3768                             break;
3769                     }
3770                     mg->mg_len  = c - start;
3771                 }
3772             }
3773             if ((mg = mg_find(sv, PERL_MAGIC_utf8)))
3774                 magic_setutf8(sv,mg); /* clear UTF8 cache */
3775         }
3776     }
3777     return TRUE;
3778 }
3779
3780 /*
3781 =for apidoc sv_setsv
3782
3783 Copies the contents of the source SV C<ssv> into the destination SV
3784 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3785 function if the source SV needs to be reused.  Does not handle 'set' magic on
3786 destination SV.  Calls 'get' magic on source SV.  Loosely speaking, it
3787 performs a copy-by-value, obliterating any previous content of the
3788 destination.
3789
3790 You probably want to use one of the assortment of wrappers, such as
3791 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3792 C<SvSetMagicSV_nosteal>.
3793
3794 =for apidoc sv_setsv_flags
3795
3796 Copies the contents of the source SV C<ssv> into the destination SV
3797 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3798 function if the source SV needs to be reused.  Does not handle 'set' magic.
3799 Loosely speaking, it performs a copy-by-value, obliterating any previous
3800 content of the destination.
3801 If the C<flags> parameter has the C<SV_GMAGIC> bit set, will C<mg_get> on
3802 C<ssv> if appropriate, else not.  If the C<flags>
3803 parameter has the C<SV_NOSTEAL> bit set then the
3804 buffers of temps will not be stolen.  C<sv_setsv>
3805 and C<sv_setsv_nomg> are implemented in terms of this function.
3806
3807 You probably want to use one of the assortment of wrappers, such as
3808 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3809 C<SvSetMagicSV_nosteal>.
3810
3811 This is the primary function for copying scalars, and most other
3812 copy-ish functions and macros use this underneath.
3813
3814 =cut
3815 */
3816
3817 static void
3818 S_glob_assign_glob(pTHX_ SV *const dstr, SV *const sstr, const int dtype)
3819 {
3820     I32 mro_changes = 0; /* 1 = method, 2 = isa, 3 = recursive isa */
3821     HV *old_stash = NULL;
3822
3823     PERL_ARGS_ASSERT_GLOB_ASSIGN_GLOB;
3824
3825     if (dtype != SVt_PVGV && !isGV_with_GP(dstr)) {
3826         const char * const name = GvNAME(sstr);
3827         const STRLEN len = GvNAMELEN(sstr);
3828         {
3829             if (dtype >= SVt_PV) {
3830                 SvPV_free(dstr);
3831                 SvPV_set(dstr, 0);
3832                 SvLEN_set(dstr, 0);
3833                 SvCUR_set(dstr, 0);
3834             }
3835             SvUPGRADE(dstr, SVt_PVGV);
3836             (void)SvOK_off(dstr);
3837             isGV_with_GP_on(dstr);
3838         }
3839         GvSTASH(dstr) = GvSTASH(sstr);
3840         if (GvSTASH(dstr))
3841             Perl_sv_add_backref(aTHX_ MUTABLE_SV(GvSTASH(dstr)), dstr);
3842         gv_name_set(MUTABLE_GV(dstr), name, len,
3843                         GV_ADD | (GvNAMEUTF8(sstr) ? SVf_UTF8 : 0 ));
3844         SvFAKE_on(dstr);        /* can coerce to non-glob */
3845     }
3846
3847     if(GvGP(MUTABLE_GV(sstr))) {
3848         /* If source has method cache entry, clear it */
3849         if(GvCVGEN(sstr)) {
3850             SvREFCNT_dec(GvCV(sstr));
3851             GvCV_set(sstr, NULL);
3852             GvCVGEN(sstr) = 0;
3853         }
3854         /* If source has a real method, then a method is
3855            going to change */
3856         else if(
3857          GvCV((const GV *)sstr) && GvSTASH(dstr) && HvENAME(GvSTASH(dstr))
3858         ) {
3859             mro_changes = 1;
3860         }
3861     }
3862
3863     /* If dest already had a real method, that's a change as well */
3864     if(
3865         !mro_changes && GvGP(MUTABLE_GV(dstr)) && GvCVu((const GV *)dstr)
3866      && GvSTASH(dstr) && HvENAME(GvSTASH(dstr))
3867     ) {
3868         mro_changes = 1;
3869     }
3870
3871     /* We don't need to check the name of the destination if it was not a
3872        glob to begin with. */
3873     if(dtype == SVt_PVGV) {
3874         const char * const name = GvNAME((const GV *)dstr);
3875         const STRLEN len = GvNAMELEN(dstr);
3876         if(memEQs(name, len, "ISA")
3877          /* The stash may have been detached from the symbol table, so
3878             check its name. */
3879          && GvSTASH(dstr) && HvENAME(GvSTASH(dstr))
3880         )
3881             mro_changes = 2;
3882         else {
3883             if ((len > 1 && name[len-2] == ':' && name[len-1] == ':')
3884              || (len == 1 && name[0] == ':')) {
3885                 mro_changes = 3;
3886
3887                 /* Set aside the old stash, so we can reset isa caches on
3888                    its subclasses. */
3889                 if((old_stash = GvHV(dstr)))
3890                     /* Make sure we do not lose it early. */
3891                     SvREFCNT_inc_simple_void_NN(
3892                      sv_2mortal((SV *)old_stash)
3893                     );
3894             }
3895         }
3896
3897         SvREFCNT_inc_simple_void_NN(sv_2mortal(dstr));
3898     }
3899
3900     /* freeing dstr's GP might free sstr (e.g. *x = $x),
3901      * so temporarily protect it */
3902     ENTER;
3903     SAVEFREESV(SvREFCNT_inc_simple_NN(sstr));
3904     gp_free(MUTABLE_GV(dstr));
3905     GvINTRO_off(dstr);          /* one-shot flag */
3906     GvGP_set(dstr, gp_ref(GvGP(sstr)));
3907     LEAVE;
3908
3909     if (SvTAINTED(sstr))
3910         SvTAINT(dstr);
3911     if (GvIMPORTED(dstr) != GVf_IMPORTED
3912         && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3913         {
3914             GvIMPORTED_on(dstr);
3915         }
3916     GvMULTI_on(dstr);
3917     if(mro_changes == 2) {
3918       if (GvAV((const GV *)sstr)) {
3919         MAGIC *mg;
3920         SV * const sref = (SV *)GvAV((const GV *)dstr);
3921         if (SvSMAGICAL(sref) && (mg = mg_find(sref, PERL_MAGIC_isa))) {
3922             if (SvTYPE(mg->mg_obj) != SVt_PVAV) {
3923                 AV * const ary = newAV();
3924                 av_push(ary, mg->mg_obj); /* takes the refcount */
3925                 mg->mg_obj = (SV *)ary;
3926             }
3927             av_push((AV *)mg->mg_obj, SvREFCNT_inc_simple_NN(dstr));
3928         }
3929         else sv_magic(sref, dstr, PERL_MAGIC_isa, NULL, 0);
3930       }
3931       mro_isa_changed_in(GvSTASH(dstr));
3932     }
3933     else if(mro_changes == 3) {
3934         HV * const stash = GvHV(dstr);
3935         if(old_stash ? (HV *)HvENAME_get(old_stash) : stash)
3936             mro_package_moved(
3937                 stash, old_stash,
3938                 (GV *)dstr, 0
3939             );
3940     }
3941     else if(mro_changes) mro_method_changed_in(GvSTASH(dstr));
3942     if (GvIO(dstr) && dtype == SVt_PVGV) {
3943         DEBUG_o(Perl_deb(aTHX_
3944                         "glob_assign_glob clearing PL_stashcache\n"));
3945         /* It's a cache. It will rebuild itself quite happily.
3946            It's a lot of effort to work out exactly which key (or keys)
3947            might be invalidated by the creation of the this file handle.
3948          */
3949         hv_clear(PL_stashcache);
3950     }
3951     return;
3952 }
3953
3954 void
3955 Perl_gv_setref(pTHX_ SV *const dstr, SV *const sstr)
3956 {
3957     SV * const sref = SvRV(sstr);
3958     SV *dref;
3959     const int intro = GvINTRO(dstr);
3960     SV **location;
3961     U8 import_flag = 0;
3962     const U32 stype = SvTYPE(sref);
3963
3964     PERL_ARGS_ASSERT_GV_SETREF;
3965
3966     if (intro) {
3967         GvINTRO_off(dstr);      /* one-shot flag */
3968         GvLINE(dstr) = CopLINE(PL_curcop);
3969         GvEGV(dstr) = MUTABLE_GV(dstr);
3970     }
3971     GvMULTI_on(dstr);
3972     switch (stype) {
3973     case SVt_PVCV:
3974         location = (SV **) &(GvGP(dstr)->gp_cv); /* XXX bypassing GvCV_set */
3975         import_flag = GVf_IMPORTED_CV;
3976         goto common;
3977     case SVt_PVHV:
3978         location = (SV **) &GvHV(dstr);
3979         import_flag = GVf_IMPORTED_HV;
3980         goto common;
3981     case SVt_PVAV:
3982         location = (SV **) &GvAV(dstr);
3983         import_flag = GVf_IMPORTED_AV;
3984         goto common;
3985     case SVt_PVIO:
3986         location = (SV **) &GvIOp(dstr);
3987         goto common;
3988     case SVt_PVFM:
3989         location = (SV **) &GvFORM(dstr);
3990         goto common;
3991     default:
3992         location = &GvSV(dstr);
3993         import_flag = GVf_IMPORTED_SV;
3994     common:
3995         if (intro) {
3996             if (stype == SVt_PVCV) {
3997                 /*if (GvCVGEN(dstr) && (GvCV(dstr) != (const CV *)sref || GvCVGEN(dstr))) {*/
3998                 if (GvCVGEN(dstr)) {
3999                     SvREFCNT_dec(GvCV(dstr));
4000                     GvCV_set(dstr, NULL);
4001                     GvCVGEN(dstr) = 0; /* Switch off cacheness. */
4002                 }
4003             }
4004             /* SAVEt_GVSLOT takes more room on the savestack and has more
4005                overhead in leave_scope than SAVEt_GENERIC_SV.  But for CVs
4006                leave_scope needs access to the GV so it can reset method
4007                caches.  We must use SAVEt_GVSLOT whenever the type is
4008                SVt_PVCV, even if the stash is anonymous, as the stash may
4009                gain a name somehow before leave_scope. */
4010             if (stype == SVt_PVCV) {
4011                 /* There is no save_pushptrptrptr.  Creating it for this
4012                    one call site would be overkill.  So inline the ss add
4013                    routines here. */
4014                 dSS_ADD;
4015                 SS_ADD_PTR(dstr);
4016                 SS_ADD_PTR(location);
4017                 SS_ADD_PTR(SvREFCNT_inc(*location));
4018                 SS_ADD_UV(SAVEt_GVSLOT);
4019                 SS_ADD_END(4);
4020             }
4021             else SAVEGENERICSV(*location);
4022         }
4023         dref = *location;
4024         if (stype == SVt_PVCV && (*location != sref || GvCVGEN(dstr))) {
4025             CV* const cv = MUTABLE_CV(*location);
4026             if (cv) {
4027                 if (!GvCVGEN((const GV *)dstr) &&
4028                     (CvROOT(cv) || CvXSUB(cv)) &&
4029                     /* redundant check that avoids creating the extra SV
4030                        most of the time: */
4031                     (CvCONST(cv) || ckWARN(WARN_REDEFINE)))
4032                     {
4033                         SV * const new_const_sv =
4034                             CvCONST((const CV *)sref)
4035                                  ? cv_const_sv((const CV *)sref)
4036                                  : NULL;
4037                         HV * const stash = GvSTASH((const GV *)dstr);
4038                         report_redefined_cv(
4039                            sv_2mortal(
4040                              stash
4041                                ? Perl_newSVpvf(aTHX_
4042                                     "%" HEKf "::%" HEKf,
4043                                     HEKfARG(HvNAME_HEK(stash)),
4044                                     HEKfARG(GvENAME_HEK(MUTABLE_GV(dstr))))
4045                                : Perl_newSVpvf(aTHX_
4046                                     "%" HEKf,
4047                                     HEKfARG(GvENAME_HEK(MUTABLE_GV(dstr))))
4048                            ),
4049                            cv,
4050                            CvCONST((const CV *)sref) ? &new_const_sv : NULL
4051                         );
4052                     }
4053                 if (!intro)
4054                     cv_ckproto_len_flags(cv, (const GV *)dstr,
4055                                    SvPOK(sref) ? CvPROTO(sref) : NULL,
4056                                    SvPOK(sref) ? CvPROTOLEN(sref) : 0,
4057                                    SvPOK(sref) ? SvUTF8(sref) : 0);
4058             }
4059             GvCVGEN(dstr) = 0; /* Switch off cacheness. */
4060             GvASSUMECV_on(dstr);
4061             if(GvSTASH(dstr)) { /* sub foo { 1 } sub bar { 2 } *bar = \&foo */
4062                 if (intro && GvREFCNT(dstr) > 1) {
4063                     /* temporary remove extra savestack's ref */
4064                     --GvREFCNT(dstr);
4065                     gv_method_changed(dstr);
4066                     ++GvREFCNT(dstr);
4067                 }
4068                 else gv_method_changed(dstr);
4069             }
4070         }
4071         *location = SvREFCNT_inc_simple_NN(sref);
4072         if (import_flag && !(GvFLAGS(dstr) & import_flag)
4073             && CopSTASH_ne(PL_curcop, GvSTASH(dstr))) {
4074             GvFLAGS(dstr) |= import_flag;
4075         }
4076
4077         if (stype == SVt_PVHV) {
4078             const char * const name = GvNAME((GV*)dstr);
4079             const STRLEN len = GvNAMELEN(dstr);
4080             if (
4081                 (
4082                    (len > 1 && name[len-2] == ':' && name[len-1] == ':')
4083                 || (len == 1 && name[0] == ':')
4084                 )
4085              && (!dref || HvENAME_get(dref))
4086             ) {
4087                 mro_package_moved(
4088                     (HV *)sref, (HV *)dref,
4089                     (GV *)dstr, 0
4090                 );
4091             }
4092         }
4093         else if (
4094             stype == SVt_PVAV && sref != dref
4095          && memEQs(GvNAME((GV*)dstr), GvNAMELEN((GV*)dstr), "ISA")
4096          /* The stash may have been detached from the symbol table, so
4097             check its name before doing anything. */
4098          && GvSTASH(dstr) && HvENAME(GvSTASH(dstr))
4099         ) {
4100             MAGIC *mg;
4101             MAGIC * const omg = dref && SvSMAGICAL(dref)
4102                                  ? mg_find(dref, PERL_MAGIC_isa)
4103                                  : NULL;
4104             if (SvSMAGICAL(sref) && (mg = mg_find(sref, PERL_MAGIC_isa))) {
4105                 if (SvTYPE(mg->mg_obj) != SVt_PVAV) {
4106                     AV * const ary = newAV();
4107                     av_push(ary, mg->mg_obj); /* takes the refcount */
4108                     mg->mg_obj = (SV *)ary;
4109                 }
4110                 if (omg) {
4111                     if (SvTYPE(omg->mg_obj) == SVt_PVAV) {
4112                         SV **svp = AvARRAY((AV *)omg->mg_obj);
4113                         I32 items = AvFILLp((AV *)omg->mg_obj) + 1;
4114                         while (items--)
4115                             av_push(
4116                              (AV *)mg->mg_obj,
4117                              SvREFCNT_inc_simple_NN(*svp++)
4118                             );
4119                     }
4120                     else
4121                         av_push(
4122                          (AV *)mg->mg_obj,
4123                          SvREFCNT_inc_simple_NN(omg->mg_obj)
4124                         );
4125                 }
4126                 else
4127                     av_push((AV *)mg->mg_obj,SvREFCNT_inc_simple_NN(dstr));
4128             }
4129             else
4130             {
4131                 SSize_t i;
4132                 sv_magic(
4133                  sref, omg ? omg->mg_obj : dstr, PERL_MAGIC_isa, NULL, 0
4134                 );
4135                 for (i = 0; i <= AvFILL(sref); ++i) {
4136                     SV **elem = av_fetch ((AV*)sref, i, 0);
4137                     if (elem) {
4138                         sv_magic(
4139                           *elem, sref, PERL_MAGIC_isaelem, NULL, i
4140                         );
4141                     }
4142                 }
4143                 mg = mg_find(sref, PERL_MAGIC_isa);
4144             }
4145             /* Since the *ISA assignment could have affected more than
4146                one stash, don't call mro_isa_changed_in directly, but let
4147                magic_clearisa do it for us, as it already has the logic for
4148                dealing with globs vs arrays of globs. */
4149             assert(mg);
4150             Perl_magic_clearisa(aTHX_ NULL, mg);
4151         }
4152         else if (stype == SVt_PVIO) {
4153             DEBUG_o(Perl_deb(aTHX_ "gv_setref clearing PL_stashcache\n"));
4154             /* It's a cache. It will rebuild itself quite happily.
4155                It's a lot of effort to work out exactly which key (or keys)
4156                might be invalidated by the creation of the this file handle.
4157             */
4158             hv_clear(PL_stashcache);
4159         }
4160         break;
4161     }
4162     if (!intro) SvREFCNT_dec(dref);
4163     if (SvTAINTED(sstr))
4164         SvTAINT(dstr);
4165     return;
4166 }
4167
4168
4169
4170
4171 #ifdef PERL_DEBUG_READONLY_COW
4172 # include <sys/mman.h>
4173
4174 # ifndef PERL_MEMORY_DEBUG_HEADER_SIZE
4175 #  define PERL_MEMORY_DEBUG_HEADER_SIZE 0
4176 # endif
4177
4178 void
4179 Perl_sv_buf_to_ro(pTHX_ SV *sv)
4180 {
4181     struct perl_memory_debug_header * const header =
4182         (struct perl_memory_debug_header *)(SvPVX(sv)-PERL_MEMORY_DEBUG_HEADER_SIZE);
4183     const MEM_SIZE len = header->size;
4184     PERL_ARGS_ASSERT_SV_BUF_TO_RO;
4185 # ifdef PERL_TRACK_MEMPOOL
4186     if (!header->readonly) header->readonly = 1;
4187 # endif
4188     if (mprotect(header, len, PROT_READ))
4189         Perl_warn(aTHX_ "mprotect RW for COW string %p %lu failed with %d",
4190                          header, len, errno);
4191 }
4192
4193 static void
4194 S_sv_buf_to_rw(pTHX_ SV *sv)
4195 {
4196     struct perl_memory_debug_header * const header =
4197         (struct perl_memory_debug_header *)(SvPVX(sv)-PERL_MEMORY_DEBUG_HEADER_SIZE);
4198     const MEM_SIZE len = header->size;
4199     PERL_ARGS_ASSERT_SV_BUF_TO_RW;
4200     if (mprotect(header, len, PROT_READ|PROT_WRITE))
4201         Perl_warn(aTHX_ "mprotect for COW string %p %lu failed with %d",
4202                          header, len, errno);
4203 # ifdef PERL_TRACK_MEMPOOL
4204     header->readonly = 0;
4205 # endif
4206 }
4207
4208 #else
4209 # define sv_buf_to_ro(sv)       NOOP
4210 # define sv_buf_to_rw(sv)       NOOP
4211 #endif
4212
4213 void
4214 Perl_sv_setsv_flags(pTHX_ SV *dstr, SV* sstr, const I32 flags)
4215 {
4216     U32 sflags;
4217     int dtype;
4218     svtype stype;
4219     unsigned int both_type;
4220
4221     PERL_ARGS_ASSERT_SV_SETSV_FLAGS;
4222
4223     if (UNLIKELY( sstr == dstr ))
4224         return;
4225
4226     if (UNLIKELY( !sstr ))
4227         sstr = &PL_sv_undef;
4228
4229     stype = SvTYPE(sstr);
4230     dtype = SvTYPE(dstr);
4231     both_type = (stype | dtype);
4232
4233     /* with these values, we can check that both SVs are NULL/IV (and not
4234      * freed) just by testing the or'ed types */
4235     STATIC_ASSERT_STMT(SVt_NULL == 0);
4236     STATIC_ASSERT_STMT(SVt_IV   == 1);
4237     if (both_type <= 1) {
4238         /* both src and dst are UNDEF/IV/RV, so we can do a lot of
4239          * special-casing */
4240         U32 sflags;
4241         U32 new_dflags;
4242         SV *old_rv = NULL;
4243
4244         /* minimal subset of SV_CHECK_THINKFIRST_COW_DROP(dstr) */
4245         if (SvREADONLY(dstr))
4246             Perl_croak_no_modify();
4247         if (SvROK(dstr)) {
4248             if (SvWEAKREF(dstr))
4249                 sv_unref_flags(dstr, 0);
4250             else
4251                 old_rv = SvRV(dstr);
4252         }
4253
4254         assert(!SvGMAGICAL(sstr));
4255         assert(!SvGMAGICAL(dstr));
4256
4257         sflags = SvFLAGS(sstr);
4258         if (sflags & (SVf_IOK|SVf_ROK)) {
4259             SET_SVANY_FOR_BODYLESS_IV(dstr);
4260             new_dflags = SVt_IV;
4261
4262             if (sflags & SVf_ROK) {
4263                 dstr->sv_u.svu_rv = SvREFCNT_inc(SvRV(sstr));
4264                 new_dflags |= SVf_ROK;
4265             }
4266             else {
4267                 /* both src and dst are <= SVt_IV, so sv_any points to the
4268                  * head; so access the head directly
4269                  */
4270                 assert(    &(sstr->sv_u.svu_iv)
4271                         == &(((XPVIV*) SvANY(sstr))->xiv_iv));
4272                 assert(    &(dstr->sv_u.svu_iv)
4273                         == &(((XPVIV*) SvANY(dstr))->xiv_iv));
4274                 dstr->sv_u.svu_iv = sstr->sv_u.svu_iv;
4275                 new_dflags |= (SVf_IOK|SVp_IOK|(sflags & SVf_IVisUV));
4276             }
4277         }
4278         else {
4279             new_dflags = dtype; /* turn off everything except the type */
4280         }
4281         SvFLAGS(dstr) = new_dflags;
4282         SvREFCNT_dec(old_rv);
4283
4284         return;
4285     }
4286
4287     if (UNLIKELY(both_type == SVTYPEMASK)) {
4288         if (SvIS_FREED(dstr)) {
4289             Perl_croak(aTHX_ "panic: attempt to copy value %" SVf
4290                        " to a freed scalar %p", SVfARG(sstr), (void *)dstr);
4291         }
4292         if (SvIS_FREED(sstr)) {
4293             Perl_croak(aTHX_ "panic: attempt to copy freed scalar %p to %p",
4294                        (void*)sstr, (void*)dstr);
4295         }
4296     }
4297
4298
4299
4300     SV_CHECK_THINKFIRST_COW_DROP(dstr);
4301     dtype = SvTYPE(dstr); /* THINKFIRST may have changed type */
4302
4303     /* There's a lot of redundancy below but we're going for speed here */
4304
4305     switch (stype) {
4306     case SVt_NULL:
4307       undef_sstr:
4308         if (LIKELY( dtype != SVt_PVGV && dtype != SVt_PVLV )) {
4309             (void)SvOK_off(dstr);
4310             return;
4311         }
4312         break;
4313     case SVt_IV:
4314         if (SvIOK(sstr)) {
4315             switch (dtype) {
4316             case SVt_NULL:
4317                 /* For performance, we inline promoting to type SVt_IV. */
4318                 /* We're starting from SVt_NULL, so provided that define is
4319                  * actual 0, we don't have to unset any SV type flags
4320                  * to promote to SVt_IV. */
4321                 STATIC_ASSERT_STMT(SVt_NULL == 0);
4322                 SET_SVANY_FOR_BODYLESS_IV(dstr);
4323                 SvFLAGS(dstr) |= SVt_IV;
4324                 break;
4325             case SVt_NV:
4326             case SVt_PV:
4327                 sv_upgrade(dstr, SVt_PVIV);
4328                 break;
4329             case SVt_PVGV:
4330             case SVt_PVLV:
4331                 goto end_of_first_switch;
4332             }
4333             (void)SvIOK_only(dstr);
4334             SvIV_set(dstr,  SvIVX(sstr));
4335             if (SvIsUV(sstr))
4336                 SvIsUV_on(dstr);
4337             /* SvTAINTED can only be true if the SV has taint magic, which in
4338                turn means that the SV type is PVMG (or greater). This is the
4339                case statement for SVt_IV, so this cannot be true (whatever gcov
4340                may say).  */
4341             assert(!SvTAINTED(sstr));
4342             return;
4343         }
4344         if (!SvROK(sstr))
4345             goto undef_sstr;
4346         if (dtype < SVt_PV && dtype != SVt_IV)
4347             sv_upgrade(dstr, SVt_IV);
4348         break;
4349
4350     case SVt_NV:
4351         if (LIKELY( SvNOK(sstr) )) {
4352             switch (dtype) {
4353             case SVt_NULL:
4354             case SVt_IV:
4355                 sv_upgrade(dstr, SVt_NV);
4356                 break;
4357             case SVt_PV:
4358             case SVt_PVIV:
4359                 sv_upgrade(dstr, SVt_PVNV);
4360                 break;
4361             case SVt_PVGV:
4362             case SVt_PVLV:
4363                 goto end_of_first_switch;
4364             }
4365             SvNV_set(dstr, SvNVX(sstr));
4366             (void)SvNOK_only(dstr);
4367             /* SvTAINTED can only be true if the SV has taint magic, which in
4368                turn means that the SV type is PVMG (or greater). This is the
4369                case statement for SVt_NV, so this cannot be true (whatever gcov
4370                may say).  */
4371             assert(!SvTAINTED(sstr));
4372             return;
4373         }
4374         goto undef_sstr;
4375
4376     case SVt_PV:
4377         if (dtype < SVt_PV)
4378             sv_upgrade(dstr, SVt_PV);
4379         break;
4380     case SVt_PVIV:
4381         if (dtype < SVt_PVIV)
4382             sv_upgrade(dstr, SVt_PVIV);
4383         break;
4384     case SVt_PVNV:
4385         if (dtype < SVt_PVNV)
4386             sv_upgrade(dstr, SVt_PVNV);
4387         break;
4388
4389     case SVt_INVLIST:
4390         invlist_clone(sstr, dstr);
4391         break;
4392     default:
4393         {
4394         const char * const type = sv_reftype(sstr,0);
4395         if (PL_op)
4396             /* diag_listed_as: Bizarre copy of %s */
4397             Perl_croak(aTHX_ "Bizarre copy of %s in %s", type, OP_DESC(PL_op));
4398         else
4399             Perl_croak(aTHX_ "Bizarre copy of %s", type);
4400         }
4401         NOT_REACHED; /* NOTREACHED */
4402
4403     case SVt_REGEXP:
4404       upgregexp:
4405         if (dtype < SVt_REGEXP)
4406             sv_upgrade(dstr, SVt_REGEXP);
4407         break;
4408
4409     case SVt_PVLV:
4410     case SVt_PVGV:
4411     case SVt_PVMG:
4412         if (SvGMAGICAL(sstr) && (flags & SV_GMAGIC)) {
4413             mg_get(sstr);
4414             if (SvTYPE(sstr) != stype)
4415                 stype = SvTYPE(sstr);
4416         }
4417         if (isGV_with_GP(sstr) && dtype <= SVt_PVLV) {
4418                     glob_assign_glob(dstr, sstr, dtype);
4419                     return;
4420         }
4421         if (stype == SVt_PVLV)
4422         {
4423             if (isREGEXP(sstr)) goto upgregexp;
4424             SvUPGRADE(dstr, SVt_PVNV);
4425         }
4426         else
4427             SvUPGRADE(dstr, (svtype)stype);
4428     }
4429  end_of_first_switch:
4430
4431     /* dstr may have been upgraded.  */
4432     dtype = SvTYPE(dstr);
4433     sflags = SvFLAGS(sstr);
4434
4435     if (UNLIKELY( dtype == SVt_PVCV )) {
4436         /* Assigning to a subroutine sets the prototype.  */
4437         if (SvOK(sstr)) {
4438             STRLEN len;
4439             const char *const ptr = SvPV_const(sstr, len);
4440
4441             SvGROW(dstr, len + 1);
4442             Copy(ptr, SvPVX(dstr), len + 1, char);
4443             SvCUR_set(dstr, len);
4444             SvPOK_only(dstr);
4445             SvFLAGS(dstr) |= sflags & SVf_UTF8;
4446             CvAUTOLOAD_off(dstr);
4447         } else {
4448             SvOK_off(dstr);
4449         }
4450     }
4451     else if (UNLIKELY(dtype == SVt_PVAV || dtype == SVt_PVHV
4452              || dtype == SVt_PVFM))
4453     {
4454         const char * const type = sv_reftype(dstr,0);
4455         if (PL_op)
4456             /* diag_listed_as: Cannot copy to %s */
4457             Perl_croak(aTHX_ "Cannot copy to %s in %s", type, OP_DESC(PL_op));
4458         else
4459             Perl_croak(aTHX_ "Cannot copy to %s", type);
4460     } else if (sflags & SVf_ROK) {
4461         if (isGV_with_GP(dstr)
4462             && SvTYPE(SvRV(sstr)) == SVt_PVGV && isGV_with_GP(SvRV(sstr))) {
4463             sstr = SvRV(sstr);
4464             if (sstr == dstr) {
4465                 if (GvIMPORTED(dstr) != GVf_IMPORTED
4466                     && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
4467                 {
4468                     GvIMPORTED_on(dstr);
4469                 }
4470                 GvMULTI_on(dstr);
4471                 return;
4472             }
4473             glob_assign_glob(dstr, sstr, dtype);
4474             return;
4475         }
4476
4477         if (dtype >= SVt_PV) {
4478             if (isGV_with_GP(dstr)) {
4479                 gv_setref(dstr, sstr);
4480                 return;
4481             }
4482             if (SvPVX_const(dstr)) {
4483                 SvPV_free(dstr);
4484                 SvLEN_set(dstr, 0);
4485                 SvCUR_set(dstr, 0);
4486             }
4487         }
4488         (void)SvOK_off(dstr);
4489         SvRV_set(dstr, SvREFCNT_inc(SvRV(sstr)));
4490         SvFLAGS(dstr) |= sflags & SVf_ROK;
4491         assert(!(sflags & SVp_NOK));
4492         assert(!(sflags & SVp_IOK));
4493         assert(!(sflags & SVf_NOK));
4494         assert(!(sflags & SVf_IOK));
4495     }
4496     else if (isGV_with_GP(dstr)) {
4497         if (!(sflags & SVf_OK)) {
4498             Perl_ck_warner(aTHX_ packWARN(WARN_MISC),
4499                            "Undefined value assigned to typeglob");
4500         }
4501         else {
4502             GV *gv = gv_fetchsv_nomg(sstr, GV_ADD, SVt_PVGV);
4503             if (dstr != (const SV *)gv) {
4504                 const char * const name = GvNAME((const GV *)dstr);
4505                 const STRLEN len = GvNAMELEN(dstr);
4506                 HV *old_stash = NULL;
4507                 bool reset_isa = FALSE;
4508                 if ((len > 1 && name[len-2] == ':' && name[len-1] == ':')
4509                  || (len == 1 && name[0] == ':')) {
4510                     /* Set aside the old stash, so we can reset isa caches
4511                        on its subclasses. */
4512                     if((old_stash = GvHV(dstr))) {
4513                         /* Make sure we do not lose it early. */
4514                         SvREFCNT_inc_simple_void_NN(
4515                          sv_2mortal((SV *)old_stash)
4516                         );
4517                     }
4518                     reset_isa = TRUE;
4519                 }
4520
4521                 if (GvGP(dstr)) {
4522                     SvREFCNT_inc_simple_void_NN(sv_2mortal(dstr));
4523                     gp_free(MUTABLE_GV(dstr));
4524                 }
4525                 GvGP_set(dstr, gp_ref(GvGP(gv)));
4526
4527                 if (reset_isa) {
4528                     HV * const stash = GvHV(dstr);
4529                     if(
4530                         old_stash ? (HV *)HvENAME_get(old_stash) : stash
4531                     )
4532                         mro_package_moved(
4533                          stash, old_stash,
4534                          (GV *)dstr, 0
4535                         );
4536                 }
4537             }
4538         }
4539     }
4540     else if ((dtype == SVt_REGEXP || dtype == SVt_PVLV)
4541           && (stype == SVt_REGEXP || isREGEXP(sstr))) {
4542         reg_temp_copy((REGEXP*)dstr, (REGEXP*)sstr);
4543     }
4544     else if (sflags & SVp_POK) {
4545         const STRLEN cur = SvCUR(sstr);
4546         const STRLEN len = SvLEN(sstr);
4547
4548         /*
4549          * We have three basic ways to copy the string:
4550          *
4551          *  1. Swipe
4552          *  2. Copy-on-write
4553          *  3. Actual copy
4554          * 
4555          * Which we choose is based on various factors.  The following
4556          * things are listed in order of speed, fastest to slowest:
4557          *  - Swipe
4558          *  - Copying a short string
4559          *  - Copy-on-write bookkeeping
4560          *  - malloc
4561          *  - Copying a long string
4562          * 
4563          * We swipe the string (steal the string buffer) if the SV on the
4564          * rhs is about to be freed anyway (TEMP and refcnt==1).  This is a
4565          * big win on long strings.  It should be a win on short strings if
4566          * SvPVX_const(dstr) has to be allocated.  If not, it should not 
4567          * slow things down, as SvPVX_const(sstr) would have been freed
4568          * soon anyway.
4569          * 
4570          * We also steal the buffer from a PADTMP (operator target) if it
4571          * is â€˜long enough’.  For short strings, a swipe does not help
4572          * here, as it causes more malloc calls the next time the target
4573          * is used.  Benchmarks show that even if SvPVX_const(dstr) has to
4574          * be allocated it is still not worth swiping PADTMPs for short
4575          * strings, as the savings here are small.
4576          * 
4577          * If swiping is not an option, then we see whether it is
4578          * worth using copy-on-write.  If the lhs already has a buf-
4579          * fer big enough and the string is short, we skip it and fall back
4580          * to method 3, since memcpy is faster for short strings than the
4581          * later bookkeeping overhead that copy-on-write entails.
4582
4583          * If the rhs is not a copy-on-write string yet, then we also
4584          * consider whether the buffer is too large relative to the string
4585          * it holds.  Some operations such as readline allocate a large
4586          * buffer in the expectation of reusing it.  But turning such into
4587          * a COW buffer is counter-productive because it increases memory
4588          * usage by making readline allocate a new large buffer the sec-
4589          * ond time round.  So, if the buffer is too large, again, we use
4590          * method 3 (copy).
4591          * 
4592          * Finally, if there is no buffer on the left, or the buffer is too 
4593          * small, then we use copy-on-write and make both SVs share the
4594          * string buffer.
4595          *
4596          */
4597
4598         /* Whichever path we take through the next code, we want this true,
4599            and doing it now facilitates the COW check.  */
4600         (void)SvPOK_only(dstr);
4601
4602         if (
4603                  (              /* Either ... */
4604                                 /* slated for free anyway (and not COW)? */
4605                     (sflags & (SVs_TEMP|SVf_IsCOW)) == SVs_TEMP
4606                                 /* or a swipable TARG */
4607                  || ((sflags &
4608                            (SVs_PADTMP|SVf_READONLY|SVf_PROTECT|SVf_IsCOW))
4609                        == SVs_PADTMP
4610                                 /* whose buffer is worth stealing */
4611                      && CHECK_COWBUF_THRESHOLD(cur,len)
4612                     )
4613                  ) &&
4614                  !(sflags & SVf_OOK) &&   /* and not involved in OOK hack? */
4615                  (!(flags & SV_NOSTEAL)) &&
4616                                         /* and we're allowed to steal temps */
4617                  SvREFCNT(sstr) == 1 &&   /* and no other references to it? */
4618                  len)             /* and really is a string */
4619         {       /* Passes the swipe test.  */
4620             if (SvPVX_const(dstr))      /* we know that dtype >= SVt_PV */
4621                 SvPV_free(dstr);
4622             SvPV_set(dstr, SvPVX_mutable(sstr));
4623             SvLEN_set(dstr, SvLEN(sstr));
4624             SvCUR_set(dstr, SvCUR(sstr));
4625
4626             SvTEMP_off(dstr);
4627             (void)SvOK_off(sstr);       /* NOTE: nukes most SvFLAGS on sstr */
4628             SvPV_set(sstr, NULL);
4629             SvLEN_set(sstr, 0);
4630             SvCUR_set(sstr, 0);
4631             SvTEMP_off(sstr);
4632         }
4633         else if (flags & SV_COW_SHARED_HASH_KEYS
4634               &&
4635 #ifdef PERL_COPY_ON_WRITE
4636                  (sflags & SVf_IsCOW
4637                    ? (!len ||
4638                        (  (CHECK_COWBUF_THRESHOLD(cur,len) || SvLEN(dstr) < cur+1)
4639                           /* If this is a regular (non-hek) COW, only so
4640                              many COW "copies" are possible. */
4641                        && CowREFCNT(sstr) != SV_COW_REFCNT_MAX  ))
4642                    : (  (sflags & CAN_COW_MASK) == CAN_COW_FLAGS
4643                      && !(SvFLAGS(dstr) & SVf_BREAK)
4644                      && CHECK_COW_THRESHOLD(cur,len) && cur+1 < len
4645                      && (CHECK_COWBUF_THRESHOLD(cur,len) || SvLEN(dstr) < cur+1)
4646                     ))
4647 #else
4648                  sflags & SVf_IsCOW
4649               && !(SvFLAGS(dstr) & SVf_BREAK)
4650 #endif
4651             ) {
4652             /* Either it's a shared hash key, or it's suitable for
4653                copy-on-write.  */
4654 #ifdef DEBUGGING
4655             if (DEBUG_C_TEST) {
4656                 PerlIO_printf(Perl_debug_log, "Copy on write: sstr --> dstr\n");
4657                 sv_dump(sstr);
4658                 sv_dump(dstr);
4659             }
4660 #endif
4661 #ifdef PERL_ANY_COW
4662             if (!(sflags & SVf_IsCOW)) {
4663                     SvIsCOW_on(sstr);
4664                     CowREFCNT(sstr) = 0;
4665             }
4666 #endif
4667             if (SvPVX_const(dstr)) {    /* we know that dtype >= SVt_PV */
4668                 SvPV_free(dstr);
4669             }
4670
4671 #ifdef PERL_ANY_COW
4672             if (len) {
4673                     if (sflags & SVf_IsCOW) {
4674                         sv_buf_to_rw(sstr);
4675                     }
4676                     CowREFCNT(sstr)++;
4677                     SvPV_set(dstr, SvPVX_mutable(sstr));
4678                     sv_buf_to_ro(sstr);
4679             } else
4680 #endif
4681             {
4682                     /* SvIsCOW_shared_hash */
4683                     DEBUG_C(PerlIO_printf(Perl_debug_log,
4684                                           "Copy on write: Sharing hash\n"));
4685
4686                     assert (SvTYPE(dstr) >= SVt_PV);
4687                     SvPV_set(dstr,
4688                              HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)))));
4689             }
4690             SvLEN_set(dstr, len);
4691             SvCUR_set(dstr, cur);
4692             SvIsCOW_on(dstr);
4693         } else {
4694             /* Failed the swipe test, and we cannot do copy-on-write either.
4695                Have to copy the string.  */
4696             SvGROW(dstr, cur + 1);      /* inlined from sv_setpvn */
4697             Move(SvPVX_const(sstr),SvPVX(dstr),cur,char);
4698             SvCUR_set(dstr, cur);
4699             *SvEND(dstr) = '\0';
4700         }
4701         if (sflags & SVp_NOK) {
4702             SvNV_set(dstr, SvNVX(sstr));
4703         }
4704         if (sflags & SVp_IOK) {
4705             SvIV_set(dstr, SvIVX(sstr));
4706             if (sflags & SVf_IVisUV)
4707                 SvIsUV_on(dstr);
4708         }
4709         SvFLAGS(dstr) |= sflags & (SVf_IOK|SVp_IOK|SVf_NOK|SVp_NOK|SVf_UTF8);
4710         {
4711             const MAGIC * const smg = SvVSTRING_mg(sstr);
4712             if (smg) {
4713                 sv_magic(dstr, NULL, PERL_MAGIC_vstring,
4714                          smg->mg_ptr, smg->mg_len);
4715                 SvRMAGICAL_on(dstr);
4716             }
4717         }
4718     }
4719     else if (sflags & (SVp_IOK|SVp_NOK)) {
4720         (void)SvOK_off(dstr);
4721         SvFLAGS(dstr) |= sflags & (SVf_IOK|SVp_IOK|SVf_IVisUV|SVf_NOK|SVp_NOK);
4722         if (sflags & SVp_IOK) {
4723             /* XXXX Do we want to set IsUV for IV(ROK)?  Be extra safe... */
4724             SvIV_set(dstr, SvIVX(sstr));
4725         }
4726         if (sflags & SVp_NOK) {
4727             SvNV_set(dstr, SvNVX(sstr));
4728         }
4729     }
4730     else {
4731         if (isGV_with_GP(sstr)) {
4732             gv_efullname3(dstr, MUTABLE_GV(sstr), "*");
4733         }
4734         else
4735             (void)SvOK_off(dstr);
4736     }
4737     if (SvTAINTED(sstr))
4738         SvTAINT(dstr);
4739 }
4740
4741
4742 /*
4743 =for apidoc sv_set_undef
4744
4745 Equivalent to C<sv_setsv(sv, &PL_sv_undef)>, but more efficient.
4746 Doesn't handle set magic.
4747
4748 The perl equivalent is C<$sv = undef;>. Note that it doesn't free any string
4749 buffer, unlike C<undef $sv>.
4750
4751 Introduced in perl 5.25.12.
4752
4753 =cut
4754 */
4755
4756 void
4757 Perl_sv_set_undef(pTHX_ SV *sv)
4758 {
4759     U32 type = SvTYPE(sv);
4760
4761     PERL_ARGS_ASSERT_SV_SET_UNDEF;
4762
4763     /* shortcut, NULL, IV, RV */
4764
4765     if (type <= SVt_IV) {
4766         assert(!SvGMAGICAL(sv));
4767         if (SvREADONLY(sv)) {
4768             /* does undeffing PL_sv_undef count as modifying a read-only
4769              * variable? Some XS code does this */
4770             if (sv == &PL_sv_undef)
4771                 return;
4772             Perl_croak_no_modify();
4773         }
4774
4775         if (SvROK(sv)) {
4776             if (SvWEAKREF(sv))
4777                 sv_unref_flags(sv, 0);
4778             else {
4779                 SV *rv = SvRV(sv);
4780                 SvFLAGS(sv) = type; /* quickly turn off all flags */
4781                 SvREFCNT_dec_NN(rv);
4782                 return;
4783             }
4784         }
4785         SvFLAGS(sv) = type; /* quickly turn off all flags */
4786         return;
4787     }
4788
4789     if (SvIS_FREED(sv))
4790         Perl_croak(aTHX_ "panic: attempt to undefine a freed scalar %p",
4791             (void *)sv);
4792
4793     SV_CHECK_THINKFIRST_COW_DROP(sv);
4794
4795     if (isGV_with_GP(sv))
4796         Perl_ck_warner(aTHX_ packWARN(WARN_MISC),
4797                        "Undefined value assigned to typeglob");
4798     else
4799         SvOK_off(sv);
4800 }
4801
4802
4803
4804 /*
4805 =for apidoc sv_setsv_mg
4806
4807 Like C<sv_setsv>, but also handles 'set' magic.
4808
4809 =cut
4810 */
4811
4812 void
4813 Perl_sv_setsv_mg(pTHX_ SV *const dstr, SV *const sstr)
4814 {
4815     PERL_ARGS_ASSERT_SV_SETSV_MG;
4816
4817     sv_setsv(dstr,sstr);
4818     SvSETMAGIC(dstr);
4819 }
4820
4821 #ifdef PERL_ANY_COW
4822 #  define SVt_COW SVt_PV
4823 SV *
4824 Perl_sv_setsv_cow(pTHX_ SV *dstr, SV *sstr)
4825 {
4826     STRLEN cur = SvCUR(sstr);
4827     STRLEN len = SvLEN(sstr);
4828     char *new_pv;
4829 #if defined(PERL_DEBUG_READONLY_COW) && defined(PERL_COPY_ON_WRITE)
4830     const bool already = cBOOL(SvIsCOW(sstr));
4831 #endif
4832
4833     PERL_ARGS_ASSERT_SV_SETSV_COW;
4834 #ifdef DEBUGGING
4835     if (DEBUG_C_TEST) {
4836         PerlIO_printf(Perl_debug_log, "Fast copy on write: %p -> %p\n",
4837                       (void*)sstr, (void*)dstr);
4838         sv_dump(sstr);
4839         if (dstr)
4840                     sv_dump(dstr);
4841     }
4842 #endif
4843     if (dstr) {
4844         if (SvTHINKFIRST(dstr))
4845             sv_force_normal_flags(dstr, SV_COW_DROP_PV);
4846         else if (SvPVX_const(dstr))
4847             Safefree(SvPVX_mutable(dstr));
4848     }
4849     else
4850         new_SV(dstr);
4851     SvUPGRADE(dstr, SVt_COW);
4852
4853     assert (SvPOK(sstr));
4854     assert (SvPOKp(sstr));
4855
4856     if (SvIsCOW(sstr)) {
4857
4858         if (SvLEN(sstr) == 0) {
4859             /* source is a COW shared hash key.  */
4860             DEBUG_C(PerlIO_printf(Perl_debug_log,
4861                                   "Fast copy on write: Sharing hash\n"));
4862             new_pv = HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr))));
4863             goto common_exit;
4864         }
4865         assert(SvCUR(sstr)+1 < SvLEN(sstr));
4866         assert(CowREFCNT(sstr) < SV_COW_REFCNT_MAX);
4867     } else {
4868         assert ((SvFLAGS(sstr) & CAN_COW_MASK) == CAN_COW_FLAGS);
4869         SvUPGRADE(sstr, SVt_COW);
4870         SvIsCOW_on(sstr);
4871         DEBUG_C(PerlIO_printf(Perl_debug_log,
4872                               "Fast copy on write: Converting sstr to COW\n"));
4873         CowREFCNT(sstr) = 0;    
4874     }
4875 #  ifdef PERL_DEBUG_READONLY_COW
4876     if (already) sv_buf_to_rw(sstr);
4877 #  endif
4878     CowREFCNT(sstr)++;  
4879     new_pv = SvPVX_mutable(sstr);
4880     sv_buf_to_ro(sstr);
4881
4882   common_exit:
4883     SvPV_set(dstr, new_pv);
4884     SvFLAGS(dstr) = (SVt_COW|SVf_POK|SVp_POK|SVf_IsCOW);
4885     if (SvUTF8(sstr))
4886         SvUTF8_on(dstr);
4887     SvLEN_set(dstr, len);
4888     SvCUR_set(dstr, cur);
4889 #ifdef DEBUGGING
4890     if (DEBUG_C_TEST)
4891                 sv_dump(dstr);
4892 #endif
4893     return dstr;
4894 }
4895 #endif
4896
4897 /*
4898 =for apidoc sv_setpv_bufsize
4899
4900 Sets the SV to be a string of cur bytes length, with at least
4901 len bytes available. Ensures that there is a null byte at SvEND.
4902 Returns a char * pointer to the SvPV buffer.
4903
4904 =cut
4905 */
4906
4907 char *
4908 Perl_sv_setpv_bufsize(pTHX_ SV *const sv, const STRLEN cur, const STRLEN len)
4909 {
4910     char *pv;
4911
4912     PERL_ARGS_ASSERT_SV_SETPV_BUFSIZE;
4913
4914     SV_CHECK_THINKFIRST_COW_DROP(sv);
4915     SvUPGRADE(sv, SVt_PV);
4916     pv = SvGROW(sv, len + 1);
4917     SvCUR_set(sv, cur);
4918     *(SvEND(sv))= '\0';
4919     (void)SvPOK_only_UTF8(sv);                /* validate pointer */
4920
4921     SvTAINT(sv);
4922     if (SvTYPE(sv) == SVt_PVCV) CvAUTOLOAD_off(sv);
4923     return pv;
4924 }
4925
4926 /*
4927 =for apidoc sv_setpvn
4928
4929 Copies a string (possibly containing embedded C<NUL> characters) into an SV.
4930 The C<len> parameter indicates the number of
4931 bytes to be copied.  If the C<ptr> argument is NULL the SV will become
4932 undefined.  Does not handle 'set' magic.  See C<L</sv_setpvn_mg>>.
4933
4934 =cut
4935 */
4936
4937 void
4938 Perl_sv_setpvn(pTHX_ SV *const sv, const char *const ptr, const STRLEN len)
4939 {
4940     char *dptr;
4941
4942     PERL_ARGS_ASSERT_SV_SETPVN;
4943
4944     SV_CHECK_THINKFIRST_COW_DROP(sv);
4945     if (isGV_with_GP(sv))
4946         Perl_croak_no_modify();
4947     if (!ptr) {
4948         (void)SvOK_off(sv);
4949         return;
4950     }
4951     else {
4952         /* len is STRLEN which is unsigned, need to copy to signed */
4953         const IV iv = len;
4954         if (iv < 0)
4955             Perl_croak(aTHX_ "panic: sv_setpvn called with negative strlen %"
4956                        IVdf, iv);
4957     }
4958     SvUPGRADE(sv, SVt_PV);
4959
4960     dptr = SvGROW(sv, len + 1);
4961     Move(ptr,dptr,len,char);
4962     dptr[len] = '\0';
4963     SvCUR_set(sv, len);
4964     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4965     SvTAINT(sv);
4966     if (SvTYPE(sv) == SVt_PVCV) CvAUTOLOAD_off(sv);
4967 }
4968
4969 /*
4970 =for apidoc sv_setpvn_mg
4971
4972 Like C<sv_setpvn>, but also handles 'set' magic.
4973
4974 =cut
4975 */
4976
4977 void
4978 Perl_sv_setpvn_mg(pTHX_ SV *const sv, const char *const ptr, const STRLEN len)
4979 {
4980     PERL_ARGS_ASSERT_SV_SETPVN_MG;
4981
4982     sv_setpvn(sv,ptr,len);
4983     SvSETMAGIC(sv);
4984 }
4985
4986 /*
4987 =for apidoc sv_setpv
4988
4989 Copies a string into an SV.  The string must be terminated with a C<NUL>
4990 character, and not contain embeded C<NUL>'s.
4991 Does not handle 'set' magic.  See C<L</sv_setpv_mg>>.
4992
4993 =cut
4994 */
4995
4996 void
4997 Perl_sv_setpv(pTHX_ SV *const sv, const char *const ptr)
4998 {
4999     STRLEN len;
5000
5001     PERL_ARGS_ASSERT_SV_SETPV;
5002
5003     SV_CHECK_THINKFIRST_COW_DROP(sv);
5004     if (!ptr) {
5005         (void)SvOK_off(sv);
5006         return;
5007     }
5008     len = strlen(ptr);
5009     SvUPGRADE(sv, SVt_PV);
5010
5011     SvGROW(sv, len + 1);
5012     Move(ptr,SvPVX(sv),len+1,char);
5013     SvCUR_set(sv, len);
5014     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
5015     SvTAINT(sv);
5016     if (SvTYPE(sv) == SVt_PVCV) CvAUTOLOAD_off(sv);
5017 }
5018
5019 /*
5020 =for apidoc sv_setpv_mg
5021
5022 Like C<sv_setpv>, but also handles 'set' magic.
5023
5024 =cut
5025 */
5026
5027 void
5028 Perl_sv_setpv_mg(pTHX_ SV *const sv, const char *const ptr)
5029 {
5030     PERL_ARGS_ASSERT_SV_SETPV_MG;
5031
5032     sv_setpv(sv,ptr);
5033     SvSETMAGIC(sv);
5034 }
5035
5036 void
5037 Perl_sv_sethek(pTHX_ SV *const sv, const HEK *const hek)
5038 {
5039     PERL_ARGS_ASSERT_SV_SETHEK;
5040
5041     if (!hek) {
5042         return;
5043     }
5044
5045     if (HEK_LEN(hek) == HEf_SVKEY) {
5046         sv_setsv(sv, *(SV**)HEK_KEY(hek));
5047         return;
5048     } else {
5049         const int flags = HEK_FLAGS(hek);
5050         if (flags & HVhek_WASUTF8) {
5051             STRLEN utf8_len = HEK_LEN(hek);
5052             char *as_utf8 = (char *)bytes_to_utf8((U8*)HEK_KEY(hek), &utf8_len);
5053             sv_usepvn_flags(sv, as_utf8, utf8_len, SV_HAS_TRAILING_NUL);
5054             SvUTF8_on(sv);
5055             return;
5056         } else if (flags & HVhek_UNSHARED) {
5057             sv_setpvn(sv, HEK_KEY(hek), HEK_LEN(hek));
5058             if (HEK_UTF8(hek))
5059                 SvUTF8_on(sv);
5060             else SvUTF8_off(sv);
5061             return;
5062         }
5063         {
5064             SV_CHECK_THINKFIRST_COW_DROP(sv);
5065             SvUPGRADE(sv, SVt_PV);
5066             SvPV_free(sv);
5067             SvPV_set(sv,(char *)HEK_KEY(share_hek_hek(hek)));
5068             SvCUR_set(sv, HEK_LEN(hek));
5069             SvLEN_set(sv, 0);
5070             SvIsCOW_on(sv);
5071             SvPOK_on(sv);
5072             if (HEK_UTF8(hek))
5073                 SvUTF8_on(sv);
5074             else SvUTF8_off(sv);
5075             return;
5076         }
5077     }
5078 }
5079
5080
5081 /*
5082 =for apidoc sv_usepvn_flags
5083
5084 Tells an SV to use C<ptr> to find its string value.  Normally the
5085 string is stored inside the SV, but sv_usepvn allows the SV to use an
5086 outside string.  C<ptr> should point to memory that was allocated
5087 by L<C<Newx>|perlclib/Memory Management and String Handling>.  It must be
5088 the start of a C<Newx>-ed block of memory, and not a pointer to the
5089 middle of it (beware of L<C<OOK>|perlguts/Offsets> and copy-on-write),
5090 and not be from a non-C<Newx> memory allocator like C<malloc>.  The
5091 string length, C<len>, must be supplied.  By default this function
5092 will C<Renew> (i.e. realloc, move) the memory pointed to by C<ptr>,
5093 so that pointer should not be freed or used by the programmer after
5094 giving it to C<sv_usepvn>, and neither should any pointers from "behind"
5095 that pointer (e.g. ptr + 1) be used.
5096
5097 If S<C<flags & SV_SMAGIC>> is true, will call C<SvSETMAGIC>.  If
5098 S<C<flags & SV_HAS_TRAILING_NUL>> is true, then C<ptr[len]> must be C<NUL>,
5099 and the realloc
5100 will be skipped (i.e. the buffer is actually at least 1 byte longer than
5101 C<len>, and already meets the requirements for storing in C<SvPVX>).
5102
5103 =cut
5104 */
5105
5106 void
5107 Perl_sv_usepvn_flags(pTHX_ SV *const sv, char *ptr, const STRLEN len, const U32 flags)
5108 {
5109     STRLEN allocate;
5110
5111     PERL_ARGS_ASSERT_SV_USEPVN_FLAGS;
5112
5113     SV_CHECK_THINKFIRST_COW_DROP(sv);
5114     SvUPGRADE(sv, SVt_PV);
5115     if (!ptr) {
5116         (void)SvOK_off(sv);
5117         if (flags & SV_SMAGIC)
5118             SvSETMAGIC(sv);
5119         return;
5120     }
5121     if (SvPVX_const(sv))
5122         SvPV_free(sv);
5123
5124 #ifdef DEBUGGING
5125     if (flags & SV_HAS_TRAILING_NUL)
5126         assert(ptr[len] == '\0');
5127 #endif
5128
5129     allocate = (flags & SV_HAS_TRAILING_NUL)
5130         ? len + 1 :
5131 #ifdef Perl_safesysmalloc_size
5132         len + 1;
5133 #else 
5134         PERL_STRLEN_ROUNDUP(len + 1);
5135 #endif
5136     if (flags & SV_HAS_TRAILING_NUL) {
5137         /* It's long enough - do nothing.
5138            Specifically Perl_newCONSTSUB is relying on this.  */
5139     } else {
5140 #ifdef DEBUGGING
5141         /* Force a move to shake out bugs in callers.  */
5142         char *new_ptr = (char*)safemalloc(allocate);
5143         Copy(ptr, new_ptr, len, char);
5144         PoisonFree(ptr,len,char);
5145         Safefree(ptr);
5146         ptr = new_ptr;
5147 #else
5148         ptr = (char*) saferealloc (ptr, allocate);
5149 #endif
5150     }
5151 #ifdef Perl_safesysmalloc_size
5152     SvLEN_set(sv, Perl_safesysmalloc_size(ptr));
5153 #else
5154     SvLEN_set(sv, allocate);
5155 #endif
5156     SvCUR_set(sv, len);
5157     SvPV_set(sv, ptr);
5158     if (!(flags & SV_HAS_TRAILING_NUL)) {
5159         ptr[len] = '\0';
5160     }
5161     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
5162     SvTAINT(sv);
5163     if (flags & SV_SMAGIC)
5164         SvSETMAGIC(sv);
5165 }
5166
5167
5168 static void
5169 S_sv_uncow(pTHX_ SV * const sv, const U32 flags)
5170 {
5171     assert(SvIsCOW(sv));
5172     {
5173 #ifdef PERL_ANY_COW
5174         const char * const pvx = SvPVX_const(sv);
5175         const STRLEN len = SvLEN(sv);
5176         const STRLEN cur = SvCUR(sv);
5177
5178 #ifdef DEBUGGING
5179         if (DEBUG_C_TEST) {
5180                 PerlIO_printf(Perl_debug_log,
5181                               "Copy on write: Force normal %ld\n",
5182                               (long) flags);
5183                 sv_dump(sv);
5184         }
5185 #endif
5186         SvIsCOW_off(sv);
5187 # ifdef PERL_COPY_ON_WRITE
5188         if (len) {
5189             /* Must do this first, since the CowREFCNT uses SvPVX and
5190             we need to write to CowREFCNT, or de-RO the whole buffer if we are
5191             the only owner left of the buffer. */
5192             sv_buf_to_rw(sv); /* NOOP if RO-ing not supported */
5193             {
5194                 U8 cowrefcnt = CowREFCNT(sv);
5195                 if(cowrefcnt != 0) {
5196                     cowrefcnt--;
5197                     CowREFCNT(sv) = cowrefcnt;
5198                     sv_buf_to_ro(sv);
5199                     goto copy_over;
5200                 }
5201             }
5202             /* Else we are the only owner of the buffer. */
5203         }
5204         else
5205 # endif
5206         {
5207             /* This SV doesn't own the buffer, so need to Newx() a new one:  */
5208             copy_over:
5209             SvPV_set(sv, NULL);
5210             SvCUR_set(sv, 0);
5211             SvLEN_set(sv, 0);
5212             if (flags & SV_COW_DROP_PV) {
5213                 /* OK, so we don't need to copy our buffer.  */
5214                 SvPOK_off(sv);
5215             } else {
5216                 SvGROW(sv, cur + 1);
5217                 Move(pvx,SvPVX(sv),cur,char);
5218                 SvCUR_set(sv, cur);
5219                 *SvEND(sv) = '\0';
5220             }
5221             if (! len) {
5222                         unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
5223             }
5224 #ifdef DEBUGGING
5225             if (DEBUG_C_TEST)
5226                 sv_dump(sv);
5227 #endif
5228         }
5229 #else
5230             const char * const pvx = SvPVX_const(sv);
5231             const STRLEN len = SvCUR(sv);
5232             SvIsCOW_off(sv);
5233             SvPV_set(sv, NULL);
5234             SvLEN_set(sv, 0);
5235             if (flags & SV_COW_DROP_PV) {
5236                 /* OK, so we don't need to copy our buffer.  */
5237                 SvPOK_off(sv);
5238             } else {
5239                 SvGROW(sv, len + 1);
5240                 Move(pvx,SvPVX(sv),len,char);
5241                 *SvEND(sv) = '\0';
5242             }
5243             unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
5244 #endif
5245     }
5246 }
5247
5248
5249 /*
5250 =for apidoc sv_force_normal_flags
5251
5252 Undo various types of fakery on an SV, where fakery means
5253 "more than" a string: if the PV is a shared string, make
5254 a private copy; if we're a ref, stop refing; if we're a glob, downgrade to
5255 an C<xpvmg>; if we're a copy-on-write scalar, this is the on-write time when
5256 we do the copy, and is also used locally; if this is a
5257 vstring, drop the vstring magic.  If C<SV_COW_DROP_PV> is set
5258 then a copy-on-write scalar drops its PV buffer (if any) and becomes
5259 C<SvPOK_off> rather than making a copy.  (Used where this
5260 scalar is about to be set to some other value.)  In addition,
5261 the C<flags> parameter gets passed to C<sv_unref_flags()>
5262 when unreffing.  C<sv_force_normal> calls this function
5263 with flags set to 0.
5264
5265 This function is expected to be used to signal to perl that this SV is
5266 about to be written to, and any extra book-keeping needs to be taken care
5267 of.  Hence, it croaks on read-only values.
5268
5269 =cut
5270 */
5271
5272 void
5273 Perl_sv_force_normal_flags(pTHX_ SV *const sv, const U32 flags)
5274 {
5275     PERL_ARGS_ASSERT_SV_FORCE_NORMAL_FLAGS;
5276
5277     if (SvREADONLY(sv))
5278         Perl_croak_no_modify();
5279     else if (SvIsCOW(sv) && LIKELY(SvTYPE(sv) != SVt_PVHV))
5280         S_sv_uncow(aTHX_ sv, flags);
5281     if (SvROK(sv))
5282         sv_unref_flags(sv, flags);
5283     else if (SvFAKE(sv) && isGV_with_GP(sv))
5284         sv_unglob(sv, flags);
5285     else if (SvFAKE(sv) && isREGEXP(sv)) {
5286         /* Need to downgrade the REGEXP to a simple(r) scalar. This is analogous
5287            to sv_unglob. We only need it here, so inline it.  */
5288         const bool islv = SvTYPE(sv) == SVt_PVLV;
5289         const svtype new_type =
5290           islv ? SVt_NULL : SvMAGIC(sv) || SvSTASH(sv) ? SVt_PVMG : SVt_PV;
5291         SV *const temp = newSV_type(new_type);
5292         regexp *old_rx_body;
5293
5294         if (new_type == SVt_PVMG) {
5295             SvMAGIC_set(temp, SvMAGIC(sv));
5296             SvMAGIC_set(sv, NULL);
5297             SvSTASH_set(temp, SvSTASH(sv));
5298             SvSTASH_set(sv, NULL);
5299         }
5300         if (!islv)
5301             SvCUR_set(temp, SvCUR(sv));
5302         /* Remember that SvPVX is in the head, not the body. */
5303         assert(ReANY((REGEXP *)sv)->mother_re);
5304
5305         if (islv) {
5306             /* LV-as-regex has sv->sv_any pointing to an XPVLV body,
5307              * whose xpvlenu_rx field points to the regex body */
5308             XPV *xpv = (XPV*)(SvANY(sv));
5309             old_rx_body = xpv->xpv_len_u.xpvlenu_rx;
5310             xpv->xpv_len_u.xpvlenu_rx = NULL;
5311         }
5312         else
5313             old_rx_body = ReANY((REGEXP *)sv);
5314
5315         /* Their buffer is already owned by someone else. */
5316         if (flags & SV_COW_DROP_PV) {
5317             /* SvLEN is already 0.  For SVt_REGEXP, we have a brand new
5318                zeroed body.  For SVt_PVLV, we zeroed it above (len field
5319                a union with xpvlenu_rx) */
5320             assert(!SvLEN(islv ? sv : temp));
5321             sv->sv_u.svu_pv = 0;
5322         }
5323         else {
5324             sv->sv_u.svu_pv = savepvn(RX_WRAPPED((REGEXP *)sv), SvCUR(sv));
5325             SvLEN_set(islv ? sv : temp, SvCUR(sv)+1);
5326             SvPOK_on(sv);
5327         }
5328
5329         /* Now swap the rest of the bodies. */
5330
5331         SvFAKE_off(sv);
5332         if (!islv) {
5333             SvFLAGS(sv) &= ~SVTYPEMASK;
5334             SvFLAGS(sv) |= new_type;
5335             SvANY(sv) = SvANY(temp);
5336         }
5337
5338         SvFLAGS(temp) &= ~(SVTYPEMASK);
5339         SvFLAGS(temp) |= SVt_REGEXP|SVf_FAKE;
5340         SvANY(temp) = old_rx_body;
5341
5342         SvREFCNT_dec_NN(temp);
5343     }
5344     else if (SvVOK(sv)) sv_unmagic(sv, PERL_MAGIC_vstring);
5345 }
5346
5347 /*
5348 =for apidoc sv_chop
5349
5350 Efficient removal of characters from the beginning of the string buffer.
5351 C<SvPOK(sv)>, or at least C<SvPOKp(sv)>, must be true and C<ptr> must be a
5352 pointer to somewhere inside the string buffer.  C<ptr> becomes the first
5353 character of the adjusted string.  Uses the C<OOK> hack.  On return, only
5354 C<SvPOK(sv)> and C<SvPOKp(sv)> among the C<OK> flags will be true.
5355
5356 Beware: after this function returns, C<ptr> and SvPVX_const(sv) may no longer
5357 refer to the same chunk of data.
5358
5359 The unfortunate similarity of this function's name to that of Perl's C<chop>
5360 operator is strictly coincidental.  This function works from the left;
5361 C<chop> works from the right.
5362
5363 =cut
5364 */
5365
5366 void
5367 Perl_sv_chop(pTHX_ SV *const sv, const char *const ptr)
5368 {
5369     STRLEN delta;
5370     STRLEN old_delta;
5371     U8 *p;
5372 #ifdef DEBUGGING
5373     const U8 *evacp;
5374     STRLEN evacn;
5375 #endif
5376     STRLEN max_delta;
5377
5378     PERL_ARGS_ASSERT_SV_CHOP;
5379
5380     if (!ptr || !SvPOKp(sv))
5381         return;
5382     delta = ptr - SvPVX_const(sv);
5383     if (!delta) {
5384         /* Nothing to do.  */
5385         return;
5386     }
5387     max_delta = SvLEN(sv) ? SvLEN(sv) : SvCUR(sv);
5388     if (delta > max_delta)
5389         Perl_croak(aTHX_ "panic: sv_chop ptr=%p, start=%p, end=%p",
5390                    ptr, SvPVX_const(sv), SvPVX_const(sv) + max_delta);
5391     /* SvPVX(sv) may move in SV_CHECK_THINKFIRST(sv), so don't use ptr any more */
5392     SV_CHECK_THINKFIRST(sv);
5393     SvPOK_only_UTF8(sv);
5394
5395     if (!SvOOK(sv)) {
5396         if (!SvLEN(sv)) { /* make copy of shared string */
5397             const char *pvx = SvPVX_const(sv);
5398             const STRLEN len = SvCUR(sv);
5399             SvGROW(sv, len + 1);
5400             Move(pvx,SvPVX(sv),len,char);
5401             *SvEND(sv) = '\0';
5402         }
5403         SvOOK_on(sv);
5404         old_delta = 0;
5405     } else {
5406         SvOOK_offset(sv, old_delta);
5407     }
5408     SvLEN_set(sv, SvLEN(sv) - delta);
5409     SvCUR_set(sv, SvCUR(sv) - delta);
5410     SvPV_set(sv, SvPVX(sv) + delta);
5411
5412     p = (U8 *)SvPVX_const(sv);
5413
5414 #ifdef DEBUGGING
5415     /* how many bytes were evacuated?  we will fill them with sentinel
5416        bytes, except for the part holding the new offset of course. */
5417     evacn = delta;
5418     if (old_delta)
5419         evacn += (old_delta < 0x100 ? 1 : 1 + sizeof(STRLEN));
5420     assert(evacn);
5421     assert(evacn <= delta + old_delta);
5422     evacp = p - evacn;
5423 #endif
5424
5425     /* This sets 'delta' to the accumulated value of all deltas so far */
5426     delta += old_delta;
5427     assert(delta);
5428
5429     /* If 'delta' fits in a byte, store it just prior to the new beginning of
5430      * the string; otherwise store a 0 byte there and store 'delta' just prior
5431      * to that, using as many bytes as a STRLEN occupies.  Thus it overwrites a
5432      * portion of the chopped part of the string */
5433     if (delta < 0x100) {
5434         *--p = (U8) delta;
5435     } else {
5436         *--p = 0;
5437         p -= sizeof(STRLEN);
5438         Copy((U8*)&delta, p, sizeof(STRLEN), U8);
5439     }
5440
5441 #ifdef DEBUGGING
5442     /* Fill the preceding buffer with sentinals to verify that no-one is
5443        using it.  */
5444     while (p > evacp) {
5445         --p;
5446         *p = (U8)PTR2UV(p);
5447     }
5448 #endif
5449 }
5450
5451 /*
5452 =for apidoc sv_catpvn
5453
5454 Concatenates the string onto the end of the string which is in the SV.
5455 C<len> indicates number of bytes to copy.  If the SV has the UTF-8
5456 status set, then the bytes appended should be valid UTF-8.
5457 Handles 'get' magic, but not 'set' magic.  See C<L</sv_catpvn_mg>>.
5458
5459 =for apidoc sv_catpvn_flags
5460
5461 Concatenates the string onto the end of the string which is in the SV.  The
5462 C<len> indicates number of bytes to copy.
5463
5464 By default, the string appended is assumed to be valid UTF-8 if the SV has
5465 the UTF-8 status set, and a string of bytes otherwise.  One can force the
5466 appended string to be interpreted as UTF-8 by supplying the C<SV_CATUTF8>
5467 flag, and as bytes by supplying the C<SV_CATBYTES> flag; the SV or the
5468 string appended will be upgraded to UTF-8 if necessary.
5469
5470 If C<flags> has the C<SV_SMAGIC> bit set, will
5471 C<mg_set> on C<dsv> afterwards if appropriate.
5472 C<sv_catpvn> and C<sv_catpvn_nomg> are implemented
5473 in terms of this function.
5474
5475 =cut
5476 */
5477
5478 void
5479 Perl_sv_catpvn_flags(pTHX_ SV *const dsv, const char *sstr, const STRLEN slen, const I32 flags)
5480 {
5481     STRLEN dlen;
5482     const char * const dstr = SvPV_force_flags(dsv, dlen, flags);
5483
5484     PERL_ARGS_ASSERT_SV_CATPVN_FLAGS;
5485     assert((flags & (SV_CATBYTES|SV_CATUTF8)) != (SV_CATBYTES|SV_CATUTF8));
5486
5487     if (!(flags & SV_CATBYTES) || !SvUTF8(dsv)) {
5488       if (flags & SV_CATUTF8 && !SvUTF8(dsv)) {
5489          sv_utf8_upgrade_flags_grow(dsv, 0, slen + 1);
5490          dlen = SvCUR(dsv);
5491       }
5492       else SvGROW(dsv, dlen + slen + 3);
5493       if (sstr == dstr)
5494         sstr = SvPVX_const(dsv);
5495       Move(sstr, SvPVX(dsv) + dlen, slen, char);
5496       SvCUR_set(dsv, SvCUR(dsv) + slen);
5497     }
5498     else {
5499         /* We inline bytes_to_utf8, to avoid an extra malloc. */
5500         const char * const send = sstr + slen;
5501         U8 *d;
5502
5503         /* Something this code does not account for, which I think is
5504            impossible; it would require the same pv to be treated as
5505            bytes *and* utf8, which would indicate a bug elsewhere. */
5506         assert(sstr != dstr);
5507
5508         SvGROW(dsv, dlen + slen * 2 + 3);
5509         d = (U8 *)SvPVX(dsv) + dlen;
5510
5511         while (sstr < send) {
5512             append_utf8_from_native_byte(*sstr, &d);
5513             sstr++;
5514         }
5515         SvCUR_set(dsv, d-(const U8 *)SvPVX(dsv));
5516     }
5517     *SvEND(dsv) = '\0';
5518     (void)SvPOK_only_UTF8(dsv);         /* validate pointer */
5519     SvTAINT(dsv);
5520     if (flags & SV_SMAGIC)
5521         SvSETMAGIC(dsv);
5522 }
5523
5524 /*
5525 =for apidoc sv_catsv
5526
5527 Concatenates the string from SV C<ssv> onto the end of the string in SV
5528 C<dsv>.  If C<ssv> is null, does nothing; otherwise modifies only C<dsv>.
5529 Handles 'get' magic on both SVs, but no 'set' magic.  See C<L</sv_catsv_mg>>
5530 and C<L</sv_catsv_nomg>>.
5531
5532 =for apidoc sv_catsv_flags
5533
5534 Concatenates the string from SV C<ssv> onto the end of the string in SV
5535 C<dsv>.  If C<ssv> is null, does nothing; otherwise modifies only C<dsv>.
5536 If C<flags> has the C<SV_GMAGIC> bit set, will call C<mg_get> on both SVs if
5537 appropriate.  If C<flags> has the C<SV_SMAGIC> bit set, C<mg_set> will be called on
5538 the modified SV afterward, if appropriate.  C<sv_catsv>, C<sv_catsv_nomg>,
5539 and C<sv_catsv_mg> are implemented in terms of this function.
5540
5541 =cut */
5542
5543 void
5544 Perl_sv_catsv_flags(pTHX_ SV *const dsv, SV *const ssv, const I32 flags)
5545 {
5546     PERL_ARGS_ASSERT_SV_CATSV_FLAGS;
5547
5548     if (ssv) {
5549         STRLEN slen;
5550         const char *spv = SvPV_flags_const(ssv, slen, flags);
5551         if (flags & SV_GMAGIC)
5552                 SvGETMAGIC(dsv);
5553         sv_catpvn_flags(dsv, spv, slen,
5554                             DO_UTF8(ssv) ? SV_CATUTF8 : SV_CATBYTES);
5555         if (flags & SV_SMAGIC)
5556                 SvSETMAGIC(dsv);
5557     }
5558 }
5559
5560 /*
5561 =for apidoc sv_catpv
5562
5563 Concatenates the C<NUL>-terminated string onto the end of the string which is
5564 in the SV.
5565 If the SV has the UTF-8 status set, then the bytes appended should be
5566 valid UTF-8.  Handles 'get' magic, but not 'set' magic.  See
5567 C<L</sv_catpv_mg>>.
5568
5569 =cut */
5570
5571 void
5572 Perl_sv_catpv(pTHX_ SV *const sv, const char *ptr)
5573 {
5574     STRLEN len;
5575     STRLEN tlen;
5576     char *junk;
5577
5578     PERL_ARGS_ASSERT_SV_CATPV;
5579
5580     if (!ptr)
5581         return;
5582     junk = SvPV_force(sv, tlen);
5583     len = strlen(ptr);
5584     SvGROW(sv, tlen + len + 1);
5585     if (ptr == junk)
5586         ptr = SvPVX_const(sv);
5587     Move(ptr,SvPVX(sv)+tlen,len+1,char);
5588     SvCUR_set(sv, SvCUR(sv) + len);
5589     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
5590     SvTAINT(sv);
5591 }
5592
5593 /*
5594 =for apidoc sv_catpv_flags
5595
5596 Concatenates the C<NUL>-terminated string onto the end of the string which is
5597 in the SV.
5598 If the SV has the UTF-8 status set, then the bytes appended should
5599 be valid UTF-8.  If C<flags> has the C<SV_SMAGIC> bit set, will C<mg_set>
5600 on the modified SV if appropriate.
5601
5602 =cut
5603 */
5604
5605 void
5606 Perl_sv_catpv_flags(pTHX_ SV *dstr, const char *sstr, const I32 flags)
5607 {
5608     PERL_ARGS_ASSERT_SV_CATPV_FLAGS;
5609     sv_catpvn_flags(dstr, sstr, strlen(sstr), flags);
5610 }
5611
5612 /*
5613 =for apidoc sv_catpv_mg
5614
5615 Like C<sv_catpv>, but also handles 'set' magic.
5616
5617 =cut
5618 */
5619
5620 void
5621 Perl_sv_catpv_mg(pTHX_ SV *const sv, const char *const ptr)
5622 {
5623     PERL_ARGS_ASSERT_SV_CATPV_MG;
5624
5625     sv_catpv(sv,ptr);
5626     SvSETMAGIC(sv);
5627 }
5628
5629 /*
5630 =for apidoc newSV
5631
5632 Creates a new SV.  A non-zero C<len> parameter indicates the number of
5633 bytes of preallocated string space the SV should have.  An extra byte for a
5634 trailing C<NUL> is also reserved.  (C<SvPOK> is not set for the SV even if string
5635 space is allocated.)  The reference count for the new SV is set to 1.
5636
5637 In 5.9.3, C<newSV()> replaces the older C<NEWSV()> API, and drops the first
5638 parameter, I<x>, a debug aid which allowed callers to identify themselves.
5639 This aid has been superseded by a new build option, C<PERL_MEM_LOG> (see
5640 L<perlhacktips/PERL_MEM_LOG>).  The older API is still there for use in XS
5641 modules supporting older perls.
5642
5643 =cut
5644 */
5645
5646 SV *
5647 Perl_newSV(pTHX_ const STRLEN len)
5648 {
5649     SV *sv;
5650
5651     new_SV(sv);
5652     if (len) {
5653         sv_grow(sv, len + 1);
5654     }
5655     return sv;
5656 }
5657 /*
5658 =for apidoc sv_magicext
5659
5660 Adds magic to an SV, upgrading it if necessary.  Applies the
5661 supplied C<vtable> and returns a pointer to the magic added.
5662
5663 Note that C<sv_magicext> will allow things that C<sv_magic> will not.
5664 In particular, you can add magic to C<SvREADONLY> SVs, and add more than
5665 one instance of the same C<how>.
5666
5667 If C<namlen> is greater than zero then a C<savepvn> I<copy> of C<name> is
5668 stored, if C<namlen> is zero then C<name> is stored as-is and - as another
5669 special case - if C<(name && namlen == HEf_SVKEY)> then C<name> is assumed
5670 to contain an SV* and is stored as-is with its C<REFCNT> incremented.
5671
5672 (This is now used as a subroutine by C<sv_magic>.)
5673
5674 =cut
5675 */
5676 MAGIC * 
5677 Perl_sv_magicext(pTHX_ SV *const sv, SV *const obj, const int how, 
5678                 const MGVTBL *const vtable, const char *const name, const I32 namlen)
5679 {
5680     MAGIC* mg;
5681
5682     PERL_ARGS_ASSERT_SV_MAGICEXT;
5683
5684     SvUPGRADE(sv, SVt_PVMG);
5685     Newxz(mg, 1, MAGIC);
5686     mg->mg_moremagic = SvMAGIC(sv);
5687     SvMAGIC_set(sv, mg);
5688
5689     /* Sometimes a magic contains a reference loop, where the sv and
5690        object refer to each other.  To prevent a reference loop that
5691        would prevent such objects being freed, we look for such loops
5692        and if we find one we avoid incrementing the object refcount.
5693
5694        Note we cannot do this to avoid self-tie loops as intervening RV must
5695        have its REFCNT incremented to keep it in existence.
5696
5697     */
5698     if (!obj || obj == sv ||
5699         how == PERL_MAGIC_arylen ||
5700         how == PERL_MAGIC_regdata ||
5701         how == PERL_MAGIC_regdatum ||
5702         how == PERL_MAGIC_symtab ||
5703         (SvTYPE(obj) == SVt_PVGV &&
5704             (GvSV(obj) == sv || GvHV(obj) == (const HV *)sv
5705              || GvAV(obj) == (const AV *)sv || GvCV(obj) == (const CV *)sv
5706              || GvIOp(obj) == (const IO *)sv || GvFORM(obj) == (const CV *)sv)))
5707     {
5708         mg->mg_obj = obj;
5709     }
5710     else {
5711         mg->mg_obj = SvREFCNT_inc_simple(obj);
5712         mg->mg_flags |= MGf_REFCOUNTED;
5713     }
5714
5715     /* Normal self-ties simply pass a null object, and instead of
5716        using mg_obj directly, use the SvTIED_obj macro to produce a
5717        new RV as needed.  For glob "self-ties", we are tieing the PVIO
5718        with an RV obj pointing to the glob containing the PVIO.  In
5719        this case, to avoid a reference loop, we need to weaken the
5720        reference.
5721     */
5722
5723     if (how == PERL_MAGIC_tiedscalar && SvTYPE(sv) == SVt_PVIO &&
5724         obj && SvROK(obj) && GvIO(SvRV(obj)) == (const IO *)sv)
5725     {
5726       sv_rvweaken(obj);
5727     }
5728
5729     mg->mg_type = how;
5730     mg->mg_len = namlen;
5731     if (name) {
5732         if (namlen > 0)
5733             mg->mg_ptr = savepvn(name, namlen);
5734         else if (namlen == HEf_SVKEY) {
5735             /* Yes, this is casting away const. This is only for the case of
5736                HEf_SVKEY. I think we need to document this aberation of the
5737                constness of the API, rather than making name non-const, as
5738                that change propagating outwards a long way.  */
5739             mg->mg_ptr = (char*)SvREFCNT_inc_simple_NN((SV *)name);
5740         } else
5741             mg->mg_ptr = (char *) name;
5742     }
5743     mg->mg_virtual = (MGVTBL *) vtable;
5744
5745     mg_magical(sv);
5746     return mg;
5747 }
5748
5749 MAGIC *
5750 Perl_sv_magicext_mglob(pTHX_ SV *sv)
5751 {
5752     PERL_ARGS_ASSERT_SV_MAGICEXT_MGLOB;
5753     if (SvTYPE(sv) == SVt_PVLV && LvTYPE(sv) == 'y') {
5754         /* This sv is only a delegate.  //g magic must be attached to
5755            its target. */
5756         vivify_defelem(sv);
5757         sv = LvTARG(sv);
5758     }
5759     return sv_magicext(sv, NULL, PERL_MAGIC_regex_global,
5760                        &PL_vtbl_mglob, 0, 0);
5761 }
5762
5763 /*
5764 =for apidoc sv_magic
5765
5766 Adds magic to an SV.  First upgrades C<sv> to type C<SVt_PVMG> if
5767 necessary, then adds a new magic item of type C<how> to the head of the
5768 magic list.
5769
5770 See C<L</sv_magicext>> (which C<sv_magic> now calls) for a description of the
5771 handling of the C<name> and C<namlen> arguments.
5772
5773 You need to use C<sv_magicext> to add magic to C<SvREADONLY> SVs and also
5774 to add more than one instance of the same C<how>.
5775
5776 =cut
5777 */
5778
5779 void
5780 Perl_sv_magic(pTHX_ SV *const sv, SV *const obj, const int how,
5781              const char *const name, const I32 namlen)
5782 {
5783     const MGVTBL *vtable;
5784     MAGIC* mg;
5785     unsigned int flags;
5786     unsigned int vtable_index;
5787
5788     PERL_ARGS_ASSERT_SV_MAGIC;
5789
5790     if (how < 0 || (unsigned)how >= C_ARRAY_LENGTH(PL_magic_data)
5791         || ((flags = PL_magic_data[how]),
5792             (vtable_index = flags & PERL_MAGIC_VTABLE_MASK)
5793             > magic_vtable_max))
5794         Perl_croak(aTHX_ "Don't know how to handle magic of type \\%o", how);
5795
5796     /* PERL_MAGIC_ext is reserved for use by extensions not perl internals.
5797        Useful for attaching extension internal data to perl vars.
5798        Note that multiple extensions may clash if magical scalars
5799        etc holding private data from one are passed to another. */
5800
5801     vtable = (vtable_index == magic_vtable_max)
5802         ? NULL : PL_magic_vtables + vtable_index;
5803
5804     if (SvREADONLY(sv)) {
5805         if (
5806             !PERL_MAGIC_TYPE_READONLY_ACCEPTABLE(how)
5807            )
5808         {
5809             Perl_croak_no_modify();
5810         }
5811     }
5812     if (SvMAGICAL(sv) || (how == PERL_MAGIC_taint && SvTYPE(sv) >= SVt_PVMG)) {
5813         if (SvMAGIC(sv) && (mg = mg_find(sv, how))) {
5814             /* sv_magic() refuses to add a magic of the same 'how' as an
5815                existing one
5816              */
5817             if (how == PERL_MAGIC_taint)
5818                 mg->mg_len |= 1;
5819             return;
5820         }
5821     }
5822
5823     /* Force pos to be stored as characters, not bytes. */
5824     if (SvMAGICAL(sv) && DO_UTF8(sv)
5825       && (mg = mg_find(sv, PERL_MAGIC_regex_global))
5826       && mg->mg_len != -1
5827       && mg->mg_flags & MGf_BYTES) {
5828         mg->mg_len = (SSize_t)sv_pos_b2u_flags(sv, (STRLEN)mg->mg_len,
5829                                                SV_CONST_RETURN);
5830         mg->mg_flags &= ~MGf_BYTES;
5831     }
5832
5833     /* Rest of work is done else where */
5834     mg = sv_magicext(sv,obj,how,vtable,name,namlen);
5835
5836     switch (how) {
5837     case PERL_MAGIC_taint:
5838         mg->mg_len = 1;
5839         break;
5840     case PERL_MAGIC_ext:
5841     case PERL_MAGIC_dbfile:
5842         SvRMAGICAL_on(sv);
5843         break;
5844     }
5845 }
5846
5847 static int
5848 S_sv_unmagicext_flags(pTHX_ SV *const sv, const int type, MGVTBL *vtbl, const U32 flags)
5849 {
5850     MAGIC* mg;
5851     MAGIC** mgp;
5852
5853     assert(flags <= 1);
5854
5855     if (SvTYPE(sv) < SVt_PVMG || !SvMAGIC(sv))
5856         return 0;
5857     mgp = &(((XPVMG*) SvANY(sv))->xmg_u.xmg_magic);
5858     for (mg = *mgp; mg; mg = *mgp) {
5859         const MGVTBL* const virt = mg->mg_virtual;
5860         if (mg->mg_type == type && (!flags || virt == vtbl)) {
5861             *mgp = mg->mg_moremagic;
5862             if (virt && virt->svt_free)
5863                 virt->svt_free(aTHX_ sv, mg);
5864             if (mg->mg_ptr && mg->mg_type != PERL_MAGIC_regex_global) {
5865                 if (mg->mg_len > 0)
5866                     Safefree(mg->mg_ptr);
5867                 else if (mg->mg_len == HEf_SVKEY)
5868                     SvREFCNT_dec(MUTABLE_SV(mg->mg_ptr));
5869                 else if (mg->mg_type == PERL_MAGIC_utf8)
5870                     Safefree(mg->mg_ptr);
5871             }
5872             if (mg->mg_flags & MGf_REFCOUNTED)
5873                 SvREFCNT_dec(mg->mg_obj);
5874             Safefree(mg);
5875         }
5876         else
5877             mgp = &mg->mg_moremagic;
5878     }
5879     if (SvMAGIC(sv)) {
5880         if (SvMAGICAL(sv))      /* if we're under save_magic, wait for restore_magic; */
5881             mg_magical(sv);     /*    else fix the flags now */
5882     }
5883     else
5884         SvMAGICAL_off(sv);
5885
5886     return 0;
5887 }
5888
5889 /*
5890 =for apidoc sv_unmagic
5891
5892 Removes all magic of type C<type> from an SV.
5893
5894 =cut
5895 */
5896
5897 int
5898 Perl_sv_unmagic(pTHX_ SV *const sv, const int type)
5899 {
5900     PERL_ARGS_ASSERT_SV_UNMAGIC;
5901     return S_sv_unmagicext_flags(aTHX_ sv, type, NULL, 0);
5902 }
5903
5904 /*
5905 =for apidoc sv_unmagicext
5906
5907 Removes all magic of type C<type> with the specified C<vtbl> from an SV.
5908
5909 =cut
5910 */
5911
5912 int
5913 Perl_sv_unmagicext(pTHX_ SV *const sv, const int type, MGVTBL *vtbl)
5914 {
5915     PERL_ARGS_ASSERT_SV_UNMAGICEXT;
5916     return S_sv_unmagicext_flags(aTHX_ sv, type, vtbl, 1);
5917 }
5918
5919 /*
5920 =for apidoc sv_rvweaken
5921
5922 Weaken a reference: set the C<SvWEAKREF> flag on this RV; give the
5923 referred-to SV C<PERL_MAGIC_backref> magic if it hasn't already; and
5924 push a back-reference to this RV onto the array of backreferences
5925 associated with that magic.  If the RV is magical, set magic will be
5926 called after the RV is cleared.  Silently ignores C<undef> and warns
5927 on already-weak references.
5928
5929 =cut
5930 */
5931
5932 SV *
5933 Perl_sv_rvweaken(pTHX_ SV *const sv)
5934 {
5935     SV *tsv;
5936
5937     PERL_ARGS_ASSERT_SV_RVWEAKEN;
5938
5939     if (!SvOK(sv))  /* let undefs pass */
5940         return sv;
5941     if (!SvROK(sv))
5942         Perl_croak(aTHX_ "Can't weaken a nonreference");
5943     else if (SvWEAKREF(sv)) {
5944         Perl_ck_warner(aTHX_ packWARN(WARN_MISC), "Reference is already weak");
5945         return sv;
5946     }
5947     else if (SvREADONLY(sv)) croak_no_modify();
5948     tsv = SvRV(sv);
5949     Perl_sv_add_backref(aTHX_ tsv, sv);
5950     SvWEAKREF_on(sv);
5951     SvREFCNT_dec_NN(tsv);
5952     return sv;
5953 }
5954
5955 /*
5956 =for apidoc sv_rvunweaken
5957
5958 Unweaken a reference: Clear the C<SvWEAKREF> flag on this RV; remove
5959 the backreference to this RV from the array of backreferences
5960 associated with the target SV, increment the refcount of the target.
5961 Silently ignores C<undef> and warns on non-weak references.
5962
5963 =cut
5964 */
5965
5966 SV *
5967 Perl_sv_rvunweaken(pTHX_ SV *const sv)
5968 {
5969     SV *tsv;
5970
5971     PERL_ARGS_ASSERT_SV_RVUNWEAKEN;
5972
5973     if (!SvOK(sv)) /* let undefs pass */
5974         return sv;
5975     if (!SvROK(sv))
5976         Perl_croak(aTHX_ "Can't unweaken a nonreference");
5977     else if (!SvWEAKREF(sv)) {
5978         Perl_ck_warner(aTHX_ packWARN(WARN_MISC), "Reference is not weak");
5979         return sv;
5980     }
5981     else if (SvREADONLY(sv)) croak_no_modify();
5982
5983     tsv = SvRV(sv);
5984     SvWEAKREF_off(sv);
5985     SvROK_on(sv);
5986     SvREFCNT_inc_NN(tsv);
5987     Perl_sv_del_backref(aTHX_ tsv, sv);
5988     return sv;
5989 }
5990
5991 /*
5992 =for apidoc sv_get_backrefs
5993
5994 If C<sv> is the target of a weak reference then it returns the back
5995 references structure associated with the sv; otherwise return C<NULL>.
5996
5997 When returning a non-null result the type of the return is relevant. If it
5998 is an AV then the elements of the AV are the weak reference RVs which
5999 point at this item. If it is any other type then the item itself is the
6000 weak reference.
6001
6002 See also C<Perl_sv_add_backref()>, C<Perl_sv_del_backref()>,
6003 C<Perl_sv_kill_backrefs()>
6004
6005 =cut
6006 */
6007
6008 SV *
6009 Perl_sv_get_backrefs(SV *const sv)
6010 {
6011     SV *backrefs= NULL;
6012
6013     PERL_ARGS_ASSERT_SV_GET_BACKREFS;
6014
6015     /* find slot to store array or singleton backref */
6016
6017     if (SvTYPE(sv) == SVt_PVHV) {
6018         if (SvOOK(sv)) {
6019             struct xpvhv_aux * const iter = HvAUX((HV *)sv);
6020             backrefs = (SV *)iter->xhv_backreferences;
6021         }
6022     } else if (SvMAGICAL(sv)) {
6023         MAGIC *mg = mg_find(sv, PERL_MAGIC_backref);
6024         if (mg)
6025             backrefs = mg->mg_obj;
6026     }
6027     return backrefs;
6028 }
6029
6030 /* Give tsv backref magic if it hasn't already got it, then push a
6031  * back-reference to sv onto the array associated with the backref magic.
6032  *
6033  * As an optimisation, if there's only one backref and it's not an AV,
6034  * store it directly in the HvAUX or mg_obj slot, avoiding the need to
6035  * allocate an AV. (Whether the slot holds an AV tells us whether this is
6036  * active.)
6037  */
6038
6039 /* A discussion about the backreferences array and its refcount:
6040  *
6041  * The AV holding the backreferences is pointed to either as the mg_obj of
6042  * PERL_MAGIC_backref, or in the specific case of a HV, from the
6043  * xhv_backreferences field. The array is created with a refcount
6044  * of 2. This means that if during global destruction the array gets
6045  * picked on before its parent to have its refcount decremented by the
6046  * random zapper, it won't actually be freed, meaning it's still there for
6047  * when its parent gets freed.
6048  *
6049  * When the parent SV is freed, the extra ref is killed by
6050  * Perl_sv_kill_backrefs.  The other ref is killed, in the case of magic,
6051  * by mg_free() / MGf_REFCOUNTED, or for a hash, by Perl_hv_kill_backrefs.
6052  *
6053  * When a single backref SV is stored directly, it is not reference
6054  * counted.
6055  */
6056
6057 void
6058 Perl_sv_add_backref(pTHX_ SV *const tsv, SV *const sv)
6059 {
6060     SV **svp;
6061     AV *av = NULL;
6062     MAGIC *mg = NULL;
6063
6064     PERL_ARGS_ASSERT_SV_ADD_BACKREF;
6065
6066     /* find slot to store array or singleton backref */
6067
6068     if (SvTYPE(tsv) == SVt_PVHV) {
6069         svp = (SV**)Perl_hv_backreferences_p(aTHX_ MUTABLE_HV(tsv));
6070     } else {
6071         if (SvMAGICAL(tsv))
6072             mg = mg_find(tsv, PERL_MAGIC_backref);
6073         if (!mg)
6074             mg = sv_magicext(tsv, NULL, PERL_MAGIC_backref, &PL_vtbl_backref, NULL, 0);
6075         svp = &(mg->mg_obj);
6076     }
6077
6078     /* create or retrieve the array */
6079
6080     if (   (!*svp && SvTYPE(sv) == SVt_PVAV)
6081         || (*svp && SvTYPE(*svp) != SVt_PVAV)
6082     ) {
6083         /* create array */
6084         if (mg)
6085             mg->mg_flags |= MGf_REFCOUNTED;
6086         av = newAV();
6087         AvREAL_off(av);
6088         SvREFCNT_inc_simple_void_NN(av);
6089         /* av now has a refcnt of 2; see discussion above */
6090         av_extend(av, *svp ? 2 : 1);
6091         if (*svp) {
6092             /* move single existing backref to the array */
6093             AvARRAY(av)[++AvFILLp(av)] = *svp; /* av_push() */
6094         }
6095         *svp = (SV*)av;
6096     }
6097     else {
6098         av = MUTABLE_AV(*svp);
6099         if (!av) {
6100             /* optimisation: store single backref directly in HvAUX or mg_obj */
6101             *svp = sv;
6102             return;
6103         }
6104         assert(SvTYPE(av) == SVt_PVAV);
6105         if (AvFILLp(av) >= AvMAX(av)) {
6106             av_extend(av, AvFILLp(av)+1);
6107         }
6108     }
6109     /* push new backref */
6110     AvARRAY(av)[++AvFILLp(av)] = sv; /* av_push() */
6111 }
6112
6113 /* delete a back-reference to ourselves from the backref magic associated
6114  * with the SV we point to.
6115  */
6116
6117 void
6118 Perl_sv_del_backref(pTHX_ SV *const tsv, SV *const sv)
6119 {
6120     SV **svp = NULL;
6121
6122     PERL_ARGS_ASSERT_SV_DEL_BACKREF;
6123
6124     if (SvTYPE(tsv) == SVt_PVHV) {
6125         if (SvOOK(tsv))
6126             svp = (SV**)Perl_hv_backreferences_p(aTHX_ MUTABLE_HV(tsv));
6127     }
6128     else if (SvIS_FREED(tsv) && PL_phase == PERL_PHASE_DESTRUCT) {
6129         /* It's possible for the the last (strong) reference to tsv to have
6130            become freed *before* the last thing holding a weak reference.
6131            If both survive longer than the backreferences array, then when
6132            the referent's reference count drops to 0 and it is freed, it's
6133            not able to chase the backreferences, so they aren't NULLed.
6134
6135            For example, a CV holds a weak reference to its stash. If both the
6136            CV and the stash survive longer than the backreferences array,
6137            and the CV gets picked for the SvBREAK() treatment first,
6138            *and* it turns out that the stash is only being kept alive because
6139            of an our variable in the pad of the CV, then midway during CV
6140            destruction the stash gets freed, but CvSTASH() isn't set to NULL.
6141            It ends up pointing to the freed HV. Hence it's chased in here, and
6142            if this block wasn't here, it would hit the !svp panic just below.
6143
6144            I don't believe that "better" destruction ordering is going to help
6145            here - during global destruction there's always going to be the
6146            chance that something goes out of order. We've tried to make it
6147            foolproof before, and it only resulted in evolutionary pressure on
6148            fools. Which made us look foolish for our hubris. :-(
6149         */
6150         return;
6151     }
6152     else {
6153         MAGIC *const mg
6154             = SvMAGICAL(tsv) ? mg_find(tsv, PERL_MAGIC_backref) : NULL;
6155         svp =  mg ? &(mg->mg_obj) : NULL;
6156     }
6157
6158     if (!svp)
6159         Perl_croak(aTHX_ "panic: del_backref, svp=0");
6160     if (!*svp) {
6161         /* It's possible that sv is being freed recursively part way through the
6162            freeing of tsv. If this happens, the backreferences array of tsv has
6163            already been freed, and so svp will be NULL. If this is the case,
6164            we should not panic. Instead, nothing needs doing, so return.  */
6165         if (PL_phase == PERL_PHASE_DESTRUCT && SvREFCNT(tsv) == 0)
6166             return;
6167         Perl_croak(aTHX_ "panic: del_backref, *svp=%p phase=%s refcnt=%" UVuf,
6168                    (void*)*svp, PL_phase_names[PL_phase], (UV)SvREFCNT(tsv));
6169     }
6170
6171     if (SvTYPE(*svp) == SVt_PVAV) {
6172 #ifdef DEBUGGING
6173         int count = 1;
6174 #endif
6175         AV * const av = (AV*)*svp;
6176         SSize_t fill;
6177         assert(!SvIS_FREED(av));
6178         fill = AvFILLp(av);
6179         assert(fill > -1);
6180         svp = AvARRAY(av);
6181         /* for an SV with N weak references to it, if all those
6182          * weak refs are deleted, then sv_del_backref will be called
6183          * N times and O(N^2) compares will be done within the backref
6184          * array. To ameliorate this potential slowness, we:
6185          * 1) make sure this code is as tight as possible;
6186          * 2) when looking for SV, look for it at both the head and tail of the
6187          *    array first before searching the rest, since some create/destroy
6188          *    patterns will cause the backrefs to be freed in order.
6189          */
6190         if (*svp == sv) {
6191             AvARRAY(av)++;
6192             AvMAX(av)--;
6193         }
6194         else {
6195             SV **p = &svp[fill];
6196             SV *const topsv = *p;
6197             if (topsv != sv) {
6198 #ifdef DEBUGGING
6199                 count = 0;
6200 #endif
6201                 while (--p > svp) {
6202                     if (*p == sv) {
6203                         /* We weren't the last entry.
6204                            An unordered list has this property that you
6205                            can take the last element off the end to fill
6206                            the hole, and it's still an unordered list :-)
6207                         */
6208                         *p = topsv;
6209 #ifdef DEBUGGING
6210                         count++;
6211 #else
6212                         break; /* should only be one */
6213 #endif
6214                     }
6215                 }
6216             }
6217         }
6218         assert(count ==1);
6219         AvFILLp(av) = fill-1;
6220     }
6221     else if (SvIS_FREED(*svp) && PL_phase == PERL_PHASE_DESTRUCT) {
6222         /* freed AV; skip */
6223     }
6224     else {
6225         /* optimisation: only a single backref, stored directly */
6226         if (*svp != sv)
6227             Perl_croak(aTHX_ "panic: del_backref, *svp=%p, sv=%p",
6228                        (void*)*svp, (void*)sv);
6229         *svp = NULL;
6230     }
6231
6232 }
6233
6234 void
6235 Perl_sv_kill_backrefs(pTHX_ SV *const sv, AV *const av)
6236 {
6237     SV **svp;
6238     SV **last;
6239     bool is_array;
6240
6241     PERL_ARGS_ASSERT_SV_KILL_BACKREFS;
6242
6243     if (!av)
6244         return;
6245
6246     /* after multiple passes through Perl_sv_clean_all() for a thingy
6247      * that has badly leaked, the backref array may have gotten freed,
6248      * since we only protect it against 1 round of cleanup */
6249     if (SvIS_FREED(av)) {
6250         if (PL_in_clean_all) /* All is fair */
6251             return;
6252         Perl_croak(aTHX_
6253                    "panic: magic_killbackrefs (freed backref AV/SV)");
6254     }
6255
6256
6257     is_array = (SvTYPE(av) == SVt_PVAV);
6258     if (is_array) {
6259         assert(!SvIS_FREED(av));
6260         svp = AvARRAY(av);
6261         if (svp)
6262             last = svp + AvFILLp(av);
6263     }
6264     else {
6265         /* optimisation: only a single backref, stored directly */
6266         svp = (SV**)&av;
6267         last = svp;
6268     }
6269
6270     if (svp) {
6271         while (svp <= last) {
6272             if (*svp) {
6273                 SV *const referrer = *svp;
6274                 if (SvWEAKREF(referrer)) {
6275                     /* XXX Should we check that it hasn't changed? */
6276                     assert(SvROK(referrer));
6277                     SvRV_set(referrer, 0);
6278                     SvOK_off(referrer);
6279                     SvWEAKREF_off(referrer);
6280                     SvSETMAGIC(referrer);
6281                 } else if (SvTYPE(referrer) == SVt_PVGV ||
6282                            SvTYPE(referrer) == SVt_PVLV) {
6283                     assert(SvTYPE(sv) == SVt_PVHV); /* stash backref */
6284                     /* You lookin' at me?  */
6285                     assert(GvSTASH(referrer));
6286                     assert(GvSTASH(referrer) == (const HV *)sv);
6287                     GvSTASH(referrer) = 0;
6288                 } else if (SvTYPE(referrer) == SVt_PVCV ||
6289                            SvTYPE(referrer) == SVt_PVFM) {
6290                     if (SvTYPE(sv) == SVt_PVHV) { /* stash backref */
6291                         /* You lookin' at me?  */
6292                         assert(CvSTASH(referrer));
6293                         assert(CvSTASH(referrer) == (const HV *)sv);
6294                         SvANY(MUTABLE_CV(referrer))->xcv_stash = 0;
6295                     }
6296                     else {
6297                         assert(SvTYPE(sv) == SVt_PVGV);
6298                         /* You lookin' at me?  */
6299                         assert(CvGV(referrer));
6300                         assert(CvGV(referrer) == (const GV *)sv);
6301                         anonymise_cv_maybe(MUTABLE_GV(sv),
6302                                                 MUTABLE_CV(referrer));
6303                     }
6304
6305                 } else {
6306                     Perl_croak(aTHX_
6307                                "panic: magic_killbackrefs (flags=%" UVxf ")",
6308                                (UV)SvFLAGS(referrer));
6309                 }
6310
6311                 if (is_array)
6312                     *svp = NULL;
6313             }
6314             svp++;
6315         }
6316     }
6317     if (is_array) {
6318         AvFILLp(av) = -1;
6319         SvREFCNT_dec_NN(av); /* remove extra count added by sv_add_backref() */
6320     }
6321     return;
6322 }
6323
6324 /*
6325 =for apidoc sv_insert
6326
6327 Inserts and/or replaces a string at the specified offset/length within the SV.
6328 Similar to the Perl C<substr()> function, with C<littlelen> bytes starting at
6329 C<little> replacing C<len> bytes of the string in C<bigstr> starting at
6330 C<offset>.  Handles get magic.
6331
6332 =for apidoc sv_insert_flags
6333
6334 Same as C<sv_insert>, but the extra C<flags> are passed to the
6335 C<SvPV_force_flags> that applies to C<bigstr>.
6336
6337 =cut
6338 */
6339
6340 void
6341 Perl_sv_insert_flags(pTHX_ SV *const bigstr, const STRLEN offset, const STRLEN len, const char *little, const STRLEN littlelen, const U32 flags)
6342 {
6343     char *big;
6344     char *mid;
6345     char *midend;
6346     char *bigend;
6347     SSize_t i;          /* better be sizeof(STRLEN) or bad things happen */
6348     STRLEN curlen;
6349
6350     PERL_ARGS_ASSERT_SV_INSERT_FLAGS;
6351
6352     SvPV_force_flags(bigstr, curlen, flags);
6353     (void)SvPOK_only_UTF8(bigstr);
6354
6355     if (little >= SvPVX(bigstr) &&
6356         little < SvPVX(bigstr) + (SvLEN(bigstr) ? SvLEN(bigstr) : SvCUR(bigstr))) {
6357         /* little is a pointer to within bigstr, since we can reallocate bigstr,
6358            or little...little+littlelen might overlap offset...offset+len we make a copy
6359         */
6360         little = savepvn(little, littlelen);
6361         SAVEFREEPV(little);
6362     }
6363
6364     if (offset + len > curlen) {
6365         SvGROW(bigstr, offset+len+1);
6366         Zero(SvPVX(bigstr)+curlen, offset+len-curlen, char);
6367         SvCUR_set(bigstr, offset+len);
6368     }
6369
6370     SvTAINT(bigstr);
6371     i = littlelen - len;
6372     if (i > 0) {                        /* string might grow */
6373         big = SvGROW(bigstr, SvCUR(bigstr) + i + 1);
6374         mid = big + offset + len;
6375         midend = bigend = big + SvCUR(bigstr);
6376         bigend += i;
6377         *bigend = '\0';
6378         while (midend > mid)            /* shove everything down */
6379             *--bigend = *--midend;
6380         Move(little,big+offset,littlelen,char);
6381         SvCUR_set(bigstr, SvCUR(bigstr) + i);
6382         SvSETMAGIC(bigstr);
6383         return;
6384     }
6385     else if (i == 0) {
6386         Move(little,SvPVX(bigstr)+offset,len,char);
6387         SvSETMAGIC(bigstr);
6388         return;
6389     }
6390
6391     big = SvPVX(bigstr);
6392     mid = big + offset;
6393     midend = mid + len;
6394     bigend = big + SvCUR(bigstr);
6395
6396     if (midend > bigend)
6397         Perl_croak(aTHX_ "panic: sv_insert, midend=%p, bigend=%p",
6398                    midend, bigend);
6399
6400     if (mid - big > bigend - midend) {  /* faster to shorten from end */
6401         if (littlelen) {
6402             Move(little, mid, littlelen,char);
6403             mid += littlelen;
6404         }
6405         i = bigend - midend;
6406         if (i > 0) {
6407             Move(midend, mid, i,char);
6408             mid += i;
6409         }
6410         *mid = '\0';
6411         SvCUR_set(bigstr, mid - big);
6412     }
6413     else if ((i = mid - big)) { /* faster from front */
6414         midend -= littlelen;
6415         mid = midend;
6416         Move(big, midend - i, i, char);
6417         sv_chop(bigstr,midend-i);
6418         if (littlelen)
6419             Move(little, mid, littlelen,char);
6420     }
6421     else if (littlelen) {
6422         midend -= littlelen;
6423         sv_chop(bigstr,midend);
6424         Move(little,midend,littlelen,char);
6425     }
6426     else {
6427         sv_chop(bigstr,midend);
6428     }
6429     SvSETMAGIC(bigstr);
6430 }
6431
6432 /*
6433 =for apidoc sv_replace
6434
6435 Make the first argument a copy of the second, then delete the original.
6436 The target SV physically takes over ownership of the body of the source SV
6437 and inherits its flags; however, the target keeps any magic it owns,
6438 and any magic in the source is discarded.
6439 Note that this is a rather specialist SV copying operation; most of the
6440 time you'll want to use C<sv_setsv> or one of its many macro front-ends.
6441
6442 =cut
6443 */
6444
6445 void
6446 Perl_sv_replace(pTHX_ SV *const sv, SV *const nsv)
6447 {
6448     const U32 refcnt = SvREFCNT(sv);
6449
6450     PERL_ARGS_ASSERT_SV_REPLACE;
6451
6452     SV_CHECK_THINKFIRST_COW_DROP(sv);
6453     if (SvREFCNT(nsv) != 1) {
6454         Perl_croak(aTHX_ "panic: reference miscount on nsv in sv_replace()"
6455                    " (%" UVuf " != 1)", (UV) SvREFCNT(nsv));
6456     }
6457     if (SvMAGICAL(sv)) {
6458         if (SvMAGICAL(nsv))
6459             mg_free(nsv);
6460         else
6461             sv_upgrade(nsv, SVt_PVMG);
6462         SvMAGIC_set(nsv, SvMAGIC(sv));
6463         SvFLAGS(nsv) |= SvMAGICAL(sv);
6464         SvMAGICAL_off(sv);
6465         SvMAGIC_set(sv, NULL);
6466     }
6467     SvREFCNT(sv) = 0;
6468     sv_clear(sv);
6469     assert(!SvREFCNT(sv));
6470 #ifdef DEBUG_LEAKING_SCALARS
6471     sv->sv_flags  = nsv->sv_flags;
6472     sv->sv_any    = nsv->sv_any;
6473     sv->sv_refcnt = nsv->sv_refcnt;
6474     sv->sv_u      = nsv->sv_u;
6475 #else
6476     StructCopy(nsv,sv,SV);
6477 #endif
6478     if(SvTYPE(sv) == SVt_IV) {
6479         SET_SVANY_FOR_BODYLESS_IV(sv);
6480     }
6481         
6482
6483     SvREFCNT(sv) = refcnt;
6484     SvFLAGS(nsv) |= SVTYPEMASK;         /* Mark as freed */
6485     SvREFCNT(nsv) = 0;
6486     del_SV(nsv);
6487 }
6488
6489 /* We're about to free a GV which has a CV that refers back to us.
6490  * If that CV will outlive us, make it anonymous (i.e. fix up its CvGV
6491  * field) */
6492
6493 STATIC void
6494 S_anonymise_cv_maybe(pTHX_ GV *gv, CV* cv)
6495 {
6496     SV *gvname;
6497     GV *anongv;
6498
6499     PERL_ARGS_ASSERT_ANONYMISE_CV_MAYBE;
6500
6501     /* be assertive! */
6502     assert(SvREFCNT(gv) == 0);
6503     assert(isGV(gv) && isGV_with_GP(gv));
6504     assert(GvGP(gv));
6505     assert(!CvANON(cv));
6506     assert(CvGV(cv) == gv);
6507     assert(!CvNAMED(cv));
6508
6509     /* will the CV shortly be freed by gp_free() ? */
6510     if (GvCV(gv) == cv && GvGP(gv)->gp_refcnt < 2 && SvREFCNT(cv) < 2) {
6511         SvANY(cv)->xcv_gv_u.xcv_gv = NULL;
6512         return;
6513     }
6514
6515     /* if not, anonymise: */
6516     gvname = (GvSTASH(gv) && HvNAME(GvSTASH(gv)) && HvENAME(GvSTASH(gv)))
6517                     ? newSVhek(HvENAME_HEK(GvSTASH(gv)))
6518                     : newSVpvn_flags( "__ANON__", 8, 0 );
6519     sv_catpvs(gvname, "::__ANON__");
6520     anongv = gv_fetchsv(gvname, GV_ADDMULTI, SVt_PVCV);
6521     SvREFCNT_dec_NN(gvname);
6522
6523     CvANON_on(cv);
6524     CvCVGV_RC_on(cv);
6525     SvANY(cv)->xcv_gv_u.xcv_gv = MUTABLE_GV(SvREFCNT_inc(anongv));
6526 }
6527
6528
6529 /*
6530 =for apidoc sv_clear
6531
6532 Clear an SV: call any destructors, free up any memory used by the body,
6533 and free the body itself.  The SV's head is I<not> freed, although
6534 its type is set to all 1's so that it won't inadvertently be assumed
6535 to be live during global destruction etc.
6536 This function should only be called when C<REFCNT> is zero.  Most of the time
6537 you'll want to call C<sv_free()> (or its macro wrapper C<SvREFCNT_dec>)
6538 instead.
6539
6540 =cut
6541 */
6542
6543 void
6544 Perl_sv_clear(pTHX_ SV *const orig_sv)
6545 {
6546     dVAR;
6547     HV *stash;
6548     U32 type;
6549     const struct body_details *sv_type_details;
6550     SV* iter_sv = NULL;
6551     SV* next_sv = NULL;
6552     SV *sv = orig_sv;
6553     STRLEN hash_index = 0; /* initialise to make Coverity et al happy.
6554                               Not strictly necessary */
6555
6556     PERL_ARGS_ASSERT_SV_CLEAR;
6557
6558     /* within this loop, sv is the SV currently being freed, and
6559      * iter_sv is the most recent AV or whatever that's being iterated
6560      * over to provide more SVs */
6561
6562     while (sv) {
6563
6564         type = SvTYPE(sv);
6565
6566         assert(SvREFCNT(sv) == 0);
6567         assert(SvTYPE(sv) != (svtype)SVTYPEMASK);
6568
6569         if (type <= SVt_IV) {
6570             /* See the comment in sv.h about the collusion between this
6571              * early return and the overloading of the NULL slots in the
6572              * size table.  */
6573             if (SvROK(sv))
6574                 goto free_rv;
6575             SvFLAGS(sv) &= SVf_BREAK;
6576             SvFLAGS(sv) |= SVTYPEMASK;
6577             goto free_head;
6578         }
6579
6580         /* objs are always >= MG, but pad names use the SVs_OBJECT flag
6581            for another purpose  */
6582         assert(!SvOBJECT(sv) || type >= SVt_PVMG);
6583
6584         if (type >= SVt_PVMG) {
6585             if (SvOBJECT(sv)) {
6586                 if (!curse(sv, 1)) goto get_next_sv;
6587                 type = SvTYPE(sv); /* destructor may have changed it */
6588             }
6589             /* Free back-references before magic, in case the magic calls
6590              * Perl code that has weak references to sv. */
6591             if (type == SVt_PVHV) {
6592                 Perl_hv_kill_backrefs(aTHX_ MUTABLE_HV(sv));
6593                 if (SvMAGIC(sv))
6594                     mg_free(sv);
6595             }
6596             else if (SvMAGIC(sv)) {
6597                 /* Free back-references before other types of magic. */
6598                 sv_unmagic(sv, PERL_MAGIC_backref);
6599                 mg_free(sv);
6600             }
6601             SvMAGICAL_off(sv);
6602         }
6603         switch (type) {
6604             /* case SVt_INVLIST: */
6605         case SVt_PVIO:
6606             if (IoIFP(sv) &&
6607                 IoIFP(sv) != PerlIO_stdin() &&
6608                 IoIFP(sv) != PerlIO_stdout() &&
6609                 IoIFP(sv) != PerlIO_stderr() &&
6610                 !(IoFLAGS(sv) & IOf_FAKE_DIRP))
6611             {
6612                 io_close(MUTABLE_IO(sv), NULL, FALSE,
6613                          (IoTYPE(sv) == IoTYPE_WRONLY ||
6614                           IoTYPE(sv) == IoTYPE_RDWR   ||
6615                           IoTYPE(sv) == IoTYPE_APPEND));
6616             }
6617             if (IoDIRP(sv) && !(IoFLAGS(sv) & IOf_FAKE_DIRP))
6618                 PerlDir_close(IoDIRP(sv));
6619             IoDIRP(sv) = (DIR*)NULL;
6620             Safefree(IoTOP_NAME(sv));
6621             Safefree(IoFMT_NAME(sv));
6622             Safefree(IoBOTTOM_NAME(sv));
6623             if ((const GV *)sv == PL_statgv)
6624                 PL_statgv = NULL;
6625             goto freescalar;
6626         case SVt_REGEXP:
6627             /* FIXME for plugins */
6628             pregfree2((REGEXP*) sv);
6629             goto freescalar;
6630         case SVt_PVCV:
6631         case SVt_PVFM:
6632             cv_undef(MUTABLE_CV(sv));
6633             /* If we're in a stash, we don't own a reference to it.
6634              * However it does have a back reference to us, which needs to
6635              * be cleared.  */
6636             if ((stash = CvSTASH(sv)))
6637                 sv_del_backref(MUTABLE_SV(stash), sv);
6638             goto freescalar;
6639         case SVt_PVHV:
6640             if (PL_last_swash_hv == (const HV *)sv) {
6641                 PL_last_swash_hv = NULL;
6642             }
6643             if (HvTOTALKEYS((HV*)sv) > 0) {
6644                 const HEK *hek;
6645                 /* this statement should match the one at the beginning of
6646                  * hv_undef_flags() */
6647                 if (   PL_phase != PERL_PHASE_DESTRUCT
6648                     && (hek = HvNAME_HEK((HV*)sv)))
6649                 {
6650                     if (PL_stashcache) {
6651                         DEBUG_o(Perl_deb(aTHX_
6652                             "sv_clear clearing PL_stashcache for '%" HEKf
6653                             "'\n",
6654                              HEKfARG(hek)));
6655                         (void)hv_deletehek(PL_stashcache,
6656                                            hek, G_DISCARD);
6657                     }
6658                     hv_name_set((HV*)sv, NULL, 0, 0);
6659                 }
6660
6661                 /* save old iter_sv in unused SvSTASH field */
6662                 assert(!SvOBJECT(sv));
6663                 SvSTASH(sv) = (HV*)iter_sv;
6664                 iter_sv = sv;
6665
6666                 /* save old hash_index in unused SvMAGIC field */
6667                 assert(!SvMAGICAL(sv));
6668                 assert(!SvMAGIC(sv));
6669                 ((XPVMG*) SvANY(sv))->xmg_u.xmg_hash_index = hash_index;
6670                 hash_index = 0;
6671
6672                 next_sv = Perl_hfree_next_entry(aTHX_ (HV*)sv, &hash_index);
6673                 goto get_next_sv; /* process this new sv */
6674             }
6675             /* free empty hash */
6676             Perl_hv_undef_flags(aTHX_ MUTABLE_HV(sv), HV_NAME_SETALL);
6677             assert(!HvARRAY((HV*)sv));
6678             break;
6679         case SVt_PVAV:
6680             {
6681                 AV* av = MUTABLE_AV(sv);
6682                 if (PL_comppad == av) {
6683                     PL_comppad = NULL;
6684                     PL_curpad = NULL;
6685                 }
6686                 if (AvREAL(av) && AvFILLp(av) > -1) {
6687                     next_sv = AvARRAY(av)[AvFILLp(av)--];
6688                     /* save old iter_sv in top-most slot of AV,
6689                      * and pray that it doesn't get wiped in the meantime */
6690                     AvARRAY(av)[AvMAX(av)] = iter_sv;
6691                     iter_sv = sv;
6692                     goto get_next_sv; /* process this new sv */
6693                 }
6694                 Safefree(AvALLOC(av));
6695             }
6696
6697             break;
6698         case SVt_PVLV:
6699             if (LvTYPE(sv) == 'T') { /* for tie: return HE to pool */
6700                 SvREFCNT_dec(HeKEY_sv((HE*)LvTARG(sv)));
6701                 HeNEXT((HE*)LvTARG(sv)) = PL_hv_fetch_ent_mh;
6702                 PL_hv_fetch_ent_mh = (HE*)LvTARG(sv);
6703             }
6704             else if (LvTYPE(sv) != 't') /* unless tie: unrefcnted fake SV**  */
6705                 SvREFCNT_dec(LvTARG(sv));
6706             if (isREGEXP(sv)) {
6707                 /* SvLEN points to a regex body. Free the body, then
6708                  * set SvLEN to whatever value was in the now-freed
6709                  * regex body. The PVX buffer is shared by multiple re's
6710                  * and only freed once, by the re whose len in non-null */
6711                 STRLEN len = ReANY(sv)->xpv_len;
6712                 pregfree2((REGEXP*) sv);
6713                 SvLEN_set((sv), len);
6714                 goto freescalar;
6715             }
6716             /* FALLTHROUGH */
6717         case SVt_PVGV:
6718             if (isGV_with_GP(sv)) {
6719                 if(GvCVu((const GV *)sv) && (stash = GvSTASH(MUTABLE_GV(sv)))
6720                    && HvENAME_get(stash))
6721                     mro_method_changed_in(stash);
6722                 gp_free(MUTABLE_GV(sv));
6723                 if (GvNAME_HEK(sv))
6724                     unshare_hek(GvNAME_HEK(sv));
6725                 /* If we're in a stash, we don't own a reference to it.
6726                  * However it does have a back reference to us, which
6727                  * needs to be cleared.  */
6728                 if ((stash = GvSTASH(sv)))
6729                         sv_del_backref(MUTABLE_SV(stash), sv);
6730             }
6731             /* FIXME. There are probably more unreferenced pointers to SVs
6732              * in the interpreter struct that we should check and tidy in
6733              * a similar fashion to this:  */
6734             /* See also S_sv_unglob, which does the same thing. */
6735             if ((const GV *)sv == PL_last_in_gv)
6736                 PL_last_in_gv = NULL;
6737             else if ((const GV *)sv == PL_statgv)
6738                 PL_statgv = NULL;
6739             else if ((const GV *)sv == PL_stderrgv)
6740                 PL_stderrgv = NULL;
6741             /* FALLTHROUGH */
6742         case SVt_PVMG:
6743         case SVt_PVNV:
6744         case SVt_PVIV:
6745         case SVt_INVLIST:
6746         case SVt_PV:
6747           freescalar:
6748             /* Don't bother with SvOOK_off(sv); as we're only going to
6749              * free it.  */
6750             if (SvOOK(sv)) {
6751                 STRLEN offset;
6752                 SvOOK_offset(sv, offset);
6753                 SvPV_set(sv, SvPVX_mutable(sv) - offset);
6754                 /* Don't even bother with turning off the OOK flag.  */
6755             }
6756             if (SvROK(sv)) {
6757             free_rv:
6758                 {
6759                     SV * const target = SvRV(sv);
6760                     if (SvWEAKREF(sv))
6761                         sv_del_backref(target, sv);
6762                     else
6763                         next_sv = target;
6764                 }
6765             }
6766 #ifdef PERL_ANY_COW
6767             else if (SvPVX_const(sv)
6768                      && !(SvTYPE(sv) == SVt_PVIO
6769                      && !(IoFLAGS(sv) & IOf_FAKE_DIRP)))
6770             {
6771                 if (SvIsCOW(sv)) {
6772 #ifdef DEBUGGING
6773                     if (DEBUG_C_TEST) {
6774                         PerlIO_printf(Perl_debug_log, "Copy on write: clear\n");
6775                         sv_dump(sv);
6776                     }
6777 #endif
6778                     if (SvLEN(sv)) {
6779                         if (CowREFCNT(sv)) {
6780                             sv_buf_to_rw(sv);
6781                             CowREFCNT(sv)--;
6782                             sv_buf_to_ro(sv);
6783                             SvLEN_set(sv, 0);
6784                         }
6785                     } else {
6786                         unshare_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sv)));
6787                     }
6788
6789                 }
6790                 if (SvLEN(sv)) {
6791                     Safefree(SvPVX_mutable(sv));
6792                 }
6793             }
6794 #else
6795             else if (SvPVX_const(sv) && SvLEN(sv)
6796                      && !(SvTYPE(sv) == SVt_PVIO
6797                      && !(IoFLAGS(sv) & IOf_FAKE_DIRP)))
6798                 Safefree(SvPVX_mutable(sv));
6799             else if (SvPVX_const(sv) && SvIsCOW(sv)) {
6800                 unshare_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sv)));
6801             }
6802 #endif
6803             break;
6804         case SVt_NV:
6805             break;
6806         }
6807
6808       free_body:
6809
6810         SvFLAGS(sv) &= SVf_BREAK;
6811         SvFLAGS(sv) |= SVTYPEMASK;
6812
6813         sv_type_details = bodies_by_type + type;
6814         if (sv_type_details->arena) {
6815             del_body(((char *)SvANY(sv) + sv_type_details->offset),
6816                      &PL_body_roots[type]);
6817         }
6818         else if (sv_type_details->body_size) {
6819             safefree(SvANY(sv));
6820         }
6821
6822       free_head:
6823         /* caller is responsible for freeing the head of the original sv */
6824         if (sv != orig_sv && !SvREFCNT(sv))
6825             del_SV(sv);
6826
6827         /* grab and free next sv, if any */
6828       get_next_sv:
6829         while (1) {
6830             sv = NULL;
6831             if (next_sv) {
6832                 sv = next_sv;
6833                 next_sv = NULL;
6834             }
6835             else if (!iter_sv) {
6836                 break;
6837             } else if (SvTYPE(iter_sv) == SVt_PVAV) {
6838                 AV *const av = (AV*)iter_sv;
6839                 if (AvFILLp(av) > -1) {
6840                     sv = AvARRAY(av)[AvFILLp(av)--];
6841                 }
6842                 else { /* no more elements of current AV to free */
6843                     sv = iter_sv;
6844                     type = SvTYPE(sv);
6845                     /* restore previous value, squirrelled away */
6846                     iter_sv = AvARRAY(av)[AvMAX(av)];
6847                     Safefree(AvALLOC(av));
6848                     goto free_body;
6849                 }
6850             } else if (SvTYPE(iter_sv) == SVt_PVHV) {
6851                 sv = Perl_hfree_next_entry(aTHX_ (HV*)iter_sv, &hash_index);
6852                 if (!sv && !HvTOTALKEYS((HV *)iter_sv)) {
6853                     /* no more elements of current HV to free */
6854                     sv = iter_sv;
6855                     type = SvTYPE(sv);
6856                     /* Restore previous values of iter_sv and hash_index,
6857                      * squirrelled away */
6858                     assert(!SvOBJECT(sv));
6859                     iter_sv = (SV*)SvSTASH(sv);
6860                     assert(!SvMAGICAL(sv));
6861                     hash_index = ((XPVMG*) SvANY(sv))->xmg_u.xmg_hash_index;
6862 #ifdef DEBUGGING
6863                     /* perl -DA does not like rubbish in SvMAGIC. */
6864                     SvMAGIC_set(sv, 0);
6865 #endif
6866
6867                     /* free any remaining detritus from the hash struct */
6868                     Perl_hv_undef_flags(aTHX_ MUTABLE_HV(sv), HV_NAME_SETALL);
6869                     assert(!HvARRAY((HV*)sv));
6870                     goto free_body;
6871                 }
6872             }
6873
6874             /* unrolled SvREFCNT_dec and sv_free2 follows: */
6875
6876             if (!sv)
6877                 continue;
6878             if (!SvREFCNT(sv)) {
6879                 sv_free(sv);
6880                 continue;
6881             }
6882             if (--(SvREFCNT(sv)))
6883                 continue;
6884 #ifdef DEBUGGING
6885             if (SvTEMP(sv)) {
6886                 Perl_ck_warner_d(aTHX_ packWARN(WARN_DEBUGGING),
6887                          "Attempt to free temp prematurely: SV 0x%" UVxf
6888                          pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
6889                 continue;
6890             }
6891 #endif
6892             if (SvIMMORTAL(sv)) {
6893                 /* make sure SvREFCNT(sv)==0 happens very seldom */
6894                 SvREFCNT(sv) = SvREFCNT_IMMORTAL;
6895                 continue;
6896             }
6897             break;
6898         } /* while 1 */
6899
6900     } /* while sv */
6901 }
6902
6903 /* This routine curses the sv itself, not the object referenced by sv. So
6904    sv does not have to be ROK. */
6905
6906 static bool
6907 S_curse(pTHX_ SV * const sv, const bool check_refcnt) {
6908     PERL_ARGS_ASSERT_CURSE;
6909     assert(SvOBJECT(sv));
6910
6911     if (PL_defstash &&  /* Still have a symbol table? */
6912         SvDESTROYABLE(sv))
6913     {
6914         dSP;
6915         HV* stash;
6916         do {
6917           stash = SvSTASH(sv);
6918           assert(SvTYPE(stash) == SVt_PVHV);
6919           if (HvNAME(stash)) {
6920             CV* destructor = NULL;
6921             struct mro_meta *meta;
6922
6923             assert (SvOOK(stash));
6924
6925             DEBUG_o( Perl_deb(aTHX_ "Looking for DESTROY method for %s\n",
6926                          HvNAME(stash)) );
6927
6928             /* don't make this an initialization above the assert, since it needs
6929                an AUX structure */
6930             meta = HvMROMETA(stash);
6931             if (meta->destroy_gen && meta->destroy_gen == PL_sub_generation) {
6932                 destructor = meta->destroy;
6933                 DEBUG_o( Perl_deb(aTHX_ "Using cached DESTROY method %p for %s\n",
6934                              (void *)destructor, HvNAME(stash)) );
6935             }
6936             else {
6937                 bool autoload = FALSE;
6938                 GV *gv =
6939                     gv_fetchmeth_pvn(stash, S_destroy, S_destroy_len, -1, 0);
6940                 if (gv)
6941                     destructor = GvCV(gv);
6942                 if (!destructor) {
6943                     gv = gv_autoload_pvn(stash, S_destroy, S_destroy_len,
6944                                          GV_AUTOLOAD_ISMETHOD);
6945                     if (gv)
6946                         destructor = GvCV(gv);
6947                     if (destructor)
6948                         autoload = TRUE;
6949                 }
6950                 /* we don't cache AUTOLOAD for DESTROY, since this code
6951                    would then need to set $__PACKAGE__::AUTOLOAD, or the
6952                    equivalent for XS AUTOLOADs */
6953                 if (!autoload) {
6954                     meta->destroy_gen = PL_sub_generation;
6955                     meta->destroy = destructor;
6956
6957                     DEBUG_o( Perl_deb(aTHX_ "Set cached DESTROY method %p for %s\n",
6958                                       (void *)destructor, HvNAME(stash)) );
6959                 }
6960                 else {
6961                     DEBUG_o( Perl_deb(aTHX_ "Not caching AUTOLOAD for DESTROY method for %s\n",
6962                                       HvNAME(stash)) );
6963                 }
6964             }
6965             assert(!destructor || SvTYPE(destructor) == SVt_PVCV);
6966             if (destructor
6967                 /* A constant subroutine can have no side effects, so
6968                    don't bother calling it.  */
6969                 && !CvCONST(destructor)
6970                 /* Don't bother calling an empty destructor or one that
6971                    returns immediately. */
6972                 && (CvISXSUB(destructor)
6973                 || (CvSTART(destructor)
6974                     && (CvSTART(destructor)->op_next->op_type
6975                                         != OP_LEAVESUB)
6976                     && (CvSTART(destructor)->op_next->op_type
6977                                         != OP_PUSHMARK
6978                         || CvSTART(destructor)->op_next->op_next->op_type
6979                                         != OP_RETURN
6980                        )
6981                    ))
6982                )
6983             {
6984                 SV* const tmpref = newRV(sv);
6985                 SvREADONLY_on(tmpref); /* DESTROY() could be naughty */
6986                 ENTER;
6987                 PUSHSTACKi(PERLSI_DESTROY);
6988                 EXTEND(SP, 2);
6989                 PUSHMARK(SP);
6990                 PUSHs(tmpref);
6991                 PUTBACK;
6992                 call_sv(MUTABLE_SV(destructor),
6993                             G_DISCARD|G_EVAL|G_KEEPERR|G_VOID);
6994                 POPSTACK;
6995                 SPAGAIN;
6996                 LEAVE;
6997                 if(SvREFCNT(tmpref) < 2) {
6998                     /* tmpref is not kept alive! */
6999                     SvREFCNT(sv)--;
7000                     SvRV_set(tmpref, NULL);
7001                     SvROK_off(tmpref);
7002                 }
7003                 SvREFCNT_dec_NN(tmpref);
7004             }
7005           }
7006         } while (SvOBJECT(sv) && SvSTASH(sv) != stash);
7007
7008
7009         if (check_refcnt && SvREFCNT(sv)) {
7010             if (PL_in_clean_objs)
7011                 Perl_croak(aTHX_
7012                   "DESTROY created new reference to dead object '%" HEKf "'",
7013                    HEKfARG(HvNAME_HEK(stash)));
7014             /* DESTROY gave object new lease on life */
7015             return FALSE;
7016         }
7017     }
7018
7019     if (SvOBJECT(sv)) {
7020         HV * const stash = SvSTASH(sv);
7021         /* Curse before freeing the stash, as freeing the stash could cause
7022            a recursive call into S_curse. */
7023         SvOBJECT_off(sv);       /* Curse the object. */
7024         SvSTASH_set(sv,0);      /* SvREFCNT_dec may try to read this */
7025         SvREFCNT_dec(stash); /* possibly of changed persuasion */
7026     }
7027     return TRUE;
7028 }
7029
7030 /*
7031 =for apidoc sv_newref
7032
7033 Increment an SV's reference count.  Use the C<SvREFCNT_inc()> wrapper
7034 instead.
7035
7036 =cut
7037 */
7038
7039 SV *
7040 Perl_sv_newref(pTHX_ SV *const sv)
7041 {
7042     PERL_UNUSED_CONTEXT;
7043     if (sv)
7044         (SvREFCNT(sv))++;
7045     return sv;
7046 }
7047
7048 /*
7049 =for apidoc sv_free
7050
7051 Decrement an SV's reference count, and if it drops to zero, call
7052 C<sv_clear> to invoke destructors and free up any memory used by
7053 the body; finally, deallocating the SV's head itself.
7054 Normally called via a wrapper macro C<SvREFCNT_dec>.
7055
7056 =cut
7057 */
7058
7059 void
7060 Perl_sv_free(pTHX_ SV *const sv)
7061 {
7062     SvREFCNT_dec(sv);
7063 }
7064
7065
7066 /* Private helper function for SvREFCNT_dec().
7067  * Called with rc set to original SvREFCNT(sv), where rc == 0 or 1 */
7068
7069 void
7070 Perl_sv_free2(pTHX_ SV *const sv, const U32 rc)
7071 {
7072     dVAR;
7073
7074     PERL_ARGS_ASSERT_SV_FREE2;
7075
7076     if (LIKELY( rc == 1 )) {
7077         /* normal case */
7078         SvREFCNT(sv) = 0;
7079
7080 #ifdef DEBUGGING
7081         if (SvTEMP(sv)) {
7082             Perl_ck_warner_d(aTHX_ packWARN(WARN_DEBUGGING),
7083                              "Attempt to free temp prematurely: SV 0x%" UVxf
7084                              pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
7085             return;
7086         }
7087 #endif
7088         if (SvIMMORTAL(sv)) {
7089             /* make sure SvREFCNT(sv)==0 happens very seldom */
7090             SvREFCNT(sv) = SvREFCNT_IMMORTAL;
7091             return;
7092         }
7093         sv_clear(sv);
7094         if (! SvREFCNT(sv)) /* may have have been resurrected */
7095             del_SV(sv);
7096         return;
7097     }
7098
7099     /* handle exceptional cases */
7100
7101     assert(rc == 0);
7102
7103     if (SvFLAGS(sv) & SVf_BREAK)
7104         /* this SV's refcnt has been artificially decremented to
7105          * trigger cleanup */
7106         return;
7107     if (PL_in_clean_all) /* All is fair */
7108         return;
7109     if (SvIMMORTAL(sv)) {
7110         /* make sure SvREFCNT(sv)==0 happens very seldom */
7111         SvREFCNT(sv) = SvREFCNT_IMMORTAL;
7112         return;
7113     }
7114     if (ckWARN_d(WARN_INTERNAL)) {
7115 #ifdef DEBUG_LEAKING_SCALARS_FORK_DUMP
7116         Perl_dump_sv_child(aTHX_ sv);
7117 #else
7118     #ifdef DEBUG_LEAKING_SCALARS
7119         sv_dump(sv);
7120     #endif
7121 #ifdef DEBUG_LEAKING_SCALARS_ABORT
7122         if (PL_warnhook == PERL_WARNHOOK_FATAL
7123             || ckDEAD(packWARN(WARN_INTERNAL))) {
7124             /* Don't let Perl_warner cause us to escape our fate:  */
7125             abort();
7126         }
7127 #endif
7128         /* This may not return:  */
7129         Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
7130                     "Attempt to free unreferenced scalar: SV 0x%" UVxf
7131                     pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
7132 #endif
7133     }
7134 #ifdef DEBUG_LEAKING_SCALARS_ABORT
7135     abort();
7136 #endif
7137
7138 }
7139
7140
7141 /*
7142 =for apidoc sv_len
7143
7144 Returns the length of the string in the SV.  Handles magic and type
7145 coercion and sets the UTF8 flag appropriately.  See also C<L</SvCUR>>, which
7146 gives raw access to the C<xpv_cur> slot.
7147
7148 =cut
7149 */
7150
7151 STRLEN
7152 Perl_sv_len(pTHX_ SV *const sv)
7153 {
7154     STRLEN len;
7155
7156     if (!sv)
7157         return 0;
7158
7159     (void)SvPV_const(sv, len);
7160     return len;
7161 }
7162
7163 /*
7164 =for apidoc sv_len_utf8
7165
7166 Returns the number of characters in the string in an SV, counting wide
7167 UTF-8 bytes as a single character.  Handles magic and type coercion.
7168
7169 =cut
7170 */
7171
7172 /*
7173  * The length is cached in PERL_MAGIC_utf8, in the mg_len field.  Also the
7174  * mg_ptr is used, by sv_pos_u2b() and sv_pos_b2u() - see the comments below.
7175  * (Note that the mg_len is not the length of the mg_ptr field.
7176  * This allows the cache to store the character length of the string without
7177  * needing to malloc() extra storage to attach to the mg_ptr.)
7178  *
7179  */
7180
7181 STRLEN
7182 Perl_sv_len_utf8(pTHX_ SV *const sv)
7183 {
7184     if (!sv)
7185         return 0;
7186
7187     SvGETMAGIC(sv);
7188     return sv_len_utf8_nomg(sv);
7189 }
7190
7191 STRLEN
7192 Perl_sv_len_utf8_nomg(pTHX_ SV * const sv)
7193 {
7194     STRLEN len;
7195     const U8 *s = (U8*)SvPV_nomg_const(sv, len);
7196
7197     PERL_ARGS_ASSERT_SV_LEN_UTF8_NOMG;
7198
7199     if (PL_utf8cache && SvUTF8(sv)) {
7200             STRLEN ulen;
7201             MAGIC *mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_utf8) : NULL;
7202
7203             if (mg && (mg->mg_len != -1 || mg->mg_ptr)) {
7204                 if (mg->mg_len != -1)
7205                     ulen = mg->mg_len;
7206                 else {
7207                     /* We can use the offset cache for a headstart.
7208                        The longer value is stored in the first pair.  */
7209                     STRLEN *cache = (STRLEN *) mg->mg_ptr;
7210
7211                     ulen = cache[0] + Perl_utf8_length(aTHX_ s + cache[1],
7212                                                        s + len);
7213                 }
7214                 
7215                 if (PL_utf8cache < 0) {
7216                     const STRLEN real = Perl_utf8_length(aTHX_ s, s + len);
7217                     assert_uft8_cache_coherent("sv_len_utf8", ulen, real, sv);
7218                 }
7219             }
7220             else {
7221                 ulen = Perl_utf8_length(aTHX_ s, s + len);
7222                 utf8_mg_len_cache_update(sv, &mg, ulen);
7223             }
7224             return ulen;
7225     }
7226     return SvUTF8(sv) ? Perl_utf8_length(aTHX_ s, s + len) : len;
7227 }
7228
7229 /* Walk forwards to find the byte corresponding to the passed in UTF-8
7230    offset.  */
7231 static STRLEN
7232 S_sv_pos_u2b_forwards(const U8 *const start, const U8 *const send,
7233                       STRLEN *const uoffset_p, bool *const at_end)
7234 {
7235     const U8 *s = start;
7236     STRLEN uoffset = *uoffset_p;
7237
7238     PERL_ARGS_ASSERT_SV_POS_U2B_FORWARDS;
7239
7240     while (s < send && uoffset) {
7241         --uoffset;
7242         s += UTF8SKIP(s);
7243     }
7244     if (s == send) {
7245         *at_end = TRUE;
7246     }
7247     else if (s > send) {
7248         *at_end = TRUE;
7249         /* This is the existing behaviour. Possibly it should be a croak, as
7250            it's actually a bounds error  */
7251         s = send;
7252     }
7253     *uoffset_p -= uoffset;
7254     return s - start;
7255 }
7256
7257 /* Given the length of the string in both bytes and UTF-8 characters, decide
7258    whether to walk forwards or backwards to find the byte corresponding to
7259    the passed in UTF-8 offset.  */
7260 static STRLEN
7261 S_sv_pos_u2b_midway(const U8 *const start, const U8 *send,
7262                     STRLEN uoffset, const STRLEN uend)
7263 {
7264     STRLEN backw = uend - uoffset;
7265
7266     PERL_ARGS_ASSERT_SV_POS_U2B_MIDWAY;
7267
7268     if (uoffset < 2 * backw) {
7269         /* The assumption is that going forwards is twice the speed of going
7270            forward (that's where the 2 * backw comes from).
7271            (The real figure of course depends on the UTF-8 data.)  */
7272         const U8 *s = start;
7273
7274         while (s < send && uoffset--)
7275             s += UTF8SKIP(s);
7276         assert (s <= send);
7277         if (s > send)
7278             s = send;
7279         return s - start;
7280     }
7281
7282     while (backw--) {
7283         send--;
7284         while (UTF8_IS_CONTINUATION(*send))
7285             send--;
7286     }
7287     return send - start;
7288 }
7289
7290 /* For the string representation of the given scalar, find the byte
7291    corresponding to the passed in UTF-8 offset.  uoffset0 and boffset0
7292    give another position in the string, *before* the sought offset, which
7293    (which is always true, as 0, 0 is a valid pair of positions), which should
7294    help reduce the amount of linear searching.
7295    If *mgp is non-NULL, it should point to the UTF-8 cache magic, which
7296    will be used to reduce the amount of linear searching. The cache will be
7297    created if necessary, and the found value offered to it for update.  */
7298 static STRLEN
7299 S_sv_pos_u2b_cached(pTHX_ SV *const sv, MAGIC **const mgp, const U8 *const start,
7300                     const U8 *const send, STRLEN uoffset,
7301                     STRLEN uoffset0, STRLEN boffset0)
7302 {
7303     STRLEN boffset = 0; /* Actually always set, but let's keep gcc happy.  */
7304     bool found = FALSE;
7305     bool at_end = FALSE;
7306
7307     PERL_ARGS_ASSERT_SV_POS_U2B_CACHED;
7308
7309     assert (uoffset >= uoffset0);
7310
7311     if (!uoffset)
7312         return 0;
7313
7314     if (!SvREADONLY(sv) && !SvGMAGICAL(sv) && SvPOK(sv)
7315         && PL_utf8cache
7316         && (*mgp || (SvTYPE(sv) >= SVt_PVMG &&
7317                      (*mgp = mg_find(sv, PERL_MAGIC_utf8))))) {
7318         if ((*mgp)->mg_ptr) {
7319             STRLEN *cache = (STRLEN *) (*mgp)->mg_ptr;
7320             if (cache[0] == uoffset) {
7321                 /* An exact match. */
7322                 return cache[1];
7323             }
7324             if (cache[2] == uoffset) {
7325                 /* An exact match. */
7326                 return cache[3];
7327             }
7328
7329             if (cache[0] < uoffset) {
7330                 /* The cache already knows part of the way.   */
7331                 if (cache[0] > uoffset0) {
7332                     /* The cache knows more than the passed in pair  */
7333                     uoffset0 = cache[0];
7334                     boffset0 = cache[1];
7335                 }
7336                 if ((*mgp)->mg_len != -1) {
7337                     /* And we know the end too.  */
7338                     boffset = boffset0
7339                         + sv_pos_u2b_midway(start + boffset0, send,
7340                                               uoffset - uoffset0,
7341                                               (*mgp)->mg_len - uoffset0);
7342                 } else {
7343                     uoffset -= uoffset0;
7344                     boffset = boffset0
7345                         + sv_pos_u2b_forwards(start + boffset0,
7346                                               send, &uoffset, &at_end);
7347                     uoffset += uoffset0;
7348                 }
7349             }
7350             else if (cache[2] < uoffset) {
7351                 /* We're between the two cache entries.  */
7352                 if (cache[2] > uoffset0) {
7353                     /* and the cache knows more than the passed in pair  */
7354                     uoffset0 = cache[2];
7355                     boffset0 = cache[3];
7356                 }
7357
7358                 boffset = boffset0
7359                     + sv_pos_u2b_midway(start + boffset0,
7360                                           start + cache[1],
7361                                           uoffset - uoffset0,
7362                                           cache[0] - uoffset0);
7363             } else {
7364                 boffset = boffset0
7365                     + sv_pos_u2b_midway(start + boffset0,
7366                                           start + cache[3],
7367                                           uoffset - uoffset0,
7368                                           cache[2] - uoffset0);
7369             }
7370             found = TRUE;
7371         }
7372         else if ((*mgp)->mg_len != -1) {
7373             /* If we can take advantage of a passed in offset, do so.  */
7374             /* In fact, offset0 is either 0, or less than offset, so don't
7375                need to worry about the other possibility.  */
7376             boffset = boffset0
7377                 + sv_pos_u2b_midway(start + boffset0, send,
7378                                       uoffset - uoffset0,
7379                                       (*mgp)->mg_len - uoffset0);
7380             found = TRUE;
7381         }
7382     }
7383
7384     if (!found || PL_utf8cache < 0) {
7385         STRLEN real_boffset;
7386         uoffset -= uoffset0;
7387         real_boffset = boffset0 + sv_pos_u2b_forwards(start + boffset0,
7388                                                       send, &uoffset, &at_end);
7389         uoffset += uoffset0;
7390
7391         if (found && PL_utf8cache < 0)
7392             assert_uft8_cache_coherent("sv_pos_u2b_cache", boffset,
7393                                        real_boffset, sv);
7394         boffset = real_boffset;
7395     }
7396
7397     if (PL_utf8cache && !SvGMAGICAL(sv) && SvPOK(sv)) {
7398         if (at_end)
7399             utf8_mg_len_cache_update(sv, mgp, uoffset);
7400         else
7401             utf8_mg_pos_cache_update(sv, mgp, boffset, uoffset, send - start);
7402     }
7403     return boffset;
7404 }
7405
7406
7407 /*
7408 =for apidoc sv_pos_u2b_flags
7409
7410 Converts the offset from a count of UTF-8 chars from
7411 the start of the string, to a count of the equivalent number of bytes; if
7412 C<lenp> is non-zero, it does the same to C<lenp>, but this time starting from
7413 C<offset>, rather than from the start
7414 of the string.  Handles type coercion.
7415 C<flags> is passed to C<SvPV_flags>, and usually should be
7416 C<SV_GMAGIC|SV_CONST_RETURN> to handle magic.
7417
7418 =cut
7419 */
7420
7421 /*
7422  * sv_pos_u2b_flags() uses, like sv_pos_b2u(), the mg_ptr of the potential
7423  * PERL_MAGIC_utf8 of the sv to store the mapping between UTF-8 and
7424  * byte offsets.  See also the comments of S_utf8_mg_pos_cache_update().
7425  *
7426  */
7427
7428 STRLEN
7429 Perl_sv_pos_u2b_flags(pTHX_ SV *const sv, STRLEN uoffset, STRLEN *const lenp,
7430                       U32 flags)
7431 {
7432     const U8 *start;
7433     STRLEN len;
7434     STRLEN boffset;
7435
7436     PERL_ARGS_ASSERT_SV_POS_U2B_FLAGS;
7437
7438     start = (U8*)SvPV_flags(sv, len, flags);
7439     if (len) {
7440         const U8 * const send = start + len;
7441         MAGIC *mg = NULL;
7442         boffset = sv_pos_u2b_cached(sv, &mg, start, send, uoffset, 0, 0);
7443
7444         if (lenp
7445             && *lenp /* don't bother doing work for 0, as its bytes equivalent
7446                         is 0, and *lenp is already set to that.  */) {
7447             /* Convert the relative offset to absolute.  */
7448             const STRLEN uoffset2 = uoffset + *lenp;
7449             const STRLEN boffset2
7450                 = sv_pos_u2b_cached(sv, &mg, start, send, uoffset2,
7451                                       uoffset, boffset) - boffset;
7452
7453             *lenp = boffset2;
7454         }
7455     } else {
7456         if (lenp)
7457             *lenp = 0;
7458         boffset = 0;
7459     }
7460
7461     return boffset;
7462 }
7463
7464 /*
7465 =for apidoc sv_pos_u2b
7466
7467 Converts the value pointed to by C<offsetp> from a count of UTF-8 chars from
7468 the start of the string, to a count of the equivalent number of bytes; if
7469 C<lenp> is non-zero, it does the same to C<lenp>, but this time starting from
7470 the offset, rather than from the start of the string.  Handles magic and
7471 type coercion.
7472
7473 Use C<sv_pos_u2b_flags> in preference, which correctly handles strings longer
7474 than 2Gb.
7475
7476 =cut
7477 */
7478
7479 /*
7480  * sv_pos_u2b() uses, like sv_pos_b2u(), the mg_ptr of the potential
7481  * PERL_MAGIC_utf8 of the sv to store the mapping between UTF-8 and
7482  * byte offsets.  See also the comments of S_utf8_mg_pos_cache_update().
7483  *
7484  */
7485
7486 /* This function is subject to size and sign problems */
7487
7488 void
7489 Perl_sv_pos_u2b(pTHX_ SV *const sv, I32 *const offsetp, I32 *const lenp)
7490 {
7491     PERL_ARGS_ASSERT_SV_POS_U2B;
7492
7493     if (lenp) {
7494         STRLEN ulen = (STRLEN)*lenp;
7495         *offsetp = (I32)sv_pos_u2b_flags(sv, (STRLEN)*offsetp, &ulen,
7496                                          SV_GMAGIC|SV_CONST_RETURN);
7497         *lenp = (I32)ulen;
7498     } else {
7499         *offsetp = (I32)sv_pos_u2b_flags(sv, (STRLEN)*offsetp, NULL,
7500                                          SV_GMAGIC|SV_CONST_RETURN);
7501     }
7502 }
7503
7504 static void
7505 S_utf8_mg_len_cache_update(pTHX_ SV *const sv, MAGIC **const mgp,
7506                            const STRLEN ulen)
7507 {
7508     PERL_ARGS_ASSERT_UTF8_MG_LEN_CACHE_UPDATE;
7509     if (SvREADONLY(sv) || SvGMAGICAL(sv) || !SvPOK(sv))
7510         return;
7511
7512     if (!*mgp && (SvTYPE(sv) < SVt_PVMG ||
7513                   !(*mgp = mg_find(sv, PERL_MAGIC_utf8)))) {
7514         *mgp = sv_magicext(sv, 0, PERL_MAGIC_utf8, &PL_vtbl_utf8, 0, 0);
7515     }
7516     assert(*mgp);
7517
7518     (*mgp)->mg_len = ulen;
7519 }
7520
7521 /* Create and update the UTF8 magic offset cache, with the proffered utf8/
7522    byte length pairing. The (byte) length of the total SV is passed in too,
7523    as blen, because for some (more esoteric) SVs, the call to SvPV_const()
7524    may not have updated SvCUR, so we can't rely on reading it directly.
7525
7526    The proffered utf8/byte length pairing isn't used if the cache already has
7527    two pairs, and swapping either for the proffered pair would increase the
7528    RMS of the intervals between known byte offsets.
7529
7530    The cache itself consists of 4 STRLEN values
7531    0: larger UTF-8 offset
7532    1: corresponding byte offset
7533    2: smaller UTF-8 offset
7534    3: corresponding byte offset
7535
7536    Unused cache pairs have the value 0, 0.
7537    Keeping the cache "backwards" means that the invariant of
7538    cache[0] >= cache[2] is maintained even with empty slots, which means that
7539    the code that uses it doesn't need to worry if only 1 entry has actually
7540    been set to non-zero.  It also makes the "position beyond the end of the
7541    cache" logic much simpler, as the first slot is always the one to start
7542    from.   
7543 */
7544 static void
7545 S_utf8_mg_pos_cache_update(pTHX_ SV *const sv, MAGIC **const mgp, const STRLEN byte,
7546                            const STRLEN utf8, const STRLEN blen)
7547 {
7548     STRLEN *cache;
7549
7550     PERL_ARGS_ASSERT_UTF8_MG_POS_CACHE_UPDATE;
7551
7552     if (SvREADONLY(sv))
7553         return;
7554
7555     if (!*mgp && (SvTYPE(sv) < SVt_PVMG ||
7556                   !(*mgp = mg_find(sv, PERL_MAGIC_utf8)))) {
7557         *mgp = sv_magicext(sv, 0, PERL_MAGIC_utf8, (MGVTBL*)&PL_vtbl_utf8, 0,
7558                            0);
7559         (*mgp)->mg_len = -1;
7560     }
7561     assert(*mgp);
7562
7563     if (!(cache = (STRLEN *)(*mgp)->mg_ptr)) {
7564         Newxz(cache, PERL_MAGIC_UTF8_CACHESIZE * 2, STRLEN);
7565         (*mgp)->mg_ptr = (char *) cache;
7566     }
7567     assert(cache);
7568
7569     if (PL_utf8cache < 0 && SvPOKp(sv)) {
7570         /* SvPOKp() because, if sv is a reference, then SvPVX() is actually
7571            a pointer.  Note that we no longer cache utf8 offsets on refer-
7572            ences, but this check is still a good idea, for robustness.  */
7573         const U8 *start = (const U8 *) SvPVX_const(sv);
7574         const STRLEN realutf8 = utf8_length(start, start + byte);
7575
7576         assert_uft8_cache_coherent("utf8_mg_pos_cache_update", utf8, realutf8,
7577                                    sv);
7578     }
7579
7580     /* Cache is held with the later position first, to simplify the code
7581        that deals with unbounded ends.  */
7582        
7583     ASSERT_UTF8_CACHE(cache);
7584     if (cache[1] == 0) {
7585         /* Cache is totally empty  */
7586         cache[0] = utf8;
7587         cache[1] = byte;
7588     } else if (cache[3] == 0) {
7589         if (byte > cache[1]) {
7590             /* New one is larger, so goes first.  */
7591             cache[2] = cache[0];
7592             cache[3] = cache[1];
7593             cache[0] = utf8;
7594             cache[1] = byte;
7595         } else {
7596             cache[2] = utf8;
7597             cache[3] = byte;
7598         }
7599     } else {
7600 /* float casts necessary? XXX */
7601 #define THREEWAY_SQUARE(a,b,c,d) \
7602             ((float)((d) - (c))) * ((float)((d) - (c))) \
7603             + ((float)((c) - (b))) * ((float)((c) - (b))) \
7604                + ((float)((b) - (a))) * ((float)((b) - (a)))
7605
7606         /* Cache has 2 slots in use, and we know three potential pairs.
7607            Keep the two that give the lowest RMS distance. Do the
7608            calculation in bytes simply because we always know the byte
7609            length.  squareroot has the same ordering as the positive value,
7610            so don't bother with the actual square root.  */
7611         if (byte > cache[1]) {
7612             /* New position is after the existing pair of pairs.  */
7613             const float keep_earlier
7614                 = THREEWAY_SQUARE(0, cache[3], byte, blen);
7615             const float keep_later
7616                 = THREEWAY_SQUARE(0, cache[1], byte, blen);
7617
7618             if (keep_later < keep_earlier) {
7619                 cache[2] = cache[0];
7620                 cache[3] = cache[1];
7621             }
7622             cache[0] = utf8;
7623             cache[1] = byte;
7624         }
7625         else {
7626             const float keep_later = THREEWAY_SQUARE(0, byte, cache[1], blen);
7627             float b, c, keep_earlier;
7628             if (byte > cache[3]) {
7629                 /* New position is between the existing pair of pairs.  */
7630                 b = (float)cache[3];
7631                 c = (float)byte;
7632             } else {
7633                 /* New position is before the existing pair of pairs.  */
7634                 b = (float)byte;
7635                 c = (float)cache[3];
7636             }
7637             keep_earlier = THREEWAY_SQUARE(0, b, c, blen);
7638             if (byte > cache[3]) {
7639                 if (keep_later < keep_earlier) {
7640                     cache[2] = utf8;
7641                     cache[3] = byte;
7642                 }
7643                 else {
7644                     cache[0] = utf8;
7645                     cache[1] = byte;
7646                 }
7647             }
7648             else {
7649                 if (! (keep_later < keep_earlier)) {
7650                     cache[0] = cache[2];
7651                     cache[1] = cache[3];
7652                 }
7653                 cache[2] = utf8;
7654                 cache[3] = byte;
7655             }
7656         }
7657     }
7658     ASSERT_UTF8_CACHE(cache);
7659 }
7660
7661 /* We already know all of the way, now we may be able to walk back.  The same
7662    assumption is made as in S_sv_pos_u2b_midway(), namely that walking
7663    backward is half the speed of walking forward. */
7664 static STRLEN
7665 S_sv_pos_b2u_midway(pTHX_ const U8 *const s, const U8 *const target,
7666                     const U8 *end, STRLEN endu)
7667 {
7668     const STRLEN forw = target - s;
7669     STRLEN backw = end - target;
7670
7671     PERL_ARGS_ASSERT_SV_POS_B2U_MIDWAY;
7672
7673     if (forw < 2 * backw) {
7674         return utf8_length(s, target);
7675     }
7676
7677     while (end > target) {
7678         end--;
7679         while (UTF8_IS_CONTINUATION(*end)) {
7680             end--;
7681         }
7682         endu--;
7683     }
7684     return endu;
7685 }
7686
7687 /*
7688 =for apidoc sv_pos_b2u_flags
7689
7690 Converts C<offset> from a count of bytes from the start of the string, to
7691 a count of the equivalent number of UTF-8 chars.  Handles type coercion.
7692 C<flags> is passed to C<SvPV_flags>, and usually should be
7693 C<SV_GMAGIC|SV_CONST_RETURN> to handle magic.
7694
7695 =cut
7696 */
7697
7698 /*
7699  * sv_pos_b2u_flags() uses, like sv_pos_u2b_flags(), the mg_ptr of the
7700  * potential PERL_MAGIC_utf8 of the sv to store the mapping between UTF-8
7701  * and byte offsets.
7702  *
7703  */
7704 STRLEN
7705 Perl_sv_pos_b2u_flags(pTHX_ SV *const sv, STRLEN const offset, U32 flags)
7706 {
7707     const U8* s;
7708     STRLEN len = 0; /* Actually always set, but let's keep gcc happy.  */
7709     STRLEN blen;
7710     MAGIC* mg = NULL;
7711     const U8* send;
7712     bool found = FALSE;
7713
7714     PERL_ARGS_ASSERT_SV_POS_B2U_FLAGS;
7715
7716     s = (const U8*)SvPV_flags(sv, blen, flags);
7717
7718     if (blen < offset)
7719         Perl_croak(aTHX_ "panic: sv_pos_b2u: bad byte offset, blen=%" UVuf
7720                    ", byte=%" UVuf, (UV)blen, (UV)offset);
7721
7722     send = s + offset;
7723
7724     if (!SvREADONLY(sv)
7725         && PL_utf8cache
7726         && SvTYPE(sv) >= SVt_PVMG
7727         && (mg = mg_find(sv, PERL_MAGIC_utf8)))
7728     {
7729         if (mg->mg_ptr) {
7730             STRLEN * const cache = (STRLEN *) mg->mg_ptr;
7731             if (cache[1] == offset) {
7732                 /* An exact match. */
7733                 return cache[0];
7734             }
7735             if (cache[3] == offset) {
7736                 /* An exact match. */
7737                 return cache[2];
7738             }
7739
7740             if (cache[1] < offset) {
7741                 /* We already know part of the way. */
7742                 if (mg->mg_len != -1) {
7743                     /* Actually, we know the end too.  */
7744                     len = cache[0]
7745                         + S_sv_pos_b2u_midway(aTHX_ s + cache[1], send,
7746                                               s + blen, mg->mg_len - cache[0]);
7747                 } else {
7748                     len = cache[0] + utf8_length(s + cache[1], send);
7749                 }
7750             }
7751             else if (cache[3] < offset) {
7752                 /* We're between the two cached pairs, so we do the calculation
7753                    offset by the byte/utf-8 positions for the earlier pair,
7754                    then add the utf-8 characters from the string start to
7755                    there.  */
7756                 len = S_sv_pos_b2u_midway(aTHX_ s + cache[3], send,
7757                                           s + cache[1], cache[0] - cache[2])
7758                     + cache[2];
7759
7760             }
7761             else { /* cache[3] > offset */
7762                 len = S_sv_pos_b2u_midway(aTHX_ s, send, s + cache[3],
7763                                           cache[2]);
7764
7765             }
7766             ASSERT_UTF8_CACHE(cache);
7767             found = TRUE;
7768         } else if (mg->mg_len != -1) {
7769             len = S_sv_pos_b2u_midway(aTHX_ s, send, s + blen, mg->mg_len);
7770             found = TRUE;
7771         }
7772     }
7773     if (!found || PL_utf8cache < 0) {
7774         const STRLEN real_len = utf8_length(s, send);
7775
7776         if (found && PL_utf8cache < 0)
7777             assert_uft8_cache_coherent("sv_pos_b2u", len, real_len, sv);
7778         len = real_len;
7779     }
7780
7781     if (PL_utf8cache) {
7782         if (blen == offset)
7783             utf8_mg_len_cache_update(sv, &mg, len);
7784         else
7785             utf8_mg_pos_cache_update(sv, &mg, offset, len, blen);
7786     }
7787
7788     return len;
7789 }
7790
7791 /*
7792 =for apidoc sv_pos_b2u
7793
7794 Converts the value pointed to by C<offsetp> from a count of bytes from the
7795 start of the string, to a count of the equivalent number of UTF-8 chars.
7796 Handles magic and type coercion.
7797
7798 Use C<sv_pos_b2u_flags> in preference, which correctly handles strings
7799 longer than 2Gb.
7800
7801 =cut
7802 */
7803
7804 /*
7805  * sv_pos_b2u() uses, like sv_pos_u2b(), the mg_ptr of the potential
7806  * PERL_MAGIC_utf8 of the sv to store the mapping between UTF-8 and
7807  * byte offsets.
7808  *
7809  */
7810 void
7811 Perl_sv_pos_b2u(pTHX_ SV *const sv, I32 *const offsetp)
7812 {
7813     PERL_ARGS_ASSERT_SV_POS_B2U;
7814
7815     if (!sv)
7816         return;
7817
7818     *offsetp = (I32)sv_pos_b2u_flags(sv, (STRLEN)*offsetp,
7819                                      SV_GMAGIC|SV_CONST_RETURN);
7820 }
7821
7822 static void
7823 S_assert_uft8_cache_coherent(pTHX_ const char *const func, STRLEN from_cache,
7824                              STRLEN real, SV *const sv)
7825 {
7826     PERL_ARGS_ASSERT_ASSERT_UFT8_CACHE_COHERENT;
7827
7828     /* As this is debugging only code, save space by keeping this test here,
7829        rather than inlining it in all the callers.  */
7830     if (from_cache == real)
7831         return;
7832
7833     /* Need to turn the assertions off otherwise we may recurse infinitely
7834        while printing error messages.  */
7835     SAVEI8(PL_utf8cache);
7836     PL_utf8cache = 0;
7837     Perl_croak(aTHX_ "panic: %s cache %" UVuf " real %" UVuf " for %" SVf,
7838                func, (UV) from_cache, (UV) real, SVfARG(sv));
7839 }
7840
7841 /*
7842 =for apidoc sv_eq
7843
7844 Returns a boolean indicating whether the strings in the two SVs are
7845 identical.  Is UTF-8 and S<C<'use bytes'>> aware, handles get magic, and will
7846 coerce its args to strings if necessary.
7847
7848 =for apidoc sv_eq_flags
7849
7850 Returns a boolean indicating whether the strings in the two SVs are
7851 identical.  Is UTF-8 and S<C<'use bytes'>> aware and coerces its args to strings
7852 if necessary.  If the flags has the C<SV_GMAGIC> bit set, it handles get-magic, too.
7853
7854 =cut
7855 */
7856
7857 I32
7858 Perl_sv_eq_flags(pTHX_ SV *sv1, SV *sv2, const U32 flags)
7859 {
7860     const char *pv1;
7861     STRLEN cur1;
7862     const char *pv2;
7863     STRLEN cur2;
7864
7865     if (!sv1) {
7866         pv1 = "";
7867         cur1 = 0;
7868     }
7869     else {
7870         /* if pv1 and pv2 are the same, second SvPV_const call may
7871          * invalidate pv1 (if we are handling magic), so we may need to
7872          * make a copy */
7873         if (sv1 == sv2 && flags & SV_GMAGIC
7874          && (SvTHINKFIRST(sv1) || SvGMAGICAL(sv1))) {
7875             pv1 = SvPV_const(sv1, cur1);
7876             sv1 = newSVpvn_flags(pv1, cur1, SVs_TEMP | SvUTF8(sv2));
7877         }
7878         pv1 = SvPV_flags_const(sv1, cur1, flags);
7879     }
7880
7881     if (!sv2){
7882         pv2 = "";
7883         cur2 = 0;
7884     }
7885     else
7886         pv2 = SvPV_flags_const(sv2, cur2, flags);
7887
7888     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
7889         /* Differing utf8ness.  */
7890         if (SvUTF8(sv1)) {
7891                   /* sv1 is the UTF-8 one  */
7892                   return bytes_cmp_utf8((const U8*)pv2, cur2,
7893                                         (const U8*)pv1, cur1) == 0;
7894         }
7895         else {
7896                   /* sv2 is the UTF-8 one  */
7897                   return bytes_cmp_utf8((const U8*)pv1, cur1,
7898                                         (const U8*)pv2, cur2) == 0;
7899         }
7900     }
7901
7902     if (cur1 == cur2)
7903         return (pv1 == pv2) || memEQ(pv1, pv2, cur1);
7904     else
7905         return 0;
7906 }
7907
7908 /*
7909 =for apidoc sv_cmp
7910
7911 Compares the strings in two SVs.  Returns -1, 0, or 1 indicating whether the
7912 string in C<sv1> is less than, equal to, or greater than the string in
7913 C<sv2>.  Is UTF-8 and S<C<'use bytes'>> aware, handles get magic, and will
7914 coerce its args to strings if necessary.  See also C<L</sv_cmp_locale>>.
7915
7916 =for apidoc sv_cmp_flags
7917
7918 Compares the strings in two SVs.  Returns -1, 0, or 1 indicating whether the
7919 string in C<sv1> is less than, equal to, or greater than the string in
7920 C<sv2>.  Is UTF-8 and S<C<'use bytes'>> aware and will coerce its args to strings
7921 if necessary.  If the flags has the C<SV_GMAGIC> bit set, it handles get magic.  See
7922 also C<L</sv_cmp_locale_flags>>.
7923
7924 =cut
7925 */
7926
7927 I32
7928 Perl_sv_cmp(pTHX_ SV *const sv1, SV *const sv2)
7929 {
7930     return sv_cmp_flags(sv1, sv2, SV_GMAGIC);
7931 }
7932
7933 I32
7934 Perl_sv_cmp_flags(pTHX_ SV *const sv1, SV *const sv2,
7935                   const U32 flags)
7936 {
7937     STRLEN cur1, cur2;
7938     const char *pv1, *pv2;
7939     I32  cmp;
7940     SV *svrecode = NULL;
7941
7942     if (!sv1) {
7943         pv1 = "";
7944         cur1 = 0;
7945     }
7946     else
7947         pv1 = SvPV_flags_const(sv1, cur1, flags);
7948
7949     if (!sv2) {
7950         pv2 = "";
7951         cur2 = 0;
7952     }
7953     else
7954         pv2 = SvPV_flags_const(sv2, cur2, flags);
7955
7956     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
7957         /* Differing utf8ness.  */
7958         if (SvUTF8(sv1)) {
7959                 const int retval = -bytes_cmp_utf8((const U8*)pv2, cur2,
7960                                                    (const U8*)pv1, cur1);
7961                 return retval ? retval < 0 ? -1 : +1 : 0;
7962         }
7963         else {
7964                 const int retval = bytes_cmp_utf8((const U8*)pv1, cur1,
7965                                                   (const U8*)pv2, cur2);
7966                 return retval ? retval < 0 ? -1 : +1 : 0;
7967         }
7968     }
7969
7970     /* Here, if both are non-NULL, then they have the same UTF8ness. */
7971
7972     if (!cur1) {
7973         cmp = cur2 ? -1 : 0;
7974     } else if (!cur2) {
7975         cmp = 1;
7976     } else {
7977         STRLEN shortest_len = cur1 < cur2 ? cur1 : cur2;
7978
7979 #ifdef EBCDIC
7980         if (! DO_UTF8(sv1)) {
7981 #endif
7982             const I32 retval = memcmp((const void*)pv1,
7983                                       (const void*)pv2,
7984                                       shortest_len);
7985             if (retval) {
7986                 cmp = retval < 0 ? -1 : 1;
7987             } else if (cur1 == cur2) {
7988                 cmp = 0;
7989             } else {
7990                 cmp = cur1 < cur2 ? -1 : 1;
7991             }
7992 #ifdef EBCDIC
7993         }
7994         else {  /* Both are to be treated as UTF-EBCDIC */
7995
7996             /* EBCDIC UTF-8 is complicated by the fact that it is based on I8
7997              * which remaps code points 0-255.  We therefore generally have to
7998              * unmap back to the original values to get an accurate comparison.
7999              * But we don't have to do that for UTF-8 invariants, as by
8000              * definition, they aren't remapped, nor do we have to do it for
8001              * above-latin1 code points, as they also aren't remapped.  (This
8002              * code also works on ASCII platforms, but the memcmp() above is
8003              * much faster). */
8004
8005             const char *e = pv1 + shortest_len;
8006
8007             /* Find the first bytes that differ between the two strings */
8008             while (pv1 < e && *pv1 == *pv2) {
8009                 pv1++;
8010                 pv2++;
8011             }
8012
8013
8014             if (pv1 == e) { /* Are the same all the way to the end */
8015                 if (cur1 == cur2) {
8016                     cmp = 0;
8017                 } else {
8018                     cmp = cur1 < cur2 ? -1 : 1;
8019                 }
8020             }
8021             else   /* Here *pv1 and *pv2 are not equal, but all bytes earlier
8022                     * in the strings were.  The current bytes may or may not be
8023                     * at the beginning of a character.  But neither or both are
8024                     * (or else earlier bytes would have been different).  And
8025                     * if we are in the middle of a character, the two
8026                     * characters are comprised of the same number of bytes
8027                     * (because in this case the start bytes are the same, and
8028                     * the start bytes encode the character's length). */
8029                  if (UTF8_IS_INVARIANT(*pv1))
8030             {
8031                 /* If both are invariants; can just compare directly */
8032                 if (UTF8_IS_INVARIANT(*pv2)) {
8033                     cmp = ((U8) *pv1 < (U8) *pv2) ? -1 : 1;
8034                 }
8035                 else   /* Since *pv1 is invariant, it is the whole character,
8036                           which means it is at the beginning of a character.
8037                           That means pv2 is also at the beginning of a
8038                           character (see earlier comment).  Since it isn't
8039                           invariant, it must be a start byte.  If it starts a
8040                           character whose code point is above 255, that
8041                           character is greater than any single-byte char, which
8042                           *pv1 is */
8043                       if (UTF8_IS_ABOVE_LATIN1_START(*pv2))
8044                 {
8045                     cmp = -1;
8046                 }
8047                 else {
8048                     /* Here, pv2 points to a character composed of 2 bytes
8049                      * whose code point is < 256.  Get its code point and
8050                      * compare with *pv1 */
8051                     cmp = ((U8) *pv1 < EIGHT_BIT_UTF8_TO_NATIVE(*pv2, *(pv2 + 1)))
8052                            ?  -1
8053                            : 1;
8054                 }
8055             }
8056             else   /* The code point starting at pv1 isn't a single byte */
8057                  if (UTF8_IS_INVARIANT(*pv2))
8058             {
8059                 /* But here, the code point starting at *pv2 is a single byte,
8060                  * and so *pv1 must begin a character, hence is a start byte.
8061                  * If that character is above 255, it is larger than any
8062                  * single-byte char, which *pv2 is */
8063                 if (UTF8_IS_ABOVE_LATIN1_START(*pv1)) {
8064                     cmp = 1;
8065                 }
8066                 else {
8067                     /* Here, pv1 points to a character composed of 2 bytes
8068                      * whose code point is < 256.  Get its code point and
8069                      * compare with the single byte character *pv2 */
8070                     cmp = (EIGHT_BIT_UTF8_TO_NATIVE(*pv1, *(pv1 + 1)) < (U8) *pv2)
8071                           ?  -1
8072                           : 1;
8073                 }
8074             }
8075             else   /* Here, we've ruled out either *pv1 and *pv2 being
8076                       invariant.  That means both are part of variants, but not
8077                       necessarily at the start of a character */
8078                  if (   UTF8_IS_ABOVE_LATIN1_START(*pv1)
8079                      || UTF8_IS_ABOVE_LATIN1_START(*pv2))
8080             {
8081                 /* Here, at least one is the start of a character, which means
8082                  * the other is also a start byte.  And the code point of at
8083                  * least one of the characters is above 255.  It is a
8084                  * characteristic of UTF-EBCDIC that all start bytes for
8085                  * above-latin1 code points are well behaved as far as code
8086                  * point comparisons go, and all are larger than all other
8087                  * start bytes, so the comparison with those is also well
8088                  * behaved */
8089                 cmp = ((U8) *pv1 < (U8) *pv2) ? -1 : 1;
8090             }
8091             else {
8092                 /* Here both *pv1 and *pv2 are part of variant characters.
8093                  * They could be both continuations, or both start characters.
8094                  * (One or both could even be an illegal start character (for
8095                  * an overlong) which for the purposes of sorting we treat as
8096                  * legal. */
8097                 if (UTF8_IS_CONTINUATION(*pv1)) {
8098
8099                     /* If they are continuations for code points above 255,
8100                      * then comparing the current byte is sufficient, as there
8101                      * is no remapping of these and so the comparison is
8102                      * well-behaved.   We determine if they are such
8103                      * continuations by looking at the preceding byte.  It
8104                      * could be a start byte, from which we can tell if it is
8105                      * for an above 255 code point.  Or it could be a
8106                      * continuation, which means the character occupies at
8107                      * least 3 bytes, so must be above 255.  */
8108                     if (   UTF8_IS_CONTINUATION(*(pv2 - 1))
8109                         || UTF8_IS_ABOVE_LATIN1_START(*(pv2 -1)))
8110                     {
8111                         cmp = ((U8) *pv1 < (U8) *pv2) ? -1 : 1;
8112                         goto cmp_done;
8113                     }
8114
8115                     /* Here, the continuations are for code points below 256;
8116                      * back up one to get to the start byte */
8117                     pv1--;
8118                     pv2--;
8119                 }
8120
8121                 /* We need to get the actual native code point of each of these
8122                  * variants in order to compare them */
8123                 cmp =  (  EIGHT_BIT_UTF8_TO_NATIVE(*pv1, *(pv1 + 1))
8124                         < EIGHT_BIT_UTF8_TO_NATIVE(*pv2, *(pv2 + 1)))
8125                         ? -1
8126                         : 1;
8127             }
8128         }
8129       cmp_done: ;
8130 #endif
8131     }
8132
8133     SvREFCNT_dec(svrecode);
8134
8135     return cmp;
8136 }
8137
8138 /*
8139 =for apidoc sv_cmp_locale
8140
8141 Compares the strings in two SVs in a locale-aware manner.  Is UTF-8 and
8142 S<C<'use bytes'>> aware, handles get magic, and will coerce its args to strings
8143 if necessary.  See also C<L</sv_cmp>>.
8144
8145 =for apidoc sv_cmp_locale_flags
8146
8147 Compares the strings in two SVs in a locale-aware manner.  Is UTF-8 and
8148 S<C<'use bytes'>> aware and will coerce its args to strings if necessary.  If
8149 the flags contain C<SV_GMAGIC>, it handles get magic.  See also
8150 C<L</sv_cmp_flags>>.
8151
8152 =cut
8153 */
8154
8155 I32
8156 Perl_sv_cmp_locale(pTHX_ SV *const sv1, SV *const sv2)
8157 {
8158     return sv_cmp_locale_flags(sv1, sv2, SV_GMAGIC);
8159 }
8160
8161 I32
8162 Perl_sv_cmp_locale_flags(pTHX_ SV *const sv1, SV *const sv2,
8163                          const U32 flags)
8164 {
8165 #ifdef USE_LOCALE_COLLATE
8166
8167     char *pv1, *pv2;
8168     STRLEN len1, len2;
8169     I32 retval;
8170
8171     if (PL_collation_standard)
8172         goto raw_compare;
8173
8174     len1 = len2 = 0;
8175
8176     /* Revert to using raw compare if both operands exist, but either one
8177      * doesn't transform properly for collation */
8178     if (sv1 && sv2) {
8179         pv1 = sv_collxfrm_flags(sv1, &len1, flags);
8180         if (! pv1) {
8181             goto raw_compare;
8182         }
8183         pv2 = sv_collxfrm_flags(sv2, &len2, flags);
8184         if (! pv2) {
8185             goto raw_compare;
8186         }
8187     }
8188     else {
8189         pv1 = sv1 ? sv_collxfrm_flags(sv1, &len1, flags) : (char *) NULL;
8190         pv2 = sv2 ? sv_collxfrm_flags(sv2, &len2, flags) : (char *) NULL;
8191     }
8192
8193     if (!pv1 || !len1) {
8194         if (pv2 && len2)
8195             return -1;
8196         else
8197             goto raw_compare;
8198     }
8199     else {
8200         if (!pv2 || !len2)
8201             return 1;
8202     }
8203
8204     retval = memcmp((void*)pv1, (void*)pv2, len1 < len2 ? len1 : len2);
8205
8206     if (retval)
8207         return retval < 0 ? -1 : 1;
8208
8209     /*
8210      * When the result of collation is equality, that doesn't mean
8211      * that there are no differences -- some locales exclude some
8212      * characters from consideration.  So to avoid false equalities,
8213      * we use the raw string as a tiebreaker.
8214      */
8215
8216   raw_compare:
8217     /* FALLTHROUGH */
8218
8219 #else
8220     PERL_UNUSED_ARG(flags);
8221 #endif /* USE_LOCALE_COLLATE */
8222
8223     return sv_cmp(sv1, sv2);
8224 }
8225
8226
8227 #ifdef USE_LOCALE_COLLATE
8228
8229 /*
8230 =for apidoc sv_collxfrm
8231
8232 This calls C<sv_collxfrm_flags> with the SV_GMAGIC flag.  See
8233 C<L</sv_collxfrm_flags>>.
8234
8235 =for apidoc sv_collxfrm_flags
8236
8237 Add Collate Transform magic to an SV if it doesn't already have it.  If the
8238 flags contain C<SV_GMAGIC>, it handles get-magic.
8239
8240 Any scalar variable may carry C<PERL_MAGIC_collxfrm> magic that contains the
8241 scalar data of the variable, but transformed to such a format that a normal
8242 memory comparison can be used to compare the data according to the locale
8243 settings.
8244
8245 =cut
8246 */
8247
8248 char *
8249 Perl_sv_collxfrm_flags(pTHX_ SV *const sv, STRLEN *const nxp, const I32 flags)
8250 {
8251     MAGIC *mg;
8252
8253     PERL_ARGS_ASSERT_SV_COLLXFRM_FLAGS;
8254
8255     mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_collxfrm) : (MAGIC *) NULL;
8256
8257     /* If we don't have collation magic on 'sv', or the locale has changed
8258      * since the last time we calculated it, get it and save it now */
8259     if (!mg || !mg->mg_ptr || *(U32*)mg->mg_ptr != PL_collation_ix) {
8260         const char *s;
8261         char *xf;
8262         STRLEN len, xlen;
8263
8264         /* Free the old space */
8265         if (mg)
8266             Safefree(mg->mg_ptr);
8267
8268         s = SvPV_flags_const(sv, len, flags);
8269         if ((xf = _mem_collxfrm(s, len, &xlen, cBOOL(SvUTF8(sv))))) {
8270             if (! mg) {
8271                 mg = sv_magicext(sv, 0, PERL_MAGIC_collxfrm, &PL_vtbl_collxfrm,
8272                                  0, 0);
8273                 assert(mg);
8274             }
8275             mg->mg_ptr = xf;
8276             mg->mg_len = xlen;
8277         }
8278         else {
8279             if (mg) {
8280                 mg->mg_ptr = NULL;
8281                 mg->mg_len = -1;
8282             }
8283         }
8284     }
8285
8286     if (mg && mg->mg_ptr) {
8287         *nxp = mg->mg_len;
8288         return mg->mg_ptr + sizeof(PL_collation_ix);
8289     }
8290     else {
8291         *nxp = 0;
8292         return NULL;
8293     }
8294 }
8295
8296 #endif /* USE_LOCALE_COLLATE */
8297
8298 static char *
8299 S_sv_gets_append_to_utf8(pTHX_ SV *const sv, PerlIO *const fp, I32 append)
8300 {
8301     SV * const tsv = newSV(0);
8302     ENTER;
8303     SAVEFREESV(tsv);
8304     sv_gets(tsv, fp, 0);
8305     sv_utf8_upgrade_nomg(tsv);
8306     SvCUR_set(sv,append);
8307     sv_catsv(sv,tsv);
8308     LEAVE;
8309     return (SvCUR(sv) - append) ? SvPVX(sv) : NULL;
8310 }
8311
8312 static char *
8313 S_sv_gets_read_record(pTHX_ SV *const sv, PerlIO *const fp, I32 append)
8314 {
8315     SSize_t bytesread;
8316     const STRLEN recsize = SvUV(SvRV(PL_rs)); /* RsRECORD() guarantees > 0. */
8317       /* Grab the size of the record we're getting */
8318     char *buffer = SvGROW(sv, (STRLEN)(recsize + append + 1)) + append;
8319     
8320     /* Go yank in */
8321 #ifdef __VMS
8322     int fd;
8323     Stat_t st;
8324
8325     /* With a true, record-oriented file on VMS, we need to use read directly
8326      * to ensure that we respect RMS record boundaries.  The user is responsible
8327      * for providing a PL_rs value that corresponds to the FAB$W_MRS (maximum
8328      * record size) field.  N.B. This is likely to produce invalid results on
8329      * varying-width character data when a record ends mid-character.
8330      */
8331     fd = PerlIO_fileno(fp);
8332     if (fd != -1
8333         && PerlLIO_fstat(fd, &st) == 0
8334         && (st.st_fab_rfm == FAB$C_VAR
8335             || st.st_fab_rfm == FAB$C_VFC
8336             || st.st_fab_rfm == FAB$C_FIX)) {
8337
8338         bytesread = PerlLIO_read(fd, buffer, recsize);
8339     }
8340     else /* in-memory file from PerlIO::Scalar
8341           * or not a record-oriented file
8342           */
8343 #endif
8344     {
8345         bytesread = PerlIO_read(fp, buffer, recsize);
8346
8347         /* At this point, the logic in sv_get() means that sv will
8348            be treated as utf-8 if the handle is utf8.
8349         */
8350         if (PerlIO_isutf8(fp) && bytesread > 0) {
8351             char *bend = buffer + bytesread;
8352             char *bufp = buffer;
8353             size_t charcount = 0;
8354             bool charstart = TRUE;
8355             STRLEN skip = 0;
8356
8357             while (charcount < recsize) {
8358                 /* count accumulated characters */
8359                 while (bufp < bend) {
8360                     if (charstart) {
8361                         skip = UTF8SKIP(bufp);
8362                     }
8363                     if (bufp + skip > bend) {
8364                         /* partial at the end */
8365                         charstart = FALSE;
8366                         break;
8367                     }
8368                     else {
8369                         ++charcount;
8370                         bufp += skip;
8371                         charstart = TRUE;
8372                     }
8373                 }
8374
8375                 if (charcount < recsize) {
8376                     STRLEN readsize;
8377                     STRLEN bufp_offset = bufp - buffer;
8378                     SSize_t morebytesread;
8379
8380                     /* originally I read enough to fill any incomplete
8381                        character and the first byte of the next
8382                        character if needed, but if there's many
8383                        multi-byte encoded characters we're going to be
8384                        making a read call for every character beyond
8385                        the original read size.
8386
8387                        So instead, read the rest of the character if
8388                        any, and enough bytes to match at least the
8389                        start bytes for each character we're going to
8390                        read.
8391                     */
8392                     if (charstart)
8393                         readsize = recsize - charcount;
8394                     else 
8395                         readsize = skip - (bend - bufp) + recsize - charcount - 1;
8396                     buffer = SvGROW(sv, append + bytesread + readsize + 1) + append;
8397                     bend = buffer + bytesread;
8398                     morebytesread = PerlIO_read(fp, bend, readsize);
8399                     if (morebytesread <= 0) {
8400                         /* we're done, if we still have incomplete
8401                            characters the check code in sv_gets() will
8402                            warn about them.
8403
8404                            I'd originally considered doing
8405                            PerlIO_ungetc() on all but the lead
8406                            character of the incomplete character, but
8407                            read() doesn't do that, so I don't.
8408                         */
8409                         break;
8410                     }
8411
8412                     /* prepare to scan some more */
8413                     bytesread += morebytesread;
8414                     bend = buffer + bytesread;
8415                     bufp = buffer + bufp_offset;
8416                 }
8417             }
8418         }
8419     }
8420
8421     if (bytesread < 0)
8422         bytesread = 0;
8423     SvCUR_set(sv, bytesread + append);
8424     buffer[bytesread] = '\0';
8425     return (SvCUR(sv) - append) ? SvPVX(sv) : NULL;
8426 }
8427
8428 /*
8429 =for apidoc sv_gets
8430
8431 Get a line from the filehandle and store it into the SV, optionally
8432 appending to the currently-stored string.  If C<append> is not 0, the
8433 line is appended to the SV instead of overwriting it.  C<append> should
8434 be set to the byte offset that the appended string should start at
8435 in the SV (typically, C<SvCUR(sv)> is a suitable choice).
8436
8437 =cut
8438 */
8439
8440 char *
8441 Perl_sv_gets(pTHX_ SV *const sv, PerlIO *const fp, I32 append)
8442 {
8443     const char *rsptr;
8444     STRLEN rslen;
8445     STDCHAR rslast;
8446     STDCHAR *bp;
8447     SSize_t cnt;
8448     int i = 0;
8449     int rspara = 0;
8450
8451     PERL_ARGS_ASSERT_SV_GETS;
8452
8453     if (SvTHINKFIRST(sv))
8454         sv_force_normal_flags(sv, append ? 0 : SV_COW_DROP_PV);
8455     /* XXX. If you make this PVIV, then copy on write can copy scalars read
8456        from <>.
8457        However, perlbench says it's slower, because the existing swipe code
8458        is faster than copy on write.
8459        Swings and roundabouts.  */
8460     SvUPGRADE(sv, SVt_PV);
8461
8462     if (append) {
8463         /* line is going to be appended to the existing buffer in the sv */
8464         if (PerlIO_isutf8(fp)) {
8465             if (!SvUTF8(sv)) {
8466                 sv_utf8_upgrade_nomg(sv);
8467                 sv_pos_u2b(sv,&append,0);
8468             }
8469         } else if (SvUTF8(sv)) {
8470             return S_sv_gets_append_to_utf8(aTHX_ sv, fp, append);
8471         }
8472     }
8473
8474     SvPOK_only(sv);
8475     if (!append) {
8476         /* not appending - "clear" the string by setting SvCUR to 0,
8477          * the pv is still avaiable. */
8478         SvCUR_set(sv,0);
8479     }
8480     if (PerlIO_isutf8(fp))
8481         SvUTF8_on(sv);
8482
8483     if (IN_PERL_COMPILETIME) {
8484         /* we always read code in line mode */
8485         rsptr = "\n";
8486         rslen = 1;
8487     }
8488     else if (RsSNARF(PL_rs)) {
8489         /* If it is a regular disk file use size from stat() as estimate
8490            of amount we are going to read -- may result in mallocing
8491            more memory than we really need if the layers below reduce
8492            the size we read (e.g. CRLF or a gzip layer).
8493          */
8494         Stat_t st;
8495         int fd = PerlIO_fileno(fp);
8496         if (fd >= 0 && (PerlLIO_fstat(fd, &st) == 0) && S_ISREG(st.st_mode))  {
8497             const Off_t offset = PerlIO_tell(fp);
8498             if (offset != (Off_t) -1 && st.st_size + append > offset) {
8499 #ifdef PERL_COPY_ON_WRITE
8500                 /* Add an extra byte for the sake of copy-on-write's
8501                  * buffer reference count. */
8502                 (void) SvGROW(sv, (STRLEN)((st.st_size - offset) + append + 2));
8503 #else
8504                 (void) SvGROW(sv, (STRLEN)((st.st_size - offset) + append + 1));
8505 #endif
8506             }
8507         }
8508         rsptr = NULL;
8509         rslen = 0;
8510     }
8511     else if (RsRECORD(PL_rs)) {
8512         return S_sv_gets_read_record(aTHX_ sv, fp, append);
8513     }
8514     else if (RsPARA(PL_rs)) {
8515         rsptr = "\n\n";
8516         rslen = 2;
8517         rspara = 1;
8518     }
8519     else {
8520         /* Get $/ i.e. PL_rs into same encoding as stream wants */
8521         if (PerlIO_isutf8(fp)) {
8522             rsptr = SvPVutf8(PL_rs, rslen);
8523         }
8524         else {
8525             if (SvUTF8(PL_rs)) {
8526                 if (!sv_utf8_downgrade(PL_rs, TRUE)) {
8527                     Perl_croak(aTHX_ "Wide character in $/");
8528                 }
8529             }
8530             /* extract the raw pointer to the record separator */
8531             rsptr = SvPV_const(PL_rs, rslen);
8532         }
8533     }
8534
8535     /* rslast is the last character in the record separator
8536      * note we don't use rslast except when rslen is true, so the
8537      * null assign is a placeholder. */
8538     rslast = rslen ? rsptr[rslen - 1] : '\0';
8539
8540     if (rspara) {        /* have to do this both before and after */
8541                          /* to make sure file boundaries work right */
8542         while (1) {
8543             if (PerlIO_eof(fp))
8544                 return 0;
8545             i = PerlIO_getc(fp);
8546             if (i != '\n') {
8547                 if (i == -1)
8548                     return 0;
8549                 PerlIO_ungetc(fp,i);
8550                 break;
8551             }
8552         }
8553     }
8554
8555     /* See if we know enough about I/O mechanism to cheat it ! */
8556
8557     /* This used to be #ifdef test - it is made run-time test for ease
8558        of abstracting out stdio interface. One call should be cheap
8559        enough here - and may even be a macro allowing compile
8560        time optimization.
8561      */
8562
8563     if (PerlIO_fast_gets(fp)) {
8564     /*
8565      * We can do buffer based IO operations on this filehandle.
8566      *
8567      * This means we can bypass a lot of subcalls and process
8568      * the buffer directly, it also means we know the upper bound
8569      * on the amount of data we might read of the current buffer
8570      * into our sv. Knowing this allows us to preallocate the pv
8571      * to be able to hold that maximum, which allows us to simplify
8572      * a lot of logic. */
8573
8574     /*
8575      * We're going to steal some values from the stdio struct
8576      * and put EVERYTHING in the innermost loop into registers.
8577      */
8578     STDCHAR *ptr;       /* pointer into fp's read-ahead buffer */
8579     STRLEN bpx;         /* length of the data in the target sv
8580                            used to fix pointers after a SvGROW */
8581     I32 shortbuffered;  /* If the pv buffer is shorter than the amount
8582                            of data left in the read-ahead buffer.
8583                            If 0 then the pv buffer can hold the full
8584                            amount left, otherwise this is the amount it
8585                            can hold. */
8586
8587     /* Here is some breathtakingly efficient cheating */
8588
8589     /* When you read the following logic resist the urge to think
8590      * of record separators that are 1 byte long. They are an
8591      * uninteresting special (simple) case.
8592      *
8593      * Instead think of record separators which are at least 2 bytes
8594      * long, and keep in mind that we need to deal with such
8595      * separators when they cross a read-ahead buffer boundary.
8596      *
8597      * Also consider that we need to gracefully deal with separators
8598      * that may be longer than a single read ahead buffer.
8599      *
8600      * Lastly do not forget we want to copy the delimiter as well. We
8601      * are copying all data in the file _up_to_and_including_ the separator
8602      * itself.
8603      *
8604      * Now that you have all that in mind here is what is happening below:
8605      *
8606      * 1. When we first enter the loop we do some memory book keeping to see
8607      * how much free space there is in the target SV. (This sub assumes that
8608      * it is operating on the same SV most of the time via $_ and that it is
8609      * going to be able to reuse the same pv buffer each call.) If there is
8610      * "enough" room then we set "shortbuffered" to how much space there is
8611      * and start reading forward.
8612      *
8613      * 2. When we scan forward we copy from the read-ahead buffer to the target
8614      * SV's pv buffer. While we go we watch for the end of the read-ahead buffer,
8615      * and the end of the of pv, as well as for the "rslast", which is the last
8616      * char of the separator.
8617      *
8618      * 3. When scanning forward if we see rslast then we jump backwards in *pv*
8619      * (which has a "complete" record up to the point we saw rslast) and check
8620      * it to see if it matches the separator. If it does we are done. If it doesn't
8621      * we continue on with the scan/copy.
8622      *
8623      * 4. If we run out of read-ahead buffer (cnt goes to 0) then we have to get
8624      * the IO system to read the next buffer. We do this by doing a getc(), which
8625      * returns a single char read (or EOF), and prefills the buffer, and also
8626      * allows us to find out how full the buffer is.  We use this information to
8627      * SvGROW() the sv to the size remaining in the buffer, after which we copy
8628      * the returned single char into the target sv, and then go back into scan
8629      * forward mode.
8630      *
8631      * 5. If we run out of write-buffer then we SvGROW() it by the size of the
8632      * remaining space in the read-buffer.
8633      *
8634      * Note that this code despite its twisty-turny nature is pretty darn slick.
8635      * It manages single byte separators, multi-byte cross boundary separators,
8636      * and cross-read-buffer separators cleanly and efficiently at the cost
8637      * of potentially greatly overallocating the target SV.
8638      *
8639      * Yves
8640      */
8641
8642
8643     /* get the number of bytes remaining in the read-ahead buffer
8644      * on first call on a given fp this will return 0.*/
8645     cnt = PerlIO_get_cnt(fp);
8646
8647     /* make sure we have the room */
8648     if ((I32)(SvLEN(sv) - append) <= cnt + 1) {
8649         /* Not room for all of it
8650            if we are looking for a separator and room for some
8651          */
8652         if (rslen && cnt > 80 && (I32)SvLEN(sv) > append) {
8653             /* just process what we have room for */
8654             shortbuffered = cnt - SvLEN(sv) + append + 1;
8655             cnt -= shortbuffered;
8656         }
8657         else {
8658             /* ensure that the target sv has enough room to hold
8659              * the rest of the read-ahead buffer */
8660             shortbuffered = 0;
8661             /* remember that cnt can be negative */
8662             SvGROW(sv, (STRLEN)(append + (cnt <= 0 ? 2 : (cnt + 1))));
8663         }
8664     }
8665     else {
8666         /* we have enough room to hold the full buffer, lets scream */
8667         shortbuffered = 0;
8668     }
8669
8670     /* extract the pointer to sv's string buffer, offset by append as necessary */
8671     bp = (STDCHAR*)SvPVX_const(sv) + append;  /* move these two too to registers */
8672     /* extract the point to the read-ahead buffer */
8673     ptr = (STDCHAR*)PerlIO_get_ptr(fp);
8674
8675     /* some trace debug output */
8676     DEBUG_P(PerlIO_printf(Perl_debug_log,
8677         "Screamer: entering, ptr=%" UVuf ", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
8678     DEBUG_P(PerlIO_printf(Perl_debug_log,
8679         "Screamer: entering: PerlIO * thinks ptr=%" UVuf ", cnt=%" IVdf ", base=%"
8680          UVuf "\n",
8681                PTR2UV(PerlIO_get_ptr(fp)), (IV)PerlIO_get_cnt(fp),
8682                PTR2UV(PerlIO_has_base(fp) ? PerlIO_get_base(fp) : 0)));
8683
8684     for (;;) {
8685       screamer:
8686         /* if there is stuff left in the read-ahead buffer */
8687         if (cnt > 0) {
8688             /* if there is a separator */
8689             if (rslen) {
8690                 /* find next rslast */
8691                 STDCHAR *p;
8692
8693                 /* shortcut common case of blank line */
8694                 cnt--;
8695                 if ((*bp++ = *ptr++) == rslast)
8696                     goto thats_all_folks;
8697
8698                 p = (STDCHAR *)memchr(ptr, rslast, cnt);
8699                 if (p) {
8700                     SSize_t got = p - ptr + 1;
8701                     Copy(ptr, bp, got, STDCHAR);
8702                     ptr += got;
8703                     bp  += got;
8704                     cnt -= got;
8705                     goto thats_all_folks;
8706                 }
8707                 Copy(ptr, bp, cnt, STDCHAR);
8708                 ptr += cnt;
8709                 bp  += cnt;
8710                 cnt = 0;
8711             }
8712             else {
8713                 /* no separator, slurp the full buffer */
8714                 Copy(ptr, bp, cnt, char);            /* this     |  eat */
8715                 bp += cnt;                           /* screams  |  dust */
8716                 ptr += cnt;                          /* louder   |  sed :-) */
8717                 cnt = 0;
8718                 assert (!shortbuffered);
8719                 goto cannot_be_shortbuffered;
8720             }
8721         }
8722         
8723         if (shortbuffered) {            /* oh well, must extend */
8724             /* we didnt have enough room to fit the line into the target buffer
8725              * so we must extend the target buffer and keep going */
8726             cnt = shortbuffered;
8727             shortbuffered = 0;
8728             bpx = bp - (STDCHAR*)SvPVX_const(sv); /* box up before relocation */
8729             SvCUR_set(sv, bpx);
8730             /* extned the target sv's buffer so it can hold the full read-ahead buffer */
8731             SvGROW(sv, SvLEN(sv) + append + cnt + 2);
8732             bp = (STDCHAR*)SvPVX_const(sv) + bpx; /* unbox after relocation */
8733             continue;
8734         }
8735
8736     cannot_be_shortbuffered:
8737         /* we need to refill the read-ahead buffer if possible */
8738
8739         DEBUG_P(PerlIO_printf(Perl_debug_log,
8740                              "Screamer: going to getc, ptr=%" UVuf ", cnt=%" IVdf "\n",
8741                               PTR2UV(ptr),(IV)cnt));
8742         PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt); /* deregisterize cnt and ptr */
8743
8744         DEBUG_Pv(PerlIO_printf(Perl_debug_log,
8745            "Screamer: pre: FILE * thinks ptr=%" UVuf ", cnt=%" IVdf ", base=%" UVuf "\n",
8746             PTR2UV(PerlIO_get_ptr(fp)), (IV)PerlIO_get_cnt(fp),
8747             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
8748
8749         /*
8750             call PerlIO_getc() to let it prefill the lookahead buffer
8751
8752             This used to call 'filbuf' in stdio form, but as that behaves like
8753             getc when cnt <= 0 we use PerlIO_getc here to avoid introducing
8754             another abstraction.
8755
8756             Note we have to deal with the char in 'i' if we are not at EOF
8757         */
8758         i   = PerlIO_getc(fp);          /* get more characters */
8759
8760         DEBUG_Pv(PerlIO_printf(Perl_debug_log,
8761            "Screamer: post: FILE * thinks ptr=%" UVuf ", cnt=%" IVdf ", base=%" UVuf "\n",
8762             PTR2UV(PerlIO_get_ptr(fp)), (IV)PerlIO_get_cnt(fp),
8763             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
8764
8765         /* find out how much is left in the read-ahead buffer, and rextract its pointer */
8766         cnt = PerlIO_get_cnt(fp);
8767         ptr = (STDCHAR*)PerlIO_get_ptr(fp);     /* reregisterize cnt and ptr */
8768         DEBUG_P(PerlIO_printf(Perl_debug_log,
8769             "Screamer: after getc, ptr=%" UVuf ", cnt=%" IVdf "\n",
8770             PTR2UV(ptr),(IV)cnt));
8771
8772         if (i == EOF)                   /* all done for ever? */
8773             goto thats_really_all_folks;
8774
8775         /* make sure we have enough space in the target sv */
8776         bpx = bp - (STDCHAR*)SvPVX_const(sv);   /* box up before relocation */
8777         SvCUR_set(sv, bpx);
8778         SvGROW(sv, bpx + cnt + 2);
8779         bp = (STDCHAR*)SvPVX_const(sv) + bpx;   /* unbox after relocation */
8780
8781         /* copy of the char we got from getc() */
8782         *bp++ = (STDCHAR)i;             /* store character from PerlIO_getc */
8783
8784         /* make sure we deal with the i being the last character of a separator */
8785         if (rslen && (STDCHAR)i == rslast)  /* all done for now? */
8786             goto thats_all_folks;
8787     }
8788
8789   thats_all_folks:
8790     /* check if we have actually found the separator - only really applies
8791      * when rslen > 1 */
8792     if ((rslen > 1 && (STRLEN)(bp - (STDCHAR*)SvPVX_const(sv)) < rslen) ||
8793           memNE((char*)bp - rslen, rsptr, rslen))
8794         goto screamer;                          /* go back to the fray */
8795   thats_really_all_folks:
8796     if (shortbuffered)
8797         cnt += shortbuffered;
8798         DEBUG_P(PerlIO_printf(Perl_debug_log,
8799              "Screamer: quitting, ptr=%" UVuf ", cnt=%" IVdf "\n",PTR2UV(ptr),(IV)cnt));
8800     PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt);  /* put these back or we're in trouble */
8801     DEBUG_P(PerlIO_printf(Perl_debug_log,
8802         "Screamer: end: FILE * thinks ptr=%" UVuf ", cnt=%" IVdf ", base=%" UVuf
8803         "\n",
8804         PTR2UV(PerlIO_get_ptr(fp)), (IV)PerlIO_get_cnt(fp),
8805         PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
8806     *bp = '\0';
8807     SvCUR_set(sv, bp - (STDCHAR*)SvPVX_const(sv));      /* set length */
8808     DEBUG_P(PerlIO_printf(Perl_debug_log,
8809         "Screamer: done, len=%ld, string=|%.*s|\n",
8810         (long)SvCUR(sv),(int)SvCUR(sv),SvPVX_const(sv)));
8811     }
8812    else
8813     {
8814        /*The big, slow, and stupid way. */
8815 #ifdef USE_HEAP_INSTEAD_OF_STACK        /* Even slower way. */
8816         STDCHAR *buf = NULL;
8817         Newx(buf, 8192, STDCHAR);
8818         assert(buf);
8819 #else
8820         STDCHAR buf[8192];
8821 #endif
8822
8823       screamer2:
8824         if (rslen) {
8825             const STDCHAR * const bpe = buf + sizeof(buf);
8826             bp = buf;
8827             while ((i = PerlIO_getc(fp)) != EOF && (*bp++ = (STDCHAR)i) != rslast && bp < bpe)
8828                 ; /* keep reading */
8829             cnt = bp - buf;
8830         }
8831         else {
8832             cnt = PerlIO_read(fp,(char*)buf, sizeof(buf));
8833             /* Accommodate broken VAXC compiler, which applies U8 cast to
8834              * both args of ?: operator, causing EOF to change into 255
8835              */
8836             if (cnt > 0)
8837                  i = (U8)buf[cnt - 1];
8838             else
8839                  i = EOF;
8840         }
8841
8842         if (cnt < 0)
8843             cnt = 0;  /* we do need to re-set the sv even when cnt <= 0 */
8844         if (append)
8845             sv_catpvn_nomg(sv, (char *) buf, cnt);
8846         else
8847             sv_setpvn(sv, (char *) buf, cnt);   /* "nomg" is implied */
8848
8849         if (i != EOF &&                 /* joy */
8850             (!rslen ||
8851              SvCUR(sv) < rslen ||
8852              memNE(SvPVX_const(sv) + SvCUR(sv) - rslen, rsptr, rslen)))
8853         {
8854             append = -1;
8855             /*
8856              * If we're reading from a TTY and we get a short read,
8857              * indicating that the user hit his EOF character, we need
8858              * to notice it now, because if we try to read from the TTY
8859              * again, the EOF condition will disappear.
8860              *
8861              * The comparison of cnt to sizeof(buf) is an optimization
8862              * that prevents unnecessary calls to feof().
8863              *
8864              * - jik 9/25/96
8865              */
8866             if (!(cnt < (I32)sizeof(buf) && PerlIO_eof(fp)))
8867                 goto screamer2;
8868         }
8869
8870 #ifdef USE_HEAP_INSTEAD_OF_STACK
8871         Safefree(buf);
8872 #endif
8873     }
8874
8875     if (rspara) {               /* have to do this both before and after */
8876         while (i != EOF) {      /* to make sure file boundaries work right */
8877             i = PerlIO_getc(fp);
8878             if (i != '\n') {
8879                 PerlIO_ungetc(fp,i);
8880                 break;
8881             }
8882         }
8883     }
8884
8885     return (SvCUR(sv) - append) ? SvPVX(sv) : NULL;
8886 }
8887
8888 /*
8889 =for apidoc sv_inc
8890
8891 Auto-increment of the value in the SV, doing string to numeric conversion
8892 if necessary.  Handles 'get' magic and operator overloading.
8893
8894 =cut
8895 */
8896
8897 void
8898 Perl_sv_inc(pTHX_ SV *const sv)
8899 {
8900     if (!sv)
8901         return;
8902     SvGETMAGIC(sv);
8903     sv_inc_nomg(sv);
8904 }
8905
8906 /*
8907 =for apidoc sv_inc_nomg
8908
8909 Auto-increment of the value in the SV, doing string to numeric conversion
8910 if necessary.  Handles operator overloading.  Skips handling 'get' magic.
8911
8912 =cut
8913 */
8914
8915 void
8916 Perl_sv_inc_nomg(pTHX_ SV *const sv)
8917 {
8918     char *d;
8919     int flags;
8920
8921     if (!sv)
8922         return;
8923     if (SvTHINKFIRST(sv)) {
8924         if (SvREADONLY(sv)) {
8925                 Perl_croak_no_modify();
8926         }
8927         if (SvROK(sv)) {
8928             IV i;
8929             if (SvAMAGIC(sv) && AMG_CALLunary(sv, inc_amg))
8930                 return;
8931             i = PTR2IV(SvRV(sv));
8932             sv_unref(sv);
8933             sv_setiv(sv, i);
8934         }
8935         else sv_force_normal_flags(sv, 0);
8936     }
8937     flags = SvFLAGS(sv);
8938     if ((flags & (SVp_NOK|SVp_IOK)) == SVp_NOK) {
8939         /* It's (privately or publicly) a float, but not tested as an
8940            integer, so test it to see. */
8941         (void) SvIV(sv);
8942         flags = SvFLAGS(sv);
8943     }
8944     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
8945         /* It's publicly an integer, or privately an integer-not-float */
8946 #ifdef PERL_PRESERVE_IVUV
8947       oops_its_int:
8948 #endif
8949         if (SvIsUV(sv)) {
8950             if (SvUVX(sv) == UV_MAX)
8951                 sv_setnv(sv, UV_MAX_P1);
8952             else
8953                 (void)SvIOK_only_UV(sv);
8954                 SvUV_set(sv, SvUVX(sv) + 1);
8955         } else {
8956             if (SvIVX(sv) == IV_MAX)
8957                 sv_setuv(sv, (UV)IV_MAX + 1);
8958             else {
8959                 (void)SvIOK_only(sv);
8960                 SvIV_set(sv, SvIVX(sv) + 1);
8961             }   
8962         }
8963         return;
8964     }
8965     if (flags & SVp_NOK) {
8966         const NV was = SvNVX(sv);
8967         if (LIKELY(!Perl_isinfnan(was)) &&
8968             NV_OVERFLOWS_INTEGERS_AT != 0.0 &&
8969             was >= NV_OVERFLOWS_INTEGERS_AT) {
8970             /* diag_listed_as: Lost precision when %s %f by 1 */
8971             Perl_ck_warner(aTHX_ packWARN(WARN_IMPRECISION),
8972                            "Lost precision when incrementing %" NVff " by 1",
8973                            was);
8974         }
8975         (void)SvNOK_only(sv);
8976         SvNV_set(sv, was + 1.0);
8977         return;
8978     }
8979
8980     /* treat AV/HV/CV/FM/IO and non-fake GVs as immutable */
8981     if (SvTYPE(sv) >= SVt_PVAV || (isGV_with_GP(sv) && !SvFAKE(sv)))
8982         Perl_croak_no_modify();
8983
8984     if (!(flags & SVp_POK) || !*SvPVX_const(sv)) {
8985         if ((flags & SVTYPEMASK) < SVt_PVIV)
8986             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV ? SVt_PVIV : SVt_IV));
8987         (void)SvIOK_only(sv);
8988         SvIV_set(sv, 1);
8989         return;
8990     }
8991     d = SvPVX(sv);
8992     while (isALPHA(*d)) d++;
8993     while (isDIGIT(*d)) d++;
8994     if (d < SvEND(sv)) {
8995         const int numtype = grok_number_flags(SvPVX_const(sv), SvCUR(sv), NULL, PERL_SCAN_TRAILING);
8996 #ifdef PERL_PRESERVE_IVUV
8997         /* Got to punt this as an integer if needs be, but we don't issue
8998            warnings. Probably ought to make the sv_iv_please() that does
8999            the conversion if possible, and silently.  */
9000         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
9001             /* Need to try really hard to see if it's an integer.
9002                9.22337203685478e+18 is an integer.
9003                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
9004                so $a="9.22337203685478e+18"; $a+0; $a++
9005                needs to be the same as $a="9.22337203685478e+18"; $a++
9006                or we go insane. */
9007         
9008             (void) sv_2iv(sv);
9009             if (SvIOK(sv))
9010                 goto oops_its_int;
9011
9012             /* sv_2iv *should* have made this an NV */
9013             if (flags & SVp_NOK) {
9014                 (void)SvNOK_only(sv);
9015                 SvNV_set(sv, SvNVX(sv) + 1.0);
9016                 return;
9017             }
9018             /* I don't think we can get here. Maybe I should assert this
9019                And if we do get here I suspect that sv_setnv will croak. NWC
9020                Fall through. */
9021             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_inc punt failed to convert '%s' to IOK or NOKp, UV=0x%" UVxf " NV=%" NVgf "\n",
9022                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
9023         }
9024 #endif /* PERL_PRESERVE_IVUV */
9025         if (!numtype && ckWARN(WARN_NUMERIC))
9026             not_incrementable(sv);
9027         sv_setnv(sv,Atof(SvPVX_const(sv)) + 1.0);
9028         return;
9029     }
9030     d--;
9031     while (d >= SvPVX_const(sv)) {
9032         if (isDIGIT(*d)) {
9033             if (++*d <= '9')
9034                 return;
9035             *(d--) = '0';
9036         }
9037         else {
9038 #ifdef EBCDIC
9039             /* MKS: The original code here died if letters weren't consecutive.
9040              * at least it didn't have to worry about non-C locales.  The
9041              * new code assumes that ('z'-'a')==('Z'-'A'), letters are
9042              * arranged in order (although not consecutively) and that only
9043              * [A-Za-z] are accepted by isALPHA in the C locale.
9044              */
9045             if (isALPHA_FOLD_NE(*d, 'z')) {
9046                 do { ++*d; } while (!isALPHA(*d));
9047                 return;
9048             }
9049             *(d--) -= 'z' - 'a';
9050 #else
9051             ++*d;
9052             if (isALPHA(*d))
9053                 return;
9054             *(d--) -= 'z' - 'a' + 1;
9055 #endif
9056         }
9057     }
9058     /* oh,oh, the number grew */
9059     SvGROW(sv, SvCUR(sv) + 2);
9060     SvCUR_set(sv, SvCUR(sv) + 1);
9061     for (d = SvPVX(sv) + SvCUR(sv); d > SvPVX_const(sv); d--)
9062         *d = d[-1];
9063     if (isDIGIT(d[1]))
9064         *d = '1';
9065     else
9066         *d = d[1];
9067 }
9068
9069 /*
9070 =for apidoc sv_dec
9071
9072 Auto-decrement of the value in the SV, doing string to numeric conversion
9073 if necessary.  Handles 'get' magic and operator overloading.
9074
9075 =cut
9076 */
9077
9078 void
9079 Perl_sv_dec(pTHX_ SV *const sv)
9080 {
9081     if (!sv)
9082         return;
9083     SvGETMAGIC(sv);
9084     sv_dec_nomg(sv);
9085 }
9086
9087 /*
9088 =for apidoc sv_dec_nomg
9089
9090 Auto-decrement of the value in the SV, doing string to numeric conversion
9091 if necessary.  Handles operator overloading.  Skips handling 'get' magic.
9092
9093 =cut
9094 */
9095
9096 void
9097 Perl_sv_dec_nomg(pTHX_ SV *const sv)
9098 {
9099     int flags;
9100
9101     if (!sv)
9102         return;
9103     if (SvTHINKFIRST(sv)) {
9104         if (SvREADONLY(sv)) {
9105                 Perl_croak_no_modify();
9106         }
9107         if (SvROK(sv)) {
9108             IV i;
9109             if (SvAMAGIC(sv) && AMG_CALLunary(sv, dec_amg))
9110                 return;
9111             i = PTR2IV(SvRV(sv));
9112             sv_unref(sv);
9113             sv_setiv(sv, i);
9114         }
9115         else sv_force_normal_flags(sv, 0);
9116     }
9117     /* Unlike sv_inc we don't have to worry about string-never-numbers
9118        and keeping them magic. But we mustn't warn on punting */
9119     flags = SvFLAGS(sv);
9120     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
9121         /* It's publicly an integer, or privately an integer-not-float */
9122 #ifdef PERL_PRESERVE_IVUV
9123       oops_its_int:
9124 #endif
9125         if (SvIsUV(sv)) {
9126             if (SvUVX(sv) == 0) {
9127                 (void)SvIOK_only(sv);
9128                 SvIV_set(sv, -1);
9129             }
9130             else {
9131                 (void)SvIOK_only_UV(sv);
9132                 SvUV_set(sv, SvUVX(sv) - 1);
9133             }   
9134         } else {
9135             if (SvIVX(sv) == IV_MIN) {
9136                 sv_setnv(sv, (NV)IV_MIN);
9137                 goto oops_its_num;
9138             }
9139             else {
9140                 (void)SvIOK_only(sv);
9141                 SvIV_set(sv, SvIVX(sv) - 1);
9142             }   
9143         }
9144         return;
9145     }
9146     if (flags & SVp_NOK) {
9147     oops_its_num:
9148         {
9149             const NV was = SvNVX(sv);
9150             if (LIKELY(!Perl_isinfnan(was)) &&
9151                 NV_OVERFLOWS_INTEGERS_AT != 0.0 &&
9152                 was <= -NV_OVERFLOWS_INTEGERS_AT) {
9153                 /* diag_listed_as: Lost precision when %s %f by 1 */
9154                 Perl_ck_warner(aTHX_ packWARN(WARN_IMPRECISION),
9155                                "Lost precision when decrementing %" NVff " by 1",
9156                                was);
9157             }
9158             (void)SvNOK_only(sv);
9159             SvNV_set(sv, was - 1.0);
9160             return;
9161         }
9162     }
9163
9164     /* treat AV/HV/CV/FM/IO and non-fake GVs as immutable */
9165     if (SvTYPE(sv) >= SVt_PVAV || (isGV_with_GP(sv) && !SvFAKE(sv)))
9166         Perl_croak_no_modify();
9167
9168     if (!(flags & SVp_POK)) {
9169         if ((flags & SVTYPEMASK) < SVt_PVIV)
9170             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV) ? SVt_PVIV : SVt_IV);
9171         SvIV_set(sv, -1);
9172         (void)SvIOK_only(sv);
9173         return;
9174     }
9175 #ifdef PERL_PRESERVE_IVUV
9176     {
9177         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), NULL);
9178         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
9179             /* Need to try really hard to see if it's an integer.
9180                9.22337203685478e+18 is an integer.
9181                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
9182                so $a="9.22337203685478e+18"; $a+0; $a--
9183                needs to be the same as $a="9.22337203685478e+18"; $a--
9184                or we go insane. */
9185         
9186             (void) sv_2iv(sv);
9187             if (SvIOK(sv))
9188                 goto oops_its_int;
9189
9190             /* sv_2iv *should* have made this an NV */
9191             if (flags & SVp_NOK) {
9192                 (void)SvNOK_only(sv);
9193                 SvNV_set(sv, SvNVX(sv) - 1.0);
9194                 return;
9195             }
9196             /* I don't think we can get here. Maybe I should assert this
9197                And if we do get here I suspect that sv_setnv will croak. NWC
9198                Fall through. */
9199             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_dec punt failed to convert '%s' to IOK or NOKp, UV=0x%" UVxf " NV=%" NVgf "\n",
9200                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
9201         }
9202     }
9203 #endif /* PERL_PRESERVE_IVUV */
9204     sv_setnv(sv,Atof(SvPVX_const(sv)) - 1.0);   /* punt */
9205 }
9206
9207 /* this define is used to eliminate a chunk of duplicated but shared logic
9208  * it has the suffix __SV_C to signal that it isnt API, and isnt meant to be
9209  * used anywhere but here - yves
9210  */
9211 #define PUSH_EXTEND_MORTAL__SV_C(AnSv) \
9212     STMT_START {      \
9213         SSize_t ix = ++PL_tmps_ix;              \
9214         if (UNLIKELY(ix >= PL_tmps_max))        \
9215             ix = tmps_grow_p(ix);                       \
9216         PL_tmps_stack[ix] = (AnSv); \
9217     } STMT_END
9218
9219 /*
9220 =for apidoc sv_mortalcopy
9221
9222 Creates a new SV which is a copy of the original SV (using C<sv_setsv>).
9223 The new SV is marked as mortal.  It will be destroyed "soon", either by an
9224 explicit call to C<FREETMPS>, or by an implicit call at places such as
9225 statement boundaries.  See also C<L</sv_newmortal>> and C<L</sv_2mortal>>.
9226
9227 =for apidoc sv_mortalcopy_flags
9228
9229 Like C<sv_mortalcopy>, but the extra C<flags> are passed to the
9230 C<sv_setsv_flags>.
9231
9232 =cut
9233 */
9234
9235 /* Make a string that will exist for the duration of the expression
9236  * evaluation.  Actually, it may have to last longer than that, but
9237  * hopefully we won't free it until it has been assigned to a
9238  * permanent location. */
9239
9240 SV *
9241 Perl_sv_mortalcopy_flags(pTHX_ SV *const oldstr, U32 flags)
9242 {
9243     SV *sv;
9244
9245     if (flags & SV_GMAGIC)
9246         SvGETMAGIC(oldstr); /* before new_SV, in case it dies */
9247     new_SV(sv);
9248     sv_setsv_flags(sv,oldstr,flags & ~SV_GMAGIC);
9249     PUSH_EXTEND_MORTAL__SV_C(sv);
9250     SvTEMP_on(sv);
9251     return sv;
9252 }
9253
9254 /*
9255 =for apidoc sv_newmortal
9256
9257 Creates a new null SV which is mortal.  The reference count of the SV is
9258 set to 1.  It will be destroyed "soon", either by an explicit call to
9259 C<FREETMPS>, or by an implicit call at places such as statement boundaries.
9260 See also C<L</sv_mortalcopy>> and C<L</sv_2mortal>>.
9261
9262 =cut
9263 */
9264
9265 SV *
9266 Perl_sv_newmortal(pTHX)
9267 {
9268     SV *sv;
9269
9270     new_SV(sv);
9271     SvFLAGS(sv) = SVs_TEMP;
9272     PUSH_EXTEND_MORTAL__SV_C(sv);
9273     return sv;
9274 }
9275
9276
9277 /*
9278 =for apidoc newSVpvn_flags
9279
9280 Creates a new SV and copies a string (which may contain C<NUL> (C<\0>)
9281 characters) into it.  The reference count for the
9282 SV is set to 1.  Note that if C<len> is zero, Perl will create a zero length
9283 string.  You are responsible for ensuring that the source string is at least
9284 C<len> bytes long.  If the C<s> argument is NULL the new SV will be undefined.
9285 Currently the only flag bits accepted are C<SVf_UTF8> and C<SVs_TEMP>.
9286 If C<SVs_TEMP> is set, then C<sv_2mortal()> is called on the result before
9287 returning.  If C<SVf_UTF8> is set, C<s>
9288 is considered to be in UTF-8 and the
9289 C<SVf_UTF8> flag will be set on the new SV.
9290 C<newSVpvn_utf8()> is a convenience wrapper for this function, defined as
9291
9292     #define newSVpvn_utf8(s, len, u)                    \
9293         newSVpvn_flags((s), (len), (u) ? SVf_UTF8 : 0)
9294
9295 =cut
9296 */
9297
9298 SV *
9299 Perl_newSVpvn_flags(pTHX_ const char *const s, const STRLEN len, const U32 flags)
9300 {
9301     SV *sv;
9302
9303     /* All the flags we don't support must be zero.
9304        And we're new code so I'm going to assert this from the start.  */
9305     assert(!(flags & ~(SVf_UTF8|SVs_TEMP)));
9306     new_SV(sv);
9307     sv_setpvn(sv,s,len);
9308
9309     /* This code used to do a sv_2mortal(), however we now unroll the call to
9310      * sv_2mortal() and do what it does ourselves here.  Since we have asserted
9311      * that flags can only have the SVf_UTF8 and/or SVs_TEMP flags set above we
9312      * can use it to enable the sv flags directly (bypassing SvTEMP_on), which
9313      * in turn means we dont need to mask out the SVf_UTF8 flag below, which
9314      * means that we eliminate quite a few steps than it looks - Yves
9315      * (explaining patch by gfx) */
9316
9317     SvFLAGS(sv) |= flags;
9318
9319     if(flags & SVs_TEMP){
9320         PUSH_EXTEND_MORTAL__SV_C(sv);
9321     }
9322
9323     return sv;
9324 }
9325
9326 /*
9327 =for apidoc sv_2mortal
9328
9329 Marks an existing SV as mortal.  The SV will be destroyed "soon", either
9330 by an explicit call to C<FREETMPS>, or by an implicit call at places such as
9331 statement boundaries.  C<SvTEMP()> is turned on which means that the SV's
9332 string buffer can be "stolen" if this SV is copied.  See also
9333 C<L</sv_newmortal>> and C<L</sv_mortalcopy>>.
9334
9335 =cut
9336 */
9337
9338 SV *
9339 Perl_sv_2mortal(pTHX_ SV *const sv)
9340 {
9341     dVAR;
9342     if (!sv)
9343         return sv;
9344     if (SvIMMORTAL(sv))
9345         return sv;
9346     PUSH_EXTEND_MORTAL__SV_C(sv);
9347     SvTEMP_on(sv);
9348     return sv;
9349 }
9350
9351 /*
9352 =for apidoc newSVpv
9353
9354 Creates a new SV and copies a string (which may contain C<NUL> (C<\0>)
9355 characters) into it.  The reference count for the
9356 SV is set to 1.  If C<len> is zero, Perl will compute the length using
9357 C<strlen()>, (which means if you use this option, that C<s> can't have embedded
9358 C<NUL> characters and has to have a terminating C<NUL> byte).
9359
9360 This function can cause reliability issues if you are likely to pass in
9361 empty strings that are not null terminated, because it will run
9362 strlen on the string and potentially run past valid memory.
9363
9364 Using L</newSVpvn> is a safer alternative for non C<NUL> terminated strings.
9365 For string literals use L</newSVpvs> instead.  This function will work fine for
9366 C<NUL> terminated strings, but if you want to avoid the if statement on whether
9367 to call C<strlen> use C<newSVpvn> instead (calling C<strlen> yourself).
9368
9369 =cut
9370 */
9371
9372 SV *
9373 Perl_newSVpv(pTHX_ const char *const s, const STRLEN len)
9374 {
9375     SV *sv;
9376
9377     new_SV(sv);
9378     sv_setpvn(sv, s, len || s == NULL ? len : strlen(s));
9379     return sv;
9380 }
9381
9382 /*
9383 =for apidoc newSVpvn
9384
9385 Creates a new SV and copies a string into it, which may contain C<NUL> characters
9386 (C<\0>) and other binary data.  The reference count for the SV is set to 1.
9387 Note that if C<len> is zero, Perl will create a zero length (Perl) string.  You
9388 are responsible for ensuring that the source buffer is at least
9389 C<len> bytes long.  If the C<buffer> argument is NULL the new SV will be
9390 undefined.
9391
9392 =cut
9393 */
9394
9395 SV *
9396 Perl_newSVpvn(pTHX_ const char *const buffer, const STRLEN len)
9397 {
9398     SV *sv;
9399     new_SV(sv);
9400     sv_setpvn(sv,buffer,len);
9401     return sv;
9402 }
9403
9404 /*
9405 =for apidoc newSVhek
9406
9407 Creates a new SV from the hash key structure.  It will generate scalars that
9408 point to the shared string table where possible.  Returns a new (undefined)
9409 SV if C<hek> is NULL.
9410
9411 =cut
9412 */
9413
9414 SV *
9415 Perl_newSVhek(pTHX_ const HEK *const hek)
9416 {
9417     if (!hek) {
9418         SV *sv;
9419
9420         new_SV(sv);
9421         return sv;
9422     }
9423
9424     if (HEK_LEN(hek) == HEf_SVKEY) {
9425         return newSVsv(*(SV**)HEK_KEY(hek));
9426     } else {
9427         const int flags = HEK_FLAGS(hek);
9428         if (flags & HVhek_WASUTF8) {
9429             /* Trouble :-)
9430                Andreas would like keys he put in as utf8 to come back as utf8
9431             */
9432             STRLEN utf8_len = HEK_LEN(hek);
9433             SV * const sv = newSV_type(SVt_PV);
9434             char *as_utf8 = (char *)bytes_to_utf8 ((U8*)HEK_KEY(hek), &utf8_len);
9435             /* bytes_to_utf8() allocates a new string, which we can repurpose: */
9436             sv_usepvn_flags(sv, as_utf8, utf8_len, SV_HAS_TRAILING_NUL);
9437             SvUTF8_on (sv);
9438             return sv;
9439         } else if (flags & HVhek_UNSHARED) {
9440             /* A hash that isn't using shared hash keys has to have
9441                the flag in every key so that we know not to try to call
9442                share_hek_hek on it.  */
9443
9444             SV * const sv = newSVpvn (HEK_KEY(hek), HEK_LEN(hek));
9445             if (HEK_UTF8(hek))
9446                 SvUTF8_on (sv);
9447             return sv;
9448         }
9449         /* This will be overwhelminly the most common case.  */
9450         {
9451             /* Inline most of newSVpvn_share(), because share_hek_hek() is far
9452                more efficient than sharepvn().  */
9453             SV *sv;
9454
9455             new_SV(sv);
9456             sv_upgrade(sv, SVt_PV);
9457             SvPV_set(sv, (char *)HEK_KEY(share_hek_hek(hek)));
9458             SvCUR_set(sv, HEK_LEN(hek));
9459             SvLEN_set(sv, 0);
9460             SvIsCOW_on(sv);
9461             SvPOK_on(sv);
9462             if (HEK_UTF8(hek))
9463                 SvUTF8_on(sv);
9464             return sv;
9465         }
9466     }
9467 }
9468
9469 /*
9470 =for apidoc newSVpvn_share
9471
9472 Creates a new SV with its C<SvPVX_const> pointing to a shared string in the string
9473 table.  If the string does not already exist in the table, it is
9474 created first.  Turns on the C<SvIsCOW> flag (or C<READONLY>
9475 and C<FAKE> in 5.16 and earlier).  If the C<hash> parameter
9476 is non-zero, that value is used; otherwise the hash is computed.
9477 The string's hash can later be retrieved from the SV
9478 with the C<SvSHARED_HASH()> macro.  The idea here is
9479 that as the string table is used for shared hash keys these strings will have
9480 C<SvPVX_const == HeKEY> and hash lookup will avoid string compare.
9481
9482 =cut
9483 */
9484
9485 SV *
9486 Perl_newSVpvn_share(pTHX_ const char *src, I32 len, U32 hash)
9487 {
9488     dVAR;
9489     SV *sv;
9490     bool is_utf8 = FALSE;
9491     const char *const orig_src = src;
9492
9493     if (len < 0) {
9494         STRLEN tmplen = -len;
9495         is_utf8 = TRUE;
9496         /* See the note in hv.c:hv_fetch() --jhi */
9497         src = (char*)bytes_from_utf8((const U8*)src, &tmplen, &is_utf8);
9498         len = tmplen;
9499     }
9500     if (!hash)
9501         PERL_HASH(hash, src, len);
9502     new_SV(sv);
9503     /* The logic for this is inlined in S_mro_get_linear_isa_dfs(), so if it
9504        changes here, update it there too.  */
9505     sv_upgrade(sv, SVt_PV);
9506     SvPV_set(sv, sharepvn(src, is_utf8?-len:len, hash));
9507     SvCUR_set(sv, len);
9508     SvLEN_set(sv, 0);
9509     SvIsCOW_on(sv);
9510     SvPOK_on(sv);
9511     if (is_utf8)
9512         SvUTF8_on(sv);
9513     if (src != orig_src)
9514         Safefree(src);
9515     return sv;
9516 }
9517
9518 /*
9519 =for apidoc newSVpv_share
9520
9521 Like C<newSVpvn_share>, but takes a C<NUL>-terminated string instead of a
9522 string/length pair.
9523
9524 =cut
9525 */
9526
9527 SV *
9528 Perl_newSVpv_share(pTHX_ const char *src, U32 hash)
9529 {
9530     return newSVpvn_share(src, strlen(src), hash);
9531 }
9532
9533 #if defined(PERL_IMPLICIT_CONTEXT)
9534
9535 /* pTHX_ magic can't cope with varargs, so this is a no-context
9536  * version of the main function, (which may itself be aliased to us).
9537  * Don't access this version directly.
9538  */
9539
9540 SV *
9541 Perl_newSVpvf_nocontext(const char *const pat, ...)
9542 {
9543     dTHX;
9544     SV *sv;
9545     va_list args;
9546
9547     PERL_ARGS_ASSERT_NEWSVPVF_NOCONTEXT;
9548
9549     va_start(args, pat);
9550     sv = vnewSVpvf(pat, &args);
9551     va_end(args);
9552     return sv;
9553 }
9554 #endif
9555
9556 /*
9557 =for apidoc newSVpvf
9558
9559 Creates a new SV and initializes it with the string formatted like
9560 C<sv_catpvf>.
9561
9562 =cut
9563 */
9564
9565 SV *
9566 Perl_newSVpvf(pTHX_ const char *const pat, ...)
9567 {
9568     SV *sv;
9569     va_list args;
9570
9571     PERL_ARGS_ASSERT_NEWSVPVF;
9572
9573     va_start(args, pat);
9574     sv = vnewSVpvf(pat, &args);
9575     va_end(args);
9576     return sv;
9577 }
9578
9579 /* backend for newSVpvf() and newSVpvf_nocontext() */
9580
9581 SV *
9582 Perl_vnewSVpvf(pTHX_ const char *const pat, va_list *const args)
9583 {
9584     SV *sv;
9585
9586     PERL_ARGS_ASSERT_VNEWSVPVF;
9587
9588     new_SV(sv);
9589     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
9590     return sv;
9591 }
9592
9593 /*
9594 =for apidoc newSVnv
9595
9596 Creates a new SV and copies a floating point value into it.
9597 The reference count for the SV is set to 1.
9598
9599 =cut
9600 */
9601
9602 SV *
9603 Perl_newSVnv(pTHX_ const NV n)
9604 {
9605     SV *sv;
9606
9607     new_SV(sv);
9608     sv_setnv(sv,n);
9609     return sv;
9610 }
9611
9612 /*
9613 =for apidoc newSViv
9614
9615 Creates a new SV and copies an integer into it.  The reference count for the
9616 SV is set to 1.
9617
9618 =cut
9619 */
9620
9621 SV *
9622 Perl_newSViv(pTHX_ const IV i)
9623 {
9624     SV *sv;
9625
9626     new_SV(sv);
9627
9628     /* Inlining ONLY the small relevant subset of sv_setiv here
9629      * for performance. Makes a significant difference. */
9630
9631     /* We're starting from SVt_FIRST, so provided that's
9632      * actual 0, we don't have to unset any SV type flags
9633      * to promote to SVt_IV. */
9634     STATIC_ASSERT_STMT(SVt_FIRST == 0);
9635
9636     SET_SVANY_FOR_BODYLESS_IV(sv);
9637     SvFLAGS(sv) |= SVt_IV;
9638     (void)SvIOK_on(sv);
9639
9640     SvIV_set(sv, i);
9641     SvTAINT(sv);
9642
9643     return sv;
9644 }
9645
9646 /*
9647 =for apidoc newSVuv
9648
9649 Creates a new SV and copies an unsigned integer into it.
9650 The reference count for the SV is set to 1.
9651
9652 =cut
9653 */
9654
9655 SV *
9656 Perl_newSVuv(pTHX_ const UV u)
9657 {
9658     SV *sv;
9659
9660     /* Inlining ONLY the small relevant subset of sv_setuv here
9661      * for performance. Makes a significant difference. */
9662
9663     /* Using ivs is more efficient than using uvs - see sv_setuv */
9664     if (u <= (UV)IV_MAX) {
9665         return newSViv((IV)u);
9666     }
9667
9668     new_SV(sv);
9669
9670     /* We're starting from SVt_FIRST, so provided that's
9671      * actual 0, we don't have to unset any SV type flags
9672      * to promote to SVt_IV. */
9673     STATIC_ASSERT_STMT(SVt_FIRST == 0);
9674
9675     SET_SVANY_FOR_BODYLESS_IV(sv);
9676     SvFLAGS(sv) |= SVt_IV;
9677     (void)SvIOK_on(sv);
9678     (void)SvIsUV_on(sv);
9679
9680     SvUV_set(sv, u);
9681     SvTAINT(sv);
9682
9683     return sv;
9684 }
9685
9686 /*
9687 =for apidoc newSV_type
9688
9689 Creates a new SV, of the type specified.  The reference count for the new SV
9690 is set to 1.
9691
9692 =cut
9693 */
9694
9695 SV *
9696 Perl_newSV_type(pTHX_ const svtype type)
9697 {
9698     SV *sv;
9699
9700     new_SV(sv);
9701     ASSUME(SvTYPE(sv) == SVt_FIRST);
9702     if(type != SVt_FIRST)
9703         sv_upgrade(sv, type);
9704     return sv;
9705 }
9706
9707 /*
9708 =for apidoc newRV_noinc
9709
9710 Creates an RV wrapper for an SV.  The reference count for the original
9711 SV is B<not> incremented.
9712
9713 =cut
9714 */
9715
9716 SV *
9717 Perl_newRV_noinc(pTHX_ SV *const tmpRef)
9718 {
9719     SV *sv;
9720
9721     PERL_ARGS_ASSERT_NEWRV_NOINC;
9722
9723     new_SV(sv);
9724
9725     /* We're starting from SVt_FIRST, so provided that's
9726      * actual 0, we don't have to unset any SV type flags
9727      * to promote to SVt_IV. */
9728     STATIC_ASSERT_STMT(SVt_FIRST == 0);
9729
9730     SET_SVANY_FOR_BODYLESS_IV(sv);
9731     SvFLAGS(sv) |= SVt_IV;
9732     SvROK_on(sv);
9733     SvIV_set(sv, 0);
9734
9735     SvTEMP_off(tmpRef);
9736     SvRV_set(sv, tmpRef);
9737
9738     return sv;
9739 }
9740
9741 /* newRV_inc is the official function name to use now.
9742  * newRV_inc is in fact #defined to newRV in sv.h
9743  */
9744
9745 SV *
9746 Perl_newRV(pTHX_ SV *const sv)
9747 {
9748     PERL_ARGS_ASSERT_NEWRV;
9749
9750     return newRV_noinc(SvREFCNT_inc_simple_NN(sv));
9751 }
9752
9753 /*
9754 =for apidoc newSVsv
9755
9756 Creates a new SV which is an exact duplicate of the original SV.
9757 (Uses C<sv_setsv>.)
9758
9759 =for apidoc newSVsv_nomg
9760
9761 Like C<newSVsv> but does not process get magic.
9762
9763 =cut
9764 */
9765
9766 SV *
9767 Perl_newSVsv_flags(pTHX_ SV *const old, I32 flags)
9768 {
9769     SV *sv;
9770
9771     if (!old)
9772         return NULL;
9773     if (SvTYPE(old) == (svtype)SVTYPEMASK) {
9774         Perl_ck_warner_d(aTHX_ packWARN(WARN_INTERNAL), "semi-panic: attempt to dup freed string");
9775         return NULL;
9776     }
9777     /* Do this here, otherwise we leak the new SV if this croaks. */
9778     if (flags & SV_GMAGIC)
9779         SvGETMAGIC(old);
9780     new_SV(sv);
9781     sv_setsv_flags(sv, old, flags & ~SV_GMAGIC);
9782     return sv;
9783 }
9784
9785 /*
9786 =for apidoc sv_reset
9787
9788 Underlying implementation for the C<reset> Perl function.
9789 Note that the perl-level function is vaguely deprecated.
9790
9791 =cut
9792 */
9793
9794 void
9795 Perl_sv_reset(pTHX_ const char *s, HV *const stash)
9796 {
9797     PERL_ARGS_ASSERT_SV_RESET;
9798
9799     sv_resetpvn(*s ? s : NULL, strlen(s), stash);
9800 }
9801
9802 void
9803 Perl_sv_resetpvn(pTHX_ const char *s, STRLEN len, HV * const stash)
9804 {
9805     char todo[PERL_UCHAR_MAX+1];
9806     const char *send;
9807
9808     if (!stash || SvTYPE(stash) != SVt_PVHV)
9809         return;
9810
9811     if (!s) {           /* reset ?? searches */
9812         MAGIC * const mg = mg_find((const SV *)stash, PERL_MAGIC_symtab);
9813         if (mg) {
9814             const U32 count = mg->mg_len / sizeof(PMOP**);
9815             PMOP **pmp = (PMOP**) mg->mg_ptr;
9816             PMOP *const *const end = pmp + count;
9817
9818             while (pmp < end) {
9819 #ifdef USE_ITHREADS
9820                 SvREADONLY_off(PL_regex_pad[(*pmp)->op_pmoffset]);
9821 #else
9822                 (*pmp)->op_pmflags &= ~PMf_USED;
9823 #endif
9824                 ++pmp;
9825             }
9826         }
9827         return;
9828     }
9829
9830     /* reset variables */
9831
9832     if (!HvARRAY(stash))
9833         return;
9834
9835     Zero(todo, 256, char);
9836     send = s + len;
9837     while (s < send) {
9838         I32 max;
9839         I32 i = (unsigned char)*s;
9840         if (s[1] == '-') {
9841             s += 2;
9842         }
9843         max = (unsigned char)*s++;
9844         for ( ; i <= max; i++) {
9845             todo[i] = 1;
9846         }
9847         for (i = 0; i <= (I32) HvMAX(stash); i++) {
9848             HE *entry;
9849             for (entry = HvARRAY(stash)[i];
9850                  entry;
9851                  entry = HeNEXT(entry))
9852             {
9853                 GV *gv;
9854                 SV *sv;
9855
9856                 if (!todo[(U8)*HeKEY(entry)])
9857                     continue;
9858                 gv = MUTABLE_GV(HeVAL(entry));
9859                 if (!isGV(gv))
9860                     continue;
9861                 sv = GvSV(gv);
9862                 if (sv && !SvREADONLY(sv)) {
9863                     SV_CHECK_THINKFIRST_COW_DROP(sv);
9864                     if (!isGV(sv)) SvOK_off(sv);
9865                 }
9866                 if (GvAV(gv)) {
9867                     av_clear(GvAV(gv));
9868                 }
9869                 if (GvHV(gv) && !HvNAME_get(GvHV(gv))) {
9870                     hv_clear(GvHV(gv));
9871                 }
9872             }
9873         }
9874     }
9875 }
9876
9877 /*
9878 =for apidoc sv_2io
9879
9880 Using various gambits, try to get an IO from an SV: the IO slot if its a
9881 GV; or the recursive result if we're an RV; or the IO slot of the symbol
9882 named after the PV if we're a string.
9883
9884 'Get' magic is ignored on the C<sv> passed in, but will be called on
9885 C<SvRV(sv)> if C<sv> is an RV.
9886
9887 =cut
9888 */
9889
9890 IO*
9891 Perl_sv_2io(pTHX_ SV *const sv)
9892 {
9893     IO* io;
9894     GV* gv;
9895
9896     PERL_ARGS_ASSERT_SV_2IO;
9897
9898     switch (SvTYPE(sv)) {
9899     case SVt_PVIO:
9900         io = MUTABLE_IO(sv);
9901         break;
9902     case SVt_PVGV:
9903     case SVt_PVLV:
9904         if (isGV_with_GP(sv)) {
9905             gv = MUTABLE_GV(sv);
9906             io = GvIO(gv);
9907             if (!io)
9908                 Perl_croak(aTHX_ "Bad filehandle: %" HEKf,
9909                                     HEKfARG(GvNAME_HEK(gv)));
9910             break;
9911         }
9912         /* FALLTHROUGH */
9913     default:
9914         if (!SvOK(sv))
9915             Perl_croak(aTHX_ PL_no_usym, "filehandle");
9916         if (SvROK(sv)) {
9917             SvGETMAGIC(SvRV(sv));
9918             return sv_2io(SvRV(sv));
9919         }
9920         gv = gv_fetchsv_nomg(sv, 0, SVt_PVIO);
9921         if (gv)
9922             io = GvIO(gv);
9923         else
9924             io = 0;
9925         if (!io) {
9926             SV *newsv = sv;
9927             if (SvGMAGICAL(sv)) {
9928                 newsv = sv_newmortal();
9929                 sv_setsv_nomg(newsv, sv);
9930             }
9931             Perl_croak(aTHX_ "Bad filehandle: %" SVf, SVfARG(newsv));
9932         }
9933         break;
9934     }
9935     return io;
9936 }
9937
9938 /*
9939 =for apidoc sv_2cv
9940
9941 Using various gambits, try to get a CV from an SV; in addition, try if
9942 possible to set C<*st> and C<*gvp> to the stash and GV associated with it.
9943 The flags in C<lref> are passed to C<gv_fetchsv>.
9944
9945 =cut
9946 */
9947
9948 CV *
9949 Perl_sv_2cv(pTHX_ SV *sv, HV **const st, GV **const gvp, const I32 lref)
9950 {
9951     GV *gv = NULL;
9952     CV *cv = NULL;
9953
9954     PERL_ARGS_ASSERT_SV_2CV;
9955
9956     if (!sv) {
9957         *st = NULL;
9958         *gvp = NULL;
9959         return NULL;
9960     }
9961     switch (SvTYPE(sv)) {
9962     case SVt_PVCV:
9963         *st = CvSTASH(sv);
9964         *gvp = NULL;
9965         return MUTABLE_CV(sv);
9966     case SVt_PVHV:
9967     case SVt_PVAV:
9968         *st = NULL;
9969         *gvp = NULL;
9970         return NULL;
9971     default:
9972         SvGETMAGIC(sv);
9973         if (SvROK(sv)) {
9974             if (SvAMAGIC(sv))
9975                 sv = amagic_deref_call(sv, to_cv_amg);
9976
9977             sv = SvRV(sv);
9978             if (SvTYPE(sv) == SVt_PVCV) {
9979                 cv = MUTABLE_CV(sv);
9980                 *gvp = NULL;
9981                 *st = CvSTASH(cv);
9982                 return cv;
9983             }
9984             else if(SvGETMAGIC(sv), isGV_with_GP(sv))
9985                 gv = MUTABLE_GV(sv);
9986             else
9987                 Perl_croak(aTHX_ "Not a subroutine reference");
9988         }
9989         else if (isGV_with_GP(sv)) {
9990             gv = MUTABLE_GV(sv);
9991         }
9992         else {
9993             gv = gv_fetchsv_nomg(sv, lref, SVt_PVCV);
9994         }
9995         *gvp = gv;
9996         if (!gv) {
9997             *st = NULL;
9998             return NULL;
9999         }
10000         /* Some flags to gv_fetchsv mean don't really create the GV  */
10001         if (!isGV_with_GP(gv)) {
10002             *st = NULL;
10003             return NULL;
10004         }
10005         *st = GvESTASH(gv);
10006         if (lref & ~GV_ADDMG && !GvCVu(gv)) {
10007             /* XXX this is probably not what they think they're getting.
10008              * It has the same effect as "sub name;", i.e. just a forward
10009              * declaration! */
10010             newSTUB(gv,0);
10011         }
10012         return GvCVu(gv);
10013     }
10014 }
10015
10016 /*
10017 =for apidoc sv_true
10018
10019 Returns true if the SV has a true value by Perl's rules.
10020 Use the C<SvTRUE> macro instead, which may call C<sv_true()> or may
10021 instead use an in-line version.
10022
10023 =cut
10024 */
10025
10026 I32
10027 Perl_sv_true(pTHX_ SV *const sv)
10028 {
10029     if (!sv)
10030         return 0;
10031     if (SvPOK(sv)) {
10032         const XPV* const tXpv = (XPV*)SvANY(sv);
10033         if (tXpv &&
10034                 (tXpv->xpv_cur > 1 ||
10035                 (tXpv->xpv_cur && *sv->sv_u.svu_pv != '0')))
10036             return 1;
10037         else
10038             return 0;
10039     }
10040     else {
10041         if (SvIOK(sv))
10042             return SvIVX(sv) != 0;
10043         else {
10044             if (SvNOK(sv))
10045                 return SvNVX(sv) != 0.0;
10046             else
10047                 return sv_2bool(sv);
10048         }
10049     }
10050 }
10051
10052 /*
10053 =for apidoc sv_pvn_force
10054
10055 Get a sensible string out of the SV somehow.
10056 A private implementation of the C<SvPV_force> macro for compilers which
10057 can't cope with complex macro expressions.  Always use the macro instead.
10058
10059 =for apidoc sv_pvn_force_flags
10060
10061 Get a sensible string out of the SV somehow.
10062 If C<flags> has the C<SV_GMAGIC> bit set, will C<mg_get> on C<sv> if
10063 appropriate, else not.  C<sv_pvn_force> and C<sv_pvn_force_nomg> are
10064 implemented in terms of this function.
10065 You normally want to use the various wrapper macros instead: see
10066 C<L</SvPV_force>> and C<L</SvPV_force_nomg>>.
10067
10068 =cut
10069 */
10070
10071 char *
10072 Perl_sv_pvn_force_flags(pTHX_ SV *const sv, STRLEN *const lp, const I32 flags)
10073 {
10074     PERL_ARGS_ASSERT_SV_PVN_FORCE_FLAGS;
10075
10076     if (flags & SV_GMAGIC) SvGETMAGIC(sv);
10077     if (SvTHINKFIRST(sv) && (!SvROK(sv) || SvREADONLY(sv)))
10078         sv_force_normal_flags(sv, 0);
10079
10080     if (SvPOK(sv)) {
10081         if (lp)
10082             *lp = SvCUR(sv);
10083     }
10084     else {
10085         char *s;
10086         STRLEN len;
10087  
10088         if (SvTYPE(sv) > SVt_PVLV
10089             || isGV_with_GP(sv))
10090             /* diag_listed_as: Can't coerce %s to %s in %s */
10091             Perl_croak(aTHX_ "Can't coerce %s to string in %s", sv_reftype(sv,0),
10092                 OP_DESC(PL_op));
10093         s = sv_2pv_flags(sv, &len, flags &~ SV_GMAGIC);
10094         if (!s) {
10095           s = (char *)"";
10096         }
10097         if (lp)
10098             *lp = len;
10099
10100         if (SvTYPE(sv) < SVt_PV ||
10101             s != SvPVX_const(sv)) {     /* Almost, but not quite, sv_setpvn() */
10102             if (SvROK(sv))
10103                 sv_unref(sv);
10104             SvUPGRADE(sv, SVt_PV);              /* Never FALSE */
10105             SvGROW(sv, len + 1);
10106             Move(s,SvPVX(sv),len,char);
10107             SvCUR_set(sv, len);
10108             SvPVX(sv)[len] = '\0';
10109         }
10110         if (!SvPOK(sv)) {
10111             SvPOK_on(sv);               /* validate pointer */
10112             SvTAINT(sv);
10113             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%" UVxf " 2pv(%s)\n",
10114                                   PTR2UV(sv),SvPVX_const(sv)));
10115         }
10116     }
10117     (void)SvPOK_only_UTF8(sv);
10118     return SvPVX_mutable(sv);
10119 }
10120
10121 /*
10122 =for apidoc sv_pvbyten_force
10123
10124 The backend for the C<SvPVbytex_force> macro.  Always use the macro
10125 instead.
10126
10127 =cut
10128 */
10129
10130 char *
10131 Perl_sv_pvbyten_force(pTHX_ SV *const sv, STRLEN *const lp)
10132 {
10133     PERL_ARGS_ASSERT_SV_PVBYTEN_FORCE;
10134
10135     sv_pvn_force(sv,lp);
10136     sv_utf8_downgrade(sv,0);
10137     *lp = SvCUR(sv);
10138     return SvPVX(sv);
10139 }
10140
10141 /*
10142 =for apidoc sv_pvutf8n_force
10143
10144 The backend for the C<SvPVutf8x_force> macro.  Always use the macro
10145 instead.
10146
10147 =cut
10148 */
10149
10150 char *
10151 Perl_sv_pvutf8n_force(pTHX_ SV *const sv, STRLEN *const lp)
10152 {
10153     PERL_ARGS_ASSERT_SV_PVUTF8N_FORCE;
10154
10155     sv_pvn_force(sv,0);
10156     sv_utf8_upgrade_nomg(sv);
10157     *lp = SvCUR(sv);
10158     return SvPVX(sv);
10159 }
10160
10161 /*
10162 =for apidoc sv_reftype
10163
10164 Returns a string describing what the SV is a reference to.
10165
10166 If ob is true and the SV is blessed, the string is the class name,
10167 otherwise it is the type of the SV, "SCALAR", "ARRAY" etc.
10168
10169 =cut
10170 */
10171
10172 const char *
10173 Perl_sv_reftype(pTHX_ const SV *const sv, const int ob)
10174 {
10175     PERL_ARGS_ASSERT_SV_REFTYPE;
10176     if (ob && SvOBJECT(sv)) {
10177         return SvPV_nolen_const(sv_ref(NULL, sv, ob));
10178     }
10179     else {
10180         /* WARNING - There is code, for instance in mg.c, that assumes that
10181          * the only reason that sv_reftype(sv,0) would return a string starting
10182          * with 'L' or 'S' is that it is a LVALUE or a SCALAR.
10183          * Yes this a dodgy way to do type checking, but it saves practically reimplementing
10184          * this routine inside other subs, and it saves time.
10185          * Do not change this assumption without searching for "dodgy type check" in
10186          * the code.
10187          * - Yves */
10188         switch (SvTYPE(sv)) {
10189         case SVt_NULL:
10190         case SVt_IV:
10191         case SVt_NV:
10192         case SVt_PV:
10193         case SVt_PVIV:
10194         case SVt_PVNV:
10195         case SVt_PVMG:
10196                                 if (SvVOK(sv))
10197                                     return "VSTRING";
10198                                 if (SvROK(sv))
10199                                     return "REF";
10200                                 else
10201                                     return "SCALAR";
10202
10203         case SVt_PVLV:          return (char *)  (SvROK(sv) ? "REF"
10204                                 /* tied lvalues should appear to be
10205                                  * scalars for backwards compatibility */
10206                                 : (isALPHA_FOLD_EQ(LvTYPE(sv), 't'))
10207                                     ? "SCALAR" : "LVALUE");
10208         case SVt_PVAV:          return "ARRAY";
10209         case SVt_PVHV:          return "HASH";
10210         case SVt_PVCV:          return "CODE";
10211         case SVt_PVGV:          return (char *) (isGV_with_GP(sv)
10212                                     ? "GLOB" : "SCALAR");
10213         case SVt_PVFM:          return "FORMAT";
10214         case SVt_PVIO:          return "IO";
10215         case SVt_INVLIST:       return "INVLIST";
10216         case SVt_REGEXP:        return "REGEXP";
10217         default:                return "UNKNOWN";
10218         }
10219     }
10220 }
10221
10222 /*
10223 =for apidoc sv_ref
10224
10225 Returns a SV describing what the SV passed in is a reference to.
10226
10227 dst can be a SV to be set to the description or NULL, in which case a
10228 mortal SV is returned.
10229
10230 If ob is true and the SV is blessed, the description is the class
10231 name, otherwise it is the type of the SV, "SCALAR", "ARRAY" etc.
10232
10233 =cut
10234 */
10235
10236 SV *
10237 Perl_sv_ref(pTHX_ SV *dst, const SV *const sv, const int ob)
10238 {
10239     PERL_ARGS_ASSERT_SV_REF;
10240
10241     if (!dst)
10242         dst = sv_newmortal();
10243
10244     if (ob && SvOBJECT(sv)) {
10245         HvNAME_get(SvSTASH(sv))
10246                     ? sv_sethek(dst, HvNAME_HEK(SvSTASH(sv)))
10247                     : sv_setpvs(dst, "__ANON__");
10248     }
10249     else {
10250         const char * reftype = sv_reftype(sv, 0);
10251         sv_setpv(dst, reftype);
10252     }
10253     return dst;
10254 }
10255
10256 /*
10257 =for apidoc sv_isobject
10258
10259 Returns a boolean indicating whether the SV is an RV pointing to a blessed
10260 object.  If the SV is not an RV, or if the object is not blessed, then this
10261 will return false.
10262
10263 =cut
10264 */
10265
10266 int
10267 Perl_sv_isobject(pTHX_ SV *sv)
10268 {
10269     if (!sv)
10270         return 0;
10271     SvGETMAGIC(sv);
10272     if (!SvROK(sv))
10273         return 0;
10274     sv = SvRV(sv);
10275     if (!SvOBJECT(sv))
10276         return 0;
10277     return 1;
10278 }
10279
10280 /*
10281 =for apidoc sv_isa
10282
10283 Returns a boolean indicating whether the SV is blessed into the specified
10284 class.  This does not check for subtypes; use C<sv_derived_from> to verify
10285 an inheritance relationship.
10286
10287 =cut
10288 */
10289
10290 int
10291 Perl_sv_isa(pTHX_ SV *sv, const char *const name)
10292 {
10293     const char *hvname;
10294
10295     PERL_ARGS_ASSERT_SV_ISA;
10296
10297     if (!sv)
10298         return 0;
10299     SvGETMAGIC(sv);
10300     if (!SvROK(sv))
10301         return 0;
10302     sv = SvRV(sv);
10303     if (!SvOBJECT(sv))
10304         return 0;
10305     hvname = HvNAME_get(SvSTASH(sv));
10306     if (!hvname)
10307         return 0;
10308
10309     return strEQ(hvname, name);
10310 }
10311
10312 /*
10313 =for apidoc newSVrv
10314
10315 Creates a new SV for the existing RV, C<rv>, to point to.  If C<rv> is not an
10316 RV then it will be upgraded to one.  If C<classname> is non-null then the new
10317 SV will be blessed in the specified package.  The new SV is returned and its
10318 reference count is 1.  The reference count 1 is owned by C<rv>. See also
10319 newRV_inc() and newRV_noinc() for creating a new RV properly.
10320
10321 =cut
10322 */
10323
10324 SV*
10325 Perl_newSVrv(pTHX_ SV *const rv, const char *const classname)
10326 {
10327     SV *sv;
10328
10329     PERL_ARGS_ASSERT_NEWSVRV;
10330
10331     new_SV(sv);
10332
10333     SV_CHECK_THINKFIRST_COW_DROP(rv);
10334
10335     if (UNLIKELY( SvTYPE(rv) >= SVt_PVMG )) {
10336         const U32 refcnt = SvREFCNT(rv);
10337         SvREFCNT(rv) = 0;
10338         sv_clear(rv);
10339         SvFLAGS(rv) = 0;
10340         SvREFCNT(rv) = refcnt;
10341
10342         sv_upgrade(rv, SVt_IV);
10343     } else if (SvROK(rv)) {
10344         SvREFCNT_dec(SvRV(rv));
10345     } else {
10346         prepare_SV_for_RV(rv);
10347     }
10348
10349     SvOK_off(rv);
10350     SvRV_set(rv, sv);
10351     SvROK_on(rv);
10352
10353     if (classname) {
10354         HV* const stash = gv_stashpv(classname, GV_ADD);
10355         (void)sv_bless(rv, stash);
10356     }
10357     return sv;
10358 }
10359
10360 SV *
10361 Perl_newSVavdefelem(pTHX_ AV *av, SSize_t ix, bool extendible)
10362 {
10363     SV * const lv = newSV_type(SVt_PVLV);
10364     PERL_ARGS_ASSERT_NEWSVAVDEFELEM;
10365     LvTYPE(lv) = 'y';
10366     sv_magic(lv, NULL, PERL_MAGIC_defelem, NULL, 0);
10367     LvTARG(lv) = SvREFCNT_inc_simple_NN(av);
10368     LvSTARGOFF(lv) = ix;
10369     LvTARGLEN(lv) = extendible ? 1 : (STRLEN)UV_MAX;
10370     return lv;
10371 }
10372
10373 /*
10374 =for apidoc sv_setref_pv
10375
10376 Copies a pointer into a new SV, optionally blessing the SV.  The C<rv>
10377 argument will be upgraded to an RV.  That RV will be modified to point to
10378 the new SV.  If the C<pv> argument is C<NULL>, then C<PL_sv_undef> will be placed
10379 into the SV.  The C<classname> argument indicates the package for the
10380 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
10381 will have a reference count of 1, and the RV will be returned.
10382
10383 Do not use with other Perl types such as HV, AV, SV, CV, because those
10384 objects will become corrupted by the pointer copy process.
10385
10386 Note that C<sv_setref_pvn> copies the string while this copies the pointer.
10387
10388 =cut
10389 */
10390
10391 SV*
10392 Perl_sv_setref_pv(pTHX_ SV *const rv, const char *const classname, void *const pv)
10393 {
10394     PERL_ARGS_ASSERT_SV_SETREF_PV;
10395
10396     if (!pv) {
10397         sv_set_undef(rv);
10398         SvSETMAGIC(rv);
10399     }
10400     else
10401         sv_setiv(newSVrv(rv,classname), PTR2IV(pv));
10402     return rv;
10403 }
10404
10405 /*
10406 =for apidoc sv_setref_iv
10407
10408 Copies an integer into a new SV, optionally blessing the SV.  The C<rv>
10409 argument will be upgraded to an RV.  That RV will be modified to point to
10410 the new SV.  The C<classname> argument indicates the package for the
10411 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
10412 will have a reference count of 1, and the RV will be returned.
10413
10414 =cut
10415 */
10416
10417 SV*
10418 Perl_sv_setref_iv(pTHX_ SV *const rv, const char *const classname, const IV iv)
10419 {
10420     PERL_ARGS_ASSERT_SV_SETREF_IV;
10421
10422     sv_setiv(newSVrv(rv,classname), iv);
10423     return rv;
10424 }
10425
10426 /*
10427 =for apidoc sv_setref_uv
10428
10429 Copies an unsigned integer into a new SV, optionally blessing the SV.  The C<rv>
10430 argument will be upgraded to an RV.  That RV will be modified to point to
10431 the new SV.  The C<classname> argument indicates the package for the
10432 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
10433 will have a reference count of 1, and the RV will be returned.
10434
10435 =cut
10436 */
10437
10438 SV*
10439 Perl_sv_setref_uv(pTHX_ SV *const rv, const char *const classname, const UV uv)
10440 {
10441     PERL_ARGS_ASSERT_SV_SETREF_UV;
10442
10443     sv_setuv(newSVrv(rv,classname), uv);
10444     return rv;
10445 }
10446
10447 /*
10448 =for apidoc sv_setref_nv
10449
10450 Copies a double into a new SV, optionally blessing the SV.  The C<rv>
10451 argument will be upgraded to an RV.  That RV will be modified to point to
10452 the new SV.  The C<classname> argument indicates the package for the
10453 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
10454 will have a reference count of 1, and the RV will be returned.
10455
10456 =cut
10457 */
10458
10459 SV*
10460 Perl_sv_setref_nv(pTHX_ SV *const rv, const char *const classname, const NV nv)
10461 {
10462     PERL_ARGS_ASSERT_SV_SETREF_NV;
10463
10464     sv_setnv(newSVrv(rv,classname), nv);
10465     return rv;
10466 }
10467
10468 /*
10469 =for apidoc sv_setref_pvn
10470
10471 Copies a string into a new SV, optionally blessing the SV.  The length of the
10472 string must be specified with C<n>.  The C<rv> argument will be upgraded to
10473 an RV.  That RV will be modified to point to the new SV.  The C<classname>
10474 argument indicates the package for the blessing.  Set C<classname> to
10475 C<NULL> to avoid the blessing.  The new SV will have a reference count
10476 of 1, and the RV will be returned.
10477
10478 Note that C<sv_setref_pv> copies the pointer while this copies the string.
10479
10480 =cut
10481 */
10482
10483 SV*
10484 Perl_sv_setref_pvn(pTHX_ SV *const rv, const char *const classname,
10485                    const char *const pv, const STRLEN n)
10486 {
10487     PERL_ARGS_ASSERT_SV_SETREF_PVN;
10488
10489     sv_setpvn(newSVrv(rv,classname), pv, n);
10490     return rv;
10491 }
10492
10493 /*
10494 =for apidoc sv_bless
10495
10496 Blesses an SV into a specified package.  The SV must be an RV.  The package
10497 must be designated by its stash (see C<L</gv_stashpv>>).  The reference count
10498 of the SV is unaffected.
10499
10500 =cut
10501 */
10502
10503 SV*
10504 Perl_sv_bless(pTHX_ SV *const sv, HV *const stash)
10505 {
10506     SV *tmpRef;
10507     HV *oldstash = NULL;
10508
10509     PERL_ARGS_ASSERT_SV_BLESS;
10510
10511     SvGETMAGIC(sv);
10512     if (!SvROK(sv))
10513         Perl_croak(aTHX_ "Can't bless non-reference value");
10514     tmpRef = SvRV(sv);
10515     if (SvFLAGS(tmpRef) & (SVs_OBJECT|SVf_READONLY|SVf_PROTECT)) {
10516         if (SvREADONLY(tmpRef))
10517             Perl_croak_no_modify();
10518         if (SvOBJECT(tmpRef)) {
10519             oldstash = SvSTASH(tmpRef);
10520         }
10521     }
10522     SvOBJECT_on(tmpRef);
10523     SvUPGRADE(tmpRef, SVt_PVMG);
10524     SvSTASH_set(tmpRef, MUTABLE_HV(SvREFCNT_inc_simple(stash)));
10525     SvREFCNT_dec(oldstash);
10526
10527     if(SvSMAGICAL(tmpRef))
10528         if(mg_find(tmpRef, PERL_MAGIC_ext) || mg_find(tmpRef, PERL_MAGIC_uvar))
10529             mg_set(tmpRef);
10530
10531
10532
10533     return sv;
10534 }
10535
10536 /* Downgrades a PVGV to a PVMG. If it's actually a PVLV, we leave the type
10537  * as it is after unglobbing it.
10538  */
10539
10540 PERL_STATIC_INLINE void
10541 S_sv_unglob(pTHX_ SV *const sv, U32 flags)
10542 {
10543     void *xpvmg;
10544     HV *stash;
10545     SV * const temp = flags & SV_COW_DROP_PV ? NULL : sv_newmortal();
10546
10547     PERL_ARGS_ASSERT_SV_UNGLOB;
10548
10549     assert(SvTYPE(sv) == SVt_PVGV || SvTYPE(sv) == SVt_PVLV);
10550     SvFAKE_off(sv);
10551     if (!(flags & SV_COW_DROP_PV))
10552         gv_efullname3(temp, MUTABLE_GV(sv), "*");
10553
10554     SvREFCNT_inc_simple_void_NN(sv_2mortal(sv));
10555     if (GvGP(sv)) {
10556         if(GvCVu((const GV *)sv) && (stash = GvSTASH(MUTABLE_GV(sv)))
10557            && HvNAME_get(stash))
10558             mro_method_changed_in(stash);
10559         gp_free(MUTABLE_GV(sv));
10560     }
10561     if (GvSTASH(sv)) {
10562         sv_del_backref(MUTABLE_SV(GvSTASH(sv)), sv);
10563         GvSTASH(sv) = NULL;
10564     }
10565     GvMULTI_off(sv);
10566     if (GvNAME_HEK(sv)) {
10567         unshare_hek(GvNAME_HEK(sv));
10568     }
10569     isGV_with_GP_off(sv);
10570
10571     if(SvTYPE(sv) == SVt_PVGV) {
10572         /* need to keep SvANY(sv) in the right arena */
10573         xpvmg = new_XPVMG();
10574         StructCopy(SvANY(sv), xpvmg, XPVMG);
10575         del_XPVGV(SvANY(sv));
10576         SvANY(sv) = xpvmg;
10577
10578         SvFLAGS(sv) &= ~SVTYPEMASK;
10579         SvFLAGS(sv) |= SVt_PVMG;
10580     }
10581
10582     /* Intentionally not calling any local SET magic, as this isn't so much a
10583        set operation as merely an internal storage change.  */
10584     if (flags & SV_COW_DROP_PV) SvOK_off(sv);
10585     else sv_setsv_flags(sv, temp, 0);
10586
10587     if ((const GV *)sv == PL_last_in_gv)
10588         PL_last_in_gv = NULL;
10589     else if ((const GV *)sv == PL_statgv)
10590         PL_statgv = NULL;
10591 }
10592
10593 /*
10594 =for apidoc sv_unref_flags
10595
10596 Unsets the RV status of the SV, and decrements the reference count of
10597 whatever was being referenced by the RV.  This can almost be thought of
10598 as a reversal of C<newSVrv>.  The C<cflags> argument can contain
10599 C<SV_IMMEDIATE_UNREF> to force the reference count to be decremented
10600 (otherwise the decrementing is conditional on the reference count being
10601 different from one or the reference being a readonly SV).
10602 See C<L</SvROK_off>>.
10603
10604 =cut
10605 */
10606
10607 void
10608 Perl_sv_unref_flags(pTHX_ SV *const ref, const U32 flags)
10609 {
10610     SV* const target = SvRV(ref);
10611
10612     PERL_ARGS_ASSERT_SV_UNREF_FLAGS;
10613
10614     if (SvWEAKREF(ref)) {
10615         sv_del_backref(target, ref);
10616         SvWEAKREF_off(ref);
10617         SvRV_set(ref, NULL);
10618         return;
10619     }
10620     SvRV_set(ref, NULL);
10621     SvROK_off(ref);
10622     /* You can't have a || SvREADONLY(target) here, as $a = $$a, where $a was
10623        assigned to as BEGIN {$a = \"Foo"} will fail.  */
10624     if (SvREFCNT(target) != 1 || (flags & SV_IMMEDIATE_UNREF))
10625         SvREFCNT_dec_NN(target);
10626     else /* XXX Hack, but hard to make $a=$a->[1] work otherwise */
10627         sv_2mortal(target);     /* Schedule for freeing later */
10628 }
10629
10630 /*
10631 =for apidoc sv_untaint
10632
10633 Untaint an SV.  Use C<SvTAINTED_off> instead.
10634
10635 =cut
10636 */
10637
10638 void
10639 Perl_sv_untaint(pTHX_ SV *const sv)
10640 {
10641     PERL_ARGS_ASSERT_SV_UNTAINT;
10642     PERL_UNUSED_CONTEXT;
10643
10644     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
10645         MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
10646         if (mg)
10647             mg->mg_len &= ~1;
10648     }
10649 }
10650
10651 /*
10652 =for apidoc sv_tainted
10653
10654 Test an SV for taintedness.  Use C<SvTAINTED> instead.
10655
10656 =cut
10657 */
10658
10659 bool
10660 Perl_sv_tainted(pTHX_ SV *const sv)
10661 {
10662     PERL_ARGS_ASSERT_SV_TAINTED;
10663     PERL_UNUSED_CONTEXT;
10664
10665     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
10666         const MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
10667         if (mg && (mg->mg_len & 1) )
10668             return TRUE;
10669     }
10670     return FALSE;
10671 }
10672
10673 #ifndef NO_MATHOMS  /* Can't move these to mathoms.c because call uiv_2buf(),
10674                        private to this file */
10675
10676 /*
10677 =for apidoc sv_setpviv
10678
10679 Copies an integer into the given SV, also updating its string value.
10680 Does not handle 'set' magic.  See C<L</sv_setpviv_mg>>.
10681
10682 =cut
10683 */
10684
10685 void
10686 Perl_sv_setpviv(pTHX_ SV *const sv, const IV iv)
10687 {
10688     /* The purpose of this union is to ensure that arr is aligned on
10689        a 2 byte boundary, because that is what uiv_2buf() requires */
10690     union {
10691         char arr[TYPE_CHARS(UV)];
10692         U16 dummy;
10693     } buf;
10694     char *ebuf;
10695     char * const ptr = uiv_2buf(buf.arr, iv, 0, 0, &ebuf);
10696
10697     PERL_ARGS_ASSERT_SV_SETPVIV;
10698
10699     sv_setpvn(sv, ptr, ebuf - ptr);
10700 }
10701
10702 /*
10703 =for apidoc sv_setpviv_mg
10704
10705 Like C<sv_setpviv>, but also handles 'set' magic.
10706
10707 =cut
10708 */
10709
10710 void
10711 Perl_sv_setpviv_mg(pTHX_ SV *const sv, const IV iv)
10712 {
10713     PERL_ARGS_ASSERT_SV_SETPVIV_MG;
10714
10715     sv_setpviv(sv, iv);
10716     SvSETMAGIC(sv);
10717 }
10718
10719 #endif  /* NO_MATHOMS */
10720
10721 #if defined(PERL_IMPLICIT_CONTEXT)
10722
10723 /* pTHX_ magic can't cope with varargs, so this is a no-context
10724  * version of the main function, (which may itself be aliased to us).
10725  * Don't access this version directly.
10726  */
10727
10728 void
10729 Perl_sv_setpvf_nocontext(SV *const sv, const char *const pat, ...)
10730 {
10731     dTHX;
10732     va_list args;
10733
10734     PERL_ARGS_ASSERT_SV_SETPVF_NOCONTEXT;
10735
10736     va_start(args, pat);
10737     sv_vsetpvf(sv, pat, &args);
10738     va_end(args);
10739 }
10740
10741 /* pTHX_ magic can't cope with varargs, so this is a no-context
10742  * version of the main function, (which may itself be aliased to us).
10743  * Don't access this version directly.
10744  */
10745
10746 void
10747 Perl_sv_setpvf_mg_nocontext(SV *const sv, const char *const pat, ...)
10748 {
10749     dTHX;
10750     va_list args;
10751
10752     PERL_ARGS_ASSERT_SV_SETPVF_MG_NOCONTEXT;
10753
10754     va_start(args, pat);
10755     sv_vsetpvf_mg(sv, pat, &args);
10756     va_end(args);
10757 }
10758 #endif
10759
10760 /*
10761 =for apidoc sv_setpvf
10762
10763 Works like C<sv_catpvf> but copies the text into the SV instead of
10764 appending it.  Does not handle 'set' magic.  See C<L</sv_setpvf_mg>>.
10765
10766 =cut
10767 */
10768
10769 void
10770 Perl_sv_setpvf(pTHX_ SV *const sv, const char *const pat, ...)
10771 {
10772     va_list args;
10773
10774     PERL_ARGS_ASSERT_SV_SETPVF;
10775
10776     va_start(args, pat);
10777     sv_vsetpvf(sv, pat, &args);
10778     va_end(args);
10779 }
10780
10781 /*
10782 =for apidoc sv_vsetpvf
10783
10784 Works like C<sv_vcatpvf> but copies the text into the SV instead of
10785 appending it.  Does not handle 'set' magic.  See C<L</sv_vsetpvf_mg>>.
10786
10787 Usually used via its frontend C<sv_setpvf>.
10788
10789 =cut
10790 */
10791
10792 void
10793 Perl_sv_vsetpvf(pTHX_ SV *const sv, const char *const pat, va_list *const args)
10794 {
10795     PERL_ARGS_ASSERT_SV_VSETPVF;
10796
10797     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
10798 }
10799
10800 /*
10801 =for apidoc sv_setpvf_mg
10802
10803 Like C<sv_setpvf>, but also handles 'set' magic.
10804
10805 =cut
10806 */
10807
10808 void
10809 Perl_sv_setpvf_mg(pTHX_ SV *const sv, const char *const pat, ...)
10810 {
10811     va_list args;
10812
10813     PERL_ARGS_ASSERT_SV_SETPVF_MG;
10814
10815     va_start(args, pat);
10816     sv_vsetpvf_mg(sv, pat, &args);
10817     va_end(args);
10818 }
10819
10820 /*
10821 =for apidoc sv_vsetpvf_mg
10822
10823 Like C<sv_vsetpvf>, but also handles 'set' magic.
10824
10825 Usually used via its frontend C<sv_setpvf_mg>.
10826
10827 =cut
10828 */
10829
10830 void
10831 Perl_sv_vsetpvf_mg(pTHX_ SV *const sv, const char *const pat, va_list *const args)
10832 {
10833     PERL_ARGS_ASSERT_SV_VSETPVF_MG;
10834
10835     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
10836     SvSETMAGIC(sv);
10837 }
10838
10839 #if defined(PERL_IMPLICIT_CONTEXT)
10840
10841 /* pTHX_ magic can't cope with varargs, so this is a no-context
10842  * version of the main function, (which may itself be aliased to us).
10843  * Don't access this version directly.
10844  */
10845
10846 void
10847 Perl_sv_catpvf_nocontext(SV *const sv, const char *const pat, ...)
10848 {
10849     dTHX;
10850     va_list args;
10851
10852     PERL_ARGS_ASSERT_SV_CATPVF_NOCONTEXT;
10853
10854     va_start(args, pat);
10855     sv_vcatpvfn_flags(sv, pat, strlen(pat), &args, NULL, 0, NULL, SV_GMAGIC|SV_SMAGIC);
10856     va_end(args);
10857 }
10858
10859 /* pTHX_ magic can't cope with varargs, so this is a no-context
10860  * version of the main function, (which may itself be aliased to us).
10861  * Don't access this version directly.
10862  */
10863
10864 void
10865 Perl_sv_catpvf_mg_nocontext(SV *const sv, const char *const pat, ...)
10866 {
10867     dTHX;
10868     va_list args;
10869
10870     PERL_ARGS_ASSERT_SV_CATPVF_MG_NOCONTEXT;
10871
10872     va_start(args, pat);
10873     sv_vcatpvfn_flags(sv, pat, strlen(pat), &args, NULL, 0, NULL, SV_GMAGIC|SV_SMAGIC);
10874     SvSETMAGIC(sv);
10875     va_end(args);
10876 }
10877 #endif
10878
10879 /*
10880 =for apidoc sv_catpvf
10881
10882 Processes its arguments like C<sprintf>, and appends the formatted
10883 output to an SV.  As with C<sv_vcatpvfn> called with a non-null C-style
10884 variable argument list, argument reordering is not supported.
10885 If the appended data contains "wide" characters
10886 (including, but not limited to, SVs with a UTF-8 PV formatted with C<%s>,
10887 and characters >255 formatted with C<%c>), the original SV might get
10888 upgraded to UTF-8.  Handles 'get' magic, but not 'set' magic.  See
10889 C<L</sv_catpvf_mg>>.  If the original SV was UTF-8, the pattern should be
10890 valid UTF-8; if the original SV was bytes, the pattern should be too.
10891
10892 =cut */
10893
10894 void
10895 Perl_sv_catpvf(pTHX_ SV *const sv, const char *const pat, ...)
10896 {
10897     va_list args;
10898
10899     PERL_ARGS_ASSERT_SV_CATPVF;
10900
10901     va_start(args, pat);
10902     sv_vcatpvfn_flags(sv, pat, strlen(pat), &args, NULL, 0, NULL, SV_GMAGIC|SV_SMAGIC);
10903     va_end(args);
10904 }
10905
10906 /*
10907 =for apidoc sv_vcatpvf
10908
10909 Processes its arguments like C<sv_vcatpvfn> called with a non-null C-style
10910 variable argument list, and appends the formatted output
10911 to an SV.  Does not handle 'set' magic.  See C<L</sv_vcatpvf_mg>>.
10912
10913 Usually used via its frontend C<sv_catpvf>.
10914
10915 =cut
10916 */
10917
10918 void
10919 Perl_sv_vcatpvf(pTHX_ SV *const sv, const char *const pat, va_list *const args)
10920 {
10921     PERL_ARGS_ASSERT_SV_VCATPVF;
10922
10923     sv_vcatpvfn_flags(sv, pat, strlen(pat), args, NULL, 0, NULL, SV_GMAGIC|SV_SMAGIC);
10924 }
10925
10926 /*
10927 =for apidoc sv_catpvf_mg
10928
10929 Like C<sv_catpvf>, but also handles 'set' magic.
10930
10931 =cut
10932 */
10933
10934 void
10935 Perl_sv_catpvf_mg(pTHX_ SV *const sv, const char *const pat, ...)
10936 {
10937     va_list args;
10938
10939     PERL_ARGS_ASSERT_SV_CATPVF_MG;
10940
10941     va_start(args, pat);
10942     sv_vcatpvfn_flags(sv, pat, strlen(pat), &args, NULL, 0, NULL, SV_GMAGIC|SV_SMAGIC);
10943     SvSETMAGIC(sv);
10944     va_end(args);
10945 }
10946
10947 /*
10948 =for apidoc sv_vcatpvf_mg
10949
10950 Like C<sv_vcatpvf>, but also handles 'set' magic.
10951
10952 Usually used via its frontend C<sv_catpvf_mg>.
10953
10954 =cut
10955 */
10956
10957 void
10958 Perl_sv_vcatpvf_mg(pTHX_ SV *const sv, const char *const pat, va_list *const args)
10959 {
10960     PERL_ARGS_ASSERT_SV_VCATPVF_MG;
10961
10962     sv_vcatpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
10963     SvSETMAGIC(sv);
10964 }
10965
10966 /*
10967 =for apidoc sv_vsetpvfn
10968
10969 Works like C<sv_vcatpvfn> but copies the text into the SV instead of
10970 appending it.
10971
10972 Usually used via one of its frontends C<sv_vsetpvf> and C<sv_vsetpvf_mg>.
10973
10974 =cut
10975 */
10976
10977 void
10978 Perl_sv_vsetpvfn(pTHX_ SV *const sv, const char *const pat, const STRLEN patlen,
10979                  va_list *const args, SV **const svargs, const Size_t sv_count, bool *const maybe_tainted)
10980 {
10981     PERL_ARGS_ASSERT_SV_VSETPVFN;
10982
10983     SvPVCLEAR(sv);
10984     sv_vcatpvfn_flags(sv, pat, patlen, args, svargs, sv_count, maybe_tainted, 0);
10985 }
10986
10987
10988 /* simplified inline Perl_sv_catpvn_nomg() when you know the SV's SvPOK */
10989
10990 PERL_STATIC_INLINE void
10991 S_sv_catpvn_simple(pTHX_ SV *const sv, const char* const buf, const STRLEN len)
10992 {
10993     STRLEN const need = len + SvCUR(sv) + 1;
10994     char *end;
10995
10996     /* can't wrap as both len and SvCUR() are allocated in
10997      * memory and together can't consume all the address space
10998      */
10999     assert(need > len);
11000
11001     assert(SvPOK(sv));
11002     SvGROW(sv, need);
11003     end = SvEND(sv);
11004     Copy(buf, end, len, char);
11005     end += len;
11006     *end = '\0';
11007     SvCUR_set(sv, need - 1);
11008 }
11009
11010
11011 /*
11012  * Warn of missing argument to sprintf. The value used in place of such
11013  * arguments should be &PL_sv_no; an undefined value would yield
11014  * inappropriate "use of uninit" warnings [perl #71000].
11015  */
11016 STATIC void
11017 S_warn_vcatpvfn_missing_argument(pTHX) {
11018     if (ckWARN(WARN_MISSING)) {
11019         Perl_warner(aTHX_ packWARN(WARN_MISSING), "Missing argument in %s",
11020                 PL_op ? OP_DESC(PL_op) : "sv_vcatpvfn()");
11021     }
11022 }
11023
11024
11025 static void
11026 S_croak_overflow()
11027 {
11028     dTHX;
11029     Perl_croak(aTHX_ "Integer overflow in format string for %s",
11030                     (PL_op ? OP_DESC(PL_op) : "sv_vcatpvfn"));
11031 }
11032
11033
11034 /* Given an int i from the next arg (if args is true) or an sv from an arg
11035  * (if args is false), try to extract a STRLEN-ranged value from the arg,
11036  * with overflow checking.
11037  * Sets *neg to true if the value was negative (untouched otherwise.
11038  * Returns the absolute value.
11039  * As an extra margin of safety, it croaks if the returned value would
11040  * exceed the maximum value of a STRLEN / 4.
11041  */
11042
11043 static STRLEN
11044 S_sprintf_arg_num_val(pTHX_ va_list *const args, int i, SV *sv, bool *neg)
11045 {
11046     IV iv;
11047
11048     if (args) {
11049         iv = i;
11050         goto do_iv;
11051     }
11052
11053     if (!sv)
11054         return 0;
11055
11056     SvGETMAGIC(sv);
11057
11058     if (UNLIKELY(SvIsUV(sv))) {
11059         UV uv = SvUV_nomg(sv);
11060         if (uv > IV_MAX)
11061             S_croak_overflow();
11062         iv = uv;
11063     }
11064     else {
11065         iv = SvIV_nomg(sv);
11066       do_iv:
11067         if (iv < 0) {
11068             if (iv < -IV_MAX)
11069                 S_croak_overflow();
11070             iv = -iv;
11071             *neg = TRUE;
11072         }
11073     }
11074
11075     if (iv > (IV)(((STRLEN)~0) / 4))
11076         S_croak_overflow();
11077
11078     return (STRLEN)iv;
11079 }
11080
11081 /* Read in and return a number. Updates *pattern to point to the char
11082  * following the number. Expects the first char to 1..9.
11083  * Croaks if the number exceeds 1/4 of the maximum value of STRLEN.
11084  * This is a belt-and-braces safety measure to complement any
11085  * overflow/wrap checks done in the main body of sv_vcatpvfn_flags.
11086  * It means that e.g. on a 32-bit system the width/precision can't be more
11087  * than 1G, which seems reasonable.
11088  */
11089
11090 STATIC STRLEN
11091 S_expect_number(pTHX_ const char **const pattern)
11092 {
11093     STRLEN var;
11094
11095     PERL_ARGS_ASSERT_EXPECT_NUMBER;
11096
11097     assert(inRANGE(**pattern, '1', '9'));
11098
11099     var = *(*pattern)++ - '0';
11100     while (isDIGIT(**pattern)) {
11101         /* if var * 10 + 9 would exceed 1/4 max strlen, croak */
11102         if (var > ((((STRLEN)~0) / 4 - 9) / 10))
11103             S_croak_overflow();
11104         var = var * 10 + (*(*pattern)++ - '0');
11105     }
11106     return var;
11107 }
11108
11109 /* Implement a fast "%.0f": given a pointer to the end of a buffer (caller
11110  * ensures it's big enough), back fill it with the rounded integer part of
11111  * nv. Returns ptr to start of string, and sets *len to its length.
11112  * Returns NULL if not convertible.
11113  */
11114
11115 STATIC char *
11116 S_F0convert(NV nv, char *const endbuf, STRLEN *const len)
11117 {
11118     const int neg = nv < 0;
11119     UV uv;
11120
11121     PERL_ARGS_ASSERT_F0CONVERT;
11122
11123     assert(!Perl_isinfnan(nv));
11124     if (neg)
11125         nv = -nv;
11126     if (nv != 0.0 && nv < UV_MAX) {
11127         char *p = endbuf;
11128         uv = (UV)nv;
11129         if (uv != nv) {
11130             nv += 0.5;
11131             uv = (UV)nv;
11132             if (uv & 1 && uv == nv)
11133                 uv--;                   /* Round to even */
11134         }
11135         do {
11136             const unsigned dig = uv % 10;
11137             *--p = '0' + dig;
11138         } while (uv /= 10);
11139         if (neg)
11140             *--p = '-';
11141         *len = endbuf - p;
11142         return p;
11143     }
11144     return NULL;
11145 }
11146
11147
11148 /* XXX maybe_tainted is never assigned to, so the doc above is lying. */
11149
11150 void
11151 Perl_sv_vcatpvfn(pTHX_ SV *const sv, const char *const pat, const STRLEN patlen,
11152                  va_list *const args, SV **const svargs, const Size_t sv_count, bool *const maybe_tainted)
11153 {
11154     PERL_ARGS_ASSERT_SV_VCATPVFN;
11155
11156     sv_vcatpvfn_flags(sv, pat, patlen, args, svargs, sv_count, maybe_tainted, SV_GMAGIC|SV_SMAGIC);
11157 }
11158
11159
11160 /* For the vcatpvfn code, we need a long double target in case
11161  * HAS_LONG_DOUBLE, even without USE_LONG_DOUBLE, so that we can printf
11162  * with long double formats, even without NV being long double.  But we
11163  * call the target 'fv' instead of 'nv', since most of the time it is not
11164  * (most compilers these days recognize "long double", even if only as a
11165  * synonym for "double").
11166 */
11167 #if defined(HAS_LONG_DOUBLE) && LONG_DOUBLESIZE > DOUBLESIZE && \
11168         defined(PERL_PRIgldbl) && !defined(USE_QUADMATH)
11169 #  define VCATPVFN_FV_GF PERL_PRIgldbl
11170 #  if defined(__VMS) && defined(__ia64) && defined(__IEEE_FLOAT)
11171        /* Work around breakage in OTS$CVT_FLOAT_T_X */
11172 #    define VCATPVFN_NV_TO_FV(nv,fv)                    \
11173             STMT_START {                                \
11174                 double _dv = nv;                        \
11175                 fv = Perl_isnan(_dv) ? LDBL_QNAN : _dv; \
11176             } STMT_END
11177 #  else
11178 #    define VCATPVFN_NV_TO_FV(nv,fv) (fv)=(nv)
11179 #  endif
11180    typedef long double vcatpvfn_long_double_t;
11181 #else
11182 #  define VCATPVFN_FV_GF NVgf
11183 #  define VCATPVFN_NV_TO_FV(nv,fv) (fv)=(nv)
11184    typedef NV vcatpvfn_long_double_t;
11185 #endif
11186
11187 #ifdef LONGDOUBLE_DOUBLEDOUBLE
11188 /* The first double can be as large as 2**1023, or '1' x '0' x 1023.
11189  * The second double can be as small as 2**-1074, or '0' x 1073 . '1'.
11190  * The sum of them can be '1' . '0' x 2096 . '1', with implied radix point
11191  * after the first 1023 zero bits.
11192  *
11193  * XXX The 2098 is quite large (262.25 bytes) and therefore some sort
11194  * of dynamically growing buffer might be better, start at just 16 bytes
11195  * (for example) and grow only when necessary.  Or maybe just by looking
11196  * at the exponents of the two doubles? */
11197 #  define DOUBLEDOUBLE_MAXBITS 2098
11198 #endif
11199
11200 /* vhex will contain the values (0..15) of the hex digits ("nybbles"
11201  * of 4 bits); 1 for the implicit 1, and the mantissa bits, four bits
11202  * per xdigit.  For the double-double case, this can be rather many.
11203  * The non-double-double-long-double overshoots since all bits of NV
11204  * are not mantissa bits, there are also exponent bits. */
11205 #ifdef LONGDOUBLE_DOUBLEDOUBLE
11206 #  define VHEX_SIZE (3+DOUBLEDOUBLE_MAXBITS/4)
11207 #else
11208 #  define VHEX_SIZE (1+(NVSIZE * 8)/4)
11209 #endif
11210
11211 /* If we do not have a known long double format, (including not using
11212  * long doubles, or long doubles being equal to doubles) then we will
11213  * fall back to the ldexp/frexp route, with which we can retrieve at
11214  * most as many bits as our widest unsigned integer type is.  We try
11215  * to get a 64-bit unsigned integer even if we are not using a 64-bit UV.
11216  *
11217  * (If you want to test the case of UVSIZE == 4, NVSIZE == 8,
11218  *  set the MANTISSATYPE to int and the MANTISSASIZE to 4.)
11219  */
11220 #if defined(HAS_QUAD) && defined(Uquad_t)
11221 #  define MANTISSATYPE Uquad_t
11222 #  define MANTISSASIZE 8
11223 #else
11224 #  define MANTISSATYPE UV
11225 #  define MANTISSASIZE UVSIZE
11226 #endif
11227
11228 #if defined(DOUBLE_LITTLE_ENDIAN) || defined(LONGDOUBLE_LITTLE_ENDIAN)
11229 #  define HEXTRACT_LITTLE_ENDIAN
11230 #elif defined(DOUBLE_BIG_ENDIAN) || defined(LONGDOUBLE_BIG_ENDIAN)
11231 #  define HEXTRACT_BIG_ENDIAN
11232 #else
11233 #  define HEXTRACT_MIX_ENDIAN
11234 #endif
11235
11236 /* S_hextract() is a helper for S_format_hexfp, for extracting
11237  * the hexadecimal values (for %a/%A).  The nv is the NV where the value
11238  * are being extracted from (either directly from the long double in-memory
11239  * presentation, or from the uquad computed via frexp+ldexp).  frexp also
11240  * is used to update the exponent.  The subnormal is set to true
11241  * for IEEE 754 subnormals/denormals (including the x86 80-bit format).
11242  * The vhex is the pointer to the beginning of the output buffer of VHEX_SIZE.
11243  *
11244  * The tricky part is that S_hextract() needs to be called twice:
11245  * the first time with vend as NULL, and the second time with vend as
11246  * the pointer returned by the first call.  What happens is that on
11247  * the first round the output size is computed, and the intended
11248  * extraction sanity checked.  On the second round the actual output
11249  * (the extraction of the hexadecimal values) takes place.
11250  * Sanity failures cause fatal failures during both rounds. */
11251 STATIC U8*
11252 S_hextract(pTHX_ const NV nv, int* exponent, bool *subnormal,
11253            U8* vhex, U8* vend)
11254 {
11255     U8* v = vhex;
11256     int ix;
11257     int ixmin = 0, ixmax = 0;
11258
11259     /* XXX Inf/NaN are not handled here, since it is
11260      * assumed they are to be output as "Inf" and "NaN". */
11261
11262     /* These macros are just to reduce typos, they have multiple
11263      * repetitions below, but usually only one (or sometimes two)
11264      * of them is really being used. */
11265     /* HEXTRACT_OUTPUT() extracts the high nybble first. */
11266 #define HEXTRACT_OUTPUT_HI(ix) (*v++ = nvp[ix] >> 4)
11267 #define HEXTRACT_OUTPUT_LO(ix) (*v++ = nvp[ix] & 0xF)
11268 #define HEXTRACT_OUTPUT(ix) \
11269     STMT_START { \
11270       HEXTRACT_OUTPUT_HI(ix); HEXTRACT_OUTPUT_LO(ix); \
11271    } STMT_END
11272 #define HEXTRACT_COUNT(ix, c) \
11273     STMT_START { \
11274       v += c; if (ix < ixmin) ixmin = ix; else if (ix > ixmax) ixmax = ix; \
11275    } STMT_END
11276 #define HEXTRACT_BYTE(ix) \
11277     STMT_START { \
11278       if (vend) HEXTRACT_OUTPUT(ix); else HEXTRACT_COUNT(ix, 2); \
11279    } STMT_END
11280 #define HEXTRACT_LO_NYBBLE(ix) \
11281     STMT_START { \
11282       if (vend) HEXTRACT_OUTPUT_LO(ix); else HEXTRACT_COUNT(ix, 1); \
11283    } STMT_END
11284     /* HEXTRACT_TOP_NYBBLE is just convenience disguise,
11285      * to make it look less odd when the top bits of a NV
11286      * are extracted using HEXTRACT_LO_NYBBLE: the highest
11287      * order bits can be in the "low nybble" of a byte. */
11288 #define HEXTRACT_TOP_NYBBLE(ix) HEXTRACT_LO_NYBBLE(ix)
11289 #define HEXTRACT_BYTES_LE(a, b) \
11290     for (ix = a; ix >= b; ix--) { HEXTRACT_BYTE(ix); }
11291 #define HEXTRACT_BYTES_BE(a, b) \
11292     for (ix = a; ix <= b; ix++) { HEXTRACT_BYTE(ix); }
11293 #define HEXTRACT_GET_SUBNORMAL(nv) *subnormal = Perl_fp_class_denorm(nv)
11294 #define HEXTRACT_IMPLICIT_BIT(nv) \
11295     STMT_START { \
11296         if (!*subnormal) { \
11297             if (vend) *v++ = ((nv) == 0.0) ? 0 : 1; else v++; \
11298         } \
11299    } STMT_END
11300
11301 /* Most formats do.  Those which don't should undef this.
11302  *
11303  * But also note that IEEE 754 subnormals do not have it, or,
11304  * expressed alternatively, their implicit bit is zero. */
11305 #define HEXTRACT_HAS_IMPLICIT_BIT
11306
11307 /* Many formats do.  Those which don't should undef this. */
11308 #define HEXTRACT_HAS_TOP_NYBBLE
11309
11310     /* HEXTRACTSIZE is the maximum number of xdigits. */
11311 #if defined(USE_LONG_DOUBLE) && defined(LONGDOUBLE_DOUBLEDOUBLE)
11312 #  define HEXTRACTSIZE (2+DOUBLEDOUBLE_MAXBITS/4)
11313 #else
11314 #  define HEXTRACTSIZE 2 * NVSIZE
11315 #endif
11316
11317     const U8* vmaxend = vhex + HEXTRACTSIZE;
11318
11319     assert(HEXTRACTSIZE <= VHEX_SIZE);
11320
11321     PERL_UNUSED_VAR(ix); /* might happen */
11322     (void)Perl_frexp(PERL_ABS(nv), exponent);
11323     *subnormal = FALSE;
11324     if (vend && (vend <= vhex || vend > vmaxend)) {
11325         /* diag_listed_as: Hexadecimal float: internal error (%s) */
11326         Perl_croak(aTHX_ "Hexadecimal float: internal error (entry)");
11327     }
11328     {
11329         /* First check if using long doubles. */
11330 #if defined(USE_LONG_DOUBLE) && (NVSIZE > DOUBLESIZE)
11331 #  if LONG_DOUBLEKIND == LONG_DOUBLE_IS_IEEE_754_128_BIT_LITTLE_ENDIAN
11332         /* Used in e.g. VMS and HP-UX IA-64, e.g. -0.1L:
11333          * 9a 99 99 99 99 99 99 99 99 99 99 99 99 99 fb bf */
11334         /* The bytes 13..0 are the mantissa/fraction,
11335          * the 15,14 are the sign+exponent. */
11336         const U8* nvp = (const U8*)(&nv);
11337         HEXTRACT_GET_SUBNORMAL(nv);
11338         HEXTRACT_IMPLICIT_BIT(nv);
11339 #    undef HEXTRACT_HAS_TOP_NYBBLE
11340         HEXTRACT_BYTES_LE(13, 0);
11341 #  elif LONG_DOUBLEKIND == LONG_DOUBLE_IS_IEEE_754_128_BIT_BIG_ENDIAN
11342         /* Used in e.g. Solaris Sparc and HP-UX PA-RISC, e.g. -0.1L:
11343          * bf fb 99 99 99 99 99 99 99 99 99 99 99 99 99 9a */
11344         /* The bytes 2..15 are the mantissa/fraction,
11345          * the 0,1 are the sign+exponent. */
11346         const U8* nvp = (const U8*)(&nv);
11347         HEXTRACT_GET_SUBNORMAL(nv);
11348         HEXTRACT_IMPLICIT_BIT(nv);
11349 #    undef HEXTRACT_HAS_TOP_NYBBLE
11350         HEXTRACT_BYTES_BE(2, 15);
11351 #  elif LONG_DOUBLEKIND == LONG_DOUBLE_IS_X86_80_BIT_LITTLE_ENDIAN
11352         /* x86 80-bit "extended precision", 64 bits of mantissa / fraction /
11353          * significand, 15 bits of exponent, 1 bit of sign.  No implicit bit.
11354          * NVSIZE can be either 12 (ILP32, Solaris x86) or 16 (LP64, Linux
11355          * and OS X), meaning that 2 or 6 bytes are empty padding. */
11356         /* The bytes 0..1 are the sign+exponent,
11357          * the bytes 2..9 are the mantissa/fraction. */
11358         const U8* nvp = (const U8*)(&nv);
11359 #    undef HEXTRACT_HAS_IMPLICIT_BIT
11360 #    undef HEXTRACT_HAS_TOP_NYBBLE
11361         HEXTRACT_GET_SUBNORMAL(nv);
11362         HEXTRACT_BYTES_LE(7, 0);
11363 #  elif LONG_DOUBLEKIND == LONG_DOUBLE_IS_X86_80_BIT_BIG_ENDIAN
11364         /* Does this format ever happen? (Wikipedia says the Motorola
11365          * 6888x math coprocessors used format _like_ this but padded
11366          * to 96 bits with 16 unused bits between the exponent and the
11367          * mantissa.) */
11368         const U8* nvp = (const U8*)(&nv);
11369 #    undef HEXTRACT_HAS_IMPLICIT_BIT
11370 #    undef HEXTRACT_HAS_TOP_NYBBLE
11371         HEXTRACT_GET_SUBNORMAL(nv);
11372         HEXTRACT_BYTES_BE(0, 7);
11373 #  else
11374 #    define HEXTRACT_FALLBACK
11375         /* Double-double format: two doubles next to each other.
11376          * The first double is the high-order one, exactly like
11377          * it would be for a "lone" double.  The second double
11378          * is shifted down using the exponent so that that there
11379          * are no common bits.  The tricky part is that the value
11380          * of the double-double is the SUM of the two doubles and
11381          * the second one can be also NEGATIVE.
11382          *
11383          * Because of this tricky construction the bytewise extraction we
11384          * use for the other long double formats doesn't work, we must
11385          * extract the values bit by bit.
11386          *
11387          * The little-endian double-double is used .. somewhere?
11388          *
11389          * The big endian double-double is used in e.g. PPC/Power (AIX)
11390          * and MIPS (SGI).
11391          *
11392          * The mantissa bits are in two separate stretches, e.g. for -0.1L:
11393          * 9a 99 99 99 99 99 59 bc 9a 99 99 99 99 99 b9 3f (LE)
11394          * 3f b9 99 99 99 99 99 9a bc 59 99 99 99 99 99 9a (BE)
11395          */
11396 #  endif
11397 #else /* #if defined(USE_LONG_DOUBLE) && (NVSIZE > DOUBLESIZE) */
11398         /* Using normal doubles, not long doubles.
11399          *
11400          * We generate 4-bit xdigits (nybble/nibble) instead of 8-bit
11401          * bytes, since we might need to handle printf precision, and
11402          * also need to insert the radix. */
11403 #  if NVSIZE == 8
11404 #    ifdef HEXTRACT_LITTLE_ENDIAN
11405         /* 0 1 2 3 4 5 6 7 (MSB = 7, LSB = 0, 6+7 = exponent+sign) */
11406         const U8* nvp = (const U8*)(&nv);
11407         HEXTRACT_GET_SUBNORMAL(nv);
11408         HEXTRACT_IMPLICIT_BIT(nv);
11409         HEXTRACT_TOP_NYBBLE(6);
11410         HEXTRACT_BYTES_LE(5, 0);
11411 #    elif defined(HEXTRACT_BIG_ENDIAN)
11412         /* 7 6 5 4 3 2 1 0 (MSB = 7, LSB = 0, 6+7 = exponent+sign) */
11413         const U8* nvp = (const U8*)(&nv);
11414         HEXTRACT_GET_SUBNORMAL(nv);
11415         HEXTRACT_IMPLICIT_BIT(nv);
11416         HEXTRACT_TOP_NYBBLE(1);
11417         HEXTRACT_BYTES_BE(2, 7);
11418 #    elif DOUBLEKIND == DOUBLE_IS_IEEE_754_64_BIT_MIXED_ENDIAN_LE_BE
11419         /* 4 5 6 7 0 1 2 3 (MSB = 7, LSB = 0, 6:7 = nybble:exponent:sign) */
11420         const U8* nvp = (const U8*)(&nv);
11421         HEXTRACT_GET_SUBNORMAL(nv);
11422         HEXTRACT_IMPLICIT_BIT(nv);
11423         HEXTRACT_TOP_NYBBLE(2); /* 6 */
11424         HEXTRACT_BYTE(1); /* 5 */
11425         HEXTRACT_BYTE(0); /* 4 */
11426         HEXTRACT_BYTE(7); /* 3 */
11427         HEXTRACT_BYTE(6); /* 2 */
11428         HEXTRACT_BYTE(5); /* 1 */
11429         HEXTRACT_BYTE(4); /* 0 */
11430 #    elif DOUBLEKIND == DOUBLE_IS_IEEE_754_64_BIT_MIXED_ENDIAN_BE_LE
11431         /* 3 2 1 0 7 6 5 4 (MSB = 7, LSB = 0, 7:6 = sign:exponent:nybble) */
11432         const U8* nvp = (const U8*)(&nv);
11433         HEXTRACT_GET_SUBNORMAL(nv);
11434         HEXTRACT_IMPLICIT_BIT(nv);
11435         HEXTRACT_TOP_NYBBLE(5); /* 6 */
11436         HEXTRACT_BYTE(6); /* 5 */
11437         HEXTRACT_BYTE(7); /* 4 */
11438         HEXTRACT_BYTE(0); /* 3 */
11439         HEXTRACT_BYTE(1); /* 2 */
11440         HEXTRACT_BYTE(2); /* 1 */
11441         HEXTRACT_BYTE(3); /* 0 */
11442 #    else
11443 #      define HEXTRACT_FALLBACK
11444 #    endif
11445 #  else
11446 #    define HEXTRACT_FALLBACK
11447 #  endif
11448 #endif /* #if defined(USE_LONG_DOUBLE) && (NVSIZE > DOUBLESIZE) #else */
11449
11450 #ifdef HEXTRACT_FALLBACK
11451         HEXTRACT_GET_SUBNORMAL(nv);
11452 #  undef HEXTRACT_HAS_TOP_NYBBLE /* Meaningless, but consistent. */
11453         /* The fallback is used for the double-double format, and
11454          * for unknown long double formats, and for unknown double
11455          * formats, or in general unknown NV formats. */
11456         if (nv == (NV)0.0) {
11457             if (vend)
11458                 *v++ = 0;
11459             else
11460                 v++;
11461             *exponent = 0;
11462         }
11463         else {
11464             NV d = nv < 0 ? -nv : nv;
11465             NV e = (NV)1.0;
11466             U8 ha = 0x0; /* hexvalue accumulator */
11467             U8 hd = 0x8; /* hexvalue digit */
11468
11469             /* Shift d and e (and update exponent) so that e <= d < 2*e,
11470              * this is essentially manual frexp(). Multiplying by 0.5 and
11471              * doubling should be lossless in binary floating point. */
11472
11473             *exponent = 1;
11474
11475             while (e > d) {
11476                 e *= (NV)0.5;
11477                 (*exponent)--;
11478             }
11479             /* Now d >= e */
11480
11481             while (d >= e + e) {
11482                 e += e;
11483                 (*exponent)++;
11484             }
11485             /* Now e <= d < 2*e */
11486
11487             /* First extract the leading hexdigit (the implicit bit). */
11488             if (d >= e) {
11489                 d -= e;
11490                 if (vend)
11491                     *v++ = 1;
11492                 else
11493                     v++;
11494             }
11495             else {
11496                 if (vend)
11497                     *v++ = 0;
11498                 else
11499                     v++;
11500             }
11501             e *= (NV)0.5;
11502
11503             /* Then extract the remaining hexdigits. */
11504             while (d > (NV)0.0) {
11505                 if (d >= e) {
11506                     ha |= hd;
11507                     d -= e;
11508                 }
11509                 if (hd == 1) {
11510                     /* Output or count in groups of four bits,
11511                      * that is, when the hexdigit is down to one. */
11512                     if (vend)
11513                         *v++ = ha;
11514                     else
11515                         v++;
11516                     /* Reset the hexvalue. */
11517                     ha = 0x0;
11518                     hd = 0x8;
11519                 }
11520                 else
11521                     hd >>= 1;
11522                 e *= (NV)0.5;
11523             }
11524
11525             /* Flush possible pending hexvalue. */
11526             if (ha) {
11527                 if (vend)
11528                     *v++ = ha;
11529                 else
11530                     v++;
11531             }
11532         }
11533 #endif
11534     }
11535     /* Croak for various reasons: if the output pointer escaped the
11536      * output buffer, if the extraction index escaped the extraction
11537      * buffer, or if the ending output pointer didn't match the
11538      * previously computed value. */
11539     if (v <= vhex || v - vhex >= VHEX_SIZE ||
11540         /* For double-double the ixmin and ixmax stay at zero,
11541          * which is convenient since the HEXTRACTSIZE is tricky
11542          * for double-double. */
11543         ixmin < 0 || ixmax >= NVSIZE ||
11544         (vend && v != vend)) {
11545         /* diag_listed_as: Hexadecimal float: internal error (%s) */
11546         Perl_croak(aTHX_ "Hexadecimal float: internal error (overflow)");
11547     }
11548     return v;
11549 }
11550
11551
11552 /* S_format_hexfp(): helper function for Perl_sv_vcatpvfn_flags().
11553  *
11554  * Processes the %a/%A hexadecimal floating-point format, since the
11555  * built-in snprintf()s which are used for most of the f/p formats, don't
11556  * universally handle %a/%A.
11557  * Populates buf of length bufsize, and returns the length of the created
11558  * string.
11559  * The rest of the args have the same meaning as the local vars of the
11560  * same name within Perl_sv_vcatpvfn_flags().
11561  *
11562  * It assumes the caller has already done STORE_LC_NUMERIC_SET_TO_NEEDED();
11563  *
11564  * It requires the caller to make buf large enough.
11565  */
11566
11567 static STRLEN
11568 S_format_hexfp(pTHX_ char * const buf, const STRLEN bufsize, const char c,
11569                     const NV nv, const vcatpvfn_long_double_t fv,
11570                     bool has_precis, STRLEN precis, STRLEN width,
11571                     bool alt, char plus, bool left, bool fill)
11572 {
11573     /* Hexadecimal floating point. */
11574     char* p = buf;
11575     U8 vhex[VHEX_SIZE];
11576     U8* v = vhex; /* working pointer to vhex */
11577     U8* vend; /* pointer to one beyond last digit of vhex */
11578     U8* vfnz = NULL; /* first non-zero */
11579     U8* vlnz = NULL; /* last non-zero */
11580     U8* v0 = NULL; /* first output */
11581     const bool lower = (c == 'a');
11582     /* At output the values of vhex (up to vend) will
11583      * be mapped through the xdig to get the actual
11584      * human-readable xdigits. */
11585     const char* xdig = PL_hexdigit;
11586     STRLEN zerotail = 0; /* how many extra zeros to append */
11587     int exponent = 0; /* exponent of the floating point input */
11588     bool hexradix = FALSE; /* should we output the radix */
11589     bool subnormal = FALSE; /* IEEE 754 subnormal/denormal */
11590     bool negative = FALSE;
11591     STRLEN elen;
11592
11593     /* XXX: NaN, Inf -- though they are printed as "NaN" and "Inf".
11594      *
11595      * For example with denormals, (assuming the vanilla
11596      * 64-bit double): the exponent is zero. 1xp-1074 is
11597      * the smallest denormal and the smallest double, it
11598      * could be output also as 0x0.0000000000001p-1022 to
11599      * match its internal structure. */
11600
11601     vend = S_hextract(aTHX_ nv, &exponent, &subnormal, vhex, NULL);
11602     S_hextract(aTHX_ nv, &exponent, &subnormal, vhex, vend);
11603
11604 #if NVSIZE > DOUBLESIZE
11605 #  ifdef HEXTRACT_HAS_IMPLICIT_BIT
11606     /* In this case there is an implicit bit,
11607      * and therefore the exponent is shifted by one. */
11608     exponent--;
11609 #  elif defined(NV_X86_80_BIT)
11610     if (subnormal) {
11611         /* The subnormals of the x86-80 have a base exponent of -16382,
11612          * (while the physical exponent bits are zero) but the frexp()
11613          * returned the scientific-style floating exponent.  We want
11614          * to map the last one as:
11615          * -16831..-16384 -> -16382 (the last normal is 0x1p-16382)
11616          * -16835..-16388 -> -16384
11617          * since we want to keep the first hexdigit
11618          * as one of the [8421]. */
11619         exponent = -4 * ( (exponent + 1) / -4) - 2;
11620     } else {
11621         exponent -= 4;
11622     }
11623     /* TBD: other non-implicit-bit platforms than the x86-80. */
11624 #  endif
11625 #endif
11626
11627     negative = fv < 0 || Perl_signbit(nv);
11628     if (negative)
11629         *p++ = '-';
11630     else if (plus)
11631         *p++ = plus;
11632     *p++ = '0';
11633     if (lower) {
11634         *p++ = 'x';
11635     }
11636     else {
11637         *p++ = 'X';
11638         xdig += 16; /* Use uppercase hex. */
11639     }
11640
11641     /* Find the first non-zero xdigit. */
11642     for (v = vhex; v < vend; v++) {
11643         if (*v) {
11644             vfnz = v;
11645             break;
11646         }
11647     }
11648
11649     if (vfnz) {
11650         /* Find the last non-zero xdigit. */
11651         for (v = vend - 1; v >= vhex; v--) {
11652             if (*v) {
11653                 vlnz = v;
11654                 break;
11655             }
11656         }
11657
11658 #if NVSIZE == DOUBLESIZE
11659         if (fv != 0.0)
11660             exponent--;
11661 #endif
11662
11663         if (subnormal) {
11664 #ifndef NV_X86_80_BIT
11665           if (vfnz[0] > 1) {
11666             /* IEEE 754 subnormals (but not the x86 80-bit):
11667              * we want "normalize" the subnormal,
11668              * so we need to right shift the hex nybbles
11669              * so that the output of the subnormal starts
11670              * from the first true bit.  (Another, equally
11671              * valid, policy would be to dump the subnormal
11672              * nybbles as-is, to display the "physical" layout.) */
11673             int i, n;
11674             U8 *vshr;
11675             /* Find the ceil(log2(v[0])) of
11676              * the top non-zero nybble. */
11677             for (i = vfnz[0], n = 0; i > 1; i >>= 1, n++) { }
11678             assert(n < 4);
11679             assert(vlnz);
11680             vlnz[1] = 0;
11681             for (vshr = vlnz; vshr >= vfnz; vshr--) {
11682               vshr[1] |= (vshr[0] & (0xF >> (4 - n))) << (4 - n);
11683               vshr[0] >>= n;
11684             }
11685             if (vlnz[1]) {
11686               vlnz++;
11687             }
11688           }
11689 #endif
11690           v0 = vfnz;
11691         } else {
11692           v0 = vhex;
11693         }
11694
11695         if (has_precis) {
11696             U8* ve = (subnormal ? vlnz + 1 : vend);
11697             SSize_t vn = ve - v0;
11698             assert(vn >= 1);
11699             if (precis < (Size_t)(vn - 1)) {
11700                 bool overflow = FALSE;
11701                 if (v0[precis + 1] < 0x8) {
11702                     /* Round down, nothing to do. */
11703                 } else if (v0[precis + 1] > 0x8) {
11704                     /* Round up. */
11705                     v0[precis]++;
11706                     overflow = v0[precis] > 0xF;
11707                     v0[precis] &= 0xF;
11708                 } else { /* v0[precis] == 0x8 */
11709                     /* Half-point: round towards the one
11710                      * with the even least-significant digit:
11711                      * 08 -> 0  88 -> 8
11712                      * 18 -> 2  98 -> a
11713                      * 28 -> 2  a8 -> a
11714                      * 38 -> 4  b8 -> c
11715                      * 48 -> 4  c8 -> c
11716                      * 58 -> 6  d8 -> e
11717                      * 68 -> 6  e8 -> e
11718                      * 78 -> 8  f8 -> 10 */
11719                     if ((v0[precis] & 0x1)) {
11720                         v0[precis]++;
11721                     }
11722                     overflow = v0[precis] > 0xF;
11723                     v0[precis] &= 0xF;
11724                 }
11725
11726                 if (overflow) {
11727                     for (v = v0 + precis - 1; v >= v0; v--) {
11728                         (*v)++;
11729                         overflow = *v > 0xF;
11730                         (*v) &= 0xF;
11731                         if (!overflow) {
11732                             break;
11733                         }
11734                     }
11735                     if (v == v0 - 1 && overflow) {
11736                         /* If the overflow goes all the
11737                          * way to the front, we need to
11738                          * insert 0x1 in front, and adjust
11739                          * the exponent. */
11740                         Move(v0, v0 + 1, vn - 1, char);
11741                         *v0 = 0x1;
11742                         exponent += 4;
11743                     }
11744                 }
11745
11746                 /* The new effective "last non zero". */
11747                 vlnz = v0 + precis;
11748             }
11749             else {
11750                 zerotail =
11751                   subnormal ? precis - vn + 1 :
11752                   precis - (vlnz - vhex);
11753             }
11754         }
11755
11756         v = v0;
11757         *p++ = xdig[*v++];
11758
11759         /* If there are non-zero xdigits, the radix
11760          * is output after the first one. */
11761         if (vfnz < vlnz) {
11762           hexradix = TRUE;
11763         }
11764     }
11765     else {
11766         *p++ = '0';
11767         exponent = 0;
11768         zerotail = precis;
11769     }
11770
11771     /* The radix is always output if precis, or if alt. */
11772     if (precis > 0 || alt) {
11773       hexradix = TRUE;
11774     }
11775
11776     if (hexradix) {
11777 #ifndef USE_LOCALE_NUMERIC
11778             *p++ = '.';
11779 #else
11780             if (IN_LC(LC_NUMERIC)) {
11781                 STRLEN n;
11782                 const char* r = SvPV(PL_numeric_radix_sv, n);
11783                 Copy(r, p, n, char);
11784                 p += n;
11785             }
11786             else {
11787                 *p++ = '.';
11788             }
11789 #endif
11790     }
11791
11792     if (vlnz) {
11793         while (v <= vlnz)
11794             *p++ = xdig[*v++];
11795     }
11796
11797     if (zerotail > 0) {
11798       while (zerotail--) {
11799         *p++ = '0';
11800       }
11801     }
11802
11803     elen = p - buf;
11804
11805     /* sanity checks */
11806     if (elen >= bufsize || width >= bufsize)
11807         /* diag_listed_as: Hexadecimal float: internal error (%s) */
11808         Perl_croak(aTHX_ "Hexadecimal float: internal error (overflow)");
11809
11810     elen += my_snprintf(p, bufsize - elen,
11811                         "%c%+d", lower ? 'p' : 'P',
11812                         exponent);
11813
11814     if (elen < width) {
11815         STRLEN gap = (STRLEN)(width - elen);
11816         if (left) {
11817             /* Pad the back with spaces. */
11818             memset(buf + elen, ' ', gap);
11819         }
11820         else if (fill) {
11821             /* Insert the zeros after the "0x" and the
11822              * the potential sign, but before the digits,
11823              * otherwise we end up with "0000xH.HHH...",
11824              * when we want "0x000H.HHH..."  */
11825             STRLEN nzero = gap;
11826             char* zerox = buf + 2;
11827             STRLEN nmove = elen - 2;
11828             if (negative || plus) {
11829                 zerox++;
11830                 nmove--;
11831             }
11832             Move(zerox, zerox + nzero, nmove, char);
11833             memset(zerox, fill ? '0' : ' ', nzero);
11834         }
11835         else {
11836             /* Move it to the right. */
11837             Move(buf, buf + gap,
11838                  elen, char);
11839             /* Pad the front with spaces. */
11840             memset(buf, ' ', gap);
11841         }
11842         elen = width;
11843     }
11844     return elen;
11845 }
11846
11847
11848 /*
11849 =for apidoc sv_vcatpvfn
11850
11851 =for apidoc sv_vcatpvfn_flags
11852
11853 Processes its arguments like C<vsprintf> and appends the formatted output
11854 to an SV.  Uses an array of SVs if the C-style variable argument list is
11855 missing (C<NULL>). Argument reordering (using format specifiers like C<%2$d>
11856 or C<%*2$d>) is supported only when using an array of SVs; using a C-style
11857 C<va_list> argument list with a format string that uses argument reordering
11858 will yield an exception.
11859
11860 When running with taint checks enabled, indicates via
11861 C<maybe_tainted> if results are untrustworthy (often due to the use of
11862 locales).
11863
11864 If called as C<sv_vcatpvfn> or flags has the C<SV_GMAGIC> bit set, calls get magic.
11865
11866 It assumes that pat has the same utf8-ness as sv.  It's the caller's
11867 responsibility to ensure that this is so.
11868
11869 Usually used via one of its frontends C<sv_vcatpvf> and C<sv_vcatpvf_mg>.
11870
11871 =cut
11872 */
11873
11874
11875 void
11876 Perl_sv_vcatpvfn_flags(pTHX_ SV *const sv, const char *const pat, const STRLEN patlen,
11877                        va_list *const args, SV **const svargs, const Size_t sv_count, bool *const maybe_tainted,
11878                        const U32 flags)
11879 {
11880     const char *fmtstart; /* character following the current '%' */
11881     const char *q;        /* current position within format */
11882     const char *patend;
11883     STRLEN origlen;
11884     Size_t svix = 0;
11885     static const char nullstr[] = "(null)";
11886     bool has_utf8 = DO_UTF8(sv);    /* has the result utf8? */
11887     const bool pat_utf8 = has_utf8; /* the pattern is in utf8? */
11888     /* Times 4: a decimal digit takes more than 3 binary digits.
11889      * NV_DIG: mantissa takes that many decimal digits.
11890      * Plus 32: Playing safe. */
11891     char ebuf[IV_DIG * 4 + NV_DIG + 32];
11892     bool no_redundant_warning = FALSE; /* did we use any explicit format parameter index? */
11893 #ifdef USE_LOCALE_NUMERIC
11894     DECLARATION_FOR_LC_NUMERIC_MANIPULATION;
11895     bool lc_numeric_set = FALSE; /* called STORE_LC_NUMERIC_SET_TO_NEEDED? */
11896 #endif
11897
11898     PERL_ARGS_ASSERT_SV_VCATPVFN_FLAGS;
11899     PERL_UNUSED_ARG(maybe_tainted);
11900
11901     if (flags & SV_GMAGIC)
11902         SvGETMAGIC(sv);
11903
11904     /* no matter what, this is a string now */
11905     (void)SvPV_force_nomg(sv, origlen);
11906
11907     /* the code that scans for flags etc following a % relies on
11908      * a '\0' being present to avoid falling off the end. Ideally that
11909      * should be fixed */
11910     assert(pat[patlen] == '\0');
11911
11912
11913     /* Special-case "", "%s", "%-p" (SVf - see below) and "%.0f".
11914      * In each case, if there isn't the correct number of args, instead
11915      * fall through to the main code to handle the issuing of any
11916      * warnings etc.
11917      */
11918
11919     if (patlen == 0 && (args || sv_count == 0))
11920         return;
11921
11922     if (patlen <= 4 && pat[0] == '%' && (args || sv_count == 1)) {
11923
11924         /* "%s" */
11925         if (patlen == 2 && pat[1] == 's') {
11926             if (args) {
11927                 const char * const s = va_arg(*args, char*);
11928                 sv_catpv_nomg(sv, s ? s : nullstr);
11929             }
11930             else {
11931                 /* we want get magic on the source but not the target.
11932                  * sv_catsv can't do that, though */
11933                 SvGETMAGIC(*svargs);
11934                 sv_catsv_nomg(sv, *svargs);
11935             }
11936             return;
11937         }
11938
11939         /* "%-p" */
11940         if (args) {
11941             if (patlen == 3  && pat[1] == '-' && pat[2] == 'p') {
11942                 SV *asv = MUTABLE_SV(va_arg(*args, void*));
11943                 sv_catsv_nomg(sv, asv);
11944                 return;
11945             }
11946         }
11947 #if !defined(USE_LONG_DOUBLE) && !defined(USE_QUADMATH)
11948         /* special-case "%.0f" */
11949         else if (   patlen == 4
11950                  && pat[1] == '.' && pat[2] == '0' && pat[3] == 'f')
11951         {
11952             const NV nv = SvNV(*svargs);
11953             if (LIKELY(!Perl_isinfnan(nv))) {
11954                 STRLEN l;
11955                 char *p;
11956
11957                 if ((p = F0convert(nv, ebuf + sizeof ebuf, &l))) {
11958                     sv_catpvn_nomg(sv, p, l);
11959                     return;
11960                 }
11961             }
11962         }
11963 #endif /* !USE_LONG_DOUBLE */
11964     }
11965
11966
11967     patend = (char*)pat + patlen;
11968     for (fmtstart = pat; fmtstart < patend; fmtstart = q) {
11969         char intsize     = 0;         /* size qualifier in "%hi..." etc */
11970         bool alt         = FALSE;     /* has      "%#..."    */
11971         bool left        = FALSE;     /* has      "%-..."    */
11972         bool fill        = FALSE;     /* has      "%0..."    */
11973         char plus        = 0;         /* has      "%+..."    */
11974         STRLEN width     = 0;         /* value of "%NNN..."  */
11975         bool has_precis  = FALSE;     /* has      "%.NNN..." */
11976         STRLEN precis    = 0;         /* value of "%.NNN..." */
11977         int base         = 0;         /* base to print in, e.g. 8 for %o */
11978         UV uv            = 0;         /* the value to print of int-ish args */
11979
11980         bool vectorize   = FALSE;     /* has      "%v..."    */
11981         bool vec_utf8    = FALSE;     /* SvUTF8(vec arg)     */
11982         const U8 *vecstr = NULL;      /* SvPVX(vec arg)      */
11983         STRLEN veclen    = 0;         /* SvCUR(vec arg)      */
11984         const char *dotstr = NULL;    /* separator string for %v */
11985         STRLEN dotstrlen;             /* length of separator string for %v */
11986
11987         Size_t efix      = 0;         /* explicit format parameter index */
11988         const Size_t osvix  = svix;   /* original index in case of bad fmt */
11989
11990         SV *argsv        = NULL;
11991         bool is_utf8     = FALSE;     /* is this item utf8?   */
11992         bool arg_missing = FALSE;     /* give "Missing argument" warning */
11993         char esignbuf[4];             /* holds sign prefix, e.g. "-0x" */
11994         STRLEN esignlen  = 0;         /* length of e.g. "-0x" */
11995         STRLEN zeros     = 0;         /* how many '0' to prepend */
11996
11997         const char *eptr = NULL;      /* the address of the element string */
11998         STRLEN elen      = 0;         /* the length  of the element string */
11999
12000         char c;                       /* the actual format ('d', s' etc) */
12001
12002
12003         /* echo everything up to the next format specification */
12004         for (q = fmtstart; q < patend && *q != '%'; ++q)
12005             {};
12006
12007         if (q > fmtstart) {
12008             if (has_utf8 && !pat_utf8) {
12009                 /* upgrade and copy the bytes of fmtstart..q-1 to utf8 on
12010                  * the fly */
12011                 const char *p;
12012                 char *dst;
12013                 STRLEN need = SvCUR(sv) + (q - fmtstart) + 1;
12014
12015                 for (p = fmtstart; p < q; p++)
12016                     if (!NATIVE_BYTE_IS_INVARIANT(*p))
12017                         need++;
12018                 SvGROW(sv, need);
12019
12020                 dst = SvEND(sv);
12021                 for (p = fmtstart; p < q; p++)
12022                     append_utf8_from_native_byte((U8)*p, (U8**)&dst);
12023                 *dst = '\0';
12024                 SvCUR_set(sv, need - 1);
12025             }
12026             else
12027                 S_sv_catpvn_simple(aTHX_ sv, fmtstart, q - fmtstart);
12028         }
12029         if (q++ >= patend)
12030             break;
12031
12032         fmtstart = q; /* fmtstart is char following the '%' */
12033
12034 /*
12035     We allow format specification elements in this order:
12036         \d+\$              explicit format parameter index
12037         [-+ 0#]+           flags
12038         v|\*(\d+\$)?v      vector with optional (optionally specified) arg
12039         0                  flag (as above): repeated to allow "v02"     
12040         \d+|\*(\d+\$)?     width using optional (optionally specified) arg
12041         \.(\d*|\*(\d+\$)?) precision using optional (optionally specified) arg
12042         [hlqLV]            size
12043     [%bcdefginopsuxDFOUX] format (mandatory)
12044 */
12045
12046         if (inRANGE(*q, '1', '9')) {
12047             width = expect_number(&q);
12048             if (*q == '$') {
12049                 if (args)
12050                     Perl_croak_nocontext(
12051                         "Cannot yet reorder sv_vcatpvfn() arguments from va_list");
12052                 ++q;
12053                 efix = (Size_t)width;
12054                 width = 0;
12055                 no_redundant_warning = TRUE;
12056             } else {
12057                 goto gotwidth;
12058             }
12059         }
12060
12061         /* FLAGS */
12062
12063         while (*q) {
12064             switch (*q) {
12065             case ' ':
12066             case '+':
12067                 if (plus == '+' && *q == ' ') /* '+' over ' ' */
12068                     q++;
12069                 else
12070                     plus = *q++;
12071                 continue;
12072
12073             case '-':
12074                 left = TRUE;
12075                 q++;
12076                 continue;
12077
12078             case '0':
12079                 fill = TRUE;
12080                 q++;
12081                 continue;
12082
12083             case '#':
12084                 alt = TRUE;
12085                 q++;
12086                 continue;
12087
12088             default:
12089                 break;
12090             }
12091             break;
12092         }
12093
12094       /* at this point we can expect one of:
12095        *
12096        *  123  an explicit width
12097        *  *    width taken from next arg
12098        *  *12$ width taken from 12th arg
12099        *       or no width
12100        *
12101        * But any width specification may be preceded by a v, in one of its
12102        * forms:
12103        *        v
12104        *        *v
12105        *        *12$v
12106        * So an asterisk may be either a width specifier or a vector
12107        * separator arg specifier, and we don't know which initially
12108        */
12109
12110       tryasterisk:
12111         if (*q == '*') {
12112             STRLEN ix; /* explicit width/vector separator index */
12113             q++;
12114             if (inRANGE(*q, '1', '9')) {
12115                 ix = expect_number(&q);
12116                 if (*q++ == '$') {
12117                     if (args)
12118                         Perl_croak_nocontext(
12119                             "Cannot yet reorder sv_vcatpvfn() arguments from va_list");
12120                     no_redundant_warning = TRUE;
12121                 } else
12122                     goto unknown;
12123             }
12124             else
12125                 ix = 0;
12126
12127             if (*q == 'v') {
12128                 SV *vecsv;
12129                 /* The asterisk was for  *v, *NNN$v: vectorizing, but not
12130                  * with the default "." */
12131                 q++;
12132                 if (vectorize)
12133                     goto unknown;
12134                 if (args)
12135                     vecsv = va_arg(*args, SV*);
12136                 else {
12137                     ix = ix ? ix - 1 : svix++;
12138                     vecsv = ix < sv_count ? svargs[ix]
12139                                        : (arg_missing = TRUE, &PL_sv_no);
12140                 }
12141                 dotstr = SvPV_const(vecsv, dotstrlen);
12142                 /* Keep the DO_UTF8 test *after* the SvPV call, else things go
12143                    bad with tied or overloaded values that return UTF8.  */
12144                 if (DO_UTF8(vecsv))
12145                     is_utf8 = TRUE;
12146                 else if (has_utf8) {
12147                     vecsv = sv_mortalcopy(vecsv);
12148                     sv_utf8_upgrade(vecsv);
12149                     dotstr = SvPV_const(vecsv, dotstrlen);
12150                     is_utf8 = TRUE;
12151                 }
12152                 vectorize = TRUE;
12153                 goto tryasterisk;
12154             }
12155
12156             /* the asterisk specified a width */
12157             {
12158                 int i = 0;
12159                 SV *sv = NULL;
12160                 if (args)
12161                     i = va_arg(*args, int);
12162                 else {
12163                     ix = ix ? ix - 1 : svix++;
12164                     sv = (ix < sv_count) ? svargs[ix]
12165                                       : (arg_missing = TRUE, (SV*)NULL);
12166                 }
12167                 width = S_sprintf_arg_num_val(aTHX_ args, i, sv, &left);
12168             }
12169         }
12170         else if (*q == 'v') {
12171             q++;
12172             if (vectorize)
12173                 goto unknown;
12174             vectorize = TRUE;
12175             dotstr = ".";
12176             dotstrlen = 1;
12177             goto tryasterisk;
12178
12179         }
12180         else {
12181         /* explicit width? */
12182             if(*q == '0') {
12183                 fill = TRUE;
12184                 q++;
12185             }
12186             if (inRANGE(*q, '1', '9'))
12187                 width = expect_number(&q);
12188         }
12189
12190       gotwidth:
12191
12192         /* PRECISION */
12193
12194         if (*q == '.') {
12195             q++;
12196             if (*q == '*') {
12197                 STRLEN ix; /* explicit precision index */
12198                 q++;
12199                 if (inRANGE(*q, '1', '9')) {
12200                     ix = expect_number(&q);
12201                     if (*q++ == '$') {
12202                         if (args)
12203                             Perl_croak_nocontext(
12204                                 "Cannot yet reorder sv_vcatpvfn() arguments from va_list");
12205                         no_redundant_warning = TRUE;
12206                     } else
12207                         goto unknown;
12208                 }
12209                 else
12210                     ix = 0;
12211
12212                 {
12213                     int i = 0;
12214                     SV *sv = NULL;
12215                     bool neg = FALSE;
12216
12217                     if (args)
12218                         i = va_arg(*args, int);
12219                     else {
12220                         ix = ix ? ix - 1 : svix++;
12221                         sv = (ix < sv_count) ? svargs[ix]
12222                                           : (arg_missing = TRUE, (SV*)NULL);
12223                     }
12224                     precis = S_sprintf_arg_num_val(aTHX_ args, i, sv, &neg);
12225                     has_precis = !neg;
12226                 }
12227             }
12228             else {
12229                 /* although it doesn't seem documented, this code has long
12230                  * behaved so that:
12231                  *   no digits following the '.' is treated like '.0'
12232                  *   the number may be preceded by any number of zeroes,
12233                  *      e.g. "%.0001f", which is the same as "%.1f"
12234                  * so I've kept that behaviour. DAPM May 2017
12235                  */
12236                 while (*q == '0')
12237                     q++;
12238                 precis = inRANGE(*q, '1', '9') ? expect_number(&q) : 0;
12239                 has_precis = TRUE;
12240             }
12241         }
12242
12243         /* SIZE */
12244
12245         switch (*q) {
12246 #ifdef WIN32
12247         case 'I':                       /* Ix, I32x, and I64x */
12248 #  ifdef USE_64_BIT_INT
12249             if (q[1] == '6' && q[2] == '4') {
12250                 q += 3;
12251                 intsize = 'q';
12252                 break;
12253             }
12254 #  endif
12255             if (q[1] == '3' && q[2] == '2') {
12256                 q += 3;
12257                 break;
12258             }
12259 #  ifdef USE_64_BIT_INT
12260             intsize = 'q';
12261 #  endif
12262             q++;
12263             break;
12264 #endif
12265 #if (IVSIZE >= 8 || defined(HAS_LONG_DOUBLE)) || \
12266     (IVSIZE == 4 && !defined(HAS_LONG_DOUBLE))
12267         case 'L':                       /* Ld */
12268             /* FALLTHROUGH */
12269 #  ifdef USE_QUADMATH
12270         case 'Q':
12271             /* FALLTHROUGH */
12272 #  endif
12273 #  if IVSIZE >= 8
12274         case 'q':                       /* qd */
12275 #  endif
12276             intsize = 'q';
12277             q++;
12278             break;
12279 #endif
12280         case 'l':
12281             ++q;
12282 #if (IVSIZE >= 8 || defined(HAS_LONG_DOUBLE)) || \
12283     (IVSIZE == 4 && !defined(HAS_LONG_DOUBLE))
12284             if (*q == 'l') {    /* lld, llf */
12285                 intsize = 'q';
12286                 ++q;
12287             }
12288             else
12289 #endif
12290                 intsize = 'l';
12291             break;
12292         case 'h':
12293             if (*++q == 'h') {  /* hhd, hhu */
12294                 intsize = 'c';
12295                 ++q;
12296             }
12297             else
12298                 intsize = 'h';
12299             break;
12300         case 'V':
12301         case 'z':
12302         case 't':
12303         case 'j':
12304             intsize = *q++;
12305             break;
12306         }
12307
12308         /* CONVERSION */
12309
12310         c = *q++; /* c now holds the conversion type */
12311
12312         /* '%' doesn't have an arg, so skip arg processing */
12313         if (c == '%') {
12314             eptr = q - 1;
12315             elen = 1;
12316             if (vectorize)
12317                 goto unknown;
12318             goto string;
12319         }
12320
12321         if (vectorize && !strchr("BbDdiOouUXx", c))
12322             goto unknown;
12323
12324         /* get next arg (individual branches do their own va_arg()
12325          * handling for the args case) */
12326
12327         if (!args) {
12328             efix = efix ? efix - 1 : svix++;
12329             argsv = efix < sv_count ? svargs[efix]
12330                                  : (arg_missing = TRUE, &PL_sv_no);
12331         }
12332
12333
12334         switch (c) {
12335
12336             /* STRINGS */
12337
12338         case 's':
12339             if (args) {
12340                 eptr = va_arg(*args, char*);
12341                 if (eptr)
12342                     if (has_precis)
12343                         elen = my_strnlen(eptr, precis);
12344                     else
12345                         elen = strlen(eptr);
12346                 else {
12347                     eptr = (char *)nullstr;
12348                     elen = sizeof nullstr - 1;
12349                 }
12350             }
12351             else {
12352                 eptr = SvPV_const(argsv, elen);
12353                 if (DO_UTF8(argsv)) {
12354                     STRLEN old_precis = precis;
12355                     if (has_precis && precis < elen) {
12356                         STRLEN ulen = sv_or_pv_len_utf8(argsv, eptr, elen);
12357                         STRLEN p = precis > ulen ? ulen : precis;
12358                         precis = sv_or_pv_pos_u2b(argsv, eptr, p, 0);
12359                                                         /* sticks at end */
12360                     }
12361                     if (width) { /* fudge width (can't fudge elen) */
12362                         if (has_precis && precis < elen)
12363                             width += precis - old_precis;
12364                         else
12365                             width +=
12366                                 elen - sv_or_pv_len_utf8(argsv,eptr,elen);
12367                     }
12368                     is_utf8 = TRUE;
12369                 }
12370             }
12371
12372         string:
12373             if (has_precis && precis < elen)
12374                 elen = precis;
12375             break;
12376
12377             /* INTEGERS */
12378
12379         case 'p':
12380             if (alt)
12381                 goto unknown;
12382
12383             /* %p extensions:
12384              *
12385              * "%...p" is normally treated like "%...x", except that the
12386              * number to print is the SV's address (or a pointer address
12387              * for C-ish sprintf).
12388              *
12389              * However, the C-ish sprintf variant allows a few special
12390              * extensions. These are currently:
12391              *
12392              * %-p       (SVf)  Like %s, but gets the string from an SV*
12393              *                  arg rather than a char* arg.
12394              *                  (This was previously %_).
12395              *
12396              * %-<num>p         Ditto but like %.<num>s (i.e. num is max width)
12397              *
12398              * %2p       (HEKf) Like %s, but using the key string in a HEK
12399              *
12400              * %3p       (HEKf256) Ditto but like %.256s
12401              *
12402              * %d%lu%4p  (UTF8f) A utf8 string. Consumes 3 args:
12403              *                       (cBOOL(utf8), len, string_buf).
12404              *                   It's handled by the "case 'd'" branch
12405              *                   rather than here.
12406              *
12407              * %<num>p   where num is 1 or > 4: reserved for future
12408              *           extensions. Warns, but then is treated as a
12409              *           general %p (print hex address) format.
12410              */
12411
12412             if (   args
12413                 && !intsize
12414                 && !fill
12415                 && !plus
12416                 && !has_precis
12417                     /* not %*p or %*1$p - any width was explicit */
12418                 && q[-2] != '*'
12419                 && q[-2] != '$'
12420             ) {
12421                 if (left) {                     /* %-p (SVf), %-NNNp */
12422                     if (width) {
12423                         precis = width;
12424                         has_precis = TRUE;
12425                     }
12426                     argsv = MUTABLE_SV(va_arg(*args, void*));
12427                     eptr = SvPV_const(argsv, elen);
12428                     if (DO_UTF8(argsv))
12429                         is_utf8 = TRUE;
12430                     width = 0;
12431                     goto string;
12432                 }
12433                 else if (width == 2 || width == 3) {    /* HEKf, HEKf256 */
12434                     HEK * const hek = va_arg(*args, HEK *);
12435                     eptr = HEK_KEY(hek);
12436                     elen = HEK_LEN(hek);
12437                     if (HEK_UTF8(hek))
12438                         is_utf8 = TRUE;
12439                     if (width == 3) {
12440                         precis = 256;
12441                         has_precis = TRUE;
12442                     }
12443                     width = 0;
12444                     goto string;
12445                 }
12446                 else if (width) {
12447                     Perl_ck_warner_d(aTHX_ packWARN(WARN_INTERNAL),
12448                          "internal %%<num>p might conflict with future printf extensions");
12449                 }
12450             }
12451
12452             /* treat as normal %...p */
12453
12454             uv = PTR2UV(args ? va_arg(*args, void*) : argsv);
12455             base = 16;
12456             goto do_integer;
12457
12458         case 'c':
12459             /* Ignore any size specifiers, since they're not documented as
12460              * being allowed for %c (ideally we should warn on e.g. '%hc').
12461              * Setting a default intsize, along with a positive
12462              * (which signals unsigned) base, causes, for C-ish use, the
12463              * va_arg to be interpreted as as unsigned int, when it's
12464              * actually signed, which will convert -ve values to high +ve
12465              * values. Note that unlike the libc %c, values > 255 will
12466              * convert to high unicode points rather than being truncated
12467              * to 8 bits. For perlish use, it will do SvUV(argsv), which
12468              * will again convert -ve args to high -ve values.
12469              */
12470             intsize = 0;
12471             base = 1; /* special value that indicates we're doing a 'c' */
12472             goto get_int_arg_val;
12473
12474         case 'D':
12475 #ifdef IV_IS_QUAD
12476             intsize = 'q';
12477 #else
12478             intsize = 'l';
12479 #endif
12480             base = -10;
12481             goto get_int_arg_val;
12482
12483         case 'd':
12484             /* probably just a plain %d, but it might be the start of the
12485              * special UTF8f format, which usually looks something like
12486              * "%d%lu%4p" (the lu may vary by platform)
12487              */
12488             assert((UTF8f)[0] == 'd');
12489             assert((UTF8f)[1] == '%');
12490
12491              if (   args              /* UTF8f only valid for C-ish sprintf */
12492                  && q == fmtstart + 1 /* plain %d, not %....d */
12493                  && patend >= fmtstart + sizeof(UTF8f) - 1 /* long enough */
12494                  && *q == '%'
12495                  && strnEQ(q + 1, UTF8f + 2, sizeof(UTF8f) - 3))
12496             {
12497                 /* The argument has already gone through cBOOL, so the cast
12498                    is safe. */
12499                 is_utf8 = (bool)va_arg(*args, int);
12500                 elen = va_arg(*args, UV);
12501                 /* if utf8 length is larger than 0x7ffff..., then it might
12502                  * have been a signed value that wrapped */
12503                 if (elen  > ((~(STRLEN)0) >> 1)) {
12504                     assert(0); /* in DEBUGGING build we want to crash */
12505                     elen = 0; /* otherwise we want to treat this as an empty string */
12506                 }
12507                 eptr = va_arg(*args, char *);
12508                 q += sizeof(UTF8f) - 2;
12509                 goto string;
12510             }
12511
12512             /* FALLTHROUGH */
12513         case 'i':
12514             base = -10;
12515             goto get_int_arg_val;
12516
12517         case 'U':
12518 #ifdef IV_IS_QUAD
12519             intsize = 'q';
12520 #else
12521             intsize = 'l';
12522 #endif
12523             /* FALLTHROUGH */
12524         case 'u':
12525             base = 10;
12526             goto get_int_arg_val;
12527
12528         case 'B':
12529         case 'b':
12530             base = 2;
12531             goto get_int_arg_val;
12532
12533         case 'O':
12534 #ifdef IV_IS_QUAD
12535             intsize = 'q';
12536 #else
12537             intsize = 'l';
12538 #endif
12539             /* FALLTHROUGH */
12540         case 'o':
12541             base = 8;
12542             goto get_int_arg_val;
12543
12544         case 'X':
12545         case 'x':
12546             base = 16;
12547
12548           get_int_arg_val:
12549
12550             if (vectorize) {
12551                 STRLEN ulen;
12552                 SV *vecsv;
12553
12554                 if (base < 0) {
12555                     base = -base;
12556                     if (plus)
12557                          esignbuf[esignlen++] = plus;
12558                 }
12559
12560                 /* initialise the vector string to iterate over */
12561
12562                 vecsv = args ? va_arg(*args, SV*) : argsv;
12563
12564                 /* if this is a version object, we need to convert
12565                  * back into v-string notation and then let the
12566                  * vectorize happen normally
12567                  */
12568                 if (sv_isobject(vecsv) && sv_derived_from(vecsv, "version")) {
12569                     if ( hv_existss(MUTABLE_HV(SvRV(vecsv)), "alpha") ) {
12570                         Perl_ck_warner_d(aTHX_ packWARN(WARN_PRINTF),
12571                         "vector argument not supported with alpha versions");
12572                         vecsv = &PL_sv_no;
12573                     }
12574                     else {
12575                         vecstr = (U8*)SvPV_const(vecsv,veclen);
12576                         vecsv = sv_newmortal();
12577                         scan_vstring((char *)vecstr, (char *)vecstr + veclen,
12578                                      vecsv);
12579                     }
12580                 }
12581                 vecstr = (U8*)SvPV_const(vecsv, veclen);
12582                 vec_utf8 = DO_UTF8(vecsv);
12583
12584               /* This is the re-entry point for when we're iterating
12585                * over the individual characters of a vector arg */
12586               vector:
12587                 if (!veclen)
12588                     goto done_valid_conversion;
12589                 if (vec_utf8)
12590                     uv = utf8n_to_uvchr(vecstr, veclen, &ulen,
12591                                         UTF8_ALLOW_ANYUV);
12592                 else {
12593                     uv = *vecstr;
12594                     ulen = 1;
12595                 }
12596                 vecstr += ulen;
12597                 veclen -= ulen;
12598             }
12599             else {
12600                 /* test arg for inf/nan. This can trigger an unwanted
12601                  * 'str' overload, so manually force 'num' overload first
12602                  * if necessary */
12603                 if (argsv) {
12604                     SvGETMAGIC(argsv);
12605                     if (UNLIKELY(SvAMAGIC(argsv)))
12606                         argsv = sv_2num(argsv);
12607                     if (UNLIKELY(isinfnansv(argsv)))
12608                         goto handle_infnan_argsv;
12609                 }
12610
12611                 if (base < 0) {
12612                     /* signed int type */
12613                     IV iv;
12614                     base = -base;
12615                     if (args) {
12616                         switch (intsize) {
12617                         case 'c':  iv = (char)va_arg(*args, int);  break;
12618                         case 'h':  iv = (short)va_arg(*args, int); break;
12619                         case 'l':  iv = va_arg(*args, long);       break;
12620                         case 'V':  iv = va_arg(*args, IV);         break;
12621                         case 'z':  iv = va_arg(*args, SSize_t);    break;
12622 #ifdef HAS_PTRDIFF_T
12623                         case 't':  iv = va_arg(*args, ptrdiff_t);  break;
12624 #endif
12625                         default:   iv = va_arg(*args, int);        break;
12626                         case 'j':  iv = (IV) va_arg(*args, PERL_INTMAX_T); break;
12627                         case 'q':
12628 #if IVSIZE >= 8
12629                                    iv = va_arg(*args, Quad_t);     break;
12630 #else
12631                                    goto unknown;
12632 #endif
12633                         }
12634                     }
12635                     else {
12636                         /* assign to tiv then cast to iv to work around
12637                          * 2003 GCC cast bug (gnu.org bugzilla #13488) */
12638                         IV tiv = SvIV_nomg(argsv);
12639                         switch (intsize) {
12640                         case 'c':  iv = (char)tiv;   break;
12641                         case 'h':  iv = (short)tiv;  break;
12642                         case 'l':  iv = (long)tiv;   break;
12643                         case 'V':
12644                         default:   iv = tiv;         break;
12645                         case 'q':
12646 #if IVSIZE >= 8
12647                                    iv = (Quad_t)tiv; break;
12648 #else
12649                                    goto unknown;
12650 #endif
12651                         }
12652                     }
12653
12654                     /* now convert iv to uv */
12655                     if (iv >= 0) {
12656                         uv = iv;
12657                         if (plus)
12658                             esignbuf[esignlen++] = plus;
12659                     }
12660                     else {
12661                         /* Using 0- here to silence bogus warning from MS VC */
12662                         uv = (UV) (0 - (UV) iv);
12663                         esignbuf[esignlen++] = '-';
12664                     }
12665                 }
12666                 else {
12667                     /* unsigned int type */
12668                     if (args) {
12669                         switch (intsize) {
12670                         case 'c': uv = (unsigned char)va_arg(*args, unsigned);
12671                                   break;
12672                         case 'h': uv = (unsigned short)va_arg(*args, unsigned);
12673                                   break;
12674                         case 'l': uv = va_arg(*args, unsigned long); break;
12675                         case 'V': uv = va_arg(*args, UV);            break;
12676                         case 'z': uv = va_arg(*args, Size_t);        break;
12677 #ifdef HAS_PTRDIFF_T
12678                                   /* will sign extend, but there is no
12679                                    * uptrdiff_t, so oh well */
12680                         case 't': uv = va_arg(*args, ptrdiff_t);     break;
12681 #endif
12682                         case 'j': uv = (UV) va_arg(*args, PERL_UINTMAX_T); break;
12683                         default:  uv = va_arg(*args, unsigned);      break;
12684                         case 'q':
12685 #if IVSIZE >= 8
12686                                   uv = va_arg(*args, Uquad_t);       break;
12687 #else
12688                                   goto unknown;
12689 #endif
12690                         }
12691                     }
12692                     else {
12693                         /* assign to tiv then cast to iv to work around
12694                          * 2003 GCC cast bug (gnu.org bugzilla #13488) */
12695                         UV tuv = SvUV_nomg(argsv);
12696                         switch (intsize) {
12697                         case 'c': uv = (unsigned char)tuv;  break;
12698                         case 'h': uv = (unsigned short)tuv; break;
12699                         case 'l': uv = (unsigned long)tuv;  break;
12700                         case 'V':
12701                         default:  uv = tuv;                 break;
12702                         case 'q':
12703 #if IVSIZE >= 8
12704                                   uv = (Uquad_t)tuv;        break;
12705 #else
12706                                   goto unknown;
12707 #endif
12708                         }
12709                     }
12710                 }
12711             }
12712
12713         do_integer:
12714             {
12715                 char *ptr = ebuf + sizeof ebuf;
12716                 unsigned dig;
12717                 zeros = 0;
12718
12719                 switch (base) {
12720                 case 16:
12721                     {
12722                     const char * const p =
12723                             (c == 'X') ? PL_hexdigit + 16 : PL_hexdigit;
12724
12725                         do {
12726                             dig = uv & 15;
12727                             *--ptr = p[dig];
12728                         } while (uv >>= 4);
12729                         if (alt && *ptr != '0') {
12730                             esignbuf[esignlen++] = '0';
12731                             esignbuf[esignlen++] = c;  /* 'x' or 'X' */
12732                         }
12733                         break;
12734                     }
12735                 case 8:
12736                     do {
12737                         dig = uv & 7;
12738                         *--ptr = '0' + dig;
12739                     } while (uv >>= 3);
12740                     if (alt && *ptr != '0')
12741                         *--ptr = '0';
12742                     break;
12743                 case 2:
12744                     do {
12745                         dig = uv & 1;
12746                         *--ptr = '0' + dig;
12747                     } while (uv >>= 1);
12748                     if (alt && *ptr != '0') {
12749                         esignbuf[esignlen++] = '0';
12750                         esignbuf[esignlen++] = c; /* 'b' or 'B' */
12751                     }
12752                     break;
12753
12754                 case 1:
12755                     /* special-case: base 1 indicates a 'c' format:
12756                      * we use the common code for extracting a uv,
12757                      * but handle that value differently here than
12758                      * all the other int types */
12759                     if ((uv > 255 ||
12760                          (!UVCHR_IS_INVARIANT(uv) && SvUTF8(sv)))
12761                         && !IN_BYTES)
12762                     {
12763                         assert(sizeof(ebuf) >= UTF8_MAXBYTES + 1);
12764                         eptr = ebuf;
12765                         elen = uvchr_to_utf8((U8*)eptr, uv) - (U8*)ebuf;
12766                         is_utf8 = TRUE;
12767                     }
12768                     else {
12769                         eptr = ebuf;
12770                         ebuf[0] = (char)uv;
12771                         elen = 1;
12772                     }
12773                     goto string;
12774
12775                 default:                /* it had better be ten or less */
12776                     do {
12777                         dig = uv % base;
12778                         *--ptr = '0' + dig;
12779                     } while (uv /= base);
12780                     break;
12781                 }
12782                 elen = (ebuf + sizeof ebuf) - ptr;
12783                 eptr = ptr;
12784                 if (has_precis) {
12785                     if (precis > elen)
12786                         zeros = precis - elen;
12787                     else if (precis == 0 && elen == 1 && *eptr == '0'
12788                              && !(base == 8 && alt)) /* "%#.0o" prints "0" */
12789                         elen = 0;
12790
12791                     /* a precision nullifies the 0 flag. */
12792                     fill = FALSE;
12793                 }
12794             }
12795             break;
12796
12797             /* FLOATING POINT */
12798
12799         case 'F':
12800             c = 'f';            /* maybe %F isn't supported here */
12801             /* FALLTHROUGH */
12802         case 'e': case 'E':
12803         case 'f':
12804         case 'g': case 'G':
12805         case 'a': case 'A':
12806
12807         {
12808             STRLEN float_need; /* what PL_efloatsize needs to become */
12809             bool hexfp;        /* hexadecimal floating point? */
12810
12811             vcatpvfn_long_double_t fv;
12812             NV                     nv;
12813
12814             /* This is evil, but floating point is even more evil */
12815
12816             /* for SV-style calling, we can only get NV
12817                for C-style calling, we assume %f is double;
12818                for simplicity we allow any of %Lf, %llf, %qf for long double
12819             */
12820             switch (intsize) {
12821             case 'V':
12822 #if defined(USE_LONG_DOUBLE) || defined(USE_QUADMATH)
12823                 intsize = 'q';
12824 #endif
12825                 break;
12826 /* [perl #20339] - we should accept and ignore %lf rather than die */
12827             case 'l':
12828                 /* FALLTHROUGH */
12829             default:
12830 #if defined(USE_LONG_DOUBLE) || defined(USE_QUADMATH)
12831                 intsize = args ? 0 : 'q';
12832 #endif
12833                 break;
12834             case 'q':
12835 #if defined(HAS_LONG_DOUBLE)
12836                 break;
12837 #else
12838                 /* FALLTHROUGH */
12839 #endif
12840             case 'c':
12841             case 'h':
12842             case 'z':
12843             case 't':
12844             case 'j':
12845                 goto unknown;
12846             }
12847
12848             /* Now we need (long double) if intsize == 'q', else (double). */
12849             if (args) {
12850                 /* Note: do not pull NVs off the va_list with va_arg()
12851                  * (pull doubles instead) because if you have a build
12852                  * with long doubles, you would always be pulling long
12853                  * doubles, which would badly break anyone using only
12854                  * doubles (i.e. the majority of builds). In other
12855                  * words, you cannot mix doubles and long doubles.
12856                  * The only case where you can pull off long doubles
12857                  * is when the format specifier explicitly asks so with
12858                  * e.g. "%Lg". */
12859 #ifdef USE_QUADMATH
12860                 fv = intsize == 'q' ?
12861                     va_arg(*args, NV) : va_arg(*args, double);
12862                 nv = fv;
12863 #elif LONG_DOUBLESIZE > DOUBLESIZE
12864                 if (intsize == 'q') {
12865                     fv = va_arg(*args, long double);
12866                     nv = fv;
12867                 } else {
12868                     nv = va_arg(*args, double);
12869                     VCATPVFN_NV_TO_FV(nv, fv);
12870                 }
12871 #else
12872                 nv = va_arg(*args, double);
12873                 fv = nv;
12874 #endif
12875             }
12876             else
12877             {
12878                 SvGETMAGIC(argsv);
12879                 /* we jump here if an int-ish format encountered an
12880                  * infinite/Nan argsv. After setting nv/fv, it falls
12881                  * into the isinfnan block which follows */
12882               handle_infnan_argsv:
12883                 nv = SvNV_nomg(argsv);
12884                 VCATPVFN_NV_TO_FV(nv, fv);
12885             }
12886
12887             if (Perl_isinfnan(nv)) {
12888                 if (c == 'c')
12889                     Perl_croak(aTHX_ "Cannot printf %" NVgf " with '%c'",
12890                            SvNV_nomg(argsv), (int)c);
12891
12892                 elen = S_infnan_2pv(nv, ebuf, sizeof(ebuf), plus);
12893                 assert(elen);
12894                 eptr = ebuf;
12895                 zeros     = 0;
12896                 esignlen  = 0;
12897                 dotstrlen = 0;
12898                 break;
12899             }
12900
12901             /* special-case "%.0f" */
12902             if (   c == 'f'
12903                 && !precis
12904                 && has_precis
12905                 && !(width || left || plus || alt)
12906                 && !fill
12907                 && intsize != 'q'
12908                 && ((eptr = F0convert(nv, ebuf + sizeof ebuf, &elen)))
12909             )
12910                 goto float_concat;
12911
12912             /* Determine the buffer size needed for the various
12913              * floating-point formats.
12914              *
12915              * The basic possibilities are:
12916              *
12917              *               <---P--->
12918              *    %f 1111111.123456789
12919              *    %e       1.111111123e+06
12920              *    %a     0x1.0f4471f9bp+20
12921              *    %g        1111111.12
12922              *    %g        1.11111112e+15
12923              *
12924              * where P is the value of the precision in the format, or 6
12925              * if not specified. Note the two possible output formats of
12926              * %g; in both cases the number of significant digits is <=
12927              * precision.
12928              *
12929              * For most of the format types the maximum buffer size needed
12930              * is precision, plus: any leading 1 or 0x1, the radix
12931              * point, and an exponent.  The difficult one is %f: for a
12932              * large positive exponent it can have many leading digits,
12933              * which needs to be calculated specially. Also %a is slightly
12934              * different in that in the absence of a specified precision,
12935              * it uses as many digits as necessary to distinguish
12936              * different values.
12937              *
12938              * First, here are the constant bits. For ease of calculation
12939              * we over-estimate the needed buffer size, for example by
12940              * assuming all formats have an exponent and a leading 0x1.
12941              *
12942              * Also for production use, add a little extra overhead for
12943              * safety's sake. Under debugging don't, as it means we're
12944              * more likely to quickly spot issues during development.
12945              */
12946
12947             float_need =     1  /* possible unary minus */
12948                           +  4  /* "0x1" plus very unlikely carry */
12949                           +  1  /* default radix point '.' */
12950                           +  2  /* "e-", "p+" etc */
12951                           +  6  /* exponent: up to 16383 (quad fp) */
12952 #ifndef DEBUGGING
12953                           + 20  /* safety net */
12954 #endif
12955                           +  1; /* \0 */
12956
12957
12958             /* determine the radix point len, e.g. length(".") in "1.2" */
12959 #ifdef USE_LOCALE_NUMERIC
12960             /* note that we may either explicitly use PL_numeric_radix_sv
12961              * below, or implicitly, via an snprintf() variant.
12962              * Note also things like ps_AF.utf8 which has
12963              * "\N{ARABIC DECIMAL SEPARATOR} as a radix point */
12964             if (!lc_numeric_set) {
12965                 /* only set once and reuse in-locale value on subsequent
12966                  * iterations.
12967                  * XXX what happens if we die in an eval?
12968                  */
12969                 STORE_LC_NUMERIC_SET_TO_NEEDED();
12970                 lc_numeric_set = TRUE;
12971             }
12972
12973             if (IN_LC(LC_NUMERIC)) {
12974                 /* this can't wrap unless PL_numeric_radix_sv is a string
12975                  * consuming virtually all the 32-bit or 64-bit address
12976                  * space
12977                  */
12978                 float_need += (SvCUR(PL_numeric_radix_sv) - 1);
12979
12980                 /* floating-point formats only get utf8 if the radix point
12981                  * is utf8. All other characters in the string are < 128
12982                  * and so can be safely appended to both a non-utf8 and utf8
12983                  * string as-is.
12984                  * Note that this will convert the output to utf8 even if
12985                  * the radix point didn't get output.
12986                  */
12987                 if (SvUTF8(PL_numeric_radix_sv) && !has_utf8) {
12988                     sv_utf8_upgrade(sv);
12989                     has_utf8 = TRUE;
12990                 }
12991             }
12992 #endif
12993
12994             hexfp = FALSE;
12995
12996             if (isALPHA_FOLD_EQ(c, 'f')) {
12997                 /* Determine how many digits before the radix point
12998                  * might be emitted.  frexp() (or frexpl) has some
12999                  * unspecified behaviour for nan/inf/-inf, so lucky we've
13000                  * already handled them above */
13001                 STRLEN digits;
13002                 int i = PERL_INT_MIN;
13003                 (void)Perl_frexp((NV)fv, &i);
13004                 if (i == PERL_INT_MIN)
13005                     Perl_die(aTHX_ "panic: frexp: %" VCATPVFN_FV_GF, fv);
13006
13007                 if (i > 0) {
13008                     digits = BIT_DIGITS(i);
13009                     /* this can't overflow. 'digits' will only be a few
13010                      * thousand even for the largest floating-point types.
13011                      * And up until now float_need is just some small
13012                      * constants plus radix len, which can't be in
13013                      * overflow territory unless the radix SV is consuming
13014                      * over 1/2 the address space */
13015                     assert(float_need < ((STRLEN)~0) - digits);
13016                     float_need += digits;
13017                 }
13018             }
13019             else if (UNLIKELY(isALPHA_FOLD_EQ(c, 'a'))) {
13020                 hexfp = TRUE;
13021                 if (!has_precis) {
13022                     /* %a in the absence of precision may print as many
13023                      * digits as needed to represent the entire mantissa
13024                      * bit pattern.
13025                      * This estimate seriously overshoots in most cases,
13026                      * but better the undershooting.  Firstly, all bytes
13027                      * of the NV are not mantissa, some of them are
13028                      * exponent.  Secondly, for the reasonably common
13029                      * long doubles case, the "80-bit extended", two
13030                      * or six bytes of the NV are unused. Also, we'll
13031                      * still pick up an extra +6 from the default
13032                      * precision calculation below. */
13033                     STRLEN digits =
13034 #ifdef LONGDOUBLE_DOUBLEDOUBLE
13035                         /* For the "double double", we need more.
13036                          * Since each double has their own exponent, the
13037                          * doubles may float (haha) rather far from each
13038                          * other, and the number of required bits is much
13039                          * larger, up to total of DOUBLEDOUBLE_MAXBITS bits.
13040                          * See the definition of DOUBLEDOUBLE_MAXBITS.
13041                          *
13042                          * Need 2 hexdigits for each byte. */
13043                         (DOUBLEDOUBLE_MAXBITS/8 + 1) * 2;
13044 #else
13045                         NVSIZE * 2; /* 2 hexdigits for each byte */
13046 #endif
13047                     /* see "this can't overflow" comment above */
13048                     assert(float_need < ((STRLEN)~0) - digits);
13049                     float_need += digits;
13050                 }
13051             }
13052             /* special-case "%.<number>g" if it will fit in ebuf */
13053             else if (c == 'g'
13054                 && precis   /* See earlier comment about buggy Gconvert
13055                                when digits, aka precis, is 0  */
13056                 && has_precis
13057                 /* check, in manner not involving wrapping, that it will
13058                  * fit in ebuf  */
13059                 && float_need < sizeof(ebuf)
13060                 && sizeof(ebuf) - float_need > precis
13061                 && !(width || left || plus || alt)
13062                 && !fill
13063                 && intsize != 'q'
13064             ) {
13065                 SNPRINTF_G(fv, ebuf, sizeof(ebuf), precis);
13066                 elen = strlen(ebuf);
13067                 eptr = ebuf;
13068                 goto float_concat;
13069             }
13070
13071
13072             {
13073                 STRLEN pr = has_precis ? precis : 6; /* known default */
13074                 /* this probably can't wrap, since precis is limited
13075                  * to 1/4 address space size, but better safe than sorry
13076                  */
13077                 if (float_need >= ((STRLEN)~0) - pr)
13078                     croak_memory_wrap();
13079                 float_need += pr;
13080             }
13081
13082             if (float_need < width)
13083                 float_need = width;
13084
13085             if (PL_efloatsize <= float_need) {
13086                 /* PL_efloatbuf should be at least 1 greater than
13087                  * float_need to allow a trailing \0 to be returned by
13088                  * snprintf().  If we need to grow, overgrow for the
13089                  * benefit of future generations */
13090                 const STRLEN extra = 0x20;
13091                 if (float_need >= ((STRLEN)~0) - extra)
13092                     croak_memory_wrap();
13093                 float_need += extra;
13094                 Safefree(PL_efloatbuf);
13095                 PL_efloatsize = float_need;
13096                 Newx(PL_efloatbuf, PL_efloatsize, char);
13097                 PL_efloatbuf[0] = '\0';
13098             }
13099
13100             if (UNLIKELY(hexfp)) {
13101                 elen = S_format_hexfp(aTHX_ PL_efloatbuf, PL_efloatsize, c,
13102                                 nv, fv, has_precis, precis, width,
13103                                 alt, plus, left, fill);
13104             }
13105             else {
13106                 char *ptr = ebuf + sizeof ebuf;
13107                 *--ptr = '\0';
13108                 *--ptr = c;
13109 #if defined(USE_QUADMATH)
13110                 if (intsize == 'q') {
13111                     /* "g" -> "Qg" */
13112                     *--ptr = 'Q';
13113                 }
13114                 /* FIXME: what to do if HAS_LONG_DOUBLE but not PERL_PRIfldbl? */
13115 #elif defined(HAS_LONG_DOUBLE) && defined(PERL_PRIfldbl)
13116                 /* Note that this is HAS_LONG_DOUBLE and PERL_PRIfldbl,
13117                  * not USE_LONG_DOUBLE and NVff.  In other words,
13118                  * this needs to work without USE_LONG_DOUBLE. */
13119                 if (intsize == 'q') {
13120                     /* Copy the one or more characters in a long double
13121                      * format before the 'base' ([efgEFG]) character to
13122                      * the format string. */
13123                     static char const ldblf[] = PERL_PRIfldbl;
13124                     char const *p = ldblf + sizeof(ldblf) - 3;
13125                     while (p >= ldblf) { *--ptr = *p--; }
13126                 }
13127 #endif
13128                 if (has_precis) {
13129                     base = precis;
13130                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
13131                     *--ptr = '.';
13132                 }
13133                 if (width) {
13134                     base = width;
13135                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
13136                 }
13137                 if (fill)
13138                     *--ptr = '0';
13139                 if (left)
13140                     *--ptr = '-';
13141                 if (plus)
13142                     *--ptr = plus;
13143                 if (alt)
13144                     *--ptr = '#';
13145                 *--ptr = '%';
13146
13147                 /* No taint.  Otherwise we are in the strange situation
13148                  * where printf() taints but print($float) doesn't.
13149                  * --jhi */
13150
13151                 /* hopefully the above makes ptr a very constrained format
13152                  * that is safe to use, even though it's not literal */
13153                 GCC_DIAG_IGNORE_STMT(-Wformat-nonliteral);
13154 #ifdef USE_QUADMATH
13155                 {
13156                     const char* qfmt = quadmath_format_single(ptr);
13157                     if (!qfmt)
13158                         Perl_croak_nocontext("panic: quadmath invalid format \"%s\"", ptr);
13159                     elen = quadmath_snprintf(PL_efloatbuf, PL_efloatsize,
13160                                              qfmt, nv);
13161                     if ((IV)elen == -1) {
13162                         if (qfmt != ptr)
13163                             SAVEFREEPV(qfmt);
13164                         Perl_croak_nocontext("panic: quadmath_snprintf failed, format \"%s\"", qfmt);
13165                     }
13166                     if (qfmt != ptr)
13167                         Safefree(qfmt);
13168                 }
13169 #elif defined(HAS_LONG_DOUBLE)
13170                 elen = ((intsize == 'q')
13171                         ? my_snprintf(PL_efloatbuf, PL_efloatsize, ptr, fv)
13172                         : my_snprintf(PL_efloatbuf, PL_efloatsize, ptr, (double)fv));
13173 #else
13174                 elen = my_snprintf(PL_efloatbuf, PL_efloatsize, ptr, fv);
13175 #endif
13176                 GCC_DIAG_RESTORE_STMT;
13177             }
13178
13179             eptr = PL_efloatbuf;
13180
13181           float_concat:
13182
13183             /* Since floating-point formats do their own formatting and
13184              * padding, we skip the main block of code at the end of this
13185              * loop which handles appending eptr to sv, and do our own
13186              * stripped-down version */
13187
13188             assert(!zeros);
13189             assert(!esignlen);
13190             assert(elen);
13191             assert(elen >= width);
13192
13193             S_sv_catpvn_simple(aTHX_ sv, eptr, elen);
13194
13195             goto done_valid_conversion;
13196         }
13197
13198             /* SPECIAL */
13199
13200         case 'n':
13201             {
13202                 STRLEN len;
13203                 /* XXX ideally we should warn if any flags etc have been
13204                  * set, e.g. "%-4.5n" */
13205                 /* XXX if sv was originally non-utf8 with a char in the
13206                  * range 0x80-0xff, then if it got upgraded, we should
13207                  * calculate char len rather than byte len here */
13208                 len = SvCUR(sv) - origlen;
13209                 if (args) {
13210                     int i = (len > PERL_INT_MAX) ? PERL_INT_MAX : (int)len;
13211
13212                     switch (intsize) {
13213                     case 'c':  *(va_arg(*args, char*))      = i; break;
13214                     case 'h':  *(va_arg(*args, short*))     = i; break;
13215                     default:   *(va_arg(*args, int*))       = i; break;
13216                     case 'l':  *(va_arg(*args, long*))      = i; break;
13217                     case 'V':  *(va_arg(*args, IV*))        = i; break;
13218                     case 'z':  *(va_arg(*args, SSize_t*))   = i; break;
13219 #ifdef HAS_PTRDIFF_T
13220                     case 't':  *(va_arg(*args, ptrdiff_t*)) = i; break;
13221 #endif
13222                     case 'j':  *(va_arg(*args, PERL_INTMAX_T*)) = i; break;
13223                     case 'q':
13224 #if IVSIZE >= 8
13225                                *(va_arg(*args, Quad_t*))    = i; break;
13226 #else
13227                                goto unknown;
13228 #endif
13229                     }
13230                 }
13231                 else {
13232                     if (arg_missing)
13233                         Perl_croak_nocontext(
13234                             "Missing argument for %%n in %s",
13235                                 PL_op ? OP_DESC(PL_op) : "sv_vcatpvfn()");
13236                     sv_setuv_mg(argsv, has_utf8 ? (UV)sv_len_utf8(sv) : (UV)len);
13237                 }
13238                 goto done_valid_conversion;
13239             }
13240
13241             /* UNKNOWN */
13242
13243         default:
13244       unknown:
13245             if (!args
13246                 && (PL_op->op_type == OP_PRTF || PL_op->op_type == OP_SPRINTF)
13247                 && ckWARN(WARN_PRINTF))
13248             {
13249                 SV * const msg = sv_newmortal();
13250                 Perl_sv_setpvf(aTHX_ msg, "Invalid conversion in %sprintf: ",
13251                           (PL_op->op_type == OP_PRTF) ? "" : "s");
13252                 if (fmtstart < patend) {
13253                     const char * const fmtend = q < patend ? q : patend;
13254                     const char * f;
13255                     sv_catpvs(msg, "\"%");
13256                     for (f = fmtstart; f < fmtend; f++) {
13257                         if (isPRINT(*f)) {
13258                             sv_catpvn_nomg(msg, f, 1);
13259                         } else {
13260                             Perl_sv_catpvf(aTHX_ msg,
13261                                            "\\%03" UVof, (UV)*f & 0xFF);
13262                         }
13263                     }
13264                     sv_catpvs(msg, "\"");
13265                 } else {
13266                     sv_catpvs(msg, "end of string");
13267                 }
13268                 Perl_warner(aTHX_ packWARN(WARN_PRINTF), "%" SVf, SVfARG(msg)); /* yes, this is reentrant */
13269             }
13270
13271             /* mangled format: output the '%', then continue from the
13272              * character following that */
13273             sv_catpvn_nomg(sv, fmtstart-1, 1);
13274             q = fmtstart;
13275             svix = osvix;
13276             /* Any "redundant arg" warning from now onwards will probably
13277              * just be misleading, so don't bother. */
13278             no_redundant_warning = TRUE;
13279             continue;   /* not "break" */
13280         }
13281
13282         if (is_utf8 != has_utf8) {
13283             if (is_utf8) {
13284                 if (SvCUR(sv))
13285                     sv_utf8_upgrade(sv);
13286             }
13287             else {
13288                 const STRLEN old_elen = elen;
13289                 SV * const nsv = newSVpvn_flags(eptr, elen, SVs_TEMP);
13290                 sv_utf8_upgrade(nsv);
13291                 eptr = SvPVX_const(nsv);
13292                 elen = SvCUR(nsv);
13293
13294                 if (width) { /* fudge width (can't fudge elen) */
13295                     width += elen - old_elen;
13296                 }
13297                 is_utf8 = TRUE;
13298             }
13299         }
13300
13301
13302         /* append esignbuf, filler, zeros, eptr and dotstr to sv */
13303
13304         {
13305             STRLEN need, have, gap;
13306             STRLEN i;
13307             char *s;
13308
13309             /* signed value that's wrapped? */
13310             assert(elen  <= ((~(STRLEN)0) >> 1));
13311
13312             /* if zeros is non-zero, then it represents filler between
13313              * elen and precis. So adding elen and zeros together will
13314              * always be <= precis, and the addition can never wrap */
13315             assert(!zeros || (precis > elen && precis - elen == zeros));
13316             have = elen + zeros;
13317
13318             if (have >= (((STRLEN)~0) - esignlen))
13319                 croak_memory_wrap();
13320             have += esignlen;
13321
13322             need = (have > width ? have : width);
13323             gap = need - have;
13324
13325             if (need >= (((STRLEN)~0) - (SvCUR(sv) + 1)))
13326                 croak_memory_wrap();
13327             need += (SvCUR(sv) + 1);
13328
13329             SvGROW(sv, need);
13330
13331             s = SvEND(sv);
13332
13333             if (left) {
13334                 for (i = 0; i < esignlen; i++)
13335                     *s++ = esignbuf[i];
13336                 for (i = zeros; i; i--)
13337                     *s++ = '0';
13338                 Copy(eptr, s, elen, char);
13339                 s += elen;
13340                 for (i = gap; i; i--)
13341                     *s++ = ' ';
13342             }
13343             else {
13344                 if (fill) {
13345                     for (i = 0; i < esignlen; i++)
13346                         *s++ = esignbuf[i];
13347                     assert(!zeros);
13348                     zeros = gap;
13349                 }
13350                 else {
13351                     for (i = gap; i; i--)
13352                         *s++ = ' ';
13353                     for (i = 0; i < esignlen; i++)
13354                         *s++ = esignbuf[i];
13355                 }
13356
13357                 for (i = zeros; i; i--)
13358                     *s++ = '0';
13359                 Copy(eptr, s, elen, char);
13360                 s += elen;
13361             }
13362
13363             *s = '\0';
13364             SvCUR_set(sv, s - SvPVX_const(sv));
13365
13366             if (is_utf8)
13367                 has_utf8 = TRUE;
13368             if (has_utf8)
13369                 SvUTF8_on(sv);
13370         }
13371
13372         if (vectorize && veclen) {
13373             /* we append the vector separator separately since %v isn't
13374              * very common: don't slow down the general case by adding
13375              * dotstrlen to need etc */
13376             sv_catpvn_nomg(sv, dotstr, dotstrlen);
13377             esignlen = 0;
13378             goto vector; /* do next iteration */
13379         }
13380
13381       done_valid_conversion:
13382
13383         if (arg_missing)
13384             S_warn_vcatpvfn_missing_argument(aTHX);
13385     }
13386
13387     /* Now that we've consumed all our printf format arguments (svix)
13388      * do we have things left on the stack that we didn't use?
13389      */
13390     if (!no_redundant_warning && sv_count >= svix + 1 && ckWARN(WARN_REDUNDANT)) {
13391         Perl_warner(aTHX_ packWARN(WARN_REDUNDANT), "Redundant argument in %s",
13392                 PL_op ? OP_DESC(PL_op) : "sv_vcatpvfn()");
13393     }
13394
13395     SvTAINT(sv);
13396
13397 #ifdef USE_LOCALE_NUMERIC
13398
13399     if (lc_numeric_set) {
13400         RESTORE_LC_NUMERIC();   /* Done outside loop, so don't have to
13401                                    save/restore each iteration. */
13402     }
13403
13404 #endif
13405
13406 }
13407
13408 /* =========================================================================
13409
13410 =head1 Cloning an interpreter
13411
13412 =cut
13413
13414 All the macros and functions in this section are for the private use of
13415 the main function, perl_clone().
13416
13417 The foo_dup() functions make an exact copy of an existing foo thingy.
13418 During the course of a cloning, a hash table is used to map old addresses
13419 to new addresses.  The table is created and manipulated with the
13420 ptr_table_* functions.
13421
13422  * =========================================================================*/
13423
13424
13425 #if defined(USE_ITHREADS)
13426
13427 /* XXX Remove this so it doesn't have to go thru the macro and return for nothing */
13428 #ifndef GpREFCNT_inc
13429 #  define GpREFCNT_inc(gp)      ((gp) ? (++(gp)->gp_refcnt, (gp)) : (GP*)NULL)
13430 #endif
13431
13432
13433 /* Certain cases in Perl_ss_dup have been merged, by relying on the fact
13434    that currently av_dup, gv_dup and hv_dup are the same as sv_dup.
13435    If this changes, please unmerge ss_dup.
13436    Likewise, sv_dup_inc_multiple() relies on this fact.  */
13437 #define sv_dup_inc_NN(s,t)      SvREFCNT_inc_NN(sv_dup_inc(s,t))
13438 #define av_dup(s,t)     MUTABLE_AV(sv_dup((const SV *)s,t))
13439 #define av_dup_inc(s,t) MUTABLE_AV(sv_dup_inc((const SV *)s,t))
13440 #define hv_dup(s,t)     MUTABLE_HV(sv_dup((const SV *)s,t))
13441 #define hv_dup_inc(s,t) MUTABLE_HV(sv_dup_inc((const SV *)s,t))
13442 #define cv_dup(s,t)     MUTABLE_CV(sv_dup((const SV *)s,t))
13443 #define cv_dup_inc(s,t) MUTABLE_CV(sv_dup_inc((const SV *)s,t))
13444 #define io_dup(s,t)     MUTABLE_IO(sv_dup((const SV *)s,t))
13445 #define io_dup_inc(s,t) MUTABLE_IO(sv_dup_inc((const SV *)s,t))
13446 #define gv_dup(s,t)     MUTABLE_GV(sv_dup((const SV *)s,t))
13447 #define gv_dup_inc(s,t) MUTABLE_GV(sv_dup_inc((const SV *)s,t))
13448 #define SAVEPV(p)       ((p) ? savepv(p) : NULL)
13449 #define SAVEPVN(p,n)    ((p) ? savepvn(p,n) : NULL)
13450
13451 /* clone a parser */
13452
13453 yy_parser *
13454 Perl_parser_dup(pTHX_ const yy_parser *const proto, CLONE_PARAMS *const param)
13455 {
13456     yy_parser *parser;
13457
13458     PERL_ARGS_ASSERT_PARSER_DUP;
13459
13460     if (!proto)
13461         return NULL;
13462
13463     /* look for it in the table first */
13464     parser = (yy_parser *)ptr_table_fetch(PL_ptr_table, proto);
13465     if (parser)
13466         return parser;
13467
13468     /* create anew and remember what it is */
13469     Newxz(parser, 1, yy_parser);
13470     ptr_table_store(PL_ptr_table, proto, parser);
13471
13472     /* XXX eventually, just Copy() most of the parser struct ? */
13473
13474     parser->lex_brackets = proto->lex_brackets;
13475     parser->lex_casemods = proto->lex_casemods;
13476     parser->lex_brackstack = savepvn(proto->lex_brackstack,
13477                     (proto->lex_brackets < 120 ? 120 : proto->lex_brackets));
13478     parser->lex_casestack = savepvn(proto->lex_casestack,
13479                     (proto->lex_casemods < 12 ? 12 : proto->lex_casemods));
13480     parser->lex_defer   = proto->lex_defer;
13481     parser->lex_dojoin  = proto->lex_dojoin;
13482     parser->lex_formbrack = proto->lex_formbrack;
13483     parser->lex_inpat   = proto->lex_inpat;
13484     parser->lex_inwhat  = proto->lex_inwhat;
13485     parser->lex_op      = proto->lex_op;
13486     parser->lex_repl    = sv_dup_inc(proto->lex_repl, param);
13487     parser->lex_starts  = proto->lex_starts;
13488     parser->lex_stuff   = sv_dup_inc(proto->lex_stuff, param);
13489     parser->multi_close = proto->multi_close;
13490     parser->multi_open  = proto->multi_open;
13491     parser->multi_start = proto->multi_start;
13492     parser->multi_end   = proto->multi_end;
13493     parser->preambled   = proto->preambled;
13494     parser->lex_super_state = proto->lex_super_state;
13495     parser->lex_sub_inwhat  = proto->lex_sub_inwhat;
13496     parser->lex_sub_op  = proto->lex_sub_op;
13497     parser->lex_sub_repl= sv_dup_inc(proto->lex_sub_repl, param);
13498     parser->linestr     = sv_dup_inc(proto->linestr, param);
13499     parser->expect      = proto->expect;
13500     parser->copline     = proto->copline;
13501     parser->last_lop_op = proto->last_lop_op;
13502     parser->lex_state   = proto->lex_state;
13503     parser->rsfp        = fp_dup(proto->rsfp, '<', param);
13504     /* rsfp_filters entries have fake IoDIRP() */
13505     parser->rsfp_filters= av_dup_inc(proto->rsfp_filters, param);
13506     parser->in_my       = proto->in_my;
13507     parser->in_my_stash = hv_dup(proto->in_my_stash, param);
13508     parser->error_count = proto->error_count;
13509     parser->sig_elems   = proto->sig_elems;
13510     parser->sig_optelems= proto->sig_optelems;
13511     parser->sig_slurpy  = proto->sig_slurpy;
13512     parser->recheck_utf8_validity = proto->recheck_utf8_validity;
13513
13514     {
13515         char * const ols = SvPVX(proto->linestr);
13516         char * const ls  = SvPVX(parser->linestr);
13517
13518         parser->bufptr      = ls + (proto->bufptr >= ols ?
13519                                     proto->bufptr -  ols : 0);
13520         parser->oldbufptr   = ls + (proto->oldbufptr >= ols ?
13521                                     proto->oldbufptr -  ols : 0);
13522         parser->oldoldbufptr= ls + (proto->oldoldbufptr >= ols ?
13523                                     proto->oldoldbufptr -  ols : 0);
13524         parser->linestart   = ls + (proto->linestart >= ols ?
13525                                     proto->linestart -  ols : 0);
13526         parser->last_uni    = ls + (proto->last_uni >= ols ?
13527                                     proto->last_uni -  ols : 0);
13528         parser->last_lop    = ls + (proto->last_lop >= ols ?
13529                                     proto->last_lop -  ols : 0);
13530
13531         parser->bufend      = ls + SvCUR(parser->linestr);
13532     }
13533
13534     Copy(proto->tokenbuf, parser->tokenbuf, 256, char);
13535
13536
13537     Copy(proto->nextval, parser->nextval, 5, YYSTYPE);
13538     Copy(proto->nexttype, parser->nexttype, 5,  I32);
13539     parser->nexttoke    = proto->nexttoke;
13540
13541     /* XXX should clone saved_curcop here, but we aren't passed
13542      * proto_perl; so do it in perl_clone_using instead */
13543
13544     return parser;
13545 }
13546
13547
13548 /* duplicate a file handle */
13549
13550 PerlIO *
13551 Perl_fp_dup(pTHX_ PerlIO *const fp, const char type, CLONE_PARAMS *const param)
13552 {
13553     PerlIO *ret;
13554
13555     PERL_ARGS_ASSERT_FP_DUP;
13556     PERL_UNUSED_ARG(type);
13557
13558     if (!fp)
13559         return (PerlIO*)NULL;
13560
13561     /* look for it in the table first */
13562     ret = (PerlIO*)ptr_table_fetch(PL_ptr_table, fp);
13563     if (ret)
13564         return ret;
13565
13566     /* create anew and remember what it is */
13567 #ifdef __amigaos4__
13568     ret = PerlIO_fdupopen(aTHX_ fp, param, PERLIO_DUP_CLONE|PERLIO_DUP_FD);
13569 #else
13570     ret = PerlIO_fdupopen(aTHX_ fp, param, PERLIO_DUP_CLONE);
13571 #endif
13572     ptr_table_store(PL_ptr_table, fp, ret);
13573     return ret;
13574 }
13575
13576 /* duplicate a directory handle */
13577
13578 DIR *
13579 Perl_dirp_dup(pTHX_ DIR *const dp, CLONE_PARAMS *const param)
13580 {
13581     DIR *ret;
13582
13583 #if defined(HAS_FCHDIR) && defined(HAS_TELLDIR) && defined(HAS_SEEKDIR)
13584     DIR *pwd;
13585     const Direntry_t *dirent;
13586     char smallbuf[256]; /* XXX MAXPATHLEN, surely? */
13587     char *name = NULL;
13588     STRLEN len = 0;
13589     long pos;
13590 #endif
13591
13592     PERL_UNUSED_CONTEXT;
13593     PERL_ARGS_ASSERT_DIRP_DUP;
13594
13595     if (!dp)
13596         return (DIR*)NULL;
13597
13598     /* look for it in the table first */
13599     ret = (DIR*)ptr_table_fetch(PL_ptr_table, dp);
13600     if (ret)
13601         return ret;
13602
13603 #if defined(HAS_FCHDIR) && defined(HAS_TELLDIR) && defined(HAS_SEEKDIR)
13604
13605     PERL_UNUSED_ARG(param);
13606
13607     /* create anew */
13608
13609     /* open the current directory (so we can switch back) */
13610     if (!(pwd = PerlDir_open("."))) return (DIR *)NULL;
13611
13612     /* chdir to our dir handle and open the present working directory */
13613     if (fchdir(my_dirfd(dp)) < 0 || !(ret = PerlDir_open("."))) {
13614         PerlDir_close(pwd);
13615         return (DIR *)NULL;
13616     }
13617     /* Now we should have two dir handles pointing to the same dir. */
13618
13619     /* Be nice to the calling code and chdir back to where we were. */
13620     /* XXX If this fails, then what? */
13621     PERL_UNUSED_RESULT(fchdir(my_dirfd(pwd)));
13622
13623     /* We have no need of the pwd handle any more. */
13624     PerlDir_close(pwd);
13625
13626 #ifdef DIRNAMLEN
13627 # define d_namlen(d) (d)->d_namlen
13628 #else
13629 # define d_namlen(d) strlen((d)->d_name)
13630 #endif
13631     /* Iterate once through dp, to get the file name at the current posi-
13632        tion. Then step back. */
13633     pos = PerlDir_tell(dp);
13634     if ((dirent = PerlDir_read(dp))) {
13635         len = d_namlen(dirent);
13636         if (len > sizeof(dirent->d_name) && sizeof(dirent->d_name) > PTRSIZE) {
13637             /* If the len is somehow magically longer than the
13638              * maximum length of the directory entry, even though
13639              * we could fit it in a buffer, we could not copy it
13640              * from the dirent.  Bail out. */
13641             PerlDir_close(ret);
13642             return (DIR*)NULL;
13643         }
13644         if (len <= sizeof smallbuf) name = smallbuf;
13645         else Newx(name, len, char);
13646         Move(dirent->d_name, name, len, char);
13647     }
13648     PerlDir_seek(dp, pos);
13649
13650     /* Iterate through the new dir handle, till we find a file with the
13651        right name. */
13652     if (!dirent) /* just before the end */
13653         for(;;) {
13654             pos = PerlDir_tell(ret);
13655             if (PerlDir_read(ret)) continue; /* not there yet */
13656             PerlDir_seek(ret, pos); /* step back */
13657             break;
13658         }
13659     else {
13660         const long pos0 = PerlDir_tell(ret);
13661         for(;;) {
13662             pos = PerlDir_tell(ret);
13663             if ((dirent = PerlDir_read(ret))) {
13664                 if (len == (STRLEN)d_namlen(dirent)
13665                     && memEQ(name, dirent->d_name, len)) {
13666                     /* found it */
13667                     PerlDir_seek(ret, pos); /* step back */
13668                     break;
13669                 }
13670                 /* else we are not there yet; keep iterating */
13671             }
13672             else { /* This is not meant to happen. The best we can do is
13673                       reset the iterator to the beginning. */
13674                 PerlDir_seek(ret, pos0);
13675                 break;
13676             }
13677         }
13678     }
13679 #undef d_namlen
13680
13681     if (name && name != smallbuf)
13682         Safefree(name);
13683 #endif
13684
13685 #ifdef WIN32
13686     ret = win32_dirp_dup(dp, param);
13687 #endif
13688
13689     /* pop it in the pointer table */
13690     if (ret)
13691         ptr_table_store(PL_ptr_table, dp, ret);
13692
13693     return ret;
13694 }
13695
13696 /* duplicate a typeglob */
13697
13698 GP *
13699 Perl_gp_dup(pTHX_ GP *const gp, CLONE_PARAMS *const param)
13700 {
13701     GP *ret;
13702
13703     PERL_ARGS_ASSERT_GP_DUP;
13704
13705     if (!gp)
13706         return (GP*)NULL;
13707     /* look for it in the table first */
13708     ret = (GP*)ptr_table_fetch(PL_ptr_table, gp);
13709     if (ret)
13710         return ret;
13711
13712     /* create anew and remember what it is */
13713     Newxz(ret, 1, GP);
13714     ptr_table_store(PL_ptr_table, gp, ret);
13715
13716     /* clone */
13717     /* ret->gp_refcnt must be 0 before any other dups are called. We're relying
13718        on Newxz() to do this for us.  */
13719     ret->gp_sv          = sv_dup_inc(gp->gp_sv, param);
13720     ret->gp_io          = io_dup_inc(gp->gp_io, param);
13721     ret->gp_form        = cv_dup_inc(gp->gp_form, param);
13722     ret->gp_av          = av_dup_inc(gp->gp_av, param);
13723     ret->gp_hv          = hv_dup_inc(gp->gp_hv, param);
13724     ret->gp_egv = gv_dup(gp->gp_egv, param);/* GvEGV is not refcounted */
13725     ret->gp_cv          = cv_dup_inc(gp->gp_cv, param);
13726     ret->gp_cvgen       = gp->gp_cvgen;
13727     ret->gp_line        = gp->gp_line;
13728     ret->gp_file_hek    = hek_dup(gp->gp_file_hek, param);
13729     return ret;
13730 }
13731
13732 /* duplicate a chain of magic */
13733
13734 MAGIC *
13735 Perl_mg_dup(pTHX_ MAGIC *mg, CLONE_PARAMS *const param)
13736 {
13737     MAGIC *mgret = NULL;
13738     MAGIC **mgprev_p = &mgret;
13739
13740     PERL_ARGS_ASSERT_MG_DUP;
13741
13742     for (; mg; mg = mg->mg_moremagic) {
13743         MAGIC *nmg;
13744
13745         if ((param->flags & CLONEf_JOIN_IN)
13746                 && mg->mg_type == PERL_MAGIC_backref)
13747             /* when joining, we let the individual SVs add themselves to
13748              * backref as needed. */
13749             continue;
13750
13751         Newx(nmg, 1, MAGIC);
13752         *mgprev_p = nmg;
13753         mgprev_p = &(nmg->mg_moremagic);
13754
13755         /* There was a comment "XXX copy dynamic vtable?" but as we don't have
13756            dynamic vtables, I'm not sure why Sarathy wrote it. The comment dates
13757            from the original commit adding Perl_mg_dup() - revision 4538.
13758            Similarly there is the annotation "XXX random ptr?" next to the
13759            assignment to nmg->mg_ptr.  */
13760         *nmg = *mg;
13761
13762         /* FIXME for plugins
13763         if (nmg->mg_type == PERL_MAGIC_qr) {
13764             nmg->mg_obj = MUTABLE_SV(CALLREGDUPE((REGEXP*)nmg->mg_obj, param));
13765         }
13766         else
13767         */
13768         nmg->mg_obj = (nmg->mg_flags & MGf_REFCOUNTED)
13769                           ? nmg->mg_type == PERL_MAGIC_backref
13770                                 /* The backref AV has its reference
13771                                  * count deliberately bumped by 1 */
13772                                 ? SvREFCNT_inc(av_dup_inc((const AV *)
13773                                                     nmg->mg_obj, param))
13774                                 : sv_dup_inc(nmg->mg_obj, param)
13775                           : (nmg->mg_type == PERL_MAGIC_regdatum ||
13776                              nmg->mg_type == PERL_MAGIC_regdata)
13777                                   ? nmg->mg_obj
13778                                   : sv_dup(nmg->mg_obj, param);
13779
13780         if (nmg->mg_ptr && nmg->mg_type != PERL_MAGIC_regex_global) {
13781             if (nmg->mg_len > 0) {
13782                 nmg->mg_ptr     = SAVEPVN(nmg->mg_ptr, nmg->mg_len);
13783                 if (nmg->mg_type == PERL_MAGIC_overload_table &&
13784                         AMT_AMAGIC((AMT*)nmg->mg_ptr))
13785                 {
13786                     AMT * const namtp = (AMT*)nmg->mg_ptr;
13787                     sv_dup_inc_multiple((SV**)(namtp->table),
13788                                         (SV**)(namtp->table), NofAMmeth, param);
13789                 }
13790             }
13791             else if (nmg->mg_len == HEf_SVKEY)
13792                 nmg->mg_ptr = (char*)sv_dup_inc((const SV *)nmg->mg_ptr, param);
13793         }
13794         if ((nmg->mg_flags & MGf_DUP) && nmg->mg_virtual && nmg->mg_virtual->svt_dup) {
13795             nmg->mg_virtual->svt_dup(aTHX_ nmg, param);
13796         }
13797     }
13798     return mgret;
13799 }
13800
13801 #endif /* USE_ITHREADS */
13802
13803 struct ptr_tbl_arena {
13804     struct ptr_tbl_arena *next;
13805     struct ptr_tbl_ent array[1023/3]; /* as ptr_tbl_ent has 3 pointers.  */
13806 };
13807
13808 /* create a new pointer-mapping table */
13809
13810 PTR_TBL_t *
13811 Perl_ptr_table_new(pTHX)
13812 {
13813     PTR_TBL_t *tbl;
13814     PERL_UNUSED_CONTEXT;
13815
13816     Newx(tbl, 1, PTR_TBL_t);
13817     tbl->tbl_max        = 511;
13818     tbl->tbl_items      = 0;
13819     tbl->tbl_arena      = NULL;
13820     tbl->tbl_arena_next = NULL;
13821     tbl->tbl_arena_end  = NULL;
13822     Newxz(tbl->tbl_ary, tbl->tbl_max + 1, PTR_TBL_ENT_t*);
13823     return tbl;
13824 }
13825
13826 #define PTR_TABLE_HASH(ptr) \
13827   ((PTR2UV(ptr) >> 3) ^ (PTR2UV(ptr) >> (3 + 7)) ^ (PTR2UV(ptr) >> (3 + 17)))
13828
13829 /* map an existing pointer using a table */
13830
13831 STATIC PTR_TBL_ENT_t *
13832 S_ptr_table_find(PTR_TBL_t *const tbl, const void *const sv)
13833 {
13834     PTR_TBL_ENT_t *tblent;
13835     const UV hash = PTR_TABLE_HASH(sv);
13836
13837     PERL_ARGS_ASSERT_PTR_TABLE_FIND;
13838
13839     tblent = tbl->tbl_ary[hash & tbl->tbl_max];
13840     for (; tblent; tblent = tblent->next) {
13841         if (tblent->oldval == sv)
13842             return tblent;
13843     }
13844     return NULL;
13845 }
13846
13847 void *
13848 Perl_ptr_table_fetch(pTHX_ PTR_TBL_t *const tbl, const void *const sv)
13849 {
13850     PTR_TBL_ENT_t const *const tblent = ptr_table_find(tbl, sv);
13851
13852     PERL_ARGS_ASSERT_PTR_TABLE_FETCH;
13853     PERL_UNUSED_CONTEXT;
13854
13855     return tblent ? tblent->newval : NULL;
13856 }
13857
13858 /* add a new entry to a pointer-mapping table 'tbl'.  In hash terms, 'oldsv' is
13859  * the key; 'newsv' is the value.  The names "old" and "new" are specific to
13860  * the core's typical use of ptr_tables in thread cloning. */
13861
13862 void
13863 Perl_ptr_table_store(pTHX_ PTR_TBL_t *const tbl, const void *const oldsv, void *const newsv)
13864 {
13865     PTR_TBL_ENT_t *tblent = ptr_table_find(tbl, oldsv);
13866
13867     PERL_ARGS_ASSERT_PTR_TABLE_STORE;
13868     PERL_UNUSED_CONTEXT;
13869
13870     if (tblent) {
13871         tblent->newval = newsv;
13872     } else {
13873         const UV entry = PTR_TABLE_HASH(oldsv) & tbl->tbl_max;
13874
13875         if (tbl->tbl_arena_next == tbl->tbl_arena_end) {
13876             struct ptr_tbl_arena *new_arena;
13877
13878             Newx(new_arena, 1, struct ptr_tbl_arena);
13879             new_arena->next = tbl->tbl_arena;
13880             tbl->tbl_arena = new_arena;
13881             tbl->tbl_arena_next = new_arena->array;
13882             tbl->tbl_arena_end = C_ARRAY_END(new_arena->array);
13883         }
13884
13885         tblent = tbl->tbl_arena_next++;
13886
13887         tblent->oldval = oldsv;
13888         tblent->newval = newsv;
13889         tblent->next = tbl->tbl_ary[entry];
13890         tbl->tbl_ary[entry] = tblent;
13891         tbl->tbl_items++;
13892         if (tblent->next && tbl->tbl_items > tbl->tbl_max)
13893             ptr_table_split(tbl);
13894     }
13895 }
13896
13897 /* double the hash bucket size of an existing ptr table */
13898
13899 void
13900 Perl_ptr_table_split(pTHX_ PTR_TBL_t *const tbl)
13901 {
13902     PTR_TBL_ENT_t **ary = tbl->tbl_ary;
13903     const UV oldsize = tbl->tbl_max + 1;
13904     UV newsize = oldsize * 2;
13905     UV i;
13906
13907     PERL_ARGS_ASSERT_PTR_TABLE_SPLIT;
13908     PERL_UNUSED_CONTEXT;
13909
13910     Renew(ary, newsize, PTR_TBL_ENT_t*);
13911     Zero(&ary[oldsize], newsize-oldsize, PTR_TBL_ENT_t*);
13912     tbl->tbl_max = --newsize;
13913     tbl->tbl_ary = ary;
13914     for (i=0; i < oldsize; i++, ary++) {
13915         PTR_TBL_ENT_t **entp = ary;
13916         PTR_TBL_ENT_t *ent = *ary;
13917         PTR_TBL_ENT_t **curentp;
13918         if (!ent)
13919             continue;
13920         curentp = ary + oldsize;
13921         do {
13922             if ((newsize & PTR_TABLE_HASH(ent->oldval)) != i) {
13923                 *entp = ent->next;
13924                 ent->next = *curentp;
13925                 *curentp = ent;
13926             }
13927             else
13928                 entp = &ent->next;
13929             ent = *entp;
13930         } while (ent);
13931     }
13932 }
13933
13934 /* remove all the entries from a ptr table */
13935 /* Deprecated - will be removed post 5.14 */
13936
13937 void
13938 Perl_ptr_table_clear(pTHX_ PTR_TBL_t *const tbl)
13939 {
13940     PERL_UNUSED_CONTEXT;
13941     if (tbl && tbl->tbl_items) {
13942         struct ptr_tbl_arena *arena = tbl->tbl_arena;
13943
13944         Zero(tbl->tbl_ary, tbl->tbl_max + 1, struct ptr_tbl_ent *);
13945
13946         while (arena) {
13947             struct ptr_tbl_arena *next = arena->next;
13948
13949             Safefree(arena);
13950             arena = next;
13951         };
13952
13953         tbl->tbl_items = 0;
13954         tbl->tbl_arena = NULL;
13955         tbl->tbl_arena_next = NULL;
13956         tbl->tbl_arena_end = NULL;
13957     }
13958 }
13959
13960 /* clear and free a ptr table */
13961
13962 void
13963 Perl_ptr_table_free(pTHX_ PTR_TBL_t *const tbl)
13964 {
13965     struct ptr_tbl_arena *arena;
13966
13967     PERL_UNUSED_CONTEXT;
13968
13969     if (!tbl) {
13970         return;
13971     }
13972
13973     arena = tbl->tbl_arena;
13974
13975     while (arena) {
13976         struct ptr_tbl_arena *next = arena->next;
13977
13978         Safefree(arena);
13979         arena = next;
13980     }
13981
13982     Safefree(tbl->tbl_ary);
13983     Safefree(tbl);
13984 }
13985
13986 #if defined(USE_ITHREADS)
13987
13988 void
13989 Perl_rvpv_dup(pTHX_ SV *const dstr, const SV *const sstr, CLONE_PARAMS *const param)
13990 {
13991     PERL_ARGS_ASSERT_RVPV_DUP;
13992
13993     assert(!isREGEXP(sstr));
13994     if (SvROK(sstr)) {
13995         if (SvWEAKREF(sstr)) {
13996             SvRV_set(dstr, sv_dup(SvRV_const(sstr), param));
13997             if (param->flags & CLONEf_JOIN_IN) {
13998                 /* if joining, we add any back references individually rather
13999                  * than copying the whole backref array */
14000                 Perl_sv_add_backref(aTHX_ SvRV(dstr), dstr);
14001             }
14002         }
14003         else
14004             SvRV_set(dstr, sv_dup_inc(SvRV_const(sstr), param));
14005     }
14006     else if (SvPVX_const(sstr)) {
14007         /* Has something there */
14008         if (SvLEN(sstr)) {
14009             /* Normal PV - clone whole allocated space */
14010             SvPV_set(dstr, SAVEPVN(SvPVX_const(sstr), SvLEN(sstr)-1));
14011             /* sstr may not be that normal, but actually copy on write.
14012                But we are a true, independent SV, so:  */
14013             SvIsCOW_off(dstr);
14014         }
14015         else {
14016             /* Special case - not normally malloced for some reason */
14017             if (isGV_with_GP(sstr)) {
14018                 /* Don't need to do anything here.  */
14019             }
14020             else if ((SvIsCOW(sstr))) {
14021                 /* A "shared" PV - clone it as "shared" PV */
14022                 SvPV_set(dstr,
14023                          HEK_KEY(hek_dup(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)),
14024                                          param)));
14025             }
14026             else {
14027                 /* Some other special case - random pointer */
14028                 SvPV_set(dstr, (char *) SvPVX_const(sstr));             
14029             }
14030         }
14031     }
14032     else {
14033         /* Copy the NULL */
14034         SvPV_set(dstr, NULL);
14035     }
14036 }
14037
14038 /* duplicate a list of SVs. source and dest may point to the same memory.  */
14039 static SV **
14040 S_sv_dup_inc_multiple(pTHX_ SV *const *source, SV **dest,
14041                       SSize_t items, CLONE_PARAMS *const param)
14042 {
14043     PERL_ARGS_ASSERT_SV_DUP_INC_MULTIPLE;
14044
14045     while (items-- > 0) {
14046         *dest++ = sv_dup_inc(*source++, param);
14047     }
14048
14049     return dest;
14050 }
14051
14052 /* duplicate an SV of any type (including AV, HV etc) */
14053
14054 static SV *
14055 S_sv_dup_common(pTHX_ const SV *const sstr, CLONE_PARAMS *const param)
14056 {
14057     dVAR;
14058     SV *dstr;
14059
14060     PERL_ARGS_ASSERT_SV_DUP_COMMON;
14061
14062     if (SvTYPE(sstr) == (svtype)SVTYPEMASK) {
14063 #ifdef DEBUG_LEAKING_SCALARS_ABORT
14064         abort();
14065 #endif
14066         return NULL;
14067     }
14068     /* look for it in the table first */
14069     dstr = MUTABLE_SV(ptr_table_fetch(PL_ptr_table, sstr));
14070     if (dstr)
14071         return dstr;
14072
14073     if(param->flags & CLONEf_JOIN_IN) {
14074         /** We are joining here so we don't want do clone
14075             something that is bad **/
14076         if (SvTYPE(sstr) == SVt_PVHV) {
14077             const HEK * const hvname = HvNAME_HEK(sstr);
14078             if (hvname) {
14079                 /** don't clone stashes if they already exist **/
14080                 dstr = MUTABLE_SV(gv_stashpvn(HEK_KEY(hvname), HEK_LEN(hvname),
14081                                                 HEK_UTF8(hvname) ? SVf_UTF8 : 0));
14082                 ptr_table_store(PL_ptr_table, sstr, dstr);
14083                 return dstr;
14084             }
14085         }
14086         else if (SvTYPE(sstr) == SVt_PVGV && !SvFAKE(sstr)) {
14087             HV *stash = GvSTASH(sstr);
14088             const HEK * hvname;
14089             if (stash && (hvname = HvNAME_HEK(stash))) {
14090                 /** don't clone GVs if they already exist **/
14091                 SV **svp;
14092                 stash = gv_stashpvn(HEK_KEY(hvname), HEK_LEN(hvname),
14093                                     HEK_UTF8(hvname) ? SVf_UTF8 : 0);
14094                 svp = hv_fetch(
14095                         stash, GvNAME(sstr),
14096                         GvNAMEUTF8(sstr)
14097                             ? -GvNAMELEN(sstr)
14098                             :  GvNAMELEN(sstr),
14099                         0
14100                       );
14101                 if (svp && *svp && SvTYPE(*svp) == SVt_PVGV) {
14102                     ptr_table_store(PL_ptr_table, sstr, *svp);
14103                     return *svp;
14104                 }
14105             }
14106         }
14107     }
14108
14109     /* create anew and remember what it is */
14110     new_SV(dstr);
14111
14112 #ifdef DEBUG_LEAKING_SCALARS
14113     dstr->sv_debug_optype = sstr->sv_debug_optype;
14114     dstr->sv_debug_line = sstr->sv_debug_line;
14115     dstr->sv_debug_inpad = sstr->sv_debug_inpad;
14116     dstr->sv_debug_parent = (SV*)sstr;
14117     FREE_SV_DEBUG_FILE(dstr);
14118     dstr->sv_debug_file = savesharedpv(sstr->sv_debug_file);
14119 #endif
14120
14121     ptr_table_store(PL_ptr_table, sstr, dstr);
14122
14123     /* clone */
14124     SvFLAGS(dstr)       = SvFLAGS(sstr);
14125     SvFLAGS(dstr)       &= ~SVf_OOK;            /* don't propagate OOK hack */
14126     SvREFCNT(dstr)      = 0;                    /* must be before any other dups! */
14127
14128 #ifdef DEBUGGING
14129     if (SvANY(sstr) && PL_watch_pvx && SvPVX_const(sstr) == PL_watch_pvx)
14130         PerlIO_printf(Perl_debug_log, "watch at %p hit, found string \"%s\"\n",
14131                       (void*)PL_watch_pvx, SvPVX_const(sstr));
14132 #endif
14133
14134     /* don't clone objects whose class has asked us not to */
14135     if (SvOBJECT(sstr)
14136      && ! (SvFLAGS(SvSTASH(sstr)) & SVphv_CLONEABLE))
14137     {
14138         SvFLAGS(dstr) = 0;
14139         return dstr;
14140     }
14141
14142     switch (SvTYPE(sstr)) {
14143     case SVt_NULL:
14144         SvANY(dstr)     = NULL;
14145         break;
14146     case SVt_IV:
14147         SET_SVANY_FOR_BODYLESS_IV(dstr);
14148         if(SvROK(sstr)) {
14149             Perl_rvpv_dup(aTHX_ dstr, sstr, param);
14150         } else {
14151             SvIV_set(dstr, SvIVX(sstr));
14152         }
14153         break;
14154     case SVt_NV:
14155 #if NVSIZE <= IVSIZE
14156         SET_SVANY_FOR_BODYLESS_NV(dstr);
14157 #else
14158         SvANY(dstr)     = new_XNV();
14159 #endif
14160         SvNV_set(dstr, SvNVX(sstr));
14161         break;
14162     default:
14163         {
14164             /* These are all the types that need complex bodies allocating.  */
14165             void *new_body;
14166             const svtype sv_type = SvTYPE(sstr);
14167             const struct body_details *const sv_type_details
14168                 = bodies_by_type + sv_type;
14169
14170             switch (sv_type) {
14171             default:
14172                 Perl_croak(aTHX_ "Bizarre SvTYPE [%" IVdf "]", (IV)SvTYPE(sstr));
14173                 NOT_REACHED; /* NOTREACHED */
14174                 break;
14175
14176             case SVt_PVGV:
14177             case SVt_PVIO:
14178             case SVt_PVFM:
14179             case SVt_PVHV:
14180             case SVt_PVAV:
14181             case SVt_PVCV:
14182             case SVt_PVLV:
14183             case SVt_REGEXP:
14184             case SVt_PVMG:
14185             case SVt_PVNV:
14186             case SVt_PVIV:
14187             case SVt_INVLIST:
14188             case SVt_PV:
14189                 assert(sv_type_details->body_size);
14190                 if (sv_type_details->arena) {
14191                     new_body_inline(new_body, sv_type);
14192                     new_body
14193                         = (void*)((char*)new_body - sv_type_details->offset);
14194                 } else {
14195                     new_body = new_NOARENA(sv_type_details);
14196                 }
14197             }
14198             assert(new_body);
14199             SvANY(dstr) = new_body;
14200
14201 #ifndef PURIFY
14202             Copy(((char*)SvANY(sstr)) + sv_type_details->offset,
14203                  ((char*)SvANY(dstr)) + sv_type_details->offset,
14204                  sv_type_details->copy, char);
14205 #else
14206             Copy(((char*)SvANY(sstr)),
14207                  ((char*)SvANY(dstr)),
14208                  sv_type_details->body_size + sv_type_details->offset, char);
14209 #endif
14210
14211             if (sv_type != SVt_PVAV && sv_type != SVt_PVHV
14212                 && !isGV_with_GP(dstr)
14213                 && !isREGEXP(dstr)
14214                 && !(sv_type == SVt_PVIO && !(IoFLAGS(dstr) & IOf_FAKE_DIRP)))
14215                 Perl_rvpv_dup(aTHX_ dstr, sstr, param);
14216
14217             /* The Copy above means that all the source (unduplicated) pointers
14218                are now in the destination.  We can check the flags and the
14219                pointers in either, but it's possible that there's less cache
14220                missing by always going for the destination.
14221                FIXME - instrument and check that assumption  */
14222             if (sv_type >= SVt_PVMG) {
14223                 if (SvMAGIC(dstr))
14224                     SvMAGIC_set(dstr, mg_dup(SvMAGIC(dstr), param));
14225                 if (SvOBJECT(dstr) && SvSTASH(dstr))
14226                     SvSTASH_set(dstr, hv_dup_inc(SvSTASH(dstr), param));
14227                 else SvSTASH_set(dstr, 0); /* don't copy DESTROY cache */
14228             }
14229
14230             /* The cast silences a GCC warning about unhandled types.  */
14231             switch ((int)sv_type) {
14232             case SVt_PV:
14233                 break;
14234             case SVt_PVIV:
14235                 break;
14236             case SVt_PVNV:
14237                 break;
14238             case SVt_PVMG:
14239                 break;
14240             case SVt_REGEXP:
14241               duprex:
14242                 /* FIXME for plugins */
14243                 re_dup_guts((REGEXP*) sstr, (REGEXP*) dstr, param);
14244                 break;
14245             case SVt_PVLV:
14246                 /* XXX LvTARGOFF sometimes holds PMOP* when DEBUGGING */
14247                 if (LvTYPE(dstr) == 't') /* for tie: unrefcnted fake (SV**) */
14248                     LvTARG(dstr) = dstr;
14249                 else if (LvTYPE(dstr) == 'T') /* for tie: fake HE */
14250                     LvTARG(dstr) = MUTABLE_SV(he_dup((HE*)LvTARG(dstr), 0, param));
14251                 else
14252                     LvTARG(dstr) = sv_dup_inc(LvTARG(dstr), param);
14253                 if (isREGEXP(sstr)) goto duprex;
14254                 /* FALLTHROUGH */
14255             case SVt_PVGV:
14256                 /* non-GP case already handled above */
14257                 if(isGV_with_GP(sstr)) {
14258                     GvNAME_HEK(dstr) = hek_dup(GvNAME_HEK(dstr), param);
14259                     /* Don't call sv_add_backref here as it's going to be
14260                        created as part of the magic cloning of the symbol
14261                        table--unless this is during a join and the stash
14262                        is not actually being cloned.  */
14263                     /* Danger Will Robinson - GvGP(dstr) isn't initialised
14264                        at the point of this comment.  */
14265                     GvSTASH(dstr) = hv_dup(GvSTASH(dstr), param);
14266                     if (param->flags & CLONEf_JOIN_IN)
14267                         Perl_sv_add_backref(aTHX_ MUTABLE_SV(GvSTASH(dstr)), dstr);
14268                     GvGP_set(dstr, gp_dup(GvGP(sstr), param));
14269                     (void)GpREFCNT_inc(GvGP(dstr));
14270                 }
14271                 break;
14272             case SVt_PVIO:
14273                 /* PL_parser->rsfp_filters entries have fake IoDIRP() */
14274                 if(IoFLAGS(dstr) & IOf_FAKE_DIRP) {
14275                     /* I have no idea why fake dirp (rsfps)
14276                        should be treated differently but otherwise
14277                        we end up with leaks -- sky*/
14278                     IoTOP_GV(dstr)      = gv_dup_inc(IoTOP_GV(dstr), param);
14279                     IoFMT_GV(dstr)      = gv_dup_inc(IoFMT_GV(dstr), param);
14280                     IoBOTTOM_GV(dstr)   = gv_dup_inc(IoBOTTOM_GV(dstr), param);
14281                 } else {
14282                     IoTOP_GV(dstr)      = gv_dup(IoTOP_GV(dstr), param);
14283                     IoFMT_GV(dstr)      = gv_dup(IoFMT_GV(dstr), param);
14284                     IoBOTTOM_GV(dstr)   = gv_dup(IoBOTTOM_GV(dstr), param);
14285                     if (IoDIRP(dstr)) {
14286                         IoDIRP(dstr)    = dirp_dup(IoDIRP(dstr), param);
14287                     } else {
14288                         NOOP;
14289                         /* IoDIRP(dstr) is already a copy of IoDIRP(sstr)  */
14290                     }
14291                     IoIFP(dstr) = fp_dup(IoIFP(sstr), IoTYPE(dstr), param);
14292                 }
14293                 if (IoOFP(dstr) == IoIFP(sstr))
14294                     IoOFP(dstr) = IoIFP(dstr);
14295                 else
14296                     IoOFP(dstr) = fp_dup(IoOFP(dstr), IoTYPE(dstr), param);
14297                 IoTOP_NAME(dstr)        = SAVEPV(IoTOP_NAME(dstr));
14298                 IoFMT_NAME(dstr)        = SAVEPV(IoFMT_NAME(dstr));
14299                 IoBOTTOM_NAME(dstr)     = SAVEPV(IoBOTTOM_NAME(dstr));
14300                 break;
14301             case SVt_PVAV:
14302                 /* avoid cloning an empty array */
14303                 if (AvARRAY((const AV *)sstr) && AvFILLp((const AV *)sstr) >= 0) {
14304                     SV **dst_ary, **src_ary;
14305                     SSize_t items = AvFILLp((const AV *)sstr) + 1;
14306
14307                     src_ary = AvARRAY((const AV *)sstr);
14308                     Newx(dst_ary, AvMAX((const AV *)sstr)+1, SV*);
14309                     ptr_table_store(PL_ptr_table, src_ary, dst_ary);
14310                     AvARRAY(MUTABLE_AV(dstr)) = dst_ary;
14311                     AvALLOC((const AV *)dstr) = dst_ary;
14312                     if (AvREAL((const AV *)sstr)) {
14313                         dst_ary = sv_dup_inc_multiple(src_ary, dst_ary, items,
14314                                                       param);
14315                     }
14316                     else {
14317                         while (items-- > 0)
14318                             *dst_ary++ = sv_dup(*src_ary++, param);
14319                     }
14320                     items = AvMAX((const AV *)sstr) - AvFILLp((const AV *)sstr);
14321                     while (items-- > 0) {
14322                         *dst_ary++ = NULL;
14323                     }
14324                 }
14325                 else {
14326                     AvARRAY(MUTABLE_AV(dstr))   = NULL;
14327                     AvALLOC((const AV *)dstr)   = (SV**)NULL;
14328                     AvMAX(  (const AV *)dstr)   = -1;
14329                     AvFILLp((const AV *)dstr)   = -1;
14330                 }
14331                 break;
14332             case SVt_PVHV:
14333                 if (HvARRAY((const HV *)sstr)) {
14334                     STRLEN i = 0;
14335                     const bool sharekeys = !!HvSHAREKEYS(sstr);
14336                     XPVHV * const dxhv = (XPVHV*)SvANY(dstr);
14337                     XPVHV * const sxhv = (XPVHV*)SvANY(sstr);
14338                     char *darray;
14339                     Newx(darray, PERL_HV_ARRAY_ALLOC_BYTES(dxhv->xhv_max+1)
14340                         + (SvOOK(sstr) ? sizeof(struct xpvhv_aux) : 0),
14341                         char);
14342                     HvARRAY(dstr) = (HE**)darray;
14343                     while (i <= sxhv->xhv_max) {
14344                         const HE * const source = HvARRAY(sstr)[i];
14345                         HvARRAY(dstr)[i] = source
14346                             ? he_dup(source, sharekeys, param) : 0;
14347                         ++i;
14348                     }
14349                     if (SvOOK(sstr)) {
14350                         const struct xpvhv_aux * const saux = HvAUX(sstr);
14351                         struct xpvhv_aux * const daux = HvAUX(dstr);
14352                         /* This flag isn't copied.  */
14353                         SvOOK_on(dstr);
14354
14355                         if (saux->xhv_name_count) {
14356                             HEK ** const sname = saux->xhv_name_u.xhvnameu_names;
14357                             const I32 count
14358                              = saux->xhv_name_count < 0
14359                                 ? -saux->xhv_name_count
14360                                 :  saux->xhv_name_count;
14361                             HEK **shekp = sname + count;
14362                             HEK **dhekp;
14363                             Newx(daux->xhv_name_u.xhvnameu_names, count, HEK *);
14364                             dhekp = daux->xhv_name_u.xhvnameu_names + count;
14365                             while (shekp-- > sname) {
14366                                 dhekp--;
14367                                 *dhekp = hek_dup(*shekp, param);
14368                             }
14369                         }
14370                         else {
14371                             daux->xhv_name_u.xhvnameu_name
14372                                 = hek_dup(saux->xhv_name_u.xhvnameu_name,
14373                                           param);
14374                         }
14375                         daux->xhv_name_count = saux->xhv_name_count;
14376
14377                         daux->xhv_aux_flags = saux->xhv_aux_flags;
14378 #ifdef PERL_HASH_RANDOMIZE_KEYS
14379                         daux->xhv_rand = saux->xhv_rand;
14380                         daux->xhv_last_rand = saux->xhv_last_rand;
14381 #endif
14382                         daux->xhv_riter = saux->xhv_riter;
14383                         daux->xhv_eiter = saux->xhv_eiter
14384                             ? he_dup(saux->xhv_eiter,
14385                                         cBOOL(HvSHAREKEYS(sstr)), param) : 0;
14386                         /* backref array needs refcnt=2; see sv_add_backref */
14387                         daux->xhv_backreferences =
14388                             (param->flags & CLONEf_JOIN_IN)
14389                                 /* when joining, we let the individual GVs and
14390                                  * CVs add themselves to backref as
14391                                  * needed. This avoids pulling in stuff
14392                                  * that isn't required, and simplifies the
14393                                  * case where stashes aren't cloned back
14394                                  * if they already exist in the parent
14395                                  * thread */
14396                             ? NULL
14397                             : saux->xhv_backreferences
14398                                 ? (SvTYPE(saux->xhv_backreferences) == SVt_PVAV)
14399                                     ? MUTABLE_AV(SvREFCNT_inc(
14400                                           sv_dup_inc((const SV *)
14401                                             saux->xhv_backreferences, param)))
14402                                     : MUTABLE_AV(sv_dup((const SV *)
14403                                             saux->xhv_backreferences, param))
14404                                 : 0;
14405
14406                         daux->xhv_mro_meta = saux->xhv_mro_meta
14407                             ? mro_meta_dup(saux->xhv_mro_meta, param)
14408                             : 0;
14409
14410                         /* Record stashes for possible cloning in Perl_clone(). */
14411                         if (HvNAME(sstr))
14412                             av_push(param->stashes, dstr);
14413                     }
14414                 }
14415                 else
14416                     HvARRAY(MUTABLE_HV(dstr)) = NULL;
14417                 break;
14418             case SVt_PVCV:
14419                 if (!(param->flags & CLONEf_COPY_STACKS)) {
14420                     CvDEPTH(dstr) = 0;
14421                 }
14422                 /* FALLTHROUGH */
14423             case SVt_PVFM:
14424                 /* NOTE: not refcounted */
14425                 SvANY(MUTABLE_CV(dstr))->xcv_stash =
14426                     hv_dup(CvSTASH(dstr), param);
14427                 if ((param->flags & CLONEf_JOIN_IN) && CvSTASH(dstr))
14428                     Perl_sv_add_backref(aTHX_ MUTABLE_SV(CvSTASH(dstr)), dstr);
14429                 if (!CvISXSUB(dstr)) {
14430                     OP_REFCNT_LOCK;
14431                     CvROOT(dstr) = OpREFCNT_inc(CvROOT(dstr));
14432                     OP_REFCNT_UNLOCK;
14433                     CvSLABBED_off(dstr);
14434                 } else if (CvCONST(dstr)) {
14435                     CvXSUBANY(dstr).any_ptr =
14436                         sv_dup_inc((const SV *)CvXSUBANY(dstr).any_ptr, param);
14437                 }
14438                 assert(!CvSLABBED(dstr));
14439                 if (CvDYNFILE(dstr)) CvFILE(dstr) = SAVEPV(CvFILE(dstr));
14440                 if (CvNAMED(dstr))
14441                     SvANY((CV *)dstr)->xcv_gv_u.xcv_hek =
14442                         hek_dup(CvNAME_HEK((CV *)sstr), param);
14443                 /* don't dup if copying back - CvGV isn't refcounted, so the
14444                  * duped GV may never be freed. A bit of a hack! DAPM */
14445                 else
14446                   SvANY(MUTABLE_CV(dstr))->xcv_gv_u.xcv_gv =
14447                     CvCVGV_RC(dstr)
14448                     ? gv_dup_inc(CvGV(sstr), param)
14449                     : (param->flags & CLONEf_JOIN_IN)
14450                         ? NULL
14451                         : gv_dup(CvGV(sstr), param);
14452
14453                 if (!CvISXSUB(sstr)) {
14454                     PADLIST * padlist = CvPADLIST(sstr);
14455                     if(padlist)
14456                         padlist = padlist_dup(padlist, param);
14457                     CvPADLIST_set(dstr, padlist);
14458                 } else
14459 /* unthreaded perl can't sv_dup so we dont support unthreaded's CvHSCXT */
14460                     PoisonPADLIST(dstr);
14461
14462                 CvOUTSIDE(dstr) =
14463                     CvWEAKOUTSIDE(sstr)
14464                     ? cv_dup(    CvOUTSIDE(dstr), param)
14465                     : cv_dup_inc(CvOUTSIDE(dstr), param);
14466                 break;
14467             }
14468         }
14469     }
14470
14471     return dstr;
14472  }
14473
14474 SV *
14475 Perl_sv_dup_inc(pTHX_ const SV *const sstr, CLONE_PARAMS *const param)
14476 {
14477     PERL_ARGS_ASSERT_SV_DUP_INC;
14478     return sstr ? SvREFCNT_inc(sv_dup_common(sstr, param)) : NULL;
14479 }
14480
14481 SV *
14482 Perl_sv_dup(pTHX_ const SV *const sstr, CLONE_PARAMS *const param)
14483 {
14484     SV *dstr = sstr ? sv_dup_common(sstr, param) : NULL;
14485     PERL_ARGS_ASSERT_SV_DUP;
14486
14487     /* Track every SV that (at least initially) had a reference count of 0.
14488        We need to do this by holding an actual reference to it in this array.
14489        If we attempt to cheat, turn AvREAL_off(), and store only pointers
14490        (akin to the stashes hash, and the perl stack), we come unstuck if
14491        a weak reference (or other SV legitimately SvREFCNT() == 0 for this
14492        thread) is manipulated in a CLONE method, because CLONE runs before the
14493        unreferenced array is walked to find SVs still with SvREFCNT() == 0
14494        (and fix things up by giving each a reference via the temps stack).
14495        Instead, during CLONE, if the 0-referenced SV has SvREFCNT_inc() and
14496        then SvREFCNT_dec(), it will be cleaned up (and added to the free list)
14497        before the walk of unreferenced happens and a reference to that is SV
14498        added to the temps stack. At which point we have the same SV considered
14499        to be in use, and free to be re-used. Not good.
14500     */
14501     if (dstr && !(param->flags & CLONEf_COPY_STACKS) && !SvREFCNT(dstr)) {
14502         assert(param->unreferenced);
14503         av_push(param->unreferenced, SvREFCNT_inc(dstr));
14504     }
14505
14506     return dstr;
14507 }
14508
14509 /* duplicate a context */
14510
14511 PERL_CONTEXT *
14512 Perl_cx_dup(pTHX_ PERL_CONTEXT *cxs, I32 ix, I32 max, CLONE_PARAMS* param)
14513 {
14514     PERL_CONTEXT *ncxs;
14515
14516     PERL_ARGS_ASSERT_CX_DUP;
14517
14518     if (!cxs)
14519         return (PERL_CONTEXT*)NULL;
14520
14521     /* look for it in the table first */
14522     ncxs = (PERL_CONTEXT*)ptr_table_fetch(PL_ptr_table, cxs);
14523     if (ncxs)
14524         return ncxs;
14525
14526     /* create anew and remember what it is */
14527     Newx(ncxs, max + 1, PERL_CONTEXT);
14528     ptr_table_store(PL_ptr_table, cxs, ncxs);
14529     Copy(cxs, ncxs, max + 1, PERL_CONTEXT);
14530
14531     while (ix >= 0) {
14532         PERL_CONTEXT * const ncx = &ncxs[ix];
14533         if (CxTYPE(ncx) == CXt_SUBST) {
14534             Perl_croak(aTHX_ "Cloning substitution context is unimplemented");
14535         }
14536         else {
14537             ncx->blk_oldcop = (COP*)any_dup(ncx->blk_oldcop, param->proto_perl);
14538             switch (CxTYPE(ncx)) {
14539             case CXt_SUB:
14540                 ncx->blk_sub.cv         = cv_dup_inc(ncx->blk_sub.cv, param);
14541                 if(CxHASARGS(ncx)){
14542                     ncx->blk_sub.savearray = av_dup_inc(ncx->blk_sub.savearray,param);
14543                 } else {
14544                     ncx->blk_sub.savearray = NULL;
14545                 }
14546                 ncx->blk_sub.prevcomppad = (PAD*)ptr_table_fetch(PL_ptr_table,
14547                                            ncx->blk_sub.prevcomppad);
14548                 break;
14549             case CXt_EVAL:
14550                 ncx->blk_eval.old_namesv = sv_dup_inc(ncx->blk_eval.old_namesv,
14551                                                       param);
14552                 /* XXX should this sv_dup_inc? Or only if CxEVAL_TXT_REFCNTED ???? */
14553                 ncx->blk_eval.cur_text  = sv_dup(ncx->blk_eval.cur_text, param);
14554                 ncx->blk_eval.cv = cv_dup(ncx->blk_eval.cv, param);
14555                 /* XXX what do do with cur_top_env ???? */
14556                 break;
14557             case CXt_LOOP_LAZYSV:
14558                 ncx->blk_loop.state_u.lazysv.end
14559                     = sv_dup_inc(ncx->blk_loop.state_u.lazysv.end, param);
14560                 /* Fallthrough: duplicate lazysv.cur by using the ary.ary
14561                    duplication code instead.
14562                    We are taking advantage of (1) av_dup_inc and sv_dup_inc
14563                    actually being the same function, and (2) order
14564                    equivalence of the two unions.
14565                    We can assert the later [but only at run time :-(]  */
14566                 assert ((void *) &ncx->blk_loop.state_u.ary.ary ==
14567                         (void *) &ncx->blk_loop.state_u.lazysv.cur);
14568                 /* FALLTHROUGH */
14569             case CXt_LOOP_ARY:
14570                 ncx->blk_loop.state_u.ary.ary
14571                     = av_dup_inc(ncx->blk_loop.state_u.ary.ary, param);
14572                 /* FALLTHROUGH */
14573             case CXt_LOOP_LIST:
14574             case CXt_LOOP_LAZYIV:
14575                 /* code common to all 'for' CXt_LOOP_* types */
14576                 ncx->blk_loop.itersave =
14577                                     sv_dup_inc(ncx->blk_loop.itersave, param);
14578                 if (CxPADLOOP(ncx)) {
14579                     PADOFFSET off = ncx->blk_loop.itervar_u.svp
14580                                     - &CX_CURPAD_SV(ncx->blk_loop, 0);
14581                     ncx->blk_loop.oldcomppad =
14582                                     (PAD*)ptr_table_fetch(PL_ptr_table,
14583                                                 ncx->blk_loop.oldcomppad);
14584                     ncx->blk_loop.itervar_u.svp =
14585                                     &CX_CURPAD_SV(ncx->blk_loop, off);
14586                 }
14587                 else {
14588                     /* this copies the GV if CXp_FOR_GV, or the SV for an
14589                      * alias (for \$x (...)) - relies on gv_dup being the
14590                      * same as sv_dup */
14591                     ncx->blk_loop.itervar_u.gv
14592                         = gv_dup((const GV *)ncx->blk_loop.itervar_u.gv,
14593                                     param);
14594                 }
14595                 break;
14596             case CXt_LOOP_PLAIN:
14597                 break;
14598             case CXt_FORMAT:
14599                 ncx->blk_format.prevcomppad =
14600                         (PAD*)ptr_table_fetch(PL_ptr_table,
14601                                            ncx->blk_format.prevcomppad);
14602                 ncx->blk_format.cv      = cv_dup_inc(ncx->blk_format.cv, param);
14603                 ncx->blk_format.gv      = gv_dup(ncx->blk_format.gv, param);
14604                 ncx->blk_format.dfoutgv = gv_dup_inc(ncx->blk_format.dfoutgv,
14605                                                      param);
14606                 break;
14607             case CXt_GIVEN:
14608                 ncx->blk_givwhen.defsv_save =
14609                                 sv_dup_inc(ncx->blk_givwhen.defsv_save, param);
14610                 break;
14611             case CXt_BLOCK:
14612             case CXt_NULL:
14613             case CXt_WHEN:
14614                 break;
14615             }
14616         }
14617         --ix;
14618     }
14619     return ncxs;
14620 }
14621
14622 /* duplicate a stack info structure */
14623
14624 PERL_SI *
14625 Perl_si_dup(pTHX_ PERL_SI *si, CLONE_PARAMS* param)
14626 {
14627     PERL_SI *nsi;
14628
14629     PERL_ARGS_ASSERT_SI_DUP;
14630
14631     if (!si)
14632         return (PERL_SI*)NULL;
14633
14634     /* look for it in the table first */
14635     nsi = (PERL_SI*)ptr_table_fetch(PL_ptr_table, si);
14636     if (nsi)
14637         return nsi;
14638
14639     /* create anew and remember what it is */
14640     Newx(nsi, 1, PERL_SI);
14641     ptr_table_store(PL_ptr_table, si, nsi);
14642
14643     nsi->si_stack       = av_dup_inc(si->si_stack, param);
14644     nsi->si_cxix        = si->si_cxix;
14645     nsi->si_cxmax       = si->si_cxmax;
14646     nsi->si_cxstack     = cx_dup(si->si_cxstack, si->si_cxix, si->si_cxmax, param);
14647     nsi->si_type        = si->si_type;
14648     nsi->si_prev        = si_dup(si->si_prev, param);
14649     nsi->si_next        = si_dup(si->si_next, param);
14650     nsi->si_markoff     = si->si_markoff;
14651 #if defined DEBUGGING && !defined DEBUGGING_RE_ONLY
14652     nsi->si_stack_hwm   = 0;
14653 #endif
14654
14655     return nsi;
14656 }
14657
14658 #define POPINT(ss,ix)   ((ss)[--(ix)].any_i32)
14659 #define TOPINT(ss,ix)   ((ss)[ix].any_i32)
14660 #define POPLONG(ss,ix)  ((ss)[--(ix)].any_long)
14661 #define TOPLONG(ss,ix)  ((ss)[ix].any_long)
14662 #define POPIV(ss,ix)    ((ss)[--(ix)].any_iv)
14663 #define TOPIV(ss,ix)    ((ss)[ix].any_iv)
14664 #define POPUV(ss,ix)    ((ss)[--(ix)].any_uv)
14665 #define TOPUV(ss,ix)    ((ss)[ix].any_uv)
14666 #define POPBOOL(ss,ix)  ((ss)[--(ix)].any_bool)
14667 #define TOPBOOL(ss,ix)  ((ss)[ix].any_bool)
14668 #define POPPTR(ss,ix)   ((ss)[--(ix)].any_ptr)
14669 #define TOPPTR(ss,ix)   ((ss)[ix].any_ptr)
14670 #define POPDPTR(ss,ix)  ((ss)[--(ix)].any_dptr)
14671 #define TOPDPTR(ss,ix)  ((ss)[ix].any_dptr)
14672 #define POPDXPTR(ss,ix) ((ss)[--(ix)].any_dxptr)
14673 #define TOPDXPTR(ss,ix) ((ss)[ix].any_dxptr)
14674
14675 /* XXXXX todo */
14676 #define pv_dup_inc(p)   SAVEPV(p)
14677 #define pv_dup(p)       SAVEPV(p)
14678 #define svp_dup_inc(p,pp)       any_dup(p,pp)
14679
14680 /* map any object to the new equivent - either something in the
14681  * ptr table, or something in the interpreter structure
14682  */
14683
14684 void *
14685 Perl_any_dup(pTHX_ void *v, const PerlInterpreter *proto_perl)
14686 {
14687     void *ret;
14688
14689     PERL_ARGS_ASSERT_ANY_DUP;
14690
14691     if (!v)
14692         return (void*)NULL;
14693
14694     /* look for it in the table first */
14695     ret = ptr_table_fetch(PL_ptr_table, v);
14696     if (ret)
14697         return ret;
14698
14699     /* see if it is part of the interpreter structure */
14700     if (v >= (void*)proto_perl && v < (void*)(proto_perl+1))
14701         ret = (void*)(((char*)aTHX) + (((char*)v) - (char*)proto_perl));
14702     else {
14703         ret = v;
14704     }
14705
14706     return ret;
14707 }
14708
14709 /* duplicate the save stack */
14710
14711 ANY *
14712 Perl_ss_dup(pTHX_ PerlInterpreter *proto_perl, CLONE_PARAMS* param)
14713 {
14714     dVAR;
14715     ANY * const ss      = proto_perl->Isavestack;
14716     const I32 max       = proto_perl->Isavestack_max + SS_MAXPUSH;
14717     I32 ix              = proto_perl->Isavestack_ix;
14718     ANY *nss;
14719     const SV *sv;
14720     const GV *gv;
14721     const AV *av;
14722     const HV *hv;
14723     void* ptr;
14724     int intval;
14725     long longval;
14726     GP *gp;
14727     IV iv;
14728     I32 i;
14729     char *c = NULL;
14730     void (*dptr) (void*);
14731     void (*dxptr) (pTHX_ void*);
14732
14733     PERL_ARGS_ASSERT_SS_DUP;
14734
14735     Newx(nss, max, ANY);
14736
14737     while (ix > 0) {
14738         const UV uv = POPUV(ss,ix);
14739         const U8 type = (U8)uv & SAVE_MASK;
14740
14741         TOPUV(nss,ix) = uv;
14742         switch (type) {
14743         case SAVEt_CLEARSV:
14744         case SAVEt_CLEARPADRANGE:
14745             break;
14746         case SAVEt_HELEM:               /* hash element */
14747         case SAVEt_SV:                  /* scalar reference */
14748             sv = (const SV *)POPPTR(ss,ix);
14749             TOPPTR(nss,ix) = SvREFCNT_inc(sv_dup_inc(sv, param));
14750             /* FALLTHROUGH */
14751         case SAVEt_ITEM:                        /* normal string */
14752         case SAVEt_GVSV:                        /* scalar slot in GV */
14753             sv = (const SV *)POPPTR(ss,ix);
14754             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
14755             if (type == SAVEt_SV)
14756                 break;
14757             /* FALLTHROUGH */
14758         case SAVEt_FREESV:
14759         case SAVEt_MORTALIZESV:
14760         case SAVEt_READONLY_OFF:
14761             sv = (const SV *)POPPTR(ss,ix);
14762             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
14763             break;
14764         case SAVEt_FREEPADNAME:
14765             ptr = POPPTR(ss,ix);
14766             TOPPTR(nss,ix) = padname_dup((PADNAME *)ptr, param);
14767             PadnameREFCNT((PADNAME *)TOPPTR(nss,ix))++;
14768             break;
14769         case SAVEt_SHARED_PVREF:                /* char* in shared space */
14770             c = (char*)POPPTR(ss,ix);
14771             TOPPTR(nss,ix) = savesharedpv(c);
14772             ptr = POPPTR(ss,ix);
14773             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14774             break;
14775         case SAVEt_GENERIC_SVREF:               /* generic sv */
14776         case SAVEt_SVREF:                       /* scalar reference */
14777             sv = (const SV *)POPPTR(ss,ix);
14778             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
14779             if (type == SAVEt_SVREF)
14780                 SvREFCNT_inc_simple_void((SV *)TOPPTR(nss,ix));
14781             ptr = POPPTR(ss,ix);
14782             TOPPTR(nss,ix) = svp_dup_inc((SV**)ptr, proto_perl);/* XXXXX */
14783             break;
14784         case SAVEt_GVSLOT:              /* any slot in GV */
14785             sv = (const SV *)POPPTR(ss,ix);
14786             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
14787             ptr = POPPTR(ss,ix);
14788             TOPPTR(nss,ix) = svp_dup_inc((SV**)ptr, proto_perl);/* XXXXX */
14789             sv = (const SV *)POPPTR(ss,ix);
14790             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
14791             break;
14792         case SAVEt_HV:                          /* hash reference */
14793         case SAVEt_AV:                          /* array reference */
14794             sv = (const SV *) POPPTR(ss,ix);
14795             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
14796             /* FALLTHROUGH */
14797         case SAVEt_COMPPAD:
14798         case SAVEt_NSTAB:
14799             sv = (const SV *) POPPTR(ss,ix);
14800             TOPPTR(nss,ix) = sv_dup(sv, param);
14801             break;
14802         case SAVEt_INT:                         /* int reference */
14803             ptr = POPPTR(ss,ix);
14804             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14805             intval = (int)POPINT(ss,ix);
14806             TOPINT(nss,ix) = intval;
14807             break;
14808         case SAVEt_LONG:                        /* long reference */
14809             ptr = POPPTR(ss,ix);
14810             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14811             longval = (long)POPLONG(ss,ix);
14812             TOPLONG(nss,ix) = longval;
14813             break;
14814         case SAVEt_I32:                         /* I32 reference */
14815             ptr = POPPTR(ss,ix);
14816             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14817             i = POPINT(ss,ix);
14818             TOPINT(nss,ix) = i;
14819             break;
14820         case SAVEt_IV:                          /* IV reference */
14821         case SAVEt_STRLEN:                      /* STRLEN/size_t ref */
14822             ptr = POPPTR(ss,ix);
14823             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14824             iv = POPIV(ss,ix);
14825             TOPIV(nss,ix) = iv;
14826             break;
14827         case SAVEt_TMPSFLOOR:
14828             iv = POPIV(ss,ix);
14829             TOPIV(nss,ix) = iv;
14830             break;
14831         case SAVEt_HPTR:                        /* HV* reference */
14832         case SAVEt_APTR:                        /* AV* reference */
14833         case SAVEt_SPTR:                        /* SV* reference */
14834             ptr = POPPTR(ss,ix);
14835             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14836             sv = (const SV *)POPPTR(ss,ix);
14837             TOPPTR(nss,ix) = sv_dup(sv, param);
14838             break;
14839         case SAVEt_VPTR:                        /* random* reference */
14840             ptr = POPPTR(ss,ix);
14841             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14842             /* FALLTHROUGH */
14843         case SAVEt_INT_SMALL:
14844         case SAVEt_I32_SMALL:
14845         case SAVEt_I16:                         /* I16 reference */
14846         case SAVEt_I8:                          /* I8 reference */
14847         case SAVEt_BOOL:
14848             ptr = POPPTR(ss,ix);
14849             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14850             break;
14851         case SAVEt_GENERIC_PVREF:               /* generic char* */
14852         case SAVEt_PPTR:                        /* char* reference */
14853             ptr = POPPTR(ss,ix);
14854             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14855             c = (char*)POPPTR(ss,ix);
14856             TOPPTR(nss,ix) = pv_dup(c);
14857             break;
14858         case SAVEt_GP:                          /* scalar reference */
14859             gp = (GP*)POPPTR(ss,ix);
14860             TOPPTR(nss,ix) = gp = gp_dup(gp, param);
14861             (void)GpREFCNT_inc(gp);
14862             gv = (const GV *)POPPTR(ss,ix);
14863             TOPPTR(nss,ix) = gv_dup_inc(gv, param);
14864             break;
14865         case SAVEt_FREEOP:
14866             ptr = POPPTR(ss,ix);
14867             if (ptr && (((OP*)ptr)->op_private & OPpREFCOUNTED)) {
14868                 /* these are assumed to be refcounted properly */
14869                 OP *o;
14870                 switch (((OP*)ptr)->op_type) {
14871                 case OP_LEAVESUB:
14872                 case OP_LEAVESUBLV:
14873                 case OP_LEAVEEVAL:
14874                 case OP_LEAVE:
14875                 case OP_SCOPE:
14876                 case OP_LEAVEWRITE:
14877                     TOPPTR(nss,ix) = ptr;
14878                     o = (OP*)ptr;
14879                     OP_REFCNT_LOCK;
14880                     (void) OpREFCNT_inc(o);
14881                     OP_REFCNT_UNLOCK;
14882                     break;
14883                 default:
14884                     TOPPTR(nss,ix) = NULL;
14885                     break;
14886                 }
14887             }
14888             else
14889                 TOPPTR(nss,ix) = NULL;
14890             break;
14891         case SAVEt_FREECOPHH:
14892             ptr = POPPTR(ss,ix);
14893             TOPPTR(nss,ix) = cophh_copy((COPHH *)ptr);
14894             break;
14895         case SAVEt_ADELETE:
14896             av = (const AV *)POPPTR(ss,ix);
14897             TOPPTR(nss,ix) = av_dup_inc(av, param);
14898             i = POPINT(ss,ix);
14899             TOPINT(nss,ix) = i;
14900             break;
14901         case SAVEt_DELETE:
14902             hv = (const HV *)POPPTR(ss,ix);
14903             TOPPTR(nss,ix) = hv_dup_inc(hv, param);
14904             i = POPINT(ss,ix);
14905             TOPINT(nss,ix) = i;
14906             /* FALLTHROUGH */
14907         case SAVEt_FREEPV:
14908             c = (char*)POPPTR(ss,ix);
14909             TOPPTR(nss,ix) = pv_dup_inc(c);
14910             break;
14911         case SAVEt_STACK_POS:           /* Position on Perl stack */
14912             i = POPINT(ss,ix);
14913             TOPINT(nss,ix) = i;
14914             break;
14915         case SAVEt_DESTRUCTOR:
14916             ptr = POPPTR(ss,ix);
14917             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
14918             dptr = POPDPTR(ss,ix);
14919             TOPDPTR(nss,ix) = DPTR2FPTR(void (*)(void*),
14920                                         any_dup(FPTR2DPTR(void *, dptr),
14921                                                 proto_perl));
14922             break;
14923         case SAVEt_DESTRUCTOR_X:
14924             ptr = POPPTR(ss,ix);
14925             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
14926             dxptr = POPDXPTR(ss,ix);
14927             TOPDXPTR(nss,ix) = DPTR2FPTR(void (*)(pTHX_ void*),
14928                                          any_dup(FPTR2DPTR(void *, dxptr),
14929                                                  proto_perl));
14930             break;
14931         case SAVEt_REGCONTEXT:
14932         case SAVEt_ALLOC:
14933             ix -= uv >> SAVE_TIGHT_SHIFT;
14934             break;
14935         case SAVEt_AELEM:               /* array element */
14936             sv = (const SV *)POPPTR(ss,ix);
14937             TOPPTR(nss,ix) = SvREFCNT_inc(sv_dup_inc(sv, param));
14938             iv = POPIV(ss,ix);
14939             TOPIV(nss,ix) = iv;
14940             av = (const AV *)POPPTR(ss,ix);
14941             TOPPTR(nss,ix) = av_dup_inc(av, param);
14942             break;
14943         case SAVEt_OP:
14944             ptr = POPPTR(ss,ix);
14945             TOPPTR(nss,ix) = ptr;
14946             break;
14947         case SAVEt_HINTS:
14948             ptr = POPPTR(ss,ix);
14949             ptr = cophh_copy((COPHH*)ptr);
14950             TOPPTR(nss,ix) = ptr;
14951             i = POPINT(ss,ix);
14952             TOPINT(nss,ix) = i;
14953             if (i & HINT_LOCALIZE_HH) {
14954                 hv = (const HV *)POPPTR(ss,ix);
14955                 TOPPTR(nss,ix) = hv_dup_inc(hv, param);
14956             }
14957             break;
14958         case SAVEt_PADSV_AND_MORTALIZE:
14959             longval = (long)POPLONG(ss,ix);
14960             TOPLONG(nss,ix) = longval;
14961             ptr = POPPTR(ss,ix);
14962             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
14963             sv = (const SV *)POPPTR(ss,ix);
14964             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
14965             break;
14966         case SAVEt_SET_SVFLAGS:
14967             i = POPINT(ss,ix);
14968             TOPINT(nss,ix) = i;
14969             i = POPINT(ss,ix);
14970             TOPINT(nss,ix) = i;
14971             sv = (const SV *)POPPTR(ss,ix);
14972             TOPPTR(nss,ix) = sv_dup(sv, param);
14973             break;
14974         case SAVEt_COMPILE_WARNINGS:
14975             ptr = POPPTR(ss,ix);
14976             TOPPTR(nss,ix) = DUP_WARNINGS((STRLEN*)ptr);
14977             break;
14978         case SAVEt_PARSER:
14979             ptr = POPPTR(ss,ix);
14980             TOPPTR(nss,ix) = parser_dup((const yy_parser*)ptr, param);
14981             break;
14982         default:
14983             Perl_croak(aTHX_
14984                        "panic: ss_dup inconsistency (%" IVdf ")", (IV) type);
14985         }
14986     }
14987
14988     return nss;
14989 }
14990
14991
14992 /* if sv is a stash, call $class->CLONE_SKIP(), and set the SVphv_CLONEABLE
14993  * flag to the result. This is done for each stash before cloning starts,
14994  * so we know which stashes want their objects cloned */
14995
14996 static void
14997 do_mark_cloneable_stash(pTHX_ SV *const sv)
14998 {
14999     const HEK * const hvname = HvNAME_HEK((const HV *)sv);
15000     if (hvname) {
15001         GV* const cloner = gv_fetchmethod_autoload(MUTABLE_HV(sv), "CLONE_SKIP", 0);
15002         SvFLAGS(sv) |= SVphv_CLONEABLE; /* clone objects by default */
15003         if (cloner && GvCV(cloner)) {
15004             dSP;
15005             UV status;
15006
15007             ENTER;
15008             SAVETMPS;
15009             PUSHMARK(SP);
15010             mXPUSHs(newSVhek(hvname));
15011             PUTBACK;
15012             call_sv(MUTABLE_SV(GvCV(cloner)), G_SCALAR);
15013             SPAGAIN;
15014             status = POPu;
15015             PUTBACK;
15016             FREETMPS;
15017             LEAVE;
15018             if (status)
15019                 SvFLAGS(sv) &= ~SVphv_CLONEABLE;
15020         }
15021     }
15022 }
15023
15024
15025
15026 /*
15027 =for apidoc perl_clone
15028
15029 Create and return a new interpreter by cloning the current one.
15030
15031 C<perl_clone> takes these flags as parameters:
15032
15033 C<CLONEf_COPY_STACKS> - is used to, well, copy the stacks also,
15034 without it we only clone the data and zero the stacks,
15035 with it we copy the stacks and the new perl interpreter is
15036 ready to run at the exact same point as the previous one.
15037 The pseudo-fork code uses C<COPY_STACKS> while the
15038 threads->create doesn't.
15039
15040 C<CLONEf_KEEP_PTR_TABLE> -
15041 C<perl_clone> keeps a ptr_table with the pointer of the old
15042 variable as a key and the new variable as a value,
15043 this allows it to check if something has been cloned and not
15044 clone it again but rather just use the value and increase the
15045 refcount.  If C<KEEP_PTR_TABLE> is not set then C<perl_clone> will kill
15046 the ptr_table using the function
15047 C<ptr_table_free(PL_ptr_table); PL_ptr_table = NULL;>,
15048 reason to keep it around is if you want to dup some of your own
15049 variable who are outside the graph perl scans, an example of this
15050 code is in F<threads.xs> create.
15051
15052 C<CLONEf_CLONE_HOST> -
15053 This is a win32 thing, it is ignored on unix, it tells perls
15054 win32host code (which is c++) to clone itself, this is needed on
15055 win32 if you want to run two threads at the same time,
15056 if you just want to do some stuff in a separate perl interpreter
15057 and then throw it away and return to the original one,
15058 you don't need to do anything.
15059
15060 =cut
15061 */
15062
15063 /* XXX the above needs expanding by someone who actually understands it ! */
15064 EXTERN_C PerlInterpreter *
15065 perl_clone_host(PerlInterpreter* proto_perl, UV flags);
15066
15067 PerlInterpreter *
15068 perl_clone(PerlInterpreter *proto_perl, UV flags)
15069 {
15070    dVAR;
15071 #ifdef PERL_IMPLICIT_SYS
15072
15073     PERL_ARGS_ASSERT_PERL_CLONE;
15074
15075    /* perlhost.h so we need to call into it
15076    to clone the host, CPerlHost should have a c interface, sky */
15077
15078 #ifndef __amigaos4__
15079    if (flags & CLONEf_CLONE_HOST) {
15080        return perl_clone_host(proto_perl,flags);
15081    }
15082 #endif
15083    return perl_clone_using(proto_perl, flags,
15084                             proto_perl->IMem,
15085                             proto_perl->IMemShared,
15086                             proto_perl->IMemParse,
15087                             proto_perl->IEnv,
15088                             proto_perl->IStdIO,
15089                             proto_perl->ILIO,
15090                             proto_perl->IDir,
15091                             proto_perl->ISock,
15092                             proto_perl->IProc);
15093 }
15094
15095 PerlInterpreter *
15096 perl_clone_using(PerlInterpreter *proto_perl, UV flags,
15097                  struct IPerlMem* ipM, struct IPerlMem* ipMS,
15098                  struct IPerlMem* ipMP, struct IPerlEnv* ipE,
15099                  struct IPerlStdIO* ipStd, struct IPerlLIO* ipLIO,
15100                  struct IPerlDir* ipD, struct IPerlSock* ipS,
15101                  struct IPerlProc* ipP)
15102 {
15103     /* XXX many of the string copies here can be optimized if they're
15104      * constants; they need to be allocated as common memory and just
15105      * their pointers copied. */
15106
15107     IV i;
15108     CLONE_PARAMS clone_params;
15109     CLONE_PARAMS* const param = &clone_params;
15110
15111     PerlInterpreter * const my_perl = (PerlInterpreter*)(*ipM->pMalloc)(ipM, sizeof(PerlInterpreter));
15112
15113     PERL_ARGS_ASSERT_PERL_CLONE_USING;
15114 #else           /* !PERL_IMPLICIT_SYS */
15115     IV i;
15116     CLONE_PARAMS clone_params;
15117     CLONE_PARAMS* param = &clone_params;
15118     PerlInterpreter * const my_perl = (PerlInterpreter*)PerlMem_malloc(sizeof(PerlInterpreter));
15119
15120     PERL_ARGS_ASSERT_PERL_CLONE;
15121 #endif          /* PERL_IMPLICIT_SYS */
15122
15123     /* for each stash, determine whether its objects should be cloned */
15124     S_visit(proto_perl, do_mark_cloneable_stash, SVt_PVHV, SVTYPEMASK);
15125     PERL_SET_THX(my_perl);
15126
15127 #ifdef DEBUGGING
15128     PoisonNew(my_perl, 1, PerlInterpreter);
15129     PL_op = NULL;
15130     PL_curcop = NULL;
15131     PL_defstash = NULL; /* may be used by perl malloc() */
15132     PL_markstack = 0;
15133     PL_scopestack = 0;
15134     PL_scopestack_name = 0;
15135     PL_savestack = 0;
15136     PL_savestack_ix = 0;
15137     PL_savestack_max = -1;
15138     PL_sig_pending = 0;
15139     PL_parser = NULL;
15140     Zero(&PL_debug_pad, 1, struct perl_debug_pad);
15141     Zero(&PL_padname_undef, 1, PADNAME);
15142     Zero(&PL_padname_const, 1, PADNAME);
15143 #  ifdef DEBUG_LEAKING_SCALARS
15144     PL_sv_serial = (((UV)my_perl >> 2) & 0xfff) * 1000000;
15145 #  endif
15146 #  ifdef PERL_TRACE_OPS
15147     Zero(PL_op_exec_cnt, OP_max+2, UV);
15148 #  endif
15149 #else   /* !DEBUGGING */
15150     Zero(my_perl, 1, PerlInterpreter);
15151 #endif  /* DEBUGGING */
15152
15153 #ifdef PERL_IMPLICIT_SYS
15154     /* host pointers */
15155     PL_Mem              = ipM;
15156     PL_MemShared        = ipMS;
15157     PL_MemParse         = ipMP;
15158     PL_Env              = ipE;
15159     PL_StdIO            = ipStd;
15160     PL_LIO              = ipLIO;
15161     PL_Dir              = ipD;
15162     PL_Sock             = ipS;
15163     PL_Proc             = ipP;
15164 #endif          /* PERL_IMPLICIT_SYS */
15165
15166
15167     param->flags = flags;
15168     /* Nothing in the core code uses this, but we make it available to
15169        extensions (using mg_dup).  */
15170     param->proto_perl = proto_perl;
15171     /* Likely nothing will use this, but it is initialised to be consistent
15172        with Perl_clone_params_new().  */
15173     param->new_perl = my_perl;
15174     param->unreferenced = NULL;
15175
15176
15177     INIT_TRACK_MEMPOOL(my_perl->Imemory_debug_header, my_perl);
15178
15179     PL_body_arenas = NULL;
15180     Zero(&PL_body_roots, 1, PL_body_roots);
15181     
15182     PL_sv_count         = 0;
15183     PL_sv_root          = NULL;
15184     PL_sv_arenaroot     = NULL;
15185
15186     PL_debug            = proto_perl->Idebug;
15187
15188     /* dbargs array probably holds garbage */
15189     PL_dbargs           = NULL;
15190
15191     PL_compiling = proto_perl->Icompiling;
15192
15193     /* pseudo environmental stuff */
15194     PL_origargc         = proto_perl->Iorigargc;
15195     PL_origargv         = proto_perl->Iorigargv;
15196
15197 #ifndef NO_TAINT_SUPPORT
15198     /* Set tainting stuff before PerlIO_debug can possibly get called */
15199     PL_tainting         = proto_perl->Itainting;
15200     PL_taint_warn       = proto_perl->Itaint_warn;
15201 #else
15202     PL_tainting         = FALSE;
15203     PL_taint_warn       = FALSE;
15204 #endif
15205
15206     PL_minus_c          = proto_perl->Iminus_c;
15207
15208     PL_localpatches     = proto_perl->Ilocalpatches;
15209     PL_splitstr         = proto_perl->Isplitstr;
15210     PL_minus_n          = proto_perl->Iminus_n;
15211     PL_minus_p          = proto_perl->Iminus_p;
15212     PL_minus_l          = proto_perl->Iminus_l;
15213     PL_minus_a          = proto_perl->Iminus_a;
15214     PL_minus_E          = proto_perl->Iminus_E;
15215     PL_minus_F          = proto_perl->Iminus_F;
15216     PL_doswitches       = proto_perl->Idoswitches;
15217     PL_dowarn           = proto_perl->Idowarn;
15218 #ifdef PERL_SAWAMPERSAND
15219     PL_sawampersand     = proto_perl->Isawampersand;
15220 #endif
15221     PL_unsafe           = proto_perl->Iunsafe;
15222     PL_perldb           = proto_perl->Iperldb;
15223     PL_perl_destruct_level = proto_perl->Iperl_destruct_level;
15224     PL_exit_flags       = proto_perl->Iexit_flags;
15225
15226     /* XXX time(&PL_basetime) when asked for? */
15227     PL_basetime         = proto_perl->Ibasetime;
15228
15229     PL_maxsysfd         = proto_perl->Imaxsysfd;
15230     PL_statusvalue      = proto_perl->Istatusvalue;
15231 #ifdef __VMS
15232     PL_statusvalue_vms  = proto_perl->Istatusvalue_vms;
15233 #else
15234     PL_statusvalue_posix = proto_perl->Istatusvalue_posix;
15235 #endif
15236
15237     /* RE engine related */
15238     PL_regmatch_slab    = NULL;
15239     PL_reg_curpm        = NULL;
15240
15241     PL_sub_generation   = proto_perl->Isub_generation;
15242
15243     /* funky return mechanisms */
15244     PL_forkprocess      = proto_perl->Iforkprocess;
15245
15246     /* internal state */
15247     PL_main_start       = proto_perl->Imain_start;
15248     PL_eval_root        = proto_perl->Ieval_root;
15249     PL_eval_start       = proto_perl->Ieval_start;
15250
15251     PL_filemode         = proto_perl->Ifilemode;
15252     PL_lastfd           = proto_perl->Ilastfd;
15253     PL_oldname          = proto_perl->Ioldname;         /* XXX not quite right */
15254     PL_gensym           = proto_perl->Igensym;
15255
15256     PL_laststatval      = proto_perl->Ilaststatval;
15257     PL_laststype        = proto_perl->Ilaststype;
15258     PL_mess_sv          = NULL;
15259
15260     PL_profiledata      = NULL;
15261
15262     PL_generation       = proto_perl->Igeneration;
15263
15264     PL_in_clean_objs    = proto_perl->Iin_clean_objs;
15265     PL_in_clean_all     = proto_perl->Iin_clean_all;
15266
15267     PL_delaymagic_uid   = proto_perl->Idelaymagic_uid;
15268     PL_delaymagic_euid  = proto_perl->Idelaymagic_euid;
15269     PL_delaymagic_gid   = proto_perl->Idelaymagic_gid;
15270     PL_delaymagic_egid  = proto_perl->Idelaymagic_egid;
15271     PL_nomemok          = proto_perl->Inomemok;
15272     PL_an               = proto_perl->Ian;
15273     PL_evalseq          = proto_perl->Ievalseq;
15274     PL_origenviron      = proto_perl->Iorigenviron;     /* XXX not quite right */
15275     PL_origalen         = proto_perl->Iorigalen;
15276
15277     PL_sighandlerp      = proto_perl->Isighandlerp;
15278
15279     PL_runops           = proto_perl->Irunops;
15280
15281     PL_subline          = proto_perl->Isubline;
15282
15283     PL_cv_has_eval      = proto_perl->Icv_has_eval;
15284
15285 #ifdef FCRYPT
15286     PL_cryptseen        = proto_perl->Icryptseen;
15287 #endif
15288
15289 #ifdef USE_LOCALE_COLLATE
15290     PL_collation_ix     = proto_perl->Icollation_ix;
15291     PL_collation_standard       = proto_perl->Icollation_standard;
15292     PL_collxfrm_base    = proto_perl->Icollxfrm_base;
15293     PL_collxfrm_mult    = proto_perl->Icollxfrm_mult;
15294     PL_strxfrm_max_cp   = proto_perl->Istrxfrm_max_cp;
15295 #endif /* USE_LOCALE_COLLATE */
15296
15297 #ifdef USE_LOCALE_NUMERIC
15298     PL_numeric_standard = proto_perl->Inumeric_standard;
15299     PL_numeric_underlying       = proto_perl->Inumeric_underlying;
15300     PL_numeric_underlying_is_standard   = proto_perl->Inumeric_underlying_is_standard;
15301 #endif /* !USE_LOCALE_NUMERIC */
15302
15303     /* Did the locale setup indicate UTF-8? */
15304     PL_utf8locale       = proto_perl->Iutf8locale;
15305     PL_in_utf8_CTYPE_locale = proto_perl->Iin_utf8_CTYPE_locale;
15306     PL_in_utf8_COLLATE_locale = proto_perl->Iin_utf8_COLLATE_locale;
15307     my_strlcpy(PL_locale_utf8ness, proto_perl->Ilocale_utf8ness, sizeof(PL_locale_utf8ness));
15308 #if defined(USE_ITHREADS) && ! defined(USE_THREAD_SAFE_LOCALE)
15309     PL_lc_numeric_mutex_depth = 0;
15310 #endif
15311     /* Unicode features (see perlrun/-C) */
15312     PL_unicode          = proto_perl->Iunicode;
15313
15314     /* Pre-5.8 signals control */
15315     PL_signals          = proto_perl->Isignals;
15316
15317     /* times() ticks per second */
15318     PL_clocktick        = proto_perl->Iclocktick;
15319
15320     /* Recursion stopper for PerlIO_find_layer */
15321     PL_in_load_module   = proto_perl->Iin_load_module;
15322
15323     /* sort() routine */
15324     PL_sort_RealCmp     = proto_perl->Isort_RealCmp;
15325
15326     /* Not really needed/useful since the reenrant_retint is "volatile",
15327      * but do it for consistency's sake. */
15328     PL_reentrant_retint = proto_perl->Ireentrant_retint;
15329
15330     /* Hooks to shared SVs and locks. */
15331     PL_sharehook        = proto_perl->Isharehook;
15332     PL_lockhook         = proto_perl->Ilockhook;
15333     PL_unlockhook       = proto_perl->Iunlockhook;
15334     PL_threadhook       = proto_perl->Ithreadhook;
15335     PL_destroyhook      = proto_perl->Idestroyhook;
15336     PL_signalhook       = proto_perl->Isignalhook;
15337
15338     PL_globhook         = proto_perl->Iglobhook;
15339
15340     /* swatch cache */
15341     PL_last_swash_hv    = NULL; /* reinits on demand */
15342     PL_last_swash_klen  = 0;
15343     PL_last_swash_key[0]= '\0';
15344     PL_last_swash_tmps  = (U8*)NULL;
15345     PL_last_swash_slen  = 0;
15346
15347     PL_srand_called     = proto_perl->Isrand_called;
15348     Copy(&(proto_perl->Irandom_state), &PL_random_state, 1, PL_RANDOM_STATE_TYPE);
15349
15350     if (flags & CLONEf_COPY_STACKS) {
15351         /* next allocation will be PL_tmps_stack[PL_tmps_ix+1] */
15352         PL_tmps_ix              = proto_perl->Itmps_ix;
15353         PL_tmps_max             = proto_perl->Itmps_max;
15354         PL_tmps_floor           = proto_perl->Itmps_floor;
15355
15356         /* next push_scope()/ENTER sets PL_scopestack[PL_scopestack_ix]
15357          * NOTE: unlike the others! */
15358         PL_scopestack_ix        = proto_perl->Iscopestack_ix;
15359         PL_scopestack_max       = proto_perl->Iscopestack_max;
15360
15361         /* next SSPUSHFOO() sets PL_savestack[PL_savestack_ix]
15362          * NOTE: unlike the others! */
15363         PL_savestack_ix         = proto_perl->Isavestack_ix;
15364         PL_savestack_max        = proto_perl->Isavestack_max;
15365     }
15366
15367     PL_start_env        = proto_perl->Istart_env;       /* XXXXXX */
15368     PL_top_env          = &PL_start_env;
15369
15370     PL_op               = proto_perl->Iop;
15371
15372     PL_Sv               = NULL;
15373     PL_Xpv              = (XPV*)NULL;
15374     my_perl->Ina        = proto_perl->Ina;
15375
15376     PL_statcache        = proto_perl->Istatcache;
15377
15378 #ifndef NO_TAINT_SUPPORT
15379     PL_tainted          = proto_perl->Itainted;
15380 #else
15381     PL_tainted          = FALSE;
15382 #endif
15383     PL_curpm            = proto_perl->Icurpm;   /* XXX No PMOP ref count */
15384
15385     PL_chopset          = proto_perl->Ichopset; /* XXX never deallocated */
15386
15387     PL_restartjmpenv    = proto_perl->Irestartjmpenv;
15388     PL_restartop        = proto_perl->Irestartop;
15389     PL_in_eval          = proto_perl->Iin_eval;
15390     PL_delaymagic       = proto_perl->Idelaymagic;
15391     PL_phase            = proto_perl->Iphase;
15392     PL_localizing       = proto_perl->Ilocalizing;
15393
15394     PL_hv_fetch_ent_mh  = NULL;
15395     PL_modcount         = proto_perl->Imodcount;
15396     PL_lastgotoprobe    = NULL;
15397     PL_dumpindent       = proto_perl->Idumpindent;
15398
15399     PL_efloatbuf        = NULL;         /* reinits on demand */
15400     PL_efloatsize       = 0;                    /* reinits on demand */
15401
15402     /* regex stuff */
15403
15404     PL_colorset         = 0;            /* reinits PL_colors[] */
15405     /*PL_colors[6]      = {0,0,0,0,0,0};*/
15406
15407     /* Pluggable optimizer */
15408     PL_peepp            = proto_perl->Ipeepp;
15409     PL_rpeepp           = proto_perl->Irpeepp;
15410     /* op_free() hook */
15411     PL_opfreehook       = proto_perl->Iopfreehook;
15412
15413 #ifdef USE_REENTRANT_API
15414     /* XXX: things like -Dm will segfault here in perlio, but doing
15415      *  PERL_SET_CONTEXT(proto_perl);
15416      * breaks too many other things
15417      */
15418     Perl_reentrant_init(aTHX);
15419 #endif
15420
15421     /* create SV map for pointer relocation */
15422     PL_ptr_table = ptr_table_new();
15423
15424     /* initialize these special pointers as early as possible */
15425     init_constants();
15426     ptr_table_store(PL_ptr_table, &proto_perl->Isv_undef, &PL_sv_undef);
15427     ptr_table_store(PL_ptr_table, &proto_perl->Isv_no, &PL_sv_no);
15428     ptr_table_store(PL_ptr_table, &proto_perl->Isv_zero, &PL_sv_zero);
15429     ptr_table_store(PL_ptr_table, &proto_perl->Isv_yes, &PL_sv_yes);
15430     ptr_table_store(PL_ptr_table, &proto_perl->Ipadname_const,
15431                     &PL_padname_const);
15432
15433     /* create (a non-shared!) shared string table */
15434     PL_strtab           = newHV();
15435     HvSHAREKEYS_off(PL_strtab);
15436     hv_ksplit(PL_strtab, HvTOTALKEYS(proto_perl->Istrtab));
15437     ptr_table_store(PL_ptr_table, proto_perl->Istrtab, PL_strtab);
15438
15439     Zero(PL_sv_consts, SV_CONSTS_COUNT, SV*);
15440
15441     /* This PV will be free'd special way so must set it same way op.c does */
15442     PL_compiling.cop_file    = savesharedpv(PL_compiling.cop_file);
15443     ptr_table_store(PL_ptr_table, proto_perl->Icompiling.cop_file, PL_compiling.cop_file);
15444
15445     ptr_table_store(PL_ptr_table, &proto_perl->Icompiling, &PL_compiling);
15446     PL_compiling.cop_warnings = DUP_WARNINGS(PL_compiling.cop_warnings);
15447     CopHINTHASH_set(&PL_compiling, cophh_copy(CopHINTHASH_get(&PL_compiling)));
15448     PL_curcop           = (COP*)any_dup(proto_perl->Icurcop, proto_perl);
15449
15450     param->stashes      = newAV();  /* Setup array of objects to call clone on */
15451     /* This makes no difference to the implementation, as it always pushes
15452        and shifts pointers to other SVs without changing their reference
15453        count, with the array becoming empty before it is freed. However, it
15454        makes it conceptually clear what is going on, and will avoid some
15455        work inside av.c, filling slots between AvFILL() and AvMAX() with
15456        &PL_sv_undef, and SvREFCNT_dec()ing those.  */
15457     AvREAL_off(param->stashes);
15458
15459     if (!(flags & CLONEf_COPY_STACKS)) {
15460         param->unreferenced = newAV();
15461     }
15462
15463 #ifdef PERLIO_LAYERS
15464     /* Clone PerlIO tables as soon as we can handle general xx_dup() */
15465     PerlIO_clone(aTHX_ proto_perl, param);
15466 #endif
15467
15468     PL_envgv            = gv_dup_inc(proto_perl->Ienvgv, param);
15469     PL_incgv            = gv_dup_inc(proto_perl->Iincgv, param);
15470     PL_hintgv           = gv_dup_inc(proto_perl->Ihintgv, param);
15471     PL_origfilename     = SAVEPV(proto_perl->Iorigfilename);
15472     PL_xsubfilename     = proto_perl->Ixsubfilename;
15473     PL_diehook          = sv_dup_inc(proto_perl->Idiehook, param);
15474     PL_warnhook         = sv_dup_inc(proto_perl->Iwarnhook, param);
15475
15476     /* switches */
15477     PL_patchlevel       = sv_dup_inc(proto_perl->Ipatchlevel, param);
15478     PL_inplace          = SAVEPV(proto_perl->Iinplace);
15479     PL_e_script         = sv_dup_inc(proto_perl->Ie_script, param);
15480
15481     /* magical thingies */
15482
15483     SvPVCLEAR(PERL_DEBUG_PAD(0));        /* For regex debugging. */
15484     SvPVCLEAR(PERL_DEBUG_PAD(1));        /* ext/re needs these */
15485     SvPVCLEAR(PERL_DEBUG_PAD(2));        /* even without DEBUGGING. */
15486
15487    
15488     /* Clone the regex array */
15489     /* ORANGE FIXME for plugins, probably in the SV dup code.
15490        newSViv(PTR2IV(CALLREGDUPE(
15491        INT2PTR(REGEXP *, SvIVX(regex)), param))))
15492     */
15493     PL_regex_padav = av_dup_inc(proto_perl->Iregex_padav, param);
15494     PL_regex_pad = AvARRAY(PL_regex_padav);
15495
15496     PL_stashpadmax      = proto_perl->Istashpadmax;
15497     PL_stashpadix       = proto_perl->Istashpadix ;
15498     Newx(PL_stashpad, PL_stashpadmax, HV *);
15499     {
15500         PADOFFSET o = 0;
15501         for (; o < PL_stashpadmax; ++o)
15502             PL_stashpad[o] = hv_dup(proto_perl->Istashpad[o], param);
15503     }
15504
15505     /* shortcuts to various I/O objects */
15506     PL_ofsgv            = gv_dup_inc(proto_perl->Iofsgv, param);
15507     PL_stdingv          = gv_dup(proto_perl->Istdingv, param);
15508     PL_stderrgv         = gv_dup(proto_perl->Istderrgv, param);
15509     PL_defgv            = gv_dup(proto_perl->Idefgv, param);
15510     PL_argvgv           = gv_dup_inc(proto_perl->Iargvgv, param);
15511     PL_argvoutgv        = gv_dup(proto_perl->Iargvoutgv, param);
15512     PL_argvout_stack    = av_dup_inc(proto_perl->Iargvout_stack, param);
15513
15514     /* shortcuts to regexp stuff */
15515     PL_replgv           = gv_dup_inc(proto_perl->Ireplgv, param);
15516
15517     /* shortcuts to misc objects */
15518     PL_errgv            = gv_dup(proto_perl->Ierrgv, param);
15519
15520     /* shortcuts to debugging objects */
15521     PL_DBgv             = gv_dup_inc(proto_perl->IDBgv, param);
15522     PL_DBline           = gv_dup_inc(proto_perl->IDBline, param);
15523     PL_DBsub            = gv_dup_inc(proto_perl->IDBsub, param);
15524     PL_DBsingle         = sv_dup(proto_perl->IDBsingle, param);
15525     PL_DBtrace          = sv_dup(proto_perl->IDBtrace, param);
15526     PL_DBsignal         = sv_dup(proto_perl->IDBsignal, param);
15527     Copy(proto_perl->IDBcontrol, PL_DBcontrol, DBVARMG_COUNT, IV);
15528
15529     /* symbol tables */
15530     PL_defstash         = hv_dup_inc(proto_perl->Idefstash, param);
15531     PL_curstash         = hv_dup_inc(proto_perl->Icurstash, param);
15532     PL_debstash         = hv_dup(proto_perl->Idebstash, param);
15533     PL_globalstash      = hv_dup(proto_perl->Iglobalstash, param);
15534     PL_curstname        = sv_dup_inc(proto_perl->Icurstname, param);
15535
15536     PL_beginav          = av_dup_inc(proto_perl->Ibeginav, param);
15537     PL_beginav_save     = av_dup_inc(proto_perl->Ibeginav_save, param);
15538     PL_checkav_save     = av_dup_inc(proto_perl->Icheckav_save, param);
15539     PL_unitcheckav      = av_dup_inc(proto_perl->Iunitcheckav, param);
15540     PL_unitcheckav_save = av_dup_inc(proto_perl->Iunitcheckav_save, param);
15541     PL_endav            = av_dup_inc(proto_perl->Iendav, param);
15542     PL_checkav          = av_dup_inc(proto_perl->Icheckav, param);
15543     PL_initav           = av_dup_inc(proto_perl->Iinitav, param);
15544     PL_savebegin        = proto_perl->Isavebegin;
15545
15546     PL_isarev           = hv_dup_inc(proto_perl->Iisarev, param);
15547
15548     /* subprocess state */
15549     PL_fdpid            = av_dup_inc(proto_perl->Ifdpid, param);
15550
15551     if (proto_perl->Iop_mask)
15552         PL_op_mask      = SAVEPVN(proto_perl->Iop_mask, PL_maxo);
15553     else
15554         PL_op_mask      = NULL;
15555     /* PL_asserting        = proto_perl->Iasserting; */
15556
15557     /* current interpreter roots */
15558     PL_main_cv          = cv_dup_inc(proto_perl->Imain_cv, param);
15559     OP_REFCNT_LOCK;
15560     PL_main_root        = OpREFCNT_inc(proto_perl->Imain_root);
15561     OP_REFCNT_UNLOCK;
15562
15563     /* runtime control stuff */
15564     PL_curcopdb         = (COP*)any_dup(proto_perl->Icurcopdb, proto_perl);
15565
15566     PL_preambleav       = av_dup_inc(proto_perl->Ipreambleav, param);
15567
15568     PL_ors_sv           = sv_dup_inc(proto_perl->Iors_sv, param);
15569
15570     /* interpreter atexit processing */
15571     PL_exitlistlen      = proto_perl->Iexitlistlen;
15572     if (PL_exitlistlen) {
15573         Newx(PL_exitlist, PL_exitlistlen, PerlExitListEntry);
15574         Copy(proto_perl->Iexitlist, PL_exitlist, PL_exitlistlen, PerlExitListEntry);
15575     }
15576     else
15577         PL_exitlist     = (PerlExitListEntry*)NULL;
15578
15579     PL_my_cxt_size = proto_perl->Imy_cxt_size;
15580     if (PL_my_cxt_size) {
15581         Newx(PL_my_cxt_list, PL_my_cxt_size, void *);
15582         Copy(proto_perl->Imy_cxt_list, PL_my_cxt_list, PL_my_cxt_size, void *);
15583     }
15584     else {
15585         PL_my_cxt_list  = (void**)NULL;
15586     }
15587     PL_modglobal        = hv_dup_inc(proto_perl->Imodglobal, param);
15588     PL_custom_op_names  = hv_dup_inc(proto_perl->Icustom_op_names,param);
15589     PL_custom_op_descs  = hv_dup_inc(proto_perl->Icustom_op_descs,param);
15590     PL_custom_ops       = hv_dup_inc(proto_perl->Icustom_ops, param);
15591
15592     PL_compcv                   = cv_dup(proto_perl->Icompcv, param);
15593
15594     PAD_CLONE_VARS(proto_perl, param);
15595
15596 #ifdef HAVE_INTERP_INTERN
15597     sys_intern_dup(&proto_perl->Isys_intern, &PL_sys_intern);
15598 #endif
15599
15600     PL_DBcv             = cv_dup(proto_perl->IDBcv, param);
15601
15602 #ifdef PERL_USES_PL_PIDSTATUS
15603     PL_pidstatus        = newHV();                      /* XXX flag for cloning? */
15604 #endif
15605     PL_osname           = SAVEPV(proto_perl->Iosname);
15606     PL_parser           = parser_dup(proto_perl->Iparser, param);
15607
15608     /* XXX this only works if the saved cop has already been cloned */
15609     if (proto_perl->Iparser) {
15610         PL_parser->saved_curcop = (COP*)any_dup(
15611                                     proto_perl->Iparser->saved_curcop,
15612                                     proto_perl);
15613     }
15614
15615     PL_subname          = sv_dup_inc(proto_perl->Isubname, param);
15616
15617 #if   defined(USE_POSIX_2008_LOCALE)      \
15618  &&   defined(USE_THREAD_SAFE_LOCALE)     \
15619  && ! defined(HAS_QUERYLOCALE)
15620     for (i = 0; i < (int) C_ARRAY_LENGTH(PL_curlocales); i++) {
15621         PL_curlocales[i] = savepv("."); /* An illegal value */
15622     }
15623 #endif
15624 #ifdef USE_LOCALE_CTYPE
15625     /* Should we warn if uses locale? */
15626     PL_warn_locale      = sv_dup_inc(proto_perl->Iwarn_locale, param);
15627 #endif
15628
15629 #ifdef USE_LOCALE_COLLATE
15630     PL_collation_name   = SAVEPV(proto_perl->Icollation_name);
15631 #endif /* USE_LOCALE_COLLATE */
15632
15633 #ifdef USE_LOCALE_NUMERIC
15634     PL_numeric_name     = SAVEPV(proto_perl->Inumeric_name);
15635     PL_numeric_radix_sv = sv_dup_inc(proto_perl->Inumeric_radix_sv, param);
15636
15637 #  if defined(HAS_POSIX_2008_LOCALE)
15638     PL_underlying_numeric_obj = NULL;
15639 #  endif
15640 #endif /* !USE_LOCALE_NUMERIC */
15641
15642     PL_langinfo_buf = NULL;
15643     PL_langinfo_bufsize = 0;
15644
15645     PL_setlocale_buf = NULL;
15646     PL_setlocale_bufsize = 0;
15647
15648     /* utf8 character class swashes */
15649     PL_seen_deprecated_macro = hv_dup_inc(proto_perl->Iseen_deprecated_macro, param);
15650
15651     if (proto_perl->Ipsig_pend) {
15652         Newxz(PL_psig_pend, SIG_SIZE, int);
15653     }
15654     else {
15655         PL_psig_pend    = (int*)NULL;
15656     }
15657
15658     if (proto_perl->Ipsig_name) {
15659         Newx(PL_psig_name, 2 * SIG_SIZE, SV*);
15660         sv_dup_inc_multiple(proto_perl->Ipsig_name, PL_psig_name, 2 * SIG_SIZE,
15661                             param);
15662         PL_psig_ptr = PL_psig_name + SIG_SIZE;
15663     }
15664     else {
15665         PL_psig_ptr     = (SV**)NULL;
15666         PL_psig_name    = (SV**)NULL;
15667     }
15668
15669     if (flags & CLONEf_COPY_STACKS) {
15670         Newx(PL_tmps_stack, PL_tmps_max, SV*);
15671         sv_dup_inc_multiple(proto_perl->Itmps_stack, PL_tmps_stack,
15672                             PL_tmps_ix+1, param);
15673
15674         /* next PUSHMARK() sets *(PL_markstack_ptr+1) */
15675         i = proto_perl->Imarkstack_max - proto_perl->Imarkstack;
15676         Newx(PL_markstack, i, I32);
15677         PL_markstack_max        = PL_markstack + (proto_perl->Imarkstack_max
15678                                                   - proto_perl->Imarkstack);
15679         PL_markstack_ptr        = PL_markstack + (proto_perl->Imarkstack_ptr
15680                                                   - proto_perl->Imarkstack);
15681         Copy(proto_perl->Imarkstack, PL_markstack,
15682              PL_markstack_ptr - PL_markstack + 1, I32);
15683
15684         /* next push_scope()/ENTER sets PL_scopestack[PL_scopestack_ix]
15685          * NOTE: unlike the others! */
15686         Newx(PL_scopestack, PL_scopestack_max, I32);
15687         Copy(proto_perl->Iscopestack, PL_scopestack, PL_scopestack_ix, I32);
15688
15689 #ifdef DEBUGGING
15690         Newx(PL_scopestack_name, PL_scopestack_max, const char *);
15691         Copy(proto_perl->Iscopestack_name, PL_scopestack_name, PL_scopestack_ix, const char *);
15692 #endif
15693         /* reset stack AV to correct length before its duped via
15694          * PL_curstackinfo */
15695         AvFILLp(proto_perl->Icurstack) =
15696                             proto_perl->Istack_sp - proto_perl->Istack_base;
15697
15698         /* NOTE: si_dup() looks at PL_markstack */
15699         PL_curstackinfo         = si_dup(proto_perl->Icurstackinfo, param);
15700
15701         /* PL_curstack          = PL_curstackinfo->si_stack; */
15702         PL_curstack             = av_dup(proto_perl->Icurstack, param);
15703         PL_mainstack            = av_dup(proto_perl->Imainstack, param);
15704
15705         /* next PUSHs() etc. set *(PL_stack_sp+1) */
15706         PL_stack_base           = AvARRAY(PL_curstack);
15707         PL_stack_sp             = PL_stack_base + (proto_perl->Istack_sp
15708                                                    - proto_perl->Istack_base);
15709         PL_stack_max            = PL_stack_base + AvMAX(PL_curstack);
15710
15711         /*Newxz(PL_savestack, PL_savestack_max, ANY);*/
15712         PL_savestack            = ss_dup(proto_perl, param);
15713     }
15714     else {
15715         init_stacks();
15716         ENTER;                  /* perl_destruct() wants to LEAVE; */
15717     }
15718
15719     PL_statgv           = gv_dup(proto_perl->Istatgv, param);
15720     PL_statname         = sv_dup_inc(proto_perl->Istatname, param);
15721
15722     PL_rs               = sv_dup_inc(proto_perl->Irs, param);
15723     PL_last_in_gv       = gv_dup(proto_perl->Ilast_in_gv, param);
15724     PL_defoutgv         = gv_dup_inc(proto_perl->Idefoutgv, param);
15725     PL_toptarget        = sv_dup_inc(proto_perl->Itoptarget, param);
15726     PL_bodytarget       = sv_dup_inc(proto_perl->Ibodytarget, param);
15727     PL_formtarget       = sv_dup(proto_perl->Iformtarget, param);
15728
15729     PL_errors           = sv_dup_inc(proto_perl->Ierrors, param);
15730
15731     PL_sortcop          = (OP*)any_dup(proto_perl->Isortcop, proto_perl);
15732     PL_firstgv          = gv_dup_inc(proto_perl->Ifirstgv, param);
15733     PL_secondgv         = gv_dup_inc(proto_perl->Isecondgv, param);
15734
15735     PL_stashcache       = newHV();
15736
15737     PL_watchaddr        = (char **) ptr_table_fetch(PL_ptr_table,
15738                                             proto_perl->Iwatchaddr);
15739     PL_watchok          = PL_watchaddr ? * PL_watchaddr : NULL;
15740     if (PL_debug && PL_watchaddr) {
15741         PerlIO_printf(Perl_debug_log,
15742           "WATCHING: %" UVxf " cloned as %" UVxf " with value %" UVxf "\n",
15743           PTR2UV(proto_perl->Iwatchaddr), PTR2UV(PL_watchaddr),
15744           PTR2UV(PL_watchok));
15745     }
15746
15747     PL_registered_mros  = hv_dup_inc(proto_perl->Iregistered_mros, param);
15748     PL_blockhooks       = av_dup_inc(proto_perl->Iblockhooks, param);
15749
15750     /* Call the ->CLONE method, if it exists, for each of the stashes
15751        identified by sv_dup() above.
15752     */
15753     while(av_tindex(param->stashes) != -1) {
15754         HV* const stash = MUTABLE_HV(av_shift(param->stashes));
15755         GV* const cloner = gv_fetchmethod_autoload(stash, "CLONE", 0);
15756         if (cloner && GvCV(cloner)) {
15757             dSP;
15758             ENTER;
15759             SAVETMPS;
15760             PUSHMARK(SP);
15761             mXPUSHs(newSVhek(HvNAME_HEK(stash)));
15762             PUTBACK;
15763             call_sv(MUTABLE_SV(GvCV(cloner)), G_DISCARD);
15764             FREETMPS;
15765             LEAVE;
15766         }
15767     }
15768
15769     if (!(flags & CLONEf_KEEP_PTR_TABLE)) {
15770         ptr_table_free(PL_ptr_table);
15771         PL_ptr_table = NULL;
15772     }
15773
15774     if (!(flags & CLONEf_COPY_STACKS)) {
15775         unreferenced_to_tmp_stack(param->unreferenced);
15776     }
15777
15778     SvREFCNT_dec(param->stashes);
15779
15780     /* orphaned? eg threads->new inside BEGIN or use */
15781     if (PL_compcv && ! SvREFCNT(PL_compcv)) {
15782         SvREFCNT_inc_simple_void(PL_compcv);
15783         SAVEFREESV(PL_compcv);
15784     }
15785
15786     return my_perl;
15787 }
15788
15789 static void
15790 S_unreferenced_to_tmp_stack(pTHX_ AV *const unreferenced)
15791 {
15792     PERL_ARGS_ASSERT_UNREFERENCED_TO_TMP_STACK;
15793     
15794     if (AvFILLp(unreferenced) > -1) {
15795         SV **svp = AvARRAY(unreferenced);
15796         SV **const last = svp + AvFILLp(unreferenced);
15797         SSize_t count = 0;
15798
15799         do {
15800             if (SvREFCNT(*svp) == 1)
15801                 ++count;
15802         } while (++svp <= last);
15803
15804         EXTEND_MORTAL(count);
15805         svp = AvARRAY(unreferenced);
15806
15807         do {
15808             if (SvREFCNT(*svp) == 1) {
15809                 /* Our reference is the only one to this SV. This means that
15810                    in this thread, the scalar effectively has a 0 reference.
15811                    That doesn't work (cleanup never happens), so donate our
15812                    reference to it onto the save stack. */
15813                 PL_tmps_stack[++PL_tmps_ix] = *svp;
15814             } else {
15815                 /* As an optimisation, because we are already walking the
15816                    entire array, instead of above doing either
15817                    SvREFCNT_inc(*svp) or *svp = &PL_sv_undef, we can instead
15818                    release our reference to the scalar, so that at the end of
15819                    the array owns zero references to the scalars it happens to
15820                    point to. We are effectively converting the array from
15821                    AvREAL() on to AvREAL() off. This saves the av_clear()
15822                    (triggered by the SvREFCNT_dec(unreferenced) below) from
15823                    walking the array a second time.  */
15824                 SvREFCNT_dec(*svp);
15825             }
15826
15827         } while (++svp <= last);
15828         AvREAL_off(unreferenced);
15829     }
15830     SvREFCNT_dec_NN(unreferenced);
15831 }
15832
15833 void
15834 Perl_clone_params_del(CLONE_PARAMS *param)
15835 {
15836     /* This seemingly funky ordering keeps the build with PERL_GLOBAL_STRUCT
15837        happy: */
15838     PerlInterpreter *const to = param->new_perl;
15839     dTHXa(to);
15840     PerlInterpreter *const was = PERL_GET_THX;
15841
15842     PERL_ARGS_ASSERT_CLONE_PARAMS_DEL;
15843
15844     if (was != to) {
15845         PERL_SET_THX(to);
15846     }
15847
15848     SvREFCNT_dec(param->stashes);
15849     if (param->unreferenced)
15850         unreferenced_to_tmp_stack(param->unreferenced);
15851
15852     Safefree(param);
15853
15854     if (was != to) {
15855         PERL_SET_THX(was);
15856     }
15857 }
15858
15859 CLONE_PARAMS *
15860 Perl_clone_params_new(PerlInterpreter *const from, PerlInterpreter *const to)
15861 {
15862     dVAR;
15863     /* Need to play this game, as newAV() can call safesysmalloc(), and that
15864        does a dTHX; to get the context from thread local storage.
15865        FIXME - under PERL_CORE Newx(), Safefree() and friends should expand to
15866        a version that passes in my_perl.  */
15867     PerlInterpreter *const was = PERL_GET_THX;
15868     CLONE_PARAMS *param;
15869
15870     PERL_ARGS_ASSERT_CLONE_PARAMS_NEW;
15871
15872     if (was != to) {
15873         PERL_SET_THX(to);
15874     }
15875
15876     /* Given that we've set the context, we can do this unshared.  */
15877     Newx(param, 1, CLONE_PARAMS);
15878
15879     param->flags = 0;
15880     param->proto_perl = from;
15881     param->new_perl = to;
15882     param->stashes = (AV *)Perl_newSV_type(to, SVt_PVAV);
15883     AvREAL_off(param->stashes);
15884     param->unreferenced = (AV *)Perl_newSV_type(to, SVt_PVAV);
15885
15886     if (was != to) {
15887         PERL_SET_THX(was);
15888     }
15889     return param;
15890 }
15891
15892 #endif /* USE_ITHREADS */
15893
15894 void
15895 Perl_init_constants(pTHX)
15896 {
15897     dVAR;
15898
15899     SvREFCNT(&PL_sv_undef)      = SvREFCNT_IMMORTAL;
15900     SvFLAGS(&PL_sv_undef)       = SVf_READONLY|SVf_PROTECT|SVt_NULL;
15901     SvANY(&PL_sv_undef)         = NULL;
15902
15903     SvANY(&PL_sv_no)            = new_XPVNV();
15904     SvREFCNT(&PL_sv_no)         = SvREFCNT_IMMORTAL;
15905     SvFLAGS(&PL_sv_no)          = SVt_PVNV|SVf_READONLY|SVf_PROTECT
15906                                   |SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
15907                                   |SVp_POK|SVf_POK;
15908
15909     SvANY(&PL_sv_yes)           = new_XPVNV();
15910     SvREFCNT(&PL_sv_yes)        = SvREFCNT_IMMORTAL;
15911     SvFLAGS(&PL_sv_yes)         = SVt_PVNV|SVf_READONLY|SVf_PROTECT
15912                                   |SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
15913                                   |SVp_POK|SVf_POK;
15914
15915     SvANY(&PL_sv_zero)          = new_XPVNV();
15916     SvREFCNT(&PL_sv_zero)       = SvREFCNT_IMMORTAL;
15917     SvFLAGS(&PL_sv_zero)        = SVt_PVNV|SVf_READONLY|SVf_PROTECT
15918                                   |SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
15919                                   |SVp_POK|SVf_POK
15920                                   |SVs_PADTMP;
15921
15922     SvPV_set(&PL_sv_no, (char*)PL_No);
15923     SvCUR_set(&PL_sv_no, 0);
15924     SvLEN_set(&PL_sv_no, 0);
15925     SvIV_set(&PL_sv_no, 0);
15926     SvNV_set(&PL_sv_no, 0);
15927
15928     SvPV_set(&PL_sv_yes, (char*)PL_Yes);
15929     SvCUR_set(&PL_sv_yes, 1);
15930     SvLEN_set(&PL_sv_yes, 0);
15931     SvIV_set(&PL_sv_yes, 1);
15932     SvNV_set(&PL_sv_yes, 1);
15933
15934     SvPV_set(&PL_sv_zero, (char*)PL_Zero);
15935     SvCUR_set(&PL_sv_zero, 1);
15936     SvLEN_set(&PL_sv_zero, 0);
15937     SvIV_set(&PL_sv_zero, 0);
15938     SvNV_set(&PL_sv_zero, 0);
15939
15940     PadnamePV(&PL_padname_const) = (char *)PL_No;
15941
15942     assert(SvIMMORTAL_INTERP(&PL_sv_yes));
15943     assert(SvIMMORTAL_INTERP(&PL_sv_undef));
15944     assert(SvIMMORTAL_INTERP(&PL_sv_no));
15945     assert(SvIMMORTAL_INTERP(&PL_sv_zero));
15946
15947     assert(SvIMMORTAL(&PL_sv_yes));
15948     assert(SvIMMORTAL(&PL_sv_undef));
15949     assert(SvIMMORTAL(&PL_sv_no));
15950     assert(SvIMMORTAL(&PL_sv_zero));
15951
15952     assert( SvIMMORTAL_TRUE(&PL_sv_yes));
15953     assert(!SvIMMORTAL_TRUE(&PL_sv_undef));
15954     assert(!SvIMMORTAL_TRUE(&PL_sv_no));
15955     assert(!SvIMMORTAL_TRUE(&PL_sv_zero));
15956
15957     assert( SvTRUE_nomg_NN(&PL_sv_yes));
15958     assert(!SvTRUE_nomg_NN(&PL_sv_undef));
15959     assert(!SvTRUE_nomg_NN(&PL_sv_no));
15960     assert(!SvTRUE_nomg_NN(&PL_sv_zero));
15961 }
15962
15963 /*
15964 =head1 Unicode Support
15965
15966 =for apidoc sv_recode_to_utf8
15967
15968 C<encoding> is assumed to be an C<Encode> object, on entry the PV
15969 of C<sv> is assumed to be octets in that encoding, and C<sv>
15970 will be converted into Unicode (and UTF-8).
15971
15972 If C<sv> already is UTF-8 (or if it is not C<POK>), or if C<encoding>
15973 is not a reference, nothing is done to C<sv>.  If C<encoding> is not
15974 an C<Encode::XS> Encoding object, bad things will happen.
15975 (See F<cpan/Encode/encoding.pm> and L<Encode>.)
15976
15977 The PV of C<sv> is returned.
15978
15979 =cut */
15980
15981 char *
15982 Perl_sv_recode_to_utf8(pTHX_ SV *sv, SV *encoding)
15983 {
15984     PERL_ARGS_ASSERT_SV_RECODE_TO_UTF8;
15985
15986     if (SvPOK(sv) && !SvUTF8(sv) && !IN_BYTES && SvROK(encoding)) {
15987         SV *uni;
15988         STRLEN len;
15989         const char *s;
15990         dSP;
15991         SV *nsv = sv;
15992         ENTER;
15993         PUSHSTACK;
15994         SAVETMPS;
15995         if (SvPADTMP(nsv)) {
15996             nsv = sv_newmortal();
15997             SvSetSV_nosteal(nsv, sv);
15998         }
15999         save_re_context();
16000         PUSHMARK(sp);
16001         EXTEND(SP, 3);
16002         PUSHs(encoding);
16003         PUSHs(nsv);
16004 /*
16005   NI-S 2002/07/09
16006   Passing sv_yes is wrong - it needs to be or'ed set of constants
16007   for Encode::XS, while UTf-8 decode (currently) assumes a true value means
16008   remove converted chars from source.
16009
16010   Both will default the value - let them.
16011
16012         XPUSHs(&PL_sv_yes);
16013 */
16014         PUTBACK;
16015         call_method("decode", G_SCALAR);
16016         SPAGAIN;
16017         uni = POPs;
16018         PUTBACK;
16019         s = SvPV_const(uni, len);
16020         if (s != SvPVX_const(sv)) {
16021             SvGROW(sv, len + 1);
16022             Move(s, SvPVX(sv), len + 1, char);
16023             SvCUR_set(sv, len);
16024         }
16025         FREETMPS;
16026         POPSTACK;
16027         LEAVE;
16028         if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
16029             /* clear pos and any utf8 cache */
16030             MAGIC * mg = mg_find(sv, PERL_MAGIC_regex_global);
16031             if (mg)
16032                 mg->mg_len = -1;
16033             if ((mg = mg_find(sv, PERL_MAGIC_utf8)))
16034                 magic_setutf8(sv,mg); /* clear UTF8 cache */
16035         }
16036         SvUTF8_on(sv);
16037         return SvPVX(sv);
16038     }
16039     return SvPOKp(sv) ? SvPVX(sv) : NULL;
16040 }
16041
16042 /*
16043 =for apidoc sv_cat_decode
16044
16045 C<encoding> is assumed to be an C<Encode> object, the PV of C<ssv> is
16046 assumed to be octets in that encoding and decoding the input starts
16047 from the position which S<C<(PV + *offset)>> pointed to.  C<dsv> will be
16048 concatenated with the decoded UTF-8 string from C<ssv>.  Decoding will terminate
16049 when the string C<tstr> appears in decoding output or the input ends on
16050 the PV of C<ssv>.  The value which C<offset> points will be modified
16051 to the last input position on C<ssv>.
16052
16053 Returns TRUE if the terminator was found, else returns FALSE.
16054
16055 =cut */
16056
16057 bool
16058 Perl_sv_cat_decode(pTHX_ SV *dsv, SV *encoding,
16059                    SV *ssv, int *offset, char *tstr, int tlen)
16060 {
16061     bool ret = FALSE;
16062
16063     PERL_ARGS_ASSERT_SV_CAT_DECODE;
16064
16065     if (SvPOK(ssv) && SvPOK(dsv) && SvROK(encoding)) {
16066         SV *offsv;
16067         dSP;
16068         ENTER;
16069         SAVETMPS;
16070         save_re_context();
16071         PUSHMARK(sp);
16072         EXTEND(SP, 6);
16073         PUSHs(encoding);
16074         PUSHs(dsv);
16075         PUSHs(ssv);
16076         offsv = newSViv(*offset);
16077         mPUSHs(offsv);
16078         mPUSHp(tstr, tlen);
16079         PUTBACK;
16080         call_method("cat_decode", G_SCALAR);
16081         SPAGAIN;
16082         ret = SvTRUE(TOPs);
16083         *offset = SvIV(offsv);
16084         PUTBACK;
16085         FREETMPS;
16086         LEAVE;
16087     }
16088     else
16089         Perl_croak(aTHX_ "Invalid argument to sv_cat_decode");
16090     return ret;
16091
16092 }
16093
16094 /* ---------------------------------------------------------------------
16095  *
16096  * support functions for report_uninit()
16097  */
16098
16099 /* the maxiumum size of array or hash where we will scan looking
16100  * for the undefined element that triggered the warning */
16101
16102 #define FUV_MAX_SEARCH_SIZE 1000
16103
16104 /* Look for an entry in the hash whose value has the same SV as val;
16105  * If so, return a mortal copy of the key. */
16106
16107 STATIC SV*
16108 S_find_hash_subscript(pTHX_ const HV *const hv, const SV *const val)
16109 {
16110     dVAR;
16111     HE **array;
16112     I32 i;
16113
16114     PERL_ARGS_ASSERT_FIND_HASH_SUBSCRIPT;
16115
16116     if (!hv || SvMAGICAL(hv) || !HvARRAY(hv) ||
16117                         (HvTOTALKEYS(hv) > FUV_MAX_SEARCH_SIZE))
16118         return NULL;
16119
16120     array = HvARRAY(hv);
16121
16122     for (i=HvMAX(hv); i>=0; i--) {
16123         HE *entry;
16124         for (entry = array[i]; entry; entry = HeNEXT(entry)) {
16125             if (HeVAL(entry) != val)
16126                 continue;
16127             if (    HeVAL(entry) == &PL_sv_undef ||
16128                     HeVAL(entry) == &PL_sv_placeholder)
16129                 continue;
16130             if (!HeKEY(entry))
16131                 return NULL;
16132             if (HeKLEN(entry) == HEf_SVKEY)
16133                 return sv_mortalcopy(HeKEY_sv(entry));
16134             return sv_2mortal(newSVhek(HeKEY_hek(entry)));
16135         }
16136     }
16137     return NULL;
16138 }
16139
16140 /* Look for an entry in the array whose value has the same SV as val;
16141  * If so, return the index, otherwise return -1. */
16142
16143 STATIC SSize_t
16144 S_find_array_subscript(pTHX_ const AV *const av, const SV *const val)
16145 {
16146     PERL_ARGS_ASSERT_FIND_ARRAY_SUBSCRIPT;
16147
16148     if (!av || SvMAGICAL(av) || !AvARRAY(av) ||
16149                         (AvFILLp(av) > FUV_MAX_SEARCH_SIZE))
16150         return -1;
16151
16152     if (val != &PL_sv_undef) {
16153         SV ** const svp = AvARRAY(av);
16154         SSize_t i;
16155
16156         for (i=AvFILLp(av); i>=0; i--)
16157             if (svp[i] == val)
16158                 return i;
16159     }
16160     return -1;
16161 }
16162
16163 /* varname(): return the name of a variable, optionally with a subscript.
16164  * If gv is non-zero, use the name of that global, along with gvtype (one
16165  * of "$", "@", "%"); otherwise use the name of the lexical at pad offset
16166  * targ.  Depending on the value of the subscript_type flag, return:
16167  */
16168
16169 #define FUV_SUBSCRIPT_NONE      1       /* "@foo"          */
16170 #define FUV_SUBSCRIPT_ARRAY     2       /* "$foo[aindex]"  */
16171 #define FUV_SUBSCRIPT_HASH      3       /* "$foo{keyname}" */
16172 #define FUV_SUBSCRIPT_WITHIN    4       /* "within @foo"   */
16173
16174 SV*
16175 Perl_varname(pTHX_ const GV *const gv, const char gvtype, PADOFFSET targ,
16176         const SV *const keyname, SSize_t aindex, int subscript_type)
16177 {
16178
16179     SV * const name = sv_newmortal();
16180     if (gv && isGV(gv)) {
16181         char buffer[2];
16182         buffer[0] = gvtype;
16183         buffer[1] = 0;
16184
16185         /* as gv_fullname4(), but add literal '^' for $^FOO names  */
16186
16187         gv_fullname4(name, gv, buffer, 0);
16188
16189         if ((unsigned int)SvPVX(name)[1] <= 26) {
16190             buffer[0] = '^';
16191             buffer[1] = SvPVX(name)[1] + 'A' - 1;
16192
16193             /* Swap the 1 unprintable control character for the 2 byte pretty
16194                version - ie substr($name, 1, 1) = $buffer; */
16195             sv_insert(name, 1, 1, buffer, 2);
16196         }
16197     }
16198     else {
16199         CV * const cv = gv ? ((CV *)gv) : find_runcv(NULL);
16200         PADNAME *sv;
16201
16202         assert(!cv || SvTYPE(cv) == SVt_PVCV || SvTYPE(cv) == SVt_PVFM);
16203
16204         if (!cv || !CvPADLIST(cv))
16205             return NULL;
16206         sv = padnamelist_fetch(PadlistNAMES(CvPADLIST(cv)), targ);
16207         sv_setpvn(name, PadnamePV(sv), PadnameLEN(sv));
16208         SvUTF8_on(name);
16209     }
16210
16211     if (subscript_type == FUV_SUBSCRIPT_HASH) {
16212         SV * const sv = newSV(0);
16213         STRLEN len;
16214         const char * const pv = SvPV_nomg_const((SV*)keyname, len);
16215
16216         *SvPVX(name) = '$';
16217         Perl_sv_catpvf(aTHX_ name, "{%s}",
16218             pv_pretty(sv, pv, len, 32, NULL, NULL,
16219                     PERL_PV_PRETTY_DUMP | PERL_PV_ESCAPE_UNI_DETECT ));
16220         SvREFCNT_dec_NN(sv);
16221     }
16222     else if (subscript_type == FUV_SUBSCRIPT_ARRAY) {
16223         *SvPVX(name) = '$';
16224         Perl_sv_catpvf(aTHX_ name, "[%" IVdf "]", (IV)aindex);
16225     }
16226     else if (subscript_type == FUV_SUBSCRIPT_WITHIN) {
16227         /* We know that name has no magic, so can use 0 instead of SV_GMAGIC */
16228         Perl_sv_insert_flags(aTHX_ name, 0, 0,  STR_WITH_LEN("within "), 0);
16229     }
16230
16231     return name;
16232 }
16233
16234
16235 /*
16236 =for apidoc find_uninit_var
16237
16238 Find the name of the undefined variable (if any) that caused the operator
16239 to issue a "Use of uninitialized value" warning.
16240 If match is true, only return a name if its value matches C<uninit_sv>.
16241 So roughly speaking, if a unary operator (such as C<OP_COS>) generates a
16242 warning, then following the direct child of the op may yield an
16243 C<OP_PADSV> or C<OP_GV> that gives the name of the undefined variable.  On the
16244 other hand, with C<OP_ADD> there are two branches to follow, so we only print
16245 the variable name if we get an exact match.
16246 C<desc_p> points to a string pointer holding the description of the op.
16247 This may be updated if needed.
16248
16249 The name is returned as a mortal SV.
16250
16251 Assumes that C<PL_op> is the OP that originally triggered the error, and that
16252 C<PL_comppad>/C<PL_curpad> points to the currently executing pad.
16253
16254 =cut
16255 */
16256
16257 STATIC SV *
16258 S_find_uninit_var(pTHX_ const OP *const obase, const SV *const uninit_sv,
16259                   bool match, const char **desc_p)
16260 {
16261     dVAR;
16262     SV *sv;
16263     const GV *gv;
16264     const OP *o, *o2, *kid;
16265
16266     PERL_ARGS_ASSERT_FIND_UNINIT_VAR;
16267
16268     if (!obase || (match && (!uninit_sv || uninit_sv == &PL_sv_undef ||
16269                             uninit_sv == &PL_sv_placeholder)))
16270         return NULL;
16271
16272     switch (obase->op_type) {
16273
16274     case OP_UNDEF:
16275         /* undef should care if its args are undef - any warnings
16276          * will be from tied/magic vars */
16277         break;
16278
16279     case OP_RV2AV:
16280     case OP_RV2HV:
16281     case OP_PADAV:
16282     case OP_PADHV:
16283       {
16284         const bool pad  = (    obase->op_type == OP_PADAV
16285                             || obase->op_type == OP_PADHV
16286                             || obase->op_type == OP_PADRANGE
16287                           );
16288
16289         const bool hash = (    obase->op_type == OP_PADHV
16290                             || obase->op_type == OP_RV2HV
16291                             || (obase->op_type == OP_PADRANGE
16292                                 && SvTYPE(PAD_SVl(obase->op_targ)) == SVt_PVHV)
16293                           );
16294         SSize_t index = 0;
16295         SV *keysv = NULL;
16296         int subscript_type = FUV_SUBSCRIPT_WITHIN;
16297
16298         if (pad) { /* @lex, %lex */
16299             sv = PAD_SVl(obase->op_targ);
16300             gv = NULL;
16301         }
16302         else {
16303             if (cUNOPx(obase)->op_first->op_type == OP_GV) {
16304             /* @global, %global */
16305                 gv = cGVOPx_gv(cUNOPx(obase)->op_first);
16306                 if (!gv)
16307                     break;
16308                 sv = hash ? MUTABLE_SV(GvHV(gv)): MUTABLE_SV(GvAV(gv));
16309             }
16310             else if (obase == PL_op) /* @{expr}, %{expr} */
16311                 return find_uninit_var(cUNOPx(obase)->op_first,
16312                                                 uninit_sv, match, desc_p);
16313             else /* @{expr}, %{expr} as a sub-expression */
16314                 return NULL;
16315         }
16316
16317         /* attempt to find a match within the aggregate */
16318         if (hash) {
16319             keysv = find_hash_subscript((const HV*)sv, uninit_sv);
16320             if (keysv)
16321                 subscript_type = FUV_SUBSCRIPT_HASH;
16322         }
16323         else {
16324             index = find_array_subscript((const AV *)sv, uninit_sv);
16325             if (index >= 0)
16326                 subscript_type = FUV_SUBSCRIPT_ARRAY;
16327         }
16328
16329         if (match && subscript_type == FUV_SUBSCRIPT_WITHIN)
16330             break;
16331
16332         return varname(gv, (char)(hash ? '%' : '@'), obase->op_targ,
16333                                     keysv, index, subscript_type);
16334       }
16335
16336     case OP_RV2SV:
16337         if (cUNOPx(obase)->op_first->op_type == OP_GV) {
16338             /* $global */
16339             gv = cGVOPx_gv(cUNOPx(obase)->op_first);
16340             if (!gv || !GvSTASH(gv))
16341                 break;
16342             if (match && (GvSV(gv) != uninit_sv))
16343                 break;
16344             return varname(gv, '$', 0, NULL, 0, FUV_SUBSCRIPT_NONE);
16345         }
16346         /* ${expr} */
16347         return find_uninit_var(cUNOPx(obase)->op_first, uninit_sv, 1, desc_p);
16348
16349     case OP_PADSV:
16350         if (match && PAD_SVl(obase->op_targ) != uninit_sv)
16351             break;
16352         return varname(NULL, '$', obase->op_targ,
16353                                     NULL, 0, FUV_SUBSCRIPT_NONE);
16354
16355     case OP_GVSV:
16356         gv = cGVOPx_gv(obase);
16357         if (!gv || (match && GvSV(gv) != uninit_sv) || !GvSTASH(gv))
16358             break;
16359         return varname(gv, '$', 0, NULL, 0, FUV_SUBSCRIPT_NONE);
16360
16361     case OP_AELEMFAST_LEX:
16362         if (match) {
16363             SV **svp;
16364             AV *av = MUTABLE_AV(PAD_SV(obase->op_targ));
16365             if (!av || SvRMAGICAL(av))
16366                 break;
16367             svp = av_fetch(av, (I8)obase->op_private, FALSE);
16368             if (!svp || *svp != uninit_sv)
16369                 break;
16370         }
16371         return varname(NULL, '$', obase->op_targ,
16372                        NULL, (I8)obase->op_private, FUV_SUBSCRIPT_ARRAY);
16373     case OP_AELEMFAST:
16374         {
16375             gv = cGVOPx_gv(obase);
16376             if (!gv)
16377                 break;
16378             if (match) {
16379                 SV **svp;
16380                 AV *const av = GvAV(gv);
16381                 if (!av || SvRMAGICAL(av))
16382                     break;
16383                 svp = av_fetch(av, (I8)obase->op_private, FALSE);
16384                 if (!svp || *svp != uninit_sv)
16385                     break;
16386             }
16387             return varname(gv, '$', 0,
16388                     NULL, (I8)obase->op_private, FUV_SUBSCRIPT_ARRAY);
16389         }
16390         NOT_REACHED; /* NOTREACHED */
16391
16392     case OP_EXISTS:
16393         o = cUNOPx(obase)->op_first;
16394         if (!o || o->op_type != OP_NULL ||
16395                 ! (o->op_targ == OP_AELEM || o->op_targ == OP_HELEM))
16396             break;
16397         return find_uninit_var(cBINOPo->op_last, uninit_sv, match, desc_p);
16398
16399     case OP_AELEM:
16400     case OP_HELEM:
16401     {
16402         bool negate = FALSE;
16403
16404         if (PL_op == obase)
16405             /* $a[uninit_expr] or $h{uninit_expr} */
16406             return find_uninit_var(cBINOPx(obase)->op_last,
16407                                                 uninit_sv, match, desc_p);
16408
16409         gv = NULL;
16410         o = cBINOPx(obase)->op_first;
16411         kid = cBINOPx(obase)->op_last;
16412
16413         /* get the av or hv, and optionally the gv */
16414         sv = NULL;
16415         if  (o->op_type == OP_PADAV || o->op_type == OP_PADHV) {
16416             sv = PAD_SV(o->op_targ);
16417         }
16418         else if ((o->op_type == OP_RV2AV || o->op_type == OP_RV2HV)
16419                 && cUNOPo->op_first->op_type == OP_GV)
16420         {
16421             gv = cGVOPx_gv(cUNOPo->op_first);
16422             if (!gv)
16423                 break;
16424             sv = o->op_type
16425                 == OP_RV2HV ? MUTABLE_SV(GvHV(gv)) : MUTABLE_SV(GvAV(gv));
16426         }
16427         if (!sv)
16428             break;
16429
16430         if (kid && kid->op_type == OP_NEGATE) {
16431             negate = TRUE;
16432             kid = cUNOPx(kid)->op_first;
16433         }
16434
16435         if (kid && kid->op_type == OP_CONST && SvOK(cSVOPx_sv(kid))) {
16436             /* index is constant */
16437             SV* kidsv;
16438             if (negate) {
16439                 kidsv = newSVpvs_flags("-", SVs_TEMP);
16440                 sv_catsv(kidsv, cSVOPx_sv(kid));
16441             }
16442             else
16443                 kidsv = cSVOPx_sv(kid);
16444             if (match) {
16445                 if (SvMAGICAL(sv))
16446                     break;
16447                 if (obase->op_type == OP_HELEM) {
16448                     HE* he = hv_fetch_ent(MUTABLE_HV(sv), kidsv, 0, 0);
16449                     if (!he || HeVAL(he) != uninit_sv)
16450                         break;
16451                 }
16452                 else {
16453                     SV * const  opsv = cSVOPx_sv(kid);
16454                     const IV  opsviv = SvIV(opsv);
16455                     SV * const * const svp = av_fetch(MUTABLE_AV(sv),
16456                         negate ? - opsviv : opsviv,
16457                         FALSE);
16458                     if (!svp || *svp != uninit_sv)
16459                         break;
16460                 }
16461             }
16462             if (obase->op_type == OP_HELEM)
16463                 return varname(gv, '%', o->op_targ,
16464                             kidsv, 0, FUV_SUBSCRIPT_HASH);
16465             else
16466                 return varname(gv, '@', o->op_targ, NULL,
16467                     negate ? - SvIV(cSVOPx_sv(kid)) : SvIV(cSVOPx_sv(kid)),
16468                     FUV_SUBSCRIPT_ARRAY);
16469         }
16470         else  {
16471             /* index is an expression;
16472              * attempt to find a match within the aggregate */
16473             if (obase->op_type == OP_HELEM) {
16474                 SV * const keysv = find_hash_subscript((const HV*)sv, uninit_sv);
16475                 if (keysv)
16476                     return varname(gv, '%', o->op_targ,
16477                                                 keysv, 0, FUV_SUBSCRIPT_HASH);
16478             }
16479             else {
16480                 const SSize_t index
16481                     = find_array_subscript((const AV *)sv, uninit_sv);
16482                 if (index >= 0)
16483                     return varname(gv, '@', o->op_targ,
16484                                         NULL, index, FUV_SUBSCRIPT_ARRAY);
16485             }
16486             if (match)
16487                 break;
16488             return varname(gv,
16489                 (char)((o->op_type == OP_PADAV || o->op_type == OP_RV2AV)
16490                 ? '@' : '%'),
16491                 o->op_targ, NULL, 0, FUV_SUBSCRIPT_WITHIN);
16492         }
16493         NOT_REACHED; /* NOTREACHED */
16494     }
16495
16496     case OP_MULTIDEREF: {
16497         /* If we were executing OP_MULTIDEREF when the undef warning
16498          * triggered, then it must be one of the index values within
16499          * that triggered it. If not, then the only possibility is that
16500          * the value retrieved by the last aggregate index might be the
16501          * culprit. For the former, we set PL_multideref_pc each time before
16502          * using an index, so work though the item list until we reach
16503          * that point. For the latter, just work through the entire item
16504          * list; the last aggregate retrieved will be the candidate.
16505          * There is a third rare possibility: something triggered
16506          * magic while fetching an array/hash element. Just display
16507          * nothing in this case.
16508          */
16509
16510         /* the named aggregate, if any */
16511         PADOFFSET agg_targ = 0;
16512         GV       *agg_gv   = NULL;
16513         /* the last-seen index */
16514         UV        index_type;
16515         PADOFFSET index_targ;
16516         GV       *index_gv;
16517         IV        index_const_iv = 0; /* init for spurious compiler warn */
16518         SV       *index_const_sv;
16519         int       depth = 0;  /* how many array/hash lookups we've done */
16520
16521         UNOP_AUX_item *items = cUNOP_AUXx(obase)->op_aux;
16522         UNOP_AUX_item *last = NULL;
16523         UV actions = items->uv;
16524         bool is_hv;
16525
16526         if (PL_op == obase) {
16527             last = PL_multideref_pc;
16528             assert(last >= items && last <= items + items[-1].uv);
16529         }
16530
16531         assert(actions);
16532
16533         while (1) {
16534             is_hv = FALSE;
16535             switch (actions & MDEREF_ACTION_MASK) {
16536
16537             case MDEREF_reload:
16538                 actions = (++items)->uv;
16539                 continue;
16540
16541             case MDEREF_HV_padhv_helem:               /* $lex{...} */
16542                 is_hv = TRUE;
16543                 /* FALLTHROUGH */
16544             case MDEREF_AV_padav_aelem:               /* $lex[...] */
16545                 agg_targ = (++items)->pad_offset;
16546                 agg_gv = NULL;
16547                 break;
16548
16549             case MDEREF_HV_gvhv_helem:                /* $pkg{...} */
16550                 is_hv = TRUE;
16551                 /* FALLTHROUGH */
16552             case MDEREF_AV_gvav_aelem:                /* $pkg[...] */
16553                 agg_targ = 0;
16554                 agg_gv = (GV*)UNOP_AUX_item_sv(++items);
16555                 assert(isGV_with_GP(agg_gv));
16556                 break;
16557
16558             case MDEREF_HV_gvsv_vivify_rv2hv_helem:   /* $pkg->{...} */
16559             case MDEREF_HV_padsv_vivify_rv2hv_helem:  /* $lex->{...} */
16560                 ++items;
16561                 /* FALLTHROUGH */
16562             case MDEREF_HV_pop_rv2hv_helem:           /* expr->{...} */
16563             case MDEREF_HV_vivify_rv2hv_helem:        /* vivify, ->{...} */
16564                 agg_targ = 0;
16565                 agg_gv   = NULL;
16566                 is_hv    = TRUE;
16567                 break;
16568
16569             case MDEREF_AV_gvsv_vivify_rv2av_aelem:   /* $pkg->[...] */
16570             case MDEREF_AV_padsv_vivify_rv2av_aelem:  /* $lex->[...] */
16571                 ++items;
16572                 /* FALLTHROUGH */
16573             case MDEREF_AV_pop_rv2av_aelem:           /* expr->[...] */
16574             case MDEREF_AV_vivify_rv2av_aelem:        /* vivify, ->[...] */
16575                 agg_targ = 0;
16576                 agg_gv   = NULL;
16577             } /* switch */
16578
16579             index_targ     = 0;
16580             index_gv       = NULL;
16581             index_const_sv = NULL;
16582
16583             index_type = (actions & MDEREF_INDEX_MASK);
16584             switch (index_type) {
16585             case MDEREF_INDEX_none:
16586                 break;
16587             case MDEREF_INDEX_const:
16588                 if (is_hv)
16589                     index_const_sv = UNOP_AUX_item_sv(++items)
16590                 else
16591                     index_const_iv = (++items)->iv;
16592                 break;
16593             case MDEREF_INDEX_padsv:
16594                 index_targ = (++items)->pad_offset;
16595                 break;
16596             case MDEREF_INDEX_gvsv:
16597                 index_gv = (GV*)UNOP_AUX_item_sv(++items);
16598                 assert(isGV_with_GP(index_gv));
16599                 break;
16600             }
16601
16602             if (index_type != MDEREF_INDEX_none)
16603                 depth++;
16604
16605             if (   index_type == MDEREF_INDEX_none
16606                 || (actions & MDEREF_FLAG_last)
16607                 || (last && items >= last)
16608             )
16609                 break;
16610
16611             actions >>= MDEREF_SHIFT;
16612         } /* while */
16613
16614         if (PL_op == obase) {
16615             /* most likely index was undef */
16616
16617             *desc_p = (    (actions & MDEREF_FLAG_last)
16618                         && (obase->op_private
16619                                 & (OPpMULTIDEREF_EXISTS|OPpMULTIDEREF_DELETE)))
16620                         ?
16621                             (obase->op_private & OPpMULTIDEREF_EXISTS)
16622                                 ? "exists"
16623                                 : "delete"
16624                         : is_hv ? "hash element" : "array element";
16625             assert(index_type != MDEREF_INDEX_none);
16626             if (index_gv) {
16627                 if (GvSV(index_gv) == uninit_sv)
16628                     return varname(index_gv, '$', 0, NULL, 0,
16629                                                     FUV_SUBSCRIPT_NONE);
16630                 else
16631                     return NULL;
16632             }
16633             if (index_targ) {
16634                 if (PL_curpad[index_targ] == uninit_sv)
16635                     return varname(NULL, '$', index_targ,
16636                                     NULL, 0, FUV_SUBSCRIPT_NONE);
16637                 else
16638                     return NULL;
16639             }
16640             /* If we got to this point it was undef on a const subscript,
16641              * so magic probably involved, e.g. $ISA[0]. Give up. */
16642             return NULL;
16643         }
16644
16645         /* the SV returned by pp_multideref() was undef, if anything was */
16646
16647         if (depth != 1)
16648             break;
16649
16650         if (agg_targ)
16651             sv = PAD_SV(agg_targ);
16652         else if (agg_gv)
16653             sv = is_hv ? MUTABLE_SV(GvHV(agg_gv)) : MUTABLE_SV(GvAV(agg_gv));
16654         else
16655             break;
16656
16657         if (index_type == MDEREF_INDEX_const) {
16658             if (match) {
16659                 if (SvMAGICAL(sv))
16660                     break;
16661                 if (is_hv) {
16662                     HE* he = hv_fetch_ent(MUTABLE_HV(sv), index_const_sv, 0, 0);
16663                     if (!he || HeVAL(he) != uninit_sv)
16664                         break;
16665                 }
16666                 else {
16667                     SV * const * const svp =
16668                             av_fetch(MUTABLE_AV(sv), index_const_iv, FALSE);
16669                     if (!svp || *svp != uninit_sv)
16670                         break;
16671                 }
16672             }
16673             return is_hv
16674                 ? varname(agg_gv, '%', agg_targ,
16675                                 index_const_sv, 0,    FUV_SUBSCRIPT_HASH)
16676                 : varname(agg_gv, '@', agg_targ,
16677                                 NULL, index_const_iv, FUV_SUBSCRIPT_ARRAY);
16678         }
16679         else  {
16680             /* index is an var */
16681             if (is_hv) {
16682                 SV * const keysv = find_hash_subscript((const HV*)sv, uninit_sv);
16683                 if (keysv)
16684                     return varname(agg_gv, '%', agg_targ,
16685                                                 keysv, 0, FUV_SUBSCRIPT_HASH);
16686             }
16687             else {
16688                 const SSize_t index
16689                     = find_array_subscript((const AV *)sv, uninit_sv);
16690                 if (index >= 0)
16691                     return varname(agg_gv, '@', agg_targ,
16692                                         NULL, index, FUV_SUBSCRIPT_ARRAY);
16693             }
16694             if (match)
16695                 break;
16696             return varname(agg_gv,
16697                 is_hv ? '%' : '@',
16698                 agg_targ, NULL, 0, FUV_SUBSCRIPT_WITHIN);
16699         }
16700         NOT_REACHED; /* NOTREACHED */
16701     }
16702
16703     case OP_AASSIGN:
16704         /* only examine RHS */
16705         return find_uninit_var(cBINOPx(obase)->op_first, uninit_sv,
16706                                                                 match, desc_p);
16707
16708     case OP_OPEN:
16709         o = cUNOPx(obase)->op_first;
16710         if (   o->op_type == OP_PUSHMARK
16711            || (o->op_type == OP_NULL && o->op_targ == OP_PUSHMARK)
16712         )
16713             o = OpSIBLING(o);
16714
16715         if (!OpHAS_SIBLING(o)) {
16716             /* one-arg version of open is highly magical */
16717
16718             if (o->op_type == OP_GV) { /* open FOO; */
16719                 gv = cGVOPx_gv(o);
16720                 if (match && GvSV(gv) != uninit_sv)
16721                     break;
16722                 return varname(gv, '$', 0,
16723                             NULL, 0, FUV_SUBSCRIPT_NONE);
16724             }
16725             /* other possibilities not handled are:
16726              * open $x; or open my $x;  should return '${*$x}'
16727              * open expr;               should return '$'.expr ideally
16728              */
16729              break;
16730         }
16731         match = 1;
16732         goto do_op;
16733
16734     /* ops where $_ may be an implicit arg */
16735     case OP_TRANS:
16736     case OP_TRANSR:
16737     case OP_SUBST:
16738     case OP_MATCH:
16739         if ( !(obase->op_flags & OPf_STACKED)) {
16740             if (uninit_sv == DEFSV)
16741                 return newSVpvs_flags("$_", SVs_TEMP);
16742             else if (obase->op_targ
16743                   && uninit_sv == PAD_SVl(obase->op_targ))
16744                 return varname(NULL, '$', obase->op_targ, NULL, 0,
16745                                FUV_SUBSCRIPT_NONE);
16746         }
16747         goto do_op;
16748
16749     case OP_PRTF:
16750     case OP_PRINT:
16751     case OP_SAY:
16752         match = 1; /* print etc can return undef on defined args */
16753         /* skip filehandle as it can't produce 'undef' warning  */
16754         o = cUNOPx(obase)->op_first;
16755         if ((obase->op_flags & OPf_STACKED)
16756             &&
16757                (   o->op_type == OP_PUSHMARK
16758                || (o->op_type == OP_NULL && o->op_targ == OP_PUSHMARK)))
16759             o = OpSIBLING(OpSIBLING(o));
16760         goto do_op2;
16761
16762
16763     case OP_ENTEREVAL: /* could be eval $undef or $x='$undef'; eval $x */
16764     case OP_CUSTOM: /* XS or custom code could trigger random warnings */
16765
16766         /* the following ops are capable of returning PL_sv_undef even for
16767          * defined arg(s) */
16768
16769     case OP_BACKTICK:
16770     case OP_PIPE_OP:
16771     case OP_FILENO:
16772     case OP_BINMODE:
16773     case OP_TIED:
16774     case OP_GETC:
16775     case OP_SYSREAD:
16776     case OP_SEND:
16777     case OP_IOCTL:
16778     case OP_SOCKET:
16779     case OP_SOCKPAIR:
16780     case OP_BIND:
16781     case OP_CONNECT:
16782     case OP_LISTEN:
16783     case OP_ACCEPT:
16784     case OP_SHUTDOWN:
16785     case OP_SSOCKOPT:
16786     case OP_GETPEERNAME:
16787     case OP_FTRREAD:
16788     case OP_FTRWRITE:
16789     case OP_FTREXEC:
16790     case OP_FTROWNED:
16791     case OP_FTEREAD:
16792     case OP_FTEWRITE:
16793     case OP_FTEEXEC:
16794     case OP_FTEOWNED:
16795     case OP_FTIS:
16796     case OP_FTZERO:
16797     case OP_FTSIZE:
16798     case OP_FTFILE:
16799     case OP_FTDIR:
16800     case OP_FTLINK:
16801     case OP_FTPIPE:
16802     case OP_FTSOCK:
16803     case OP_FTBLK:
16804     case OP_FTCHR:
16805     case OP_FTTTY:
16806     case OP_FTSUID:
16807     case OP_FTSGID:
16808     case OP_FTSVTX:
16809     case OP_FTTEXT:
16810     case OP_FTBINARY:
16811     case OP_FTMTIME:
16812     case OP_FTATIME:
16813     case OP_FTCTIME:
16814     case OP_READLINK:
16815     case OP_OPEN_DIR:
16816     case OP_READDIR:
16817     case OP_TELLDIR:
16818     case OP_SEEKDIR:
16819     case OP_REWINDDIR:
16820     case OP_CLOSEDIR:
16821     case OP_GMTIME:
16822     case OP_ALARM:
16823     case OP_SEMGET:
16824     case OP_GETLOGIN:
16825     case OP_SUBSTR:
16826     case OP_AEACH:
16827     case OP_EACH:
16828     case OP_SORT:
16829     case OP_CALLER:
16830     case OP_DOFILE:
16831     case OP_PROTOTYPE:
16832     case OP_NCMP:
16833     case OP_SMARTMATCH:
16834     case OP_UNPACK:
16835     case OP_SYSOPEN:
16836     case OP_SYSSEEK:
16837         match = 1;
16838         goto do_op;
16839
16840     case OP_ENTERSUB:
16841     case OP_GOTO:
16842         /* XXX tmp hack: these two may call an XS sub, and currently
16843           XS subs don't have a SUB entry on the context stack, so CV and
16844           pad determination goes wrong, and BAD things happen. So, just
16845           don't try to determine the value under those circumstances.
16846           Need a better fix at dome point. DAPM 11/2007 */
16847         break;
16848
16849     case OP_FLIP:
16850     case OP_FLOP:
16851     {
16852         GV * const gv = gv_fetchpvs(".", GV_NOTQUAL, SVt_PV);
16853         if (gv && GvSV(gv) == uninit_sv)
16854             return newSVpvs_flags("$.", SVs_TEMP);
16855         goto do_op;
16856     }
16857
16858     case OP_POS:
16859         /* def-ness of rval pos() is independent of the def-ness of its arg */
16860         if ( !(obase->op_flags & OPf_MOD))
16861             break;
16862         /* FALLTHROUGH */
16863
16864     case OP_SCHOMP:
16865     case OP_CHOMP:
16866         if (SvROK(PL_rs) && uninit_sv == SvRV(PL_rs))
16867             return newSVpvs_flags("${$/}", SVs_TEMP);
16868         /* FALLTHROUGH */
16869
16870     default:
16871     do_op:
16872         if (!(obase->op_flags & OPf_KIDS))
16873             break;
16874         o = cUNOPx(obase)->op_first;
16875         
16876     do_op2:
16877         if (!o)
16878             break;
16879
16880         /* This loop checks all the kid ops, skipping any that cannot pos-
16881          * sibly be responsible for the uninitialized value; i.e., defined
16882          * constants and ops that return nothing.  If there is only one op
16883          * left that is not skipped, then we *know* it is responsible for
16884          * the uninitialized value.  If there is more than one op left, we
16885          * have to look for an exact match in the while() loop below.
16886          * Note that we skip padrange, because the individual pad ops that
16887          * it replaced are still in the tree, so we work on them instead.
16888          */
16889         o2 = NULL;
16890         for (kid=o; kid; kid = OpSIBLING(kid)) {
16891             const OPCODE type = kid->op_type;
16892             if ( (type == OP_CONST && SvOK(cSVOPx_sv(kid)))
16893               || (type == OP_NULL  && ! (kid->op_flags & OPf_KIDS))
16894               || (type == OP_PUSHMARK)
16895               || (type == OP_PADRANGE)
16896             )
16897             continue;
16898
16899             if (o2) { /* more than one found */
16900                 o2 = NULL;
16901                 break;
16902             }
16903             o2 = kid;
16904         }
16905         if (o2)
16906             return find_uninit_var(o2, uninit_sv, match, desc_p);
16907
16908         /* scan all args */
16909         while (o) {
16910             sv = find_uninit_var(o, uninit_sv, 1, desc_p);
16911             if (sv)
16912                 return sv;
16913             o = OpSIBLING(o);
16914         }
16915         break;
16916     }
16917     return NULL;
16918 }
16919
16920
16921 /*
16922 =for apidoc report_uninit
16923
16924 Print appropriate "Use of uninitialized variable" warning.
16925
16926 =cut
16927 */
16928
16929 void
16930 Perl_report_uninit(pTHX_ const SV *uninit_sv)
16931 {
16932     const char *desc = NULL;
16933     SV* varname = NULL;
16934
16935     if (PL_op) {
16936         desc = PL_op->op_type == OP_STRINGIFY && PL_op->op_folded
16937                 ? "join or string"
16938                 : PL_op->op_type == OP_MULTICONCAT
16939                     && (PL_op->op_private & OPpMULTICONCAT_FAKE)
16940                 ? "sprintf"
16941                 : OP_DESC(PL_op);
16942         if (uninit_sv && PL_curpad) {
16943             varname = find_uninit_var(PL_op, uninit_sv, 0, &desc);
16944             if (varname)
16945                 sv_insert(varname, 0, 0, " ", 1);
16946         }
16947     }
16948     else if (PL_curstackinfo->si_type == PERLSI_SORT && cxstack_ix == 0)
16949         /* we've reached the end of a sort block or sub,
16950          * and the uninit value is probably what that code returned */
16951         desc = "sort";
16952
16953     /* PL_warn_uninit_sv is constant */
16954     GCC_DIAG_IGNORE_STMT(-Wformat-nonliteral);
16955     if (desc)
16956         /* diag_listed_as: Use of uninitialized value%s */
16957         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit_sv,
16958                 SVfARG(varname ? varname : &PL_sv_no),
16959                 " in ", desc);
16960     else
16961         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit,
16962                 "", "", "");
16963     GCC_DIAG_RESTORE_STMT;
16964 }
16965
16966 /*
16967  * ex: set ts=8 sts=4 sw=4 et:
16968  */