This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
every use of $(mini_obj) needs the mini specific objects, so include them
[perl5.git] / sv.c
1 /*    sv.c
2  *
3  *    Copyright (C) 1991, 1992, 1993, 1994, 1995, 1996, 1997, 1998, 1999, 2000,
4  *    2001, 2002, 2003, 2004, 2005, 2006, 2007, 2008, 2009 by Larry Wall
5  *    and others
6  *
7  *    You may distribute under the terms of either the GNU General Public
8  *    License or the Artistic License, as specified in the README file.
9  *
10  */
11
12 /*
13  * 'I wonder what the Entish is for "yes" and "no",' he thought.
14  *                                                      --Pippin
15  *
16  *     [p.480 of _The Lord of the Rings_, III/iv: "Treebeard"]
17  */
18
19 /*
20  *
21  *
22  * This file contains the code that creates, manipulates and destroys
23  * scalar values (SVs). The other types (AV, HV, GV, etc.) reuse the
24  * structure of an SV, so their creation and destruction is handled
25  * here; higher-level functions are in av.c, hv.c, and so on. Opcode
26  * level functions (eg. substr, split, join) for each of the types are
27  * in the pp*.c files.
28  */
29
30 #include "EXTERN.h"
31 #define PERL_IN_SV_C
32 #include "perl.h"
33 #include "regcomp.h"
34
35 #ifndef HAS_C99
36 # if __STDC_VERSION__ >= 199901L && !defined(VMS)
37 #  define HAS_C99 1
38 # endif
39 #endif
40 #if HAS_C99
41 # include <stdint.h>
42 #endif
43
44 #define FCALL *f
45
46 #ifdef __Lynx__
47 /* Missing proto on LynxOS */
48   char *gconvert(double, int, int,  char *);
49 #endif
50
51 #ifdef PERL_UTF8_CACHE_ASSERT
52 /* if adding more checks watch out for the following tests:
53  *   t/op/index.t t/op/length.t t/op/pat.t t/op/substr.t
54  *   lib/utf8.t lib/Unicode/Collate/t/index.t
55  * --jhi
56  */
57 #   define ASSERT_UTF8_CACHE(cache) \
58     STMT_START { if (cache) { assert((cache)[0] <= (cache)[1]); \
59                               assert((cache)[2] <= (cache)[3]); \
60                               assert((cache)[3] <= (cache)[1]);} \
61                               } STMT_END
62 #else
63 #   define ASSERT_UTF8_CACHE(cache) NOOP
64 #endif
65
66 #ifdef PERL_OLD_COPY_ON_WRITE
67 #define SV_COW_NEXT_SV(sv)      INT2PTR(SV *,SvUVX(sv))
68 #define SV_COW_NEXT_SV_SET(current,next)        SvUV_set(current, PTR2UV(next))
69 /* This is a pessimistic view. Scalar must be purely a read-write PV to copy-
70    on-write.  */
71 #endif
72
73 /* ============================================================================
74
75 =head1 Allocation and deallocation of SVs.
76
77 An SV (or AV, HV, etc.) is allocated in two parts: the head (struct
78 sv, av, hv...) contains type and reference count information, and for
79 many types, a pointer to the body (struct xrv, xpv, xpviv...), which
80 contains fields specific to each type.  Some types store all they need
81 in the head, so don't have a body.
82
83 In all but the most memory-paranoid configurations (ex: PURIFY), heads
84 and bodies are allocated out of arenas, which by default are
85 approximately 4K chunks of memory parcelled up into N heads or bodies.
86 Sv-bodies are allocated by their sv-type, guaranteeing size
87 consistency needed to allocate safely from arrays.
88
89 For SV-heads, the first slot in each arena is reserved, and holds a
90 link to the next arena, some flags, and a note of the number of slots.
91 Snaked through each arena chain is a linked list of free items; when
92 this becomes empty, an extra arena is allocated and divided up into N
93 items which are threaded into the free list.
94
95 SV-bodies are similar, but they use arena-sets by default, which
96 separate the link and info from the arena itself, and reclaim the 1st
97 slot in the arena.  SV-bodies are further described later.
98
99 The following global variables are associated with arenas:
100
101     PL_sv_arenaroot     pointer to list of SV arenas
102     PL_sv_root          pointer to list of free SV structures
103
104     PL_body_arenas      head of linked-list of body arenas
105     PL_body_roots[]     array of pointers to list of free bodies of svtype
106                         arrays are indexed by the svtype needed
107
108 A few special SV heads are not allocated from an arena, but are
109 instead directly created in the interpreter structure, eg PL_sv_undef.
110 The size of arenas can be changed from the default by setting
111 PERL_ARENA_SIZE appropriately at compile time.
112
113 The SV arena serves the secondary purpose of allowing still-live SVs
114 to be located and destroyed during final cleanup.
115
116 At the lowest level, the macros new_SV() and del_SV() grab and free
117 an SV head.  (If debugging with -DD, del_SV() calls the function S_del_sv()
118 to return the SV to the free list with error checking.) new_SV() calls
119 more_sv() / sv_add_arena() to add an extra arena if the free list is empty.
120 SVs in the free list have their SvTYPE field set to all ones.
121
122 At the time of very final cleanup, sv_free_arenas() is called from
123 perl_destruct() to physically free all the arenas allocated since the
124 start of the interpreter.
125
126 The function visit() scans the SV arenas list, and calls a specified
127 function for each SV it finds which is still live - ie which has an SvTYPE
128 other than all 1's, and a non-zero SvREFCNT. visit() is used by the
129 following functions (specified as [function that calls visit()] / [function
130 called by visit() for each SV]):
131
132     sv_report_used() / do_report_used()
133                         dump all remaining SVs (debugging aid)
134
135     sv_clean_objs() / do_clean_objs(),do_clean_named_objs(),
136                       do_clean_named_io_objs()
137                         Attempt to free all objects pointed to by RVs,
138                         and try to do the same for all objects indirectly
139                         referenced by typeglobs too.  Called once from
140                         perl_destruct(), prior to calling sv_clean_all()
141                         below.
142
143     sv_clean_all() / do_clean_all()
144                         SvREFCNT_dec(sv) each remaining SV, possibly
145                         triggering an sv_free(). It also sets the
146                         SVf_BREAK flag on the SV to indicate that the
147                         refcnt has been artificially lowered, and thus
148                         stopping sv_free() from giving spurious warnings
149                         about SVs which unexpectedly have a refcnt
150                         of zero.  called repeatedly from perl_destruct()
151                         until there are no SVs left.
152
153 =head2 Arena allocator API Summary
154
155 Private API to rest of sv.c
156
157     new_SV(),  del_SV(),
158
159     new_XPVNV(), del_XPVGV(),
160     etc
161
162 Public API:
163
164     sv_report_used(), sv_clean_objs(), sv_clean_all(), sv_free_arenas()
165
166 =cut
167
168  * ========================================================================= */
169
170 /*
171  * "A time to plant, and a time to uproot what was planted..."
172  */
173
174 #ifdef PERL_MEM_LOG
175 #  define MEM_LOG_NEW_SV(sv, file, line, func)  \
176             Perl_mem_log_new_sv(sv, file, line, func)
177 #  define MEM_LOG_DEL_SV(sv, file, line, func)  \
178             Perl_mem_log_del_sv(sv, file, line, func)
179 #else
180 #  define MEM_LOG_NEW_SV(sv, file, line, func)  NOOP
181 #  define MEM_LOG_DEL_SV(sv, file, line, func)  NOOP
182 #endif
183
184 #ifdef DEBUG_LEAKING_SCALARS
185 #  define FREE_SV_DEBUG_FILE(sv) Safefree((sv)->sv_debug_file)
186 #  define DEBUG_SV_SERIAL(sv)                                               \
187     DEBUG_m(PerlIO_printf(Perl_debug_log, "0x%"UVxf": (%05ld) del_SV\n",    \
188             PTR2UV(sv), (long)(sv)->sv_debug_serial))
189 #else
190 #  define FREE_SV_DEBUG_FILE(sv)
191 #  define DEBUG_SV_SERIAL(sv)   NOOP
192 #endif
193
194 #ifdef PERL_POISON
195 #  define SvARENA_CHAIN(sv)     ((sv)->sv_u.svu_rv)
196 #  define SvARENA_CHAIN_SET(sv,val)     (sv)->sv_u.svu_rv = MUTABLE_SV((val))
197 /* Whilst I'd love to do this, it seems that things like to check on
198    unreferenced scalars
199 #  define POSION_SV_HEAD(sv)    PoisonNew(sv, 1, struct STRUCT_SV)
200 */
201 #  define POSION_SV_HEAD(sv)    PoisonNew(&SvANY(sv), 1, void *), \
202                                 PoisonNew(&SvREFCNT(sv), 1, U32)
203 #else
204 #  define SvARENA_CHAIN(sv)     SvANY(sv)
205 #  define SvARENA_CHAIN_SET(sv,val)     SvANY(sv) = (void *)(val)
206 #  define POSION_SV_HEAD(sv)
207 #endif
208
209 /* Mark an SV head as unused, and add to free list.
210  *
211  * If SVf_BREAK is set, skip adding it to the free list, as this SV had
212  * its refcount artificially decremented during global destruction, so
213  * there may be dangling pointers to it. The last thing we want in that
214  * case is for it to be reused. */
215
216 #define plant_SV(p) \
217     STMT_START {                                        \
218         const U32 old_flags = SvFLAGS(p);                       \
219         MEM_LOG_DEL_SV(p, __FILE__, __LINE__, FUNCTION__);  \
220         DEBUG_SV_SERIAL(p);                             \
221         FREE_SV_DEBUG_FILE(p);                          \
222         POSION_SV_HEAD(p);                              \
223         SvFLAGS(p) = SVTYPEMASK;                        \
224         if (!(old_flags & SVf_BREAK)) {         \
225             SvARENA_CHAIN_SET(p, PL_sv_root);   \
226             PL_sv_root = (p);                           \
227         }                                               \
228         --PL_sv_count;                                  \
229     } STMT_END
230
231 #define uproot_SV(p) \
232     STMT_START {                                        \
233         (p) = PL_sv_root;                               \
234         PL_sv_root = MUTABLE_SV(SvARENA_CHAIN(p));              \
235         ++PL_sv_count;                                  \
236     } STMT_END
237
238
239 /* make some more SVs by adding another arena */
240
241 STATIC SV*
242 S_more_sv(pTHX)
243 {
244     dVAR;
245     SV* sv;
246     char *chunk;                /* must use New here to match call to */
247     Newx(chunk,PERL_ARENA_SIZE,char);  /* Safefree() in sv_free_arenas() */
248     sv_add_arena(chunk, PERL_ARENA_SIZE, 0);
249     uproot_SV(sv);
250     return sv;
251 }
252
253 /* new_SV(): return a new, empty SV head */
254
255 #ifdef DEBUG_LEAKING_SCALARS
256 /* provide a real function for a debugger to play with */
257 STATIC SV*
258 S_new_SV(pTHX_ const char *file, int line, const char *func)
259 {
260     SV* sv;
261
262     if (PL_sv_root)
263         uproot_SV(sv);
264     else
265         sv = S_more_sv(aTHX);
266     SvANY(sv) = 0;
267     SvREFCNT(sv) = 1;
268     SvFLAGS(sv) = 0;
269     sv->sv_debug_optype = PL_op ? PL_op->op_type : 0;
270     sv->sv_debug_line = (U16) (PL_parser && PL_parser->copline != NOLINE
271                 ? PL_parser->copline
272                 :  PL_curcop
273                     ? CopLINE(PL_curcop)
274                     : 0
275             );
276     sv->sv_debug_inpad = 0;
277     sv->sv_debug_parent = NULL;
278     sv->sv_debug_file = PL_curcop ? savepv(CopFILE(PL_curcop)): NULL;
279
280     sv->sv_debug_serial = PL_sv_serial++;
281
282     MEM_LOG_NEW_SV(sv, file, line, func);
283     DEBUG_m(PerlIO_printf(Perl_debug_log, "0x%"UVxf": (%05ld) new_SV (from %s:%d [%s])\n",
284             PTR2UV(sv), (long)sv->sv_debug_serial, file, line, func));
285
286     return sv;
287 }
288 #  define new_SV(p) (p)=S_new_SV(aTHX_ __FILE__, __LINE__, FUNCTION__)
289
290 #else
291 #  define new_SV(p) \
292     STMT_START {                                        \
293         if (PL_sv_root)                                 \
294             uproot_SV(p);                               \
295         else                                            \
296             (p) = S_more_sv(aTHX);                      \
297         SvANY(p) = 0;                                   \
298         SvREFCNT(p) = 1;                                \
299         SvFLAGS(p) = 0;                                 \
300         MEM_LOG_NEW_SV(p, __FILE__, __LINE__, FUNCTION__);  \
301     } STMT_END
302 #endif
303
304
305 /* del_SV(): return an empty SV head to the free list */
306
307 #ifdef DEBUGGING
308
309 #define del_SV(p) \
310     STMT_START {                                        \
311         if (DEBUG_D_TEST)                               \
312             del_sv(p);                                  \
313         else                                            \
314             plant_SV(p);                                \
315     } STMT_END
316
317 STATIC void
318 S_del_sv(pTHX_ SV *p)
319 {
320     dVAR;
321
322     PERL_ARGS_ASSERT_DEL_SV;
323
324     if (DEBUG_D_TEST) {
325         SV* sva;
326         bool ok = 0;
327         for (sva = PL_sv_arenaroot; sva; sva = MUTABLE_SV(SvANY(sva))) {
328             const SV * const sv = sva + 1;
329             const SV * const svend = &sva[SvREFCNT(sva)];
330             if (p >= sv && p < svend) {
331                 ok = 1;
332                 break;
333             }
334         }
335         if (!ok) {
336             Perl_ck_warner_d(aTHX_ packWARN(WARN_INTERNAL),
337                              "Attempt to free non-arena SV: 0x%"UVxf
338                              pTHX__FORMAT, PTR2UV(p) pTHX__VALUE);
339             return;
340         }
341     }
342     plant_SV(p);
343 }
344
345 #else /* ! DEBUGGING */
346
347 #define del_SV(p)   plant_SV(p)
348
349 #endif /* DEBUGGING */
350
351
352 /*
353 =head1 SV Manipulation Functions
354
355 =for apidoc sv_add_arena
356
357 Given a chunk of memory, link it to the head of the list of arenas,
358 and split it into a list of free SVs.
359
360 =cut
361 */
362
363 static void
364 S_sv_add_arena(pTHX_ char *const ptr, const U32 size, const U32 flags)
365 {
366     dVAR;
367     SV *const sva = MUTABLE_SV(ptr);
368     register SV* sv;
369     register SV* svend;
370
371     PERL_ARGS_ASSERT_SV_ADD_ARENA;
372
373     /* The first SV in an arena isn't an SV. */
374     SvANY(sva) = (void *) PL_sv_arenaroot;              /* ptr to next arena */
375     SvREFCNT(sva) = size / sizeof(SV);          /* number of SV slots */
376     SvFLAGS(sva) = flags;                       /* FAKE if not to be freed */
377
378     PL_sv_arenaroot = sva;
379     PL_sv_root = sva + 1;
380
381     svend = &sva[SvREFCNT(sva) - 1];
382     sv = sva + 1;
383     while (sv < svend) {
384         SvARENA_CHAIN_SET(sv, (sv + 1));
385 #ifdef DEBUGGING
386         SvREFCNT(sv) = 0;
387 #endif
388         /* Must always set typemask because it's always checked in on cleanup
389            when the arenas are walked looking for objects.  */
390         SvFLAGS(sv) = SVTYPEMASK;
391         sv++;
392     }
393     SvARENA_CHAIN_SET(sv, 0);
394 #ifdef DEBUGGING
395     SvREFCNT(sv) = 0;
396 #endif
397     SvFLAGS(sv) = SVTYPEMASK;
398 }
399
400 /* visit(): call the named function for each non-free SV in the arenas
401  * whose flags field matches the flags/mask args. */
402
403 STATIC I32
404 S_visit(pTHX_ SVFUNC_t f, const U32 flags, const U32 mask)
405 {
406     dVAR;
407     SV* sva;
408     I32 visited = 0;
409
410     PERL_ARGS_ASSERT_VISIT;
411
412     for (sva = PL_sv_arenaroot; sva; sva = MUTABLE_SV(SvANY(sva))) {
413         register const SV * const svend = &sva[SvREFCNT(sva)];
414         register SV* sv;
415         for (sv = sva + 1; sv < svend; ++sv) {
416             if (SvTYPE(sv) != SVTYPEMASK
417                     && (sv->sv_flags & mask) == flags
418                     && SvREFCNT(sv))
419             {
420                 (FCALL)(aTHX_ sv);
421                 ++visited;
422             }
423         }
424     }
425     return visited;
426 }
427
428 #ifdef DEBUGGING
429
430 /* called by sv_report_used() for each live SV */
431
432 static void
433 do_report_used(pTHX_ SV *const sv)
434 {
435     if (SvTYPE(sv) != SVTYPEMASK) {
436         PerlIO_printf(Perl_debug_log, "****\n");
437         sv_dump(sv);
438     }
439 }
440 #endif
441
442 /*
443 =for apidoc sv_report_used
444
445 Dump the contents of all SVs not yet freed. (Debugging aid).
446
447 =cut
448 */
449
450 void
451 Perl_sv_report_used(pTHX)
452 {
453 #ifdef DEBUGGING
454     visit(do_report_used, 0, 0);
455 #else
456     PERL_UNUSED_CONTEXT;
457 #endif
458 }
459
460 /* called by sv_clean_objs() for each live SV */
461
462 static void
463 do_clean_objs(pTHX_ SV *const ref)
464 {
465     dVAR;
466     assert (SvROK(ref));
467     {
468         SV * const target = SvRV(ref);
469         if (SvOBJECT(target)) {
470             DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning object ref:\n "), sv_dump(ref)));
471             if (SvWEAKREF(ref)) {
472                 sv_del_backref(target, ref);
473                 SvWEAKREF_off(ref);
474                 SvRV_set(ref, NULL);
475             } else {
476                 SvROK_off(ref);
477                 SvRV_set(ref, NULL);
478                 SvREFCNT_dec(target);
479             }
480         }
481     }
482
483     /* XXX Might want to check arrays, etc. */
484 }
485
486
487 /* clear any slots in a GV which hold objects - except IO;
488  * called by sv_clean_objs() for each live GV */
489
490 static void
491 do_clean_named_objs(pTHX_ SV *const sv)
492 {
493     dVAR;
494     SV *obj;
495     assert(SvTYPE(sv) == SVt_PVGV);
496     assert(isGV_with_GP(sv));
497     if (!GvGP(sv))
498         return;
499
500     /* freeing GP entries may indirectly free the current GV;
501      * hold onto it while we mess with the GP slots */
502     SvREFCNT_inc(sv);
503
504     if ( ((obj = GvSV(sv) )) && SvOBJECT(obj)) {
505         DEBUG_D((PerlIO_printf(Perl_debug_log,
506                 "Cleaning named glob SV object:\n "), sv_dump(obj)));
507         GvSV(sv) = NULL;
508         SvREFCNT_dec(obj);
509     }
510     if ( ((obj = MUTABLE_SV(GvAV(sv)) )) && SvOBJECT(obj)) {
511         DEBUG_D((PerlIO_printf(Perl_debug_log,
512                 "Cleaning named glob AV object:\n "), sv_dump(obj)));
513         GvAV(sv) = NULL;
514         SvREFCNT_dec(obj);
515     }
516     if ( ((obj = MUTABLE_SV(GvHV(sv)) )) && SvOBJECT(obj)) {
517         DEBUG_D((PerlIO_printf(Perl_debug_log,
518                 "Cleaning named glob HV object:\n "), sv_dump(obj)));
519         GvHV(sv) = NULL;
520         SvREFCNT_dec(obj);
521     }
522     if ( ((obj = MUTABLE_SV(GvCV(sv)) )) && SvOBJECT(obj)) {
523         DEBUG_D((PerlIO_printf(Perl_debug_log,
524                 "Cleaning named glob CV object:\n "), sv_dump(obj)));
525         GvCV_set(sv, NULL);
526         SvREFCNT_dec(obj);
527     }
528     SvREFCNT_dec(sv); /* undo the inc above */
529 }
530
531 /* clear any IO slots in a GV which hold objects (except stderr, defout);
532  * called by sv_clean_objs() for each live GV */
533
534 static void
535 do_clean_named_io_objs(pTHX_ SV *const sv)
536 {
537     dVAR;
538     SV *obj;
539     assert(SvTYPE(sv) == SVt_PVGV);
540     assert(isGV_with_GP(sv));
541     if (!GvGP(sv) || sv == (SV*)PL_stderrgv || sv == (SV*)PL_defoutgv)
542         return;
543
544     SvREFCNT_inc(sv);
545     if ( ((obj = MUTABLE_SV(GvIO(sv)) )) && SvOBJECT(obj)) {
546         DEBUG_D((PerlIO_printf(Perl_debug_log,
547                 "Cleaning named glob IO object:\n "), sv_dump(obj)));
548         GvIOp(sv) = NULL;
549         SvREFCNT_dec(obj);
550     }
551     SvREFCNT_dec(sv); /* undo the inc above */
552 }
553
554 /* Void wrapper to pass to visit() */
555 static void
556 do_curse(pTHX_ SV * const sv) {
557     if ((PL_stderrgv && GvGP(PL_stderrgv) && (SV*)GvIO(PL_stderrgv) == sv)
558      || (PL_defoutgv && GvGP(PL_defoutgv) && (SV*)GvIO(PL_defoutgv) == sv))
559         return;
560     (void)curse(sv, 0);
561 }
562
563 /*
564 =for apidoc sv_clean_objs
565
566 Attempt to destroy all objects not yet freed
567
568 =cut
569 */
570
571 void
572 Perl_sv_clean_objs(pTHX)
573 {
574     dVAR;
575     GV *olddef, *olderr;
576     PL_in_clean_objs = TRUE;
577     visit(do_clean_objs, SVf_ROK, SVf_ROK);
578     /* Some barnacles may yet remain, clinging to typeglobs.
579      * Run the non-IO destructors first: they may want to output
580      * error messages, close files etc */
581     visit(do_clean_named_objs, SVt_PVGV|SVpgv_GP, SVTYPEMASK|SVp_POK|SVpgv_GP);
582     visit(do_clean_named_io_objs, SVt_PVGV|SVpgv_GP, SVTYPEMASK|SVp_POK|SVpgv_GP);
583     /* And if there are some very tenacious barnacles clinging to arrays,
584        closures, or what have you.... */
585     visit(do_curse, SVs_OBJECT, SVs_OBJECT);
586     olddef = PL_defoutgv;
587     PL_defoutgv = NULL; /* disable skip of PL_defoutgv */
588     if (olddef && isGV_with_GP(olddef))
589         do_clean_named_io_objs(aTHX_ MUTABLE_SV(olddef));
590     olderr = PL_stderrgv;
591     PL_stderrgv = NULL; /* disable skip of PL_stderrgv */
592     if (olderr && isGV_with_GP(olderr))
593         do_clean_named_io_objs(aTHX_ MUTABLE_SV(olderr));
594     SvREFCNT_dec(olddef);
595     PL_in_clean_objs = FALSE;
596 }
597
598 /* called by sv_clean_all() for each live SV */
599
600 static void
601 do_clean_all(pTHX_ SV *const sv)
602 {
603     dVAR;
604     if (sv == (const SV *) PL_fdpid || sv == (const SV *)PL_strtab) {
605         /* don't clean pid table and strtab */
606         return;
607     }
608     DEBUG_D((PerlIO_printf(Perl_debug_log, "Cleaning loops: SV at 0x%"UVxf"\n", PTR2UV(sv)) ));
609     SvFLAGS(sv) |= SVf_BREAK;
610     SvREFCNT_dec(sv);
611 }
612
613 /*
614 =for apidoc sv_clean_all
615
616 Decrement the refcnt of each remaining SV, possibly triggering a
617 cleanup. This function may have to be called multiple times to free
618 SVs which are in complex self-referential hierarchies.
619
620 =cut
621 */
622
623 I32
624 Perl_sv_clean_all(pTHX)
625 {
626     dVAR;
627     I32 cleaned;
628     PL_in_clean_all = TRUE;
629     cleaned = visit(do_clean_all, 0,0);
630     return cleaned;
631 }
632
633 /*
634   ARENASETS: a meta-arena implementation which separates arena-info
635   into struct arena_set, which contains an array of struct
636   arena_descs, each holding info for a single arena.  By separating
637   the meta-info from the arena, we recover the 1st slot, formerly
638   borrowed for list management.  The arena_set is about the size of an
639   arena, avoiding the needless malloc overhead of a naive linked-list.
640
641   The cost is 1 arena-set malloc per ~320 arena-mallocs, + the unused
642   memory in the last arena-set (1/2 on average).  In trade, we get
643   back the 1st slot in each arena (ie 1.7% of a CV-arena, less for
644   smaller types).  The recovery of the wasted space allows use of
645   small arenas for large, rare body types, by changing array* fields
646   in body_details_by_type[] below.
647 */
648 struct arena_desc {
649     char       *arena;          /* the raw storage, allocated aligned */
650     size_t      size;           /* its size ~4k typ */
651     svtype      utype;          /* bodytype stored in arena */
652 };
653
654 struct arena_set;
655
656 /* Get the maximum number of elements in set[] such that struct arena_set
657    will fit within PERL_ARENA_SIZE, which is probably just under 4K, and
658    therefore likely to be 1 aligned memory page.  */
659
660 #define ARENAS_PER_SET  ((PERL_ARENA_SIZE - sizeof(struct arena_set*) \
661                           - 2 * sizeof(int)) / sizeof (struct arena_desc))
662
663 struct arena_set {
664     struct arena_set* next;
665     unsigned int   set_size;    /* ie ARENAS_PER_SET */
666     unsigned int   curr;        /* index of next available arena-desc */
667     struct arena_desc set[ARENAS_PER_SET];
668 };
669
670 /*
671 =for apidoc sv_free_arenas
672
673 Deallocate the memory used by all arenas. Note that all the individual SV
674 heads and bodies within the arenas must already have been freed.
675
676 =cut
677 */
678 void
679 Perl_sv_free_arenas(pTHX)
680 {
681     dVAR;
682     SV* sva;
683     SV* svanext;
684     unsigned int i;
685
686     /* Free arenas here, but be careful about fake ones.  (We assume
687        contiguity of the fake ones with the corresponding real ones.) */
688
689     for (sva = PL_sv_arenaroot; sva; sva = svanext) {
690         svanext = MUTABLE_SV(SvANY(sva));
691         while (svanext && SvFAKE(svanext))
692             svanext = MUTABLE_SV(SvANY(svanext));
693
694         if (!SvFAKE(sva))
695             Safefree(sva);
696     }
697
698     {
699         struct arena_set *aroot = (struct arena_set*) PL_body_arenas;
700
701         while (aroot) {
702             struct arena_set *current = aroot;
703             i = aroot->curr;
704             while (i--) {
705                 assert(aroot->set[i].arena);
706                 Safefree(aroot->set[i].arena);
707             }
708             aroot = aroot->next;
709             Safefree(current);
710         }
711     }
712     PL_body_arenas = 0;
713
714     i = PERL_ARENA_ROOTS_SIZE;
715     while (i--)
716         PL_body_roots[i] = 0;
717
718     PL_sv_arenaroot = 0;
719     PL_sv_root = 0;
720 }
721
722 /*
723   Here are mid-level routines that manage the allocation of bodies out
724   of the various arenas.  There are 5 kinds of arenas:
725
726   1. SV-head arenas, which are discussed and handled above
727   2. regular body arenas
728   3. arenas for reduced-size bodies
729   4. Hash-Entry arenas
730
731   Arena types 2 & 3 are chained by body-type off an array of
732   arena-root pointers, which is indexed by svtype.  Some of the
733   larger/less used body types are malloced singly, since a large
734   unused block of them is wasteful.  Also, several svtypes dont have
735   bodies; the data fits into the sv-head itself.  The arena-root
736   pointer thus has a few unused root-pointers (which may be hijacked
737   later for arena types 4,5)
738
739   3 differs from 2 as an optimization; some body types have several
740   unused fields in the front of the structure (which are kept in-place
741   for consistency).  These bodies can be allocated in smaller chunks,
742   because the leading fields arent accessed.  Pointers to such bodies
743   are decremented to point at the unused 'ghost' memory, knowing that
744   the pointers are used with offsets to the real memory.
745
746
747 =head1 SV-Body Allocation
748
749 Allocation of SV-bodies is similar to SV-heads, differing as follows;
750 the allocation mechanism is used for many body types, so is somewhat
751 more complicated, it uses arena-sets, and has no need for still-live
752 SV detection.
753
754 At the outermost level, (new|del)_X*V macros return bodies of the
755 appropriate type.  These macros call either (new|del)_body_type or
756 (new|del)_body_allocated macro pairs, depending on specifics of the
757 type.  Most body types use the former pair, the latter pair is used to
758 allocate body types with "ghost fields".
759
760 "ghost fields" are fields that are unused in certain types, and
761 consequently don't need to actually exist.  They are declared because
762 they're part of a "base type", which allows use of functions as
763 methods.  The simplest examples are AVs and HVs, 2 aggregate types
764 which don't use the fields which support SCALAR semantics.
765
766 For these types, the arenas are carved up into appropriately sized
767 chunks, we thus avoid wasted memory for those unaccessed members.
768 When bodies are allocated, we adjust the pointer back in memory by the
769 size of the part not allocated, so it's as if we allocated the full
770 structure.  (But things will all go boom if you write to the part that
771 is "not there", because you'll be overwriting the last members of the
772 preceding structure in memory.)
773
774 We calculate the correction using the STRUCT_OFFSET macro on the first
775 member present. If the allocated structure is smaller (no initial NV
776 actually allocated) then the net effect is to subtract the size of the NV
777 from the pointer, to return a new pointer as if an initial NV were actually
778 allocated. (We were using structures named *_allocated for this, but
779 this turned out to be a subtle bug, because a structure without an NV
780 could have a lower alignment constraint, but the compiler is allowed to
781 optimised accesses based on the alignment constraint of the actual pointer
782 to the full structure, for example, using a single 64 bit load instruction
783 because it "knows" that two adjacent 32 bit members will be 8-byte aligned.)
784
785 This is the same trick as was used for NV and IV bodies. Ironically it
786 doesn't need to be used for NV bodies any more, because NV is now at
787 the start of the structure. IV bodies don't need it either, because
788 they are no longer allocated.
789
790 In turn, the new_body_* allocators call S_new_body(), which invokes
791 new_body_inline macro, which takes a lock, and takes a body off the
792 linked list at PL_body_roots[sv_type], calling Perl_more_bodies() if
793 necessary to refresh an empty list.  Then the lock is released, and
794 the body is returned.
795
796 Perl_more_bodies allocates a new arena, and carves it up into an array of N
797 bodies, which it strings into a linked list.  It looks up arena-size
798 and body-size from the body_details table described below, thus
799 supporting the multiple body-types.
800
801 If PURIFY is defined, or PERL_ARENA_SIZE=0, arenas are not used, and
802 the (new|del)_X*V macros are mapped directly to malloc/free.
803
804 For each sv-type, struct body_details bodies_by_type[] carries
805 parameters which control these aspects of SV handling:
806
807 Arena_size determines whether arenas are used for this body type, and if
808 so, how big they are.  PURIFY or PERL_ARENA_SIZE=0 set this field to
809 zero, forcing individual mallocs and frees.
810
811 Body_size determines how big a body is, and therefore how many fit into
812 each arena.  Offset carries the body-pointer adjustment needed for
813 "ghost fields", and is used in *_allocated macros.
814
815 But its main purpose is to parameterize info needed in
816 Perl_sv_upgrade().  The info here dramatically simplifies the function
817 vs the implementation in 5.8.8, making it table-driven.  All fields
818 are used for this, except for arena_size.
819
820 For the sv-types that have no bodies, arenas are not used, so those
821 PL_body_roots[sv_type] are unused, and can be overloaded.  In
822 something of a special case, SVt_NULL is borrowed for HE arenas;
823 PL_body_roots[HE_SVSLOT=SVt_NULL] is filled by S_more_he, but the
824 bodies_by_type[SVt_NULL] slot is not used, as the table is not
825 available in hv.c.
826
827 */
828
829 struct body_details {
830     U8 body_size;       /* Size to allocate  */
831     U8 copy;            /* Size of structure to copy (may be shorter)  */
832     U8 offset;
833     unsigned int type : 4;          /* We have space for a sanity check.  */
834     unsigned int cant_upgrade : 1;  /* Cannot upgrade this type */
835     unsigned int zero_nv : 1;       /* zero the NV when upgrading from this */
836     unsigned int arena : 1;         /* Allocated from an arena */
837     size_t arena_size;              /* Size of arena to allocate */
838 };
839
840 #define HADNV FALSE
841 #define NONV TRUE
842
843
844 #ifdef PURIFY
845 /* With -DPURFIY we allocate everything directly, and don't use arenas.
846    This seems a rather elegant way to simplify some of the code below.  */
847 #define HASARENA FALSE
848 #else
849 #define HASARENA TRUE
850 #endif
851 #define NOARENA FALSE
852
853 /* Size the arenas to exactly fit a given number of bodies.  A count
854    of 0 fits the max number bodies into a PERL_ARENA_SIZE.block,
855    simplifying the default.  If count > 0, the arena is sized to fit
856    only that many bodies, allowing arenas to be used for large, rare
857    bodies (XPVFM, XPVIO) without undue waste.  The arena size is
858    limited by PERL_ARENA_SIZE, so we can safely oversize the
859    declarations.
860  */
861 #define FIT_ARENA0(body_size)                           \
862     ((size_t)(PERL_ARENA_SIZE / body_size) * body_size)
863 #define FIT_ARENAn(count,body_size)                     \
864     ( count * body_size <= PERL_ARENA_SIZE)             \
865     ? count * body_size                                 \
866     : FIT_ARENA0 (body_size)
867 #define FIT_ARENA(count,body_size)                      \
868     count                                               \
869     ? FIT_ARENAn (count, body_size)                     \
870     : FIT_ARENA0 (body_size)
871
872 /* Calculate the length to copy. Specifically work out the length less any
873    final padding the compiler needed to add.  See the comment in sv_upgrade
874    for why copying the padding proved to be a bug.  */
875
876 #define copy_length(type, last_member) \
877         STRUCT_OFFSET(type, last_member) \
878         + sizeof (((type*)SvANY((const SV *)0))->last_member)
879
880 static const struct body_details bodies_by_type[] = {
881     /* HEs use this offset for their arena.  */
882     { 0, 0, 0, SVt_NULL, FALSE, NONV, NOARENA, 0 },
883
884     /* The bind placeholder pretends to be an RV for now.
885        Also it's marked as "can't upgrade" to stop anyone using it before it's
886        implemented.  */
887     { 0, 0, 0, SVt_BIND, TRUE, NONV, NOARENA, 0 },
888
889     /* IVs are in the head, so the allocation size is 0.  */
890     { 0,
891       sizeof(IV), /* This is used to copy out the IV body.  */
892       STRUCT_OFFSET(XPVIV, xiv_iv), SVt_IV, FALSE, NONV,
893       NOARENA /* IVS don't need an arena  */, 0
894     },
895
896     { sizeof(NV), sizeof(NV),
897       STRUCT_OFFSET(XPVNV, xnv_u),
898       SVt_NV, FALSE, HADNV, HASARENA, FIT_ARENA(0, sizeof(NV)) },
899
900     { sizeof(XPV) - STRUCT_OFFSET(XPV, xpv_cur),
901       copy_length(XPV, xpv_len) - STRUCT_OFFSET(XPV, xpv_cur),
902       + STRUCT_OFFSET(XPV, xpv_cur),
903       SVt_PV, FALSE, NONV, HASARENA,
904       FIT_ARENA(0, sizeof(XPV) - STRUCT_OFFSET(XPV, xpv_cur)) },
905
906     { sizeof(XPVIV) - STRUCT_OFFSET(XPV, xpv_cur),
907       copy_length(XPVIV, xiv_u) - STRUCT_OFFSET(XPV, xpv_cur),
908       + STRUCT_OFFSET(XPV, xpv_cur),
909       SVt_PVIV, FALSE, NONV, HASARENA,
910       FIT_ARENA(0, sizeof(XPVIV) - STRUCT_OFFSET(XPV, xpv_cur)) },
911
912     { sizeof(XPVNV) - STRUCT_OFFSET(XPV, xpv_cur),
913       copy_length(XPVNV, xnv_u) - STRUCT_OFFSET(XPV, xpv_cur),
914       + STRUCT_OFFSET(XPV, xpv_cur),
915       SVt_PVNV, FALSE, HADNV, HASARENA,
916       FIT_ARENA(0, sizeof(XPVNV) - STRUCT_OFFSET(XPV, xpv_cur)) },
917
918     { sizeof(XPVMG), copy_length(XPVMG, xnv_u), 0, SVt_PVMG, FALSE, HADNV,
919       HASARENA, FIT_ARENA(0, sizeof(XPVMG)) },
920
921     { sizeof(regexp),
922       sizeof(regexp),
923       0,
924       SVt_REGEXP, FALSE, NONV, HASARENA,
925       FIT_ARENA(0, sizeof(regexp))
926     },
927
928     { sizeof(XPVGV), sizeof(XPVGV), 0, SVt_PVGV, TRUE, HADNV,
929       HASARENA, FIT_ARENA(0, sizeof(XPVGV)) },
930     
931     { sizeof(XPVLV), sizeof(XPVLV), 0, SVt_PVLV, TRUE, HADNV,
932       HASARENA, FIT_ARENA(0, sizeof(XPVLV)) },
933
934     { sizeof(XPVAV),
935       copy_length(XPVAV, xav_alloc),
936       0,
937       SVt_PVAV, TRUE, NONV, HASARENA,
938       FIT_ARENA(0, sizeof(XPVAV)) },
939
940     { sizeof(XPVHV),
941       copy_length(XPVHV, xhv_max),
942       0,
943       SVt_PVHV, TRUE, NONV, HASARENA,
944       FIT_ARENA(0, sizeof(XPVHV)) },
945
946     { sizeof(XPVCV),
947       sizeof(XPVCV),
948       0,
949       SVt_PVCV, TRUE, NONV, HASARENA,
950       FIT_ARENA(0, sizeof(XPVCV)) },
951
952     { sizeof(XPVFM),
953       sizeof(XPVFM),
954       0,
955       SVt_PVFM, TRUE, NONV, NOARENA,
956       FIT_ARENA(20, sizeof(XPVFM)) },
957
958     { sizeof(XPVIO),
959       sizeof(XPVIO),
960       0,
961       SVt_PVIO, TRUE, NONV, HASARENA,
962       FIT_ARENA(24, sizeof(XPVIO)) },
963 };
964
965 #define new_body_allocated(sv_type)             \
966     (void *)((char *)S_new_body(aTHX_ sv_type)  \
967              - bodies_by_type[sv_type].offset)
968
969 /* return a thing to the free list */
970
971 #define del_body(thing, root)                           \
972     STMT_START {                                        \
973         void ** const thing_copy = (void **)thing;      \
974         *thing_copy = *root;                            \
975         *root = (void*)thing_copy;                      \
976     } STMT_END
977
978 #ifdef PURIFY
979
980 #define new_XNV()       safemalloc(sizeof(XPVNV))
981 #define new_XPVNV()     safemalloc(sizeof(XPVNV))
982 #define new_XPVMG()     safemalloc(sizeof(XPVMG))
983
984 #define del_XPVGV(p)    safefree(p)
985
986 #else /* !PURIFY */
987
988 #define new_XNV()       new_body_allocated(SVt_NV)
989 #define new_XPVNV()     new_body_allocated(SVt_PVNV)
990 #define new_XPVMG()     new_body_allocated(SVt_PVMG)
991
992 #define del_XPVGV(p)    del_body(p + bodies_by_type[SVt_PVGV].offset,   \
993                                  &PL_body_roots[SVt_PVGV])
994
995 #endif /* PURIFY */
996
997 /* no arena for you! */
998
999 #define new_NOARENA(details) \
1000         safemalloc((details)->body_size + (details)->offset)
1001 #define new_NOARENAZ(details) \
1002         safecalloc((details)->body_size + (details)->offset, 1)
1003
1004 void *
1005 Perl_more_bodies (pTHX_ const svtype sv_type, const size_t body_size,
1006                   const size_t arena_size)
1007 {
1008     dVAR;
1009     void ** const root = &PL_body_roots[sv_type];
1010     struct arena_desc *adesc;
1011     struct arena_set *aroot = (struct arena_set *) PL_body_arenas;
1012     unsigned int curr;
1013     char *start;
1014     const char *end;
1015     const size_t good_arena_size = Perl_malloc_good_size(arena_size);
1016 #if defined(DEBUGGING) && !defined(PERL_GLOBAL_STRUCT_PRIVATE)
1017     static bool done_sanity_check;
1018
1019     /* PERL_GLOBAL_STRUCT_PRIVATE cannot coexist with global
1020      * variables like done_sanity_check. */
1021     if (!done_sanity_check) {
1022         unsigned int i = SVt_LAST;
1023
1024         done_sanity_check = TRUE;
1025
1026         while (i--)
1027             assert (bodies_by_type[i].type == i);
1028     }
1029 #endif
1030
1031     assert(arena_size);
1032
1033     /* may need new arena-set to hold new arena */
1034     if (!aroot || aroot->curr >= aroot->set_size) {
1035         struct arena_set *newroot;
1036         Newxz(newroot, 1, struct arena_set);
1037         newroot->set_size = ARENAS_PER_SET;
1038         newroot->next = aroot;
1039         aroot = newroot;
1040         PL_body_arenas = (void *) newroot;
1041         DEBUG_m(PerlIO_printf(Perl_debug_log, "new arenaset %p\n", (void*)aroot));
1042     }
1043
1044     /* ok, now have arena-set with at least 1 empty/available arena-desc */
1045     curr = aroot->curr++;
1046     adesc = &(aroot->set[curr]);
1047     assert(!adesc->arena);
1048     
1049     Newx(adesc->arena, good_arena_size, char);
1050     adesc->size = good_arena_size;
1051     adesc->utype = sv_type;
1052     DEBUG_m(PerlIO_printf(Perl_debug_log, "arena %d added: %p size %"UVuf"\n", 
1053                           curr, (void*)adesc->arena, (UV)good_arena_size));
1054
1055     start = (char *) adesc->arena;
1056
1057     /* Get the address of the byte after the end of the last body we can fit.
1058        Remember, this is integer division:  */
1059     end = start + good_arena_size / body_size * body_size;
1060
1061     /* computed count doesn't reflect the 1st slot reservation */
1062 #if defined(MYMALLOC) || defined(HAS_MALLOC_GOOD_SIZE)
1063     DEBUG_m(PerlIO_printf(Perl_debug_log,
1064                           "arena %p end %p arena-size %d (from %d) type %d "
1065                           "size %d ct %d\n",
1066                           (void*)start, (void*)end, (int)good_arena_size,
1067                           (int)arena_size, sv_type, (int)body_size,
1068                           (int)good_arena_size / (int)body_size));
1069 #else
1070     DEBUG_m(PerlIO_printf(Perl_debug_log,
1071                           "arena %p end %p arena-size %d type %d size %d ct %d\n",
1072                           (void*)start, (void*)end,
1073                           (int)arena_size, sv_type, (int)body_size,
1074                           (int)good_arena_size / (int)body_size));
1075 #endif
1076     *root = (void *)start;
1077
1078     while (1) {
1079         /* Where the next body would start:  */
1080         char * const next = start + body_size;
1081
1082         if (next >= end) {
1083             /* This is the last body:  */
1084             assert(next == end);
1085
1086             *(void **)start = 0;
1087             return *root;
1088         }
1089
1090         *(void**) start = (void *)next;
1091         start = next;
1092     }
1093 }
1094
1095 /* grab a new thing from the free list, allocating more if necessary.
1096    The inline version is used for speed in hot routines, and the
1097    function using it serves the rest (unless PURIFY).
1098 */
1099 #define new_body_inline(xpv, sv_type) \
1100     STMT_START { \
1101         void ** const r3wt = &PL_body_roots[sv_type]; \
1102         xpv = (PTR_TBL_ENT_t*) (*((void **)(r3wt))      \
1103           ? *((void **)(r3wt)) : Perl_more_bodies(aTHX_ sv_type, \
1104                                              bodies_by_type[sv_type].body_size,\
1105                                              bodies_by_type[sv_type].arena_size)); \
1106         *(r3wt) = *(void**)(xpv); \
1107     } STMT_END
1108
1109 #ifndef PURIFY
1110
1111 STATIC void *
1112 S_new_body(pTHX_ const svtype sv_type)
1113 {
1114     dVAR;
1115     void *xpv;
1116     new_body_inline(xpv, sv_type);
1117     return xpv;
1118 }
1119
1120 #endif
1121
1122 static const struct body_details fake_rv =
1123     { 0, 0, 0, SVt_IV, FALSE, NONV, NOARENA, 0 };
1124
1125 /*
1126 =for apidoc sv_upgrade
1127
1128 Upgrade an SV to a more complex form.  Generally adds a new body type to the
1129 SV, then copies across as much information as possible from the old body.
1130 You generally want to use the C<SvUPGRADE> macro wrapper. See also C<svtype>.
1131
1132 =cut
1133 */
1134
1135 void
1136 Perl_sv_upgrade(pTHX_ register SV *const sv, svtype new_type)
1137 {
1138     dVAR;
1139     void*       old_body;
1140     void*       new_body;
1141     const svtype old_type = SvTYPE(sv);
1142     const struct body_details *new_type_details;
1143     const struct body_details *old_type_details
1144         = bodies_by_type + old_type;
1145     SV *referant = NULL;
1146
1147     PERL_ARGS_ASSERT_SV_UPGRADE;
1148
1149     if (old_type == new_type)
1150         return;
1151
1152     /* This clause was purposefully added ahead of the early return above to
1153        the shared string hackery for (sort {$a <=> $b} keys %hash), with the
1154        inference by Nick I-S that it would fix other troublesome cases. See
1155        changes 7162, 7163 (f130fd4589cf5fbb24149cd4db4137c8326f49c1 and parent)
1156
1157        Given that shared hash key scalars are no longer PVIV, but PV, there is
1158        no longer need to unshare so as to free up the IVX slot for its proper
1159        purpose. So it's safe to move the early return earlier.  */
1160
1161     if (new_type != SVt_PV && SvIsCOW(sv)) {
1162         sv_force_normal_flags(sv, 0);
1163     }
1164
1165     old_body = SvANY(sv);
1166
1167     /* Copying structures onto other structures that have been neatly zeroed
1168        has a subtle gotcha. Consider XPVMG
1169
1170        +------+------+------+------+------+-------+-------+
1171        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |
1172        +------+------+------+------+------+-------+-------+
1173        0      4      8     12     16     20      24      28
1174
1175        where NVs are aligned to 8 bytes, so that sizeof that structure is
1176        actually 32 bytes long, with 4 bytes of padding at the end:
1177
1178        +------+------+------+------+------+-------+-------+------+
1179        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH | ???  |
1180        +------+------+------+------+------+-------+-------+------+
1181        0      4      8     12     16     20      24      28     32
1182
1183        so what happens if you allocate memory for this structure:
1184
1185        +------+------+------+------+------+-------+-------+------+------+...
1186        |     NV      | CUR  | LEN  |  IV  | MAGIC | STASH |  GP  | NAME |
1187        +------+------+------+------+------+-------+-------+------+------+...
1188        0      4      8     12     16     20      24      28     32     36
1189
1190        zero it, then copy sizeof(XPVMG) bytes on top of it? Not quite what you
1191        expect, because you copy the area marked ??? onto GP. Now, ??? may have
1192        started out as zero once, but it's quite possible that it isn't. So now,
1193        rather than a nicely zeroed GP, you have it pointing somewhere random.
1194        Bugs ensue.
1195
1196        (In fact, GP ends up pointing at a previous GP structure, because the
1197        principle cause of the padding in XPVMG getting garbage is a copy of
1198        sizeof(XPVMG) bytes from a XPVGV structure in sv_unglob. Right now
1199        this happens to be moot because XPVGV has been re-ordered, with GP
1200        no longer after STASH)
1201
1202        So we are careful and work out the size of used parts of all the
1203        structures.  */
1204
1205     switch (old_type) {
1206     case SVt_NULL:
1207         break;
1208     case SVt_IV:
1209         if (SvROK(sv)) {
1210             referant = SvRV(sv);
1211             old_type_details = &fake_rv;
1212             if (new_type == SVt_NV)
1213                 new_type = SVt_PVNV;
1214         } else {
1215             if (new_type < SVt_PVIV) {
1216                 new_type = (new_type == SVt_NV)
1217                     ? SVt_PVNV : SVt_PVIV;
1218             }
1219         }
1220         break;
1221     case SVt_NV:
1222         if (new_type < SVt_PVNV) {
1223             new_type = SVt_PVNV;
1224         }
1225         break;
1226     case SVt_PV:
1227         assert(new_type > SVt_PV);
1228         assert(SVt_IV < SVt_PV);
1229         assert(SVt_NV < SVt_PV);
1230         break;
1231     case SVt_PVIV:
1232         break;
1233     case SVt_PVNV:
1234         break;
1235     case SVt_PVMG:
1236         /* Because the XPVMG of PL_mess_sv isn't allocated from the arena,
1237            there's no way that it can be safely upgraded, because perl.c
1238            expects to Safefree(SvANY(PL_mess_sv))  */
1239         assert(sv != PL_mess_sv);
1240         /* This flag bit is used to mean other things in other scalar types.
1241            Given that it only has meaning inside the pad, it shouldn't be set
1242            on anything that can get upgraded.  */
1243         assert(!SvPAD_TYPED(sv));
1244         break;
1245     default:
1246         if (old_type_details->cant_upgrade)
1247             Perl_croak(aTHX_ "Can't upgrade %s (%" UVuf ") to %" UVuf,
1248                        sv_reftype(sv, 0), (UV) old_type, (UV) new_type);
1249     }
1250
1251     if (old_type > new_type)
1252         Perl_croak(aTHX_ "sv_upgrade from type %d down to type %d",
1253                 (int)old_type, (int)new_type);
1254
1255     new_type_details = bodies_by_type + new_type;
1256
1257     SvFLAGS(sv) &= ~SVTYPEMASK;
1258     SvFLAGS(sv) |= new_type;
1259
1260     /* This can't happen, as SVt_NULL is <= all values of new_type, so one of
1261        the return statements above will have triggered.  */
1262     assert (new_type != SVt_NULL);
1263     switch (new_type) {
1264     case SVt_IV:
1265         assert(old_type == SVt_NULL);
1266         SvANY(sv) = (XPVIV*)((char*)&(sv->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
1267         SvIV_set(sv, 0);
1268         return;
1269     case SVt_NV:
1270         assert(old_type == SVt_NULL);
1271         SvANY(sv) = new_XNV();
1272         SvNV_set(sv, 0);
1273         return;
1274     case SVt_PVHV:
1275     case SVt_PVAV:
1276         assert(new_type_details->body_size);
1277
1278 #ifndef PURIFY  
1279         assert(new_type_details->arena);
1280         assert(new_type_details->arena_size);
1281         /* This points to the start of the allocated area.  */
1282         new_body_inline(new_body, new_type);
1283         Zero(new_body, new_type_details->body_size, char);
1284         new_body = ((char *)new_body) - new_type_details->offset;
1285 #else
1286         /* We always allocated the full length item with PURIFY. To do this
1287            we fake things so that arena is false for all 16 types..  */
1288         new_body = new_NOARENAZ(new_type_details);
1289 #endif
1290         SvANY(sv) = new_body;
1291         if (new_type == SVt_PVAV) {
1292             AvMAX(sv)   = -1;
1293             AvFILLp(sv) = -1;
1294             AvREAL_only(sv);
1295             if (old_type_details->body_size) {
1296                 AvALLOC(sv) = 0;
1297             } else {
1298                 /* It will have been zeroed when the new body was allocated.
1299                    Lets not write to it, in case it confuses a write-back
1300                    cache.  */
1301             }
1302         } else {
1303             assert(!SvOK(sv));
1304             SvOK_off(sv);
1305 #ifndef NODEFAULT_SHAREKEYS
1306             HvSHAREKEYS_on(sv);         /* key-sharing on by default */
1307 #endif
1308             HvMAX(sv) = 7; /* (start with 8 buckets) */
1309         }
1310
1311         /* SVt_NULL isn't the only thing upgraded to AV or HV.
1312            The target created by newSVrv also is, and it can have magic.
1313            However, it never has SvPVX set.
1314         */
1315         if (old_type == SVt_IV) {
1316             assert(!SvROK(sv));
1317         } else if (old_type >= SVt_PV) {
1318             assert(SvPVX_const(sv) == 0);
1319         }
1320
1321         if (old_type >= SVt_PVMG) {
1322             SvMAGIC_set(sv, ((XPVMG*)old_body)->xmg_u.xmg_magic);
1323             SvSTASH_set(sv, ((XPVMG*)old_body)->xmg_stash);
1324         } else {
1325             sv->sv_u.svu_array = NULL; /* or svu_hash  */
1326         }
1327         break;
1328
1329
1330     case SVt_REGEXP:
1331         /* This ensures that SvTHINKFIRST(sv) is true, and hence that
1332            sv_force_normal_flags(sv) is called.  */
1333         SvFAKE_on(sv);
1334     case SVt_PVIV:
1335         /* XXX Is this still needed?  Was it ever needed?   Surely as there is
1336            no route from NV to PVIV, NOK can never be true  */
1337         assert(!SvNOKp(sv));
1338         assert(!SvNOK(sv));
1339     case SVt_PVIO:
1340     case SVt_PVFM:
1341     case SVt_PVGV:
1342     case SVt_PVCV:
1343     case SVt_PVLV:
1344     case SVt_PVMG:
1345     case SVt_PVNV:
1346     case SVt_PV:
1347
1348         assert(new_type_details->body_size);
1349         /* We always allocated the full length item with PURIFY. To do this
1350            we fake things so that arena is false for all 16 types..  */
1351         if(new_type_details->arena) {
1352             /* This points to the start of the allocated area.  */
1353             new_body_inline(new_body, new_type);
1354             Zero(new_body, new_type_details->body_size, char);
1355             new_body = ((char *)new_body) - new_type_details->offset;
1356         } else {
1357             new_body = new_NOARENAZ(new_type_details);
1358         }
1359         SvANY(sv) = new_body;
1360
1361         if (old_type_details->copy) {
1362             /* There is now the potential for an upgrade from something without
1363                an offset (PVNV or PVMG) to something with one (PVCV, PVFM)  */
1364             int offset = old_type_details->offset;
1365             int length = old_type_details->copy;
1366
1367             if (new_type_details->offset > old_type_details->offset) {
1368                 const int difference
1369                     = new_type_details->offset - old_type_details->offset;
1370                 offset += difference;
1371                 length -= difference;
1372             }
1373             assert (length >= 0);
1374                 
1375             Copy((char *)old_body + offset, (char *)new_body + offset, length,
1376                  char);
1377         }
1378
1379 #ifndef NV_ZERO_IS_ALLBITS_ZERO
1380         /* If NV 0.0 is stores as all bits 0 then Zero() already creates a
1381          * correct 0.0 for us.  Otherwise, if the old body didn't have an
1382          * NV slot, but the new one does, then we need to initialise the
1383          * freshly created NV slot with whatever the correct bit pattern is
1384          * for 0.0  */
1385         if (old_type_details->zero_nv && !new_type_details->zero_nv
1386             && !isGV_with_GP(sv))
1387             SvNV_set(sv, 0);
1388 #endif
1389
1390         if (new_type == SVt_PVIO) {
1391             IO * const io = MUTABLE_IO(sv);
1392             GV *iogv = gv_fetchpvs("IO::File::", GV_ADD, SVt_PVHV);
1393
1394             SvOBJECT_on(io);
1395             /* Clear the stashcache because a new IO could overrule a package
1396                name */
1397             hv_clear(PL_stashcache);
1398
1399             SvSTASH_set(io, MUTABLE_HV(SvREFCNT_inc(GvHV(iogv))));
1400             IoPAGE_LEN(sv) = 60;
1401         }
1402         if (old_type < SVt_PV) {
1403             /* referant will be NULL unless the old type was SVt_IV emulating
1404                SVt_RV */
1405             sv->sv_u.svu_rv = referant;
1406         }
1407         break;
1408     default:
1409         Perl_croak(aTHX_ "panic: sv_upgrade to unknown type %lu",
1410                    (unsigned long)new_type);
1411     }
1412
1413     if (old_type > SVt_IV) {
1414 #ifdef PURIFY
1415         safefree(old_body);
1416 #else
1417         /* Note that there is an assumption that all bodies of types that
1418            can be upgraded came from arenas. Only the more complex non-
1419            upgradable types are allowed to be directly malloc()ed.  */
1420         assert(old_type_details->arena);
1421         del_body((void*)((char*)old_body + old_type_details->offset),
1422                  &PL_body_roots[old_type]);
1423 #endif
1424     }
1425 }
1426
1427 /*
1428 =for apidoc sv_backoff
1429
1430 Remove any string offset. You should normally use the C<SvOOK_off> macro
1431 wrapper instead.
1432
1433 =cut
1434 */
1435
1436 int
1437 Perl_sv_backoff(pTHX_ register SV *const sv)
1438 {
1439     STRLEN delta;
1440     const char * const s = SvPVX_const(sv);
1441
1442     PERL_ARGS_ASSERT_SV_BACKOFF;
1443     PERL_UNUSED_CONTEXT;
1444
1445     assert(SvOOK(sv));
1446     assert(SvTYPE(sv) != SVt_PVHV);
1447     assert(SvTYPE(sv) != SVt_PVAV);
1448
1449     SvOOK_offset(sv, delta);
1450     
1451     SvLEN_set(sv, SvLEN(sv) + delta);
1452     SvPV_set(sv, SvPVX(sv) - delta);
1453     Move(s, SvPVX(sv), SvCUR(sv)+1, char);
1454     SvFLAGS(sv) &= ~SVf_OOK;
1455     return 0;
1456 }
1457
1458 /*
1459 =for apidoc sv_grow
1460
1461 Expands the character buffer in the SV.  If necessary, uses C<sv_unref> and
1462 upgrades the SV to C<SVt_PV>.  Returns a pointer to the character buffer.
1463 Use the C<SvGROW> wrapper instead.
1464
1465 =cut
1466 */
1467
1468 char *
1469 Perl_sv_grow(pTHX_ register SV *const sv, register STRLEN newlen)
1470 {
1471     register char *s;
1472
1473     PERL_ARGS_ASSERT_SV_GROW;
1474
1475     if (PL_madskills && newlen >= 0x100000) {
1476         PerlIO_printf(Perl_debug_log,
1477                       "Allocation too large: %"UVxf"\n", (UV)newlen);
1478     }
1479 #ifdef HAS_64K_LIMIT
1480     if (newlen >= 0x10000) {
1481         PerlIO_printf(Perl_debug_log,
1482                       "Allocation too large: %"UVxf"\n", (UV)newlen);
1483         my_exit(1);
1484     }
1485 #endif /* HAS_64K_LIMIT */
1486     if (SvROK(sv))
1487         sv_unref(sv);
1488     if (SvTYPE(sv) < SVt_PV) {
1489         sv_upgrade(sv, SVt_PV);
1490         s = SvPVX_mutable(sv);
1491     }
1492     else if (SvOOK(sv)) {       /* pv is offset? */
1493         sv_backoff(sv);
1494         s = SvPVX_mutable(sv);
1495         if (newlen > SvLEN(sv))
1496             newlen += 10 * (newlen - SvCUR(sv)); /* avoid copy each time */
1497 #ifdef HAS_64K_LIMIT
1498         if (newlen >= 0x10000)
1499             newlen = 0xFFFF;
1500 #endif
1501     }
1502     else
1503         s = SvPVX_mutable(sv);
1504
1505     if (newlen > SvLEN(sv)) {           /* need more room? */
1506         STRLEN minlen = SvCUR(sv);
1507         minlen += (minlen >> PERL_STRLEN_EXPAND_SHIFT) + 10;
1508         if (newlen < minlen)
1509             newlen = minlen;
1510 #ifndef Perl_safesysmalloc_size
1511         newlen = PERL_STRLEN_ROUNDUP(newlen);
1512 #endif
1513         if (SvLEN(sv) && s) {
1514             s = (char*)saferealloc(s, newlen);
1515         }
1516         else {
1517             s = (char*)safemalloc(newlen);
1518             if (SvPVX_const(sv) && SvCUR(sv)) {
1519                 Move(SvPVX_const(sv), s, (newlen < SvCUR(sv)) ? newlen : SvCUR(sv), char);
1520             }
1521         }
1522         SvPV_set(sv, s);
1523 #ifdef Perl_safesysmalloc_size
1524         /* Do this here, do it once, do it right, and then we will never get
1525            called back into sv_grow() unless there really is some growing
1526            needed.  */
1527         SvLEN_set(sv, Perl_safesysmalloc_size(s));
1528 #else
1529         SvLEN_set(sv, newlen);
1530 #endif
1531     }
1532     return s;
1533 }
1534
1535 /*
1536 =for apidoc sv_setiv
1537
1538 Copies an integer into the given SV, upgrading first if necessary.
1539 Does not handle 'set' magic.  See also C<sv_setiv_mg>.
1540
1541 =cut
1542 */
1543
1544 void
1545 Perl_sv_setiv(pTHX_ register SV *const sv, const IV i)
1546 {
1547     dVAR;
1548
1549     PERL_ARGS_ASSERT_SV_SETIV;
1550
1551     SV_CHECK_THINKFIRST_COW_DROP(sv);
1552     switch (SvTYPE(sv)) {
1553     case SVt_NULL:
1554     case SVt_NV:
1555         sv_upgrade(sv, SVt_IV);
1556         break;
1557     case SVt_PV:
1558         sv_upgrade(sv, SVt_PVIV);
1559         break;
1560
1561     case SVt_PVGV:
1562         if (!isGV_with_GP(sv))
1563             break;
1564     case SVt_PVAV:
1565     case SVt_PVHV:
1566     case SVt_PVCV:
1567     case SVt_PVFM:
1568     case SVt_PVIO:
1569         /* diag_listed_as: Can't coerce %s to %s in %s */
1570         Perl_croak(aTHX_ "Can't coerce %s to integer in %s", sv_reftype(sv,0),
1571                    OP_DESC(PL_op));
1572     default: NOOP;
1573     }
1574     (void)SvIOK_only(sv);                       /* validate number */
1575     SvIV_set(sv, i);
1576     SvTAINT(sv);
1577 }
1578
1579 /*
1580 =for apidoc sv_setiv_mg
1581
1582 Like C<sv_setiv>, but also handles 'set' magic.
1583
1584 =cut
1585 */
1586
1587 void
1588 Perl_sv_setiv_mg(pTHX_ register SV *const sv, const IV i)
1589 {
1590     PERL_ARGS_ASSERT_SV_SETIV_MG;
1591
1592     sv_setiv(sv,i);
1593     SvSETMAGIC(sv);
1594 }
1595
1596 /*
1597 =for apidoc sv_setuv
1598
1599 Copies an unsigned integer into the given SV, upgrading first if necessary.
1600 Does not handle 'set' magic.  See also C<sv_setuv_mg>.
1601
1602 =cut
1603 */
1604
1605 void
1606 Perl_sv_setuv(pTHX_ register SV *const sv, const UV u)
1607 {
1608     PERL_ARGS_ASSERT_SV_SETUV;
1609
1610     /* With these two if statements:
1611        u=1.49  s=0.52  cu=72.49  cs=10.64  scripts=270  tests=20865
1612
1613        without
1614        u=1.35  s=0.47  cu=73.45  cs=11.43  scripts=270  tests=20865
1615
1616        If you wish to remove them, please benchmark to see what the effect is
1617     */
1618     if (u <= (UV)IV_MAX) {
1619        sv_setiv(sv, (IV)u);
1620        return;
1621     }
1622     sv_setiv(sv, 0);
1623     SvIsUV_on(sv);
1624     SvUV_set(sv, u);
1625 }
1626
1627 /*
1628 =for apidoc sv_setuv_mg
1629
1630 Like C<sv_setuv>, but also handles 'set' magic.
1631
1632 =cut
1633 */
1634
1635 void
1636 Perl_sv_setuv_mg(pTHX_ register SV *const sv, const UV u)
1637 {
1638     PERL_ARGS_ASSERT_SV_SETUV_MG;
1639
1640     sv_setuv(sv,u);
1641     SvSETMAGIC(sv);
1642 }
1643
1644 /*
1645 =for apidoc sv_setnv
1646
1647 Copies a double into the given SV, upgrading first if necessary.
1648 Does not handle 'set' magic.  See also C<sv_setnv_mg>.
1649
1650 =cut
1651 */
1652
1653 void
1654 Perl_sv_setnv(pTHX_ register SV *const sv, const NV num)
1655 {
1656     dVAR;
1657
1658     PERL_ARGS_ASSERT_SV_SETNV;
1659
1660     SV_CHECK_THINKFIRST_COW_DROP(sv);
1661     switch (SvTYPE(sv)) {
1662     case SVt_NULL:
1663     case SVt_IV:
1664         sv_upgrade(sv, SVt_NV);
1665         break;
1666     case SVt_PV:
1667     case SVt_PVIV:
1668         sv_upgrade(sv, SVt_PVNV);
1669         break;
1670
1671     case SVt_PVGV:
1672         if (!isGV_with_GP(sv))
1673             break;
1674     case SVt_PVAV:
1675     case SVt_PVHV:
1676     case SVt_PVCV:
1677     case SVt_PVFM:
1678     case SVt_PVIO:
1679         /* diag_listed_as: Can't coerce %s to %s in %s */
1680         Perl_croak(aTHX_ "Can't coerce %s to number in %s", sv_reftype(sv,0),
1681                    OP_DESC(PL_op));
1682     default: NOOP;
1683     }
1684     SvNV_set(sv, num);
1685     (void)SvNOK_only(sv);                       /* validate number */
1686     SvTAINT(sv);
1687 }
1688
1689 /*
1690 =for apidoc sv_setnv_mg
1691
1692 Like C<sv_setnv>, but also handles 'set' magic.
1693
1694 =cut
1695 */
1696
1697 void
1698 Perl_sv_setnv_mg(pTHX_ register SV *const sv, const NV num)
1699 {
1700     PERL_ARGS_ASSERT_SV_SETNV_MG;
1701
1702     sv_setnv(sv,num);
1703     SvSETMAGIC(sv);
1704 }
1705
1706 /* Print an "isn't numeric" warning, using a cleaned-up,
1707  * printable version of the offending string
1708  */
1709
1710 STATIC void
1711 S_not_a_number(pTHX_ SV *const sv)
1712 {
1713      dVAR;
1714      SV *dsv;
1715      char tmpbuf[64];
1716      const char *pv;
1717
1718      PERL_ARGS_ASSERT_NOT_A_NUMBER;
1719
1720      if (DO_UTF8(sv)) {
1721           dsv = newSVpvs_flags("", SVs_TEMP);
1722           pv = sv_uni_display(dsv, sv, 10, 0);
1723      } else {
1724           char *d = tmpbuf;
1725           const char * const limit = tmpbuf + sizeof(tmpbuf) - 8;
1726           /* each *s can expand to 4 chars + "...\0",
1727              i.e. need room for 8 chars */
1728         
1729           const char *s = SvPVX_const(sv);
1730           const char * const end = s + SvCUR(sv);
1731           for ( ; s < end && d < limit; s++ ) {
1732                int ch = *s & 0xFF;
1733                if (ch & 128 && !isPRINT_LC(ch)) {
1734                     *d++ = 'M';
1735                     *d++ = '-';
1736                     ch &= 127;
1737                }
1738                if (ch == '\n') {
1739                     *d++ = '\\';
1740                     *d++ = 'n';
1741                }
1742                else if (ch == '\r') {
1743                     *d++ = '\\';
1744                     *d++ = 'r';
1745                }
1746                else if (ch == '\f') {
1747                     *d++ = '\\';
1748                     *d++ = 'f';
1749                }
1750                else if (ch == '\\') {
1751                     *d++ = '\\';
1752                     *d++ = '\\';
1753                }
1754                else if (ch == '\0') {
1755                     *d++ = '\\';
1756                     *d++ = '0';
1757                }
1758                else if (isPRINT_LC(ch))
1759                     *d++ = ch;
1760                else {
1761                     *d++ = '^';
1762                     *d++ = toCTRL(ch);
1763                }
1764           }
1765           if (s < end) {
1766                *d++ = '.';
1767                *d++ = '.';
1768                *d++ = '.';
1769           }
1770           *d = '\0';
1771           pv = tmpbuf;
1772     }
1773
1774     if (PL_op)
1775         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1776                     "Argument \"%s\" isn't numeric in %s", pv,
1777                     OP_DESC(PL_op));
1778     else
1779         Perl_warner(aTHX_ packWARN(WARN_NUMERIC),
1780                     "Argument \"%s\" isn't numeric", pv);
1781 }
1782
1783 /*
1784 =for apidoc looks_like_number
1785
1786 Test if the content of an SV looks like a number (or is a number).
1787 C<Inf> and C<Infinity> are treated as numbers (so will not issue a
1788 non-numeric warning), even if your atof() doesn't grok them.
1789
1790 =cut
1791 */
1792
1793 I32
1794 Perl_looks_like_number(pTHX_ SV *const sv)
1795 {
1796     register const char *sbegin;
1797     STRLEN len;
1798
1799     PERL_ARGS_ASSERT_LOOKS_LIKE_NUMBER;
1800
1801     if (SvPOK(sv)) {
1802         sbegin = SvPVX_const(sv);
1803         len = SvCUR(sv);
1804     }
1805     else if (SvPOKp(sv))
1806         sbegin = SvPV_const(sv, len);
1807     else
1808         return SvFLAGS(sv) & (SVf_NOK|SVp_NOK|SVf_IOK|SVp_IOK);
1809     return grok_number(sbegin, len, NULL);
1810 }
1811
1812 STATIC bool
1813 S_glob_2number(pTHX_ GV * const gv)
1814 {
1815     const U32 wasfake = SvFLAGS(gv) & SVf_FAKE;
1816     SV *const buffer = sv_newmortal();
1817
1818     PERL_ARGS_ASSERT_GLOB_2NUMBER;
1819
1820     /* FAKE globs can get coerced, so need to turn this off temporarily if it
1821        is on.  */
1822     SvFAKE_off(gv);
1823     gv_efullname3(buffer, gv, "*");
1824     SvFLAGS(gv) |= wasfake;
1825
1826     /* We know that all GVs stringify to something that is not-a-number,
1827         so no need to test that.  */
1828     if (ckWARN(WARN_NUMERIC))
1829         not_a_number(buffer);
1830     /* We just want something true to return, so that S_sv_2iuv_common
1831         can tail call us and return true.  */
1832     return TRUE;
1833 }
1834
1835 /* Actually, ISO C leaves conversion of UV to IV undefined, but
1836    until proven guilty, assume that things are not that bad... */
1837
1838 /*
1839    NV_PRESERVES_UV:
1840
1841    As 64 bit platforms often have an NV that doesn't preserve all bits of
1842    an IV (an assumption perl has been based on to date) it becomes necessary
1843    to remove the assumption that the NV always carries enough precision to
1844    recreate the IV whenever needed, and that the NV is the canonical form.
1845    Instead, IV/UV and NV need to be given equal rights. So as to not lose
1846    precision as a side effect of conversion (which would lead to insanity
1847    and the dragon(s) in t/op/numconvert.t getting very angry) the intent is
1848    1) to distinguish between IV/UV/NV slots that have cached a valid
1849       conversion where precision was lost and IV/UV/NV slots that have a
1850       valid conversion which has lost no precision
1851    2) to ensure that if a numeric conversion to one form is requested that
1852       would lose precision, the precise conversion (or differently
1853       imprecise conversion) is also performed and cached, to prevent
1854       requests for different numeric formats on the same SV causing
1855       lossy conversion chains. (lossless conversion chains are perfectly
1856       acceptable (still))
1857
1858
1859    flags are used:
1860    SvIOKp is true if the IV slot contains a valid value
1861    SvIOK  is true only if the IV value is accurate (UV if SvIOK_UV true)
1862    SvNOKp is true if the NV slot contains a valid value
1863    SvNOK  is true only if the NV value is accurate
1864
1865    so
1866    while converting from PV to NV, check to see if converting that NV to an
1867    IV(or UV) would lose accuracy over a direct conversion from PV to
1868    IV(or UV). If it would, cache both conversions, return NV, but mark
1869    SV as IOK NOKp (ie not NOK).
1870
1871    While converting from PV to IV, check to see if converting that IV to an
1872    NV would lose accuracy over a direct conversion from PV to NV. If it
1873    would, cache both conversions, flag similarly.
1874
1875    Before, the SV value "3.2" could become NV=3.2 IV=3 NOK, IOK quite
1876    correctly because if IV & NV were set NV *always* overruled.
1877    Now, "3.2" will become NV=3.2 IV=3 NOK, IOKp, because the flag's meaning
1878    changes - now IV and NV together means that the two are interchangeable:
1879    SvIVX == (IV) SvNVX && SvNVX == (NV) SvIVX;
1880
1881    The benefit of this is that operations such as pp_add know that if
1882    SvIOK is true for both left and right operands, then integer addition
1883    can be used instead of floating point (for cases where the result won't
1884    overflow). Before, floating point was always used, which could lead to
1885    loss of precision compared with integer addition.
1886
1887    * making IV and NV equal status should make maths accurate on 64 bit
1888      platforms
1889    * may speed up maths somewhat if pp_add and friends start to use
1890      integers when possible instead of fp. (Hopefully the overhead in
1891      looking for SvIOK and checking for overflow will not outweigh the
1892      fp to integer speedup)
1893    * will slow down integer operations (callers of SvIV) on "inaccurate"
1894      values, as the change from SvIOK to SvIOKp will cause a call into
1895      sv_2iv each time rather than a macro access direct to the IV slot
1896    * should speed up number->string conversion on integers as IV is
1897      favoured when IV and NV are equally accurate
1898
1899    ####################################################################
1900    You had better be using SvIOK_notUV if you want an IV for arithmetic:
1901    SvIOK is true if (IV or UV), so you might be getting (IV)SvUV.
1902    On the other hand, SvUOK is true iff UV.
1903    ####################################################################
1904
1905    Your mileage will vary depending your CPU's relative fp to integer
1906    performance ratio.
1907 */
1908
1909 #ifndef NV_PRESERVES_UV
1910 #  define IS_NUMBER_UNDERFLOW_IV 1
1911 #  define IS_NUMBER_UNDERFLOW_UV 2
1912 #  define IS_NUMBER_IV_AND_UV    2
1913 #  define IS_NUMBER_OVERFLOW_IV  4
1914 #  define IS_NUMBER_OVERFLOW_UV  5
1915
1916 /* sv_2iuv_non_preserve(): private routine for use by sv_2iv() and sv_2uv() */
1917
1918 /* For sv_2nv these three cases are "SvNOK and don't bother casting"  */
1919 STATIC int
1920 S_sv_2iuv_non_preserve(pTHX_ register SV *const sv
1921 #  ifdef DEBUGGING
1922                        , I32 numtype
1923 #  endif
1924                        )
1925 {
1926     dVAR;
1927
1928     PERL_ARGS_ASSERT_SV_2IUV_NON_PRESERVE;
1929
1930     DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_2iuv_non '%s', IV=0x%"UVxf" NV=%"NVgf" inttype=%"UVXf"\n", SvPVX_const(sv), SvIVX(sv), SvNVX(sv), (UV)numtype));
1931     if (SvNVX(sv) < (NV)IV_MIN) {
1932         (void)SvIOKp_on(sv);
1933         (void)SvNOK_on(sv);
1934         SvIV_set(sv, IV_MIN);
1935         return IS_NUMBER_UNDERFLOW_IV;
1936     }
1937     if (SvNVX(sv) > (NV)UV_MAX) {
1938         (void)SvIOKp_on(sv);
1939         (void)SvNOK_on(sv);
1940         SvIsUV_on(sv);
1941         SvUV_set(sv, UV_MAX);
1942         return IS_NUMBER_OVERFLOW_UV;
1943     }
1944     (void)SvIOKp_on(sv);
1945     (void)SvNOK_on(sv);
1946     /* Can't use strtol etc to convert this string.  (See truth table in
1947        sv_2iv  */
1948     if (SvNVX(sv) <= (UV)IV_MAX) {
1949         SvIV_set(sv, I_V(SvNVX(sv)));
1950         if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
1951             SvIOK_on(sv); /* Integer is precise. NOK, IOK */
1952         } else {
1953             /* Integer is imprecise. NOK, IOKp */
1954         }
1955         return SvNVX(sv) < 0 ? IS_NUMBER_UNDERFLOW_UV : IS_NUMBER_IV_AND_UV;
1956     }
1957     SvIsUV_on(sv);
1958     SvUV_set(sv, U_V(SvNVX(sv)));
1959     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
1960         if (SvUVX(sv) == UV_MAX) {
1961             /* As we know that NVs don't preserve UVs, UV_MAX cannot
1962                possibly be preserved by NV. Hence, it must be overflow.
1963                NOK, IOKp */
1964             return IS_NUMBER_OVERFLOW_UV;
1965         }
1966         SvIOK_on(sv); /* Integer is precise. NOK, UOK */
1967     } else {
1968         /* Integer is imprecise. NOK, IOKp */
1969     }
1970     return IS_NUMBER_OVERFLOW_IV;
1971 }
1972 #endif /* !NV_PRESERVES_UV*/
1973
1974 STATIC bool
1975 S_sv_2iuv_common(pTHX_ SV *const sv)
1976 {
1977     dVAR;
1978
1979     PERL_ARGS_ASSERT_SV_2IUV_COMMON;
1980
1981     if (SvNOKp(sv)) {
1982         /* erm. not sure. *should* never get NOKp (without NOK) from sv_2nv
1983          * without also getting a cached IV/UV from it at the same time
1984          * (ie PV->NV conversion should detect loss of accuracy and cache
1985          * IV or UV at same time to avoid this. */
1986         /* IV-over-UV optimisation - choose to cache IV if possible */
1987
1988         if (SvTYPE(sv) == SVt_NV)
1989             sv_upgrade(sv, SVt_PVNV);
1990
1991         (void)SvIOKp_on(sv);    /* Must do this first, to clear any SvOOK */
1992         /* < not <= as for NV doesn't preserve UV, ((NV)IV_MAX+1) will almost
1993            certainly cast into the IV range at IV_MAX, whereas the correct
1994            answer is the UV IV_MAX +1. Hence < ensures that dodgy boundary
1995            cases go to UV */
1996 #if defined(NAN_COMPARE_BROKEN) && defined(Perl_isnan)
1997         if (Perl_isnan(SvNVX(sv))) {
1998             SvUV_set(sv, 0);
1999             SvIsUV_on(sv);
2000             return FALSE;
2001         }
2002 #endif
2003         if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2004             SvIV_set(sv, I_V(SvNVX(sv)));
2005             if (SvNVX(sv) == (NV) SvIVX(sv)
2006 #ifndef NV_PRESERVES_UV
2007                 && (((UV)1 << NV_PRESERVES_UV_BITS) >
2008                     (UV)(SvIVX(sv) > 0 ? SvIVX(sv) : -SvIVX(sv)))
2009                 /* Don't flag it as "accurately an integer" if the number
2010                    came from a (by definition imprecise) NV operation, and
2011                    we're outside the range of NV integer precision */
2012 #endif
2013                 ) {
2014                 if (SvNOK(sv))
2015                     SvIOK_on(sv);  /* Can this go wrong with rounding? NWC */
2016                 else {
2017                     /* scalar has trailing garbage, eg "42a" */
2018                 }
2019                 DEBUG_c(PerlIO_printf(Perl_debug_log,
2020                                       "0x%"UVxf" iv(%"NVgf" => %"IVdf") (precise)\n",
2021                                       PTR2UV(sv),
2022                                       SvNVX(sv),
2023                                       SvIVX(sv)));
2024
2025             } else {
2026                 /* IV not precise.  No need to convert from PV, as NV
2027                    conversion would already have cached IV if it detected
2028                    that PV->IV would be better than PV->NV->IV
2029                    flags already correct - don't set public IOK.  */
2030                 DEBUG_c(PerlIO_printf(Perl_debug_log,
2031                                       "0x%"UVxf" iv(%"NVgf" => %"IVdf") (imprecise)\n",
2032                                       PTR2UV(sv),
2033                                       SvNVX(sv),
2034                                       SvIVX(sv)));
2035             }
2036             /* Can the above go wrong if SvIVX == IV_MIN and SvNVX < IV_MIN,
2037                but the cast (NV)IV_MIN rounds to a the value less (more
2038                negative) than IV_MIN which happens to be equal to SvNVX ??
2039                Analogous to 0xFFFFFFFFFFFFFFFF rounding up to NV (2**64) and
2040                NV rounding back to 0xFFFFFFFFFFFFFFFF, so UVX == UV(NVX) and
2041                (NV)UVX == NVX are both true, but the values differ. :-(
2042                Hopefully for 2s complement IV_MIN is something like
2043                0x8000000000000000 which will be exact. NWC */
2044         }
2045         else {
2046             SvUV_set(sv, U_V(SvNVX(sv)));
2047             if (
2048                 (SvNVX(sv) == (NV) SvUVX(sv))
2049 #ifndef  NV_PRESERVES_UV
2050                 /* Make sure it's not 0xFFFFFFFFFFFFFFFF */
2051                 /*&& (SvUVX(sv) != UV_MAX) irrelevant with code below */
2052                 && (((UV)1 << NV_PRESERVES_UV_BITS) > SvUVX(sv))
2053                 /* Don't flag it as "accurately an integer" if the number
2054                    came from a (by definition imprecise) NV operation, and
2055                    we're outside the range of NV integer precision */
2056 #endif
2057                 && SvNOK(sv)
2058                 )
2059                 SvIOK_on(sv);
2060             SvIsUV_on(sv);
2061             DEBUG_c(PerlIO_printf(Perl_debug_log,
2062                                   "0x%"UVxf" 2iv(%"UVuf" => %"IVdf") (as unsigned)\n",
2063                                   PTR2UV(sv),
2064                                   SvUVX(sv),
2065                                   SvUVX(sv)));
2066         }
2067     }
2068     else if (SvPOKp(sv) && SvLEN(sv)) {
2069         UV value;
2070         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2071         /* We want to avoid a possible problem when we cache an IV/ a UV which
2072            may be later translated to an NV, and the resulting NV is not
2073            the same as the direct translation of the initial string
2074            (eg 123.456 can shortcut to the IV 123 with atol(), but we must
2075            be careful to ensure that the value with the .456 is around if the
2076            NV value is requested in the future).
2077         
2078            This means that if we cache such an IV/a UV, we need to cache the
2079            NV as well.  Moreover, we trade speed for space, and do not
2080            cache the NV if we are sure it's not needed.
2081          */
2082
2083         /* SVt_PVNV is one higher than SVt_PVIV, hence this order  */
2084         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2085              == IS_NUMBER_IN_UV) {
2086             /* It's definitely an integer, only upgrade to PVIV */
2087             if (SvTYPE(sv) < SVt_PVIV)
2088                 sv_upgrade(sv, SVt_PVIV);
2089             (void)SvIOK_on(sv);
2090         } else if (SvTYPE(sv) < SVt_PVNV)
2091             sv_upgrade(sv, SVt_PVNV);
2092
2093         /* If NVs preserve UVs then we only use the UV value if we know that
2094            we aren't going to call atof() below. If NVs don't preserve UVs
2095            then the value returned may have more precision than atof() will
2096            return, even though value isn't perfectly accurate.  */
2097         if ((numtype & (IS_NUMBER_IN_UV
2098 #ifdef NV_PRESERVES_UV
2099                         | IS_NUMBER_NOT_INT
2100 #endif
2101             )) == IS_NUMBER_IN_UV) {
2102             /* This won't turn off the public IOK flag if it was set above  */
2103             (void)SvIOKp_on(sv);
2104
2105             if (!(numtype & IS_NUMBER_NEG)) {
2106                 /* positive */;
2107                 if (value <= (UV)IV_MAX) {
2108                     SvIV_set(sv, (IV)value);
2109                 } else {
2110                     /* it didn't overflow, and it was positive. */
2111                     SvUV_set(sv, value);
2112                     SvIsUV_on(sv);
2113                 }
2114             } else {
2115                 /* 2s complement assumption  */
2116                 if (value <= (UV)IV_MIN) {
2117                     SvIV_set(sv, -(IV)value);
2118                 } else {
2119                     /* Too negative for an IV.  This is a double upgrade, but
2120                        I'm assuming it will be rare.  */
2121                     if (SvTYPE(sv) < SVt_PVNV)
2122                         sv_upgrade(sv, SVt_PVNV);
2123                     SvNOK_on(sv);
2124                     SvIOK_off(sv);
2125                     SvIOKp_on(sv);
2126                     SvNV_set(sv, -(NV)value);
2127                     SvIV_set(sv, IV_MIN);
2128                 }
2129             }
2130         }
2131         /* For !NV_PRESERVES_UV and IS_NUMBER_IN_UV and IS_NUMBER_NOT_INT we
2132            will be in the previous block to set the IV slot, and the next
2133            block to set the NV slot.  So no else here.  */
2134         
2135         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2136             != IS_NUMBER_IN_UV) {
2137             /* It wasn't an (integer that doesn't overflow the UV). */
2138             SvNV_set(sv, Atof(SvPVX_const(sv)));
2139
2140             if (! numtype && ckWARN(WARN_NUMERIC))
2141                 not_a_number(sv);
2142
2143 #if defined(USE_LONG_DOUBLE)
2144             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%" PERL_PRIgldbl ")\n",
2145                                   PTR2UV(sv), SvNVX(sv)));
2146 #else
2147             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%"NVgf")\n",
2148                                   PTR2UV(sv), SvNVX(sv)));
2149 #endif
2150
2151 #ifdef NV_PRESERVES_UV
2152             (void)SvIOKp_on(sv);
2153             (void)SvNOK_on(sv);
2154             if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2155                 SvIV_set(sv, I_V(SvNVX(sv)));
2156                 if ((NV)(SvIVX(sv)) == SvNVX(sv)) {
2157                     SvIOK_on(sv);
2158                 } else {
2159                     NOOP;  /* Integer is imprecise. NOK, IOKp */
2160                 }
2161                 /* UV will not work better than IV */
2162             } else {
2163                 if (SvNVX(sv) > (NV)UV_MAX) {
2164                     SvIsUV_on(sv);
2165                     /* Integer is inaccurate. NOK, IOKp, is UV */
2166                     SvUV_set(sv, UV_MAX);
2167                 } else {
2168                     SvUV_set(sv, U_V(SvNVX(sv)));
2169                     /* 0xFFFFFFFFFFFFFFFF not an issue in here, NVs
2170                        NV preservse UV so can do correct comparison.  */
2171                     if ((NV)(SvUVX(sv)) == SvNVX(sv)) {
2172                         SvIOK_on(sv);
2173                     } else {
2174                         NOOP;   /* Integer is imprecise. NOK, IOKp, is UV */
2175                     }
2176                 }
2177                 SvIsUV_on(sv);
2178             }
2179 #else /* NV_PRESERVES_UV */
2180             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2181                 == (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT)) {
2182                 /* The IV/UV slot will have been set from value returned by
2183                    grok_number above.  The NV slot has just been set using
2184                    Atof.  */
2185                 SvNOK_on(sv);
2186                 assert (SvIOKp(sv));
2187             } else {
2188                 if (((UV)1 << NV_PRESERVES_UV_BITS) >
2189                     U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2190                     /* Small enough to preserve all bits. */
2191                     (void)SvIOKp_on(sv);
2192                     SvNOK_on(sv);
2193                     SvIV_set(sv, I_V(SvNVX(sv)));
2194                     if ((NV)(SvIVX(sv)) == SvNVX(sv))
2195                         SvIOK_on(sv);
2196                     /* Assumption: first non-preserved integer is < IV_MAX,
2197                        this NV is in the preserved range, therefore: */
2198                     if (!(U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))
2199                           < (UV)IV_MAX)) {
2200                         Perl_croak(aTHX_ "sv_2iv assumed (U_V(fabs((double)SvNVX(sv))) < (UV)IV_MAX) but SvNVX(sv)=%"NVgf" U_V is 0x%"UVxf", IV_MAX is 0x%"UVxf"\n", SvNVX(sv), U_V(SvNVX(sv)), (UV)IV_MAX);
2201                     }
2202                 } else {
2203                     /* IN_UV NOT_INT
2204                          0      0       already failed to read UV.
2205                          0      1       already failed to read UV.
2206                          1      0       you won't get here in this case. IV/UV
2207                                         slot set, public IOK, Atof() unneeded.
2208                          1      1       already read UV.
2209                        so there's no point in sv_2iuv_non_preserve() attempting
2210                        to use atol, strtol, strtoul etc.  */
2211 #  ifdef DEBUGGING
2212                     sv_2iuv_non_preserve (sv, numtype);
2213 #  else
2214                     sv_2iuv_non_preserve (sv);
2215 #  endif
2216                 }
2217             }
2218 #endif /* NV_PRESERVES_UV */
2219         /* It might be more code efficient to go through the entire logic above
2220            and conditionally set with SvIOKp_on() rather than SvIOK(), but it
2221            gets complex and potentially buggy, so more programmer efficient
2222            to do it this way, by turning off the public flags:  */
2223         if (!numtype)
2224             SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK);
2225         }
2226     }
2227     else  {
2228         if (isGV_with_GP(sv))
2229             return glob_2number(MUTABLE_GV(sv));
2230
2231         if (!(SvFLAGS(sv) & SVs_PADTMP)) {
2232             if (!PL_localizing && ckWARN(WARN_UNINITIALIZED))
2233                 report_uninit(sv);
2234         }
2235         if (SvTYPE(sv) < SVt_IV)
2236             /* Typically the caller expects that sv_any is not NULL now.  */
2237             sv_upgrade(sv, SVt_IV);
2238         /* Return 0 from the caller.  */
2239         return TRUE;
2240     }
2241     return FALSE;
2242 }
2243
2244 /*
2245 =for apidoc sv_2iv_flags
2246
2247 Return the integer value of an SV, doing any necessary string
2248 conversion.  If flags includes SV_GMAGIC, does an mg_get() first.
2249 Normally used via the C<SvIV(sv)> and C<SvIVx(sv)> macros.
2250
2251 =cut
2252 */
2253
2254 IV
2255 Perl_sv_2iv_flags(pTHX_ register SV *const sv, const I32 flags)
2256 {
2257     dVAR;
2258     if (!sv)
2259         return 0;
2260     if (SvGMAGICAL(sv) || SvVALID(sv)) {
2261         /* FBMs use the space for SvIVX and SvNVX for other purposes, and use
2262            the same flag bit as SVf_IVisUV, so must not let them cache IVs.
2263            In practice they are extremely unlikely to actually get anywhere
2264            accessible by user Perl code - the only way that I'm aware of is when
2265            a constant subroutine which is used as the second argument to index.
2266         */
2267         if (flags & SV_GMAGIC)
2268             mg_get(sv);
2269         if (SvIOKp(sv))
2270             return SvIVX(sv);
2271         if (SvNOKp(sv)) {
2272             return I_V(SvNVX(sv));
2273         }
2274         if (SvPOKp(sv) && SvLEN(sv)) {
2275             UV value;
2276             const int numtype
2277                 = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2278
2279             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2280                 == IS_NUMBER_IN_UV) {
2281                 /* It's definitely an integer */
2282                 if (numtype & IS_NUMBER_NEG) {
2283                     if (value < (UV)IV_MIN)
2284                         return -(IV)value;
2285                 } else {
2286                     if (value < (UV)IV_MAX)
2287                         return (IV)value;
2288                 }
2289             }
2290             if (!numtype) {
2291                 if (ckWARN(WARN_NUMERIC))
2292                     not_a_number(sv);
2293             }
2294             return I_V(Atof(SvPVX_const(sv)));
2295         }
2296         if (SvROK(sv)) {
2297             goto return_rok;
2298         }
2299         assert(SvTYPE(sv) >= SVt_PVMG);
2300         /* This falls through to the report_uninit inside S_sv_2iuv_common.  */
2301     } else if (SvTHINKFIRST(sv)) {
2302         if (SvROK(sv)) {
2303         return_rok:
2304             if (SvAMAGIC(sv)) {
2305                 SV * tmpstr;
2306                 if (flags & SV_SKIP_OVERLOAD)
2307                     return 0;
2308                 tmpstr = AMG_CALLunary(sv, numer_amg);
2309                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2310                     return SvIV(tmpstr);
2311                 }
2312             }
2313             return PTR2IV(SvRV(sv));
2314         }
2315         if (SvIsCOW(sv)) {
2316             sv_force_normal_flags(sv, 0);
2317         }
2318         if (SvREADONLY(sv) && !SvOK(sv)) {
2319             if (ckWARN(WARN_UNINITIALIZED))
2320                 report_uninit(sv);
2321             return 0;
2322         }
2323     }
2324     if (!SvIOKp(sv)) {
2325         if (S_sv_2iuv_common(aTHX_ sv))
2326             return 0;
2327     }
2328     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2iv(%"IVdf")\n",
2329         PTR2UV(sv),SvIVX(sv)));
2330     return SvIsUV(sv) ? (IV)SvUVX(sv) : SvIVX(sv);
2331 }
2332
2333 /*
2334 =for apidoc sv_2uv_flags
2335
2336 Return the unsigned integer value of an SV, doing any necessary string
2337 conversion.  If flags includes SV_GMAGIC, does an mg_get() first.
2338 Normally used via the C<SvUV(sv)> and C<SvUVx(sv)> macros.
2339
2340 =cut
2341 */
2342
2343 UV
2344 Perl_sv_2uv_flags(pTHX_ register SV *const sv, const I32 flags)
2345 {
2346     dVAR;
2347     if (!sv)
2348         return 0;
2349     if (SvGMAGICAL(sv) || SvVALID(sv)) {
2350         /* FBMs use the space for SvIVX and SvNVX for other purposes, and use
2351            the same flag bit as SVf_IVisUV, so must not let them cache IVs.  */
2352         if (flags & SV_GMAGIC)
2353             mg_get(sv);
2354         if (SvIOKp(sv))
2355             return SvUVX(sv);
2356         if (SvNOKp(sv))
2357             return U_V(SvNVX(sv));
2358         if (SvPOKp(sv) && SvLEN(sv)) {
2359             UV value;
2360             const int numtype
2361                 = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2362
2363             if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2364                 == IS_NUMBER_IN_UV) {
2365                 /* It's definitely an integer */
2366                 if (!(numtype & IS_NUMBER_NEG))
2367                     return value;
2368             }
2369             if (!numtype) {
2370                 if (ckWARN(WARN_NUMERIC))
2371                     not_a_number(sv);
2372             }
2373             return U_V(Atof(SvPVX_const(sv)));
2374         }
2375         if (SvROK(sv)) {
2376             goto return_rok;
2377         }
2378         assert(SvTYPE(sv) >= SVt_PVMG);
2379         /* This falls through to the report_uninit inside S_sv_2iuv_common.  */
2380     } else if (SvTHINKFIRST(sv)) {
2381         if (SvROK(sv)) {
2382         return_rok:
2383             if (SvAMAGIC(sv)) {
2384                 SV *tmpstr;
2385                 if (flags & SV_SKIP_OVERLOAD)
2386                     return 0;
2387                 tmpstr = AMG_CALLunary(sv, numer_amg);
2388                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2389                     return SvUV(tmpstr);
2390                 }
2391             }
2392             return PTR2UV(SvRV(sv));
2393         }
2394         if (SvIsCOW(sv)) {
2395             sv_force_normal_flags(sv, 0);
2396         }
2397         if (SvREADONLY(sv) && !SvOK(sv)) {
2398             if (ckWARN(WARN_UNINITIALIZED))
2399                 report_uninit(sv);
2400             return 0;
2401         }
2402     }
2403     if (!SvIOKp(sv)) {
2404         if (S_sv_2iuv_common(aTHX_ sv))
2405             return 0;
2406     }
2407
2408     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2uv(%"UVuf")\n",
2409                           PTR2UV(sv),SvUVX(sv)));
2410     return SvIsUV(sv) ? SvUVX(sv) : (UV)SvIVX(sv);
2411 }
2412
2413 /*
2414 =for apidoc sv_2nv_flags
2415
2416 Return the num value of an SV, doing any necessary string or integer
2417 conversion. If flags includes SV_GMAGIC, does an mg_get() first.
2418 Normally used via the C<SvNV(sv)> and C<SvNVx(sv)> macros.
2419
2420 =cut
2421 */
2422
2423 NV
2424 Perl_sv_2nv_flags(pTHX_ register SV *const sv, const I32 flags)
2425 {
2426     dVAR;
2427     if (!sv)
2428         return 0.0;
2429     if (SvGMAGICAL(sv) || SvVALID(sv)) {
2430         /* FBMs use the space for SvIVX and SvNVX for other purposes, and use
2431            the same flag bit as SVf_IVisUV, so must not let them cache NVs.  */
2432         if (flags & SV_GMAGIC)
2433             mg_get(sv);
2434         if (SvNOKp(sv))
2435             return SvNVX(sv);
2436         if ((SvPOKp(sv) && SvLEN(sv)) && !SvIOKp(sv)) {
2437             if (!SvIOKp(sv) && ckWARN(WARN_NUMERIC) &&
2438                 !grok_number(SvPVX_const(sv), SvCUR(sv), NULL))
2439                 not_a_number(sv);
2440             return Atof(SvPVX_const(sv));
2441         }
2442         if (SvIOKp(sv)) {
2443             if (SvIsUV(sv))
2444                 return (NV)SvUVX(sv);
2445             else
2446                 return (NV)SvIVX(sv);
2447         }
2448         if (SvROK(sv)) {
2449             goto return_rok;
2450         }
2451         assert(SvTYPE(sv) >= SVt_PVMG);
2452         /* This falls through to the report_uninit near the end of the
2453            function. */
2454     } else if (SvTHINKFIRST(sv)) {
2455         if (SvROK(sv)) {
2456         return_rok:
2457             if (SvAMAGIC(sv)) {
2458                 SV *tmpstr;
2459                 if (flags & SV_SKIP_OVERLOAD)
2460                     return 0;
2461                 tmpstr = AMG_CALLunary(sv, numer_amg);
2462                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2463                     return SvNV(tmpstr);
2464                 }
2465             }
2466             return PTR2NV(SvRV(sv));
2467         }
2468         if (SvIsCOW(sv)) {
2469             sv_force_normal_flags(sv, 0);
2470         }
2471         if (SvREADONLY(sv) && !SvOK(sv)) {
2472             if (ckWARN(WARN_UNINITIALIZED))
2473                 report_uninit(sv);
2474             return 0.0;
2475         }
2476     }
2477     if (SvTYPE(sv) < SVt_NV) {
2478         /* The logic to use SVt_PVNV if necessary is in sv_upgrade.  */
2479         sv_upgrade(sv, SVt_NV);
2480 #ifdef USE_LONG_DOUBLE
2481         DEBUG_c({
2482             STORE_NUMERIC_LOCAL_SET_STANDARD();
2483             PerlIO_printf(Perl_debug_log,
2484                           "0x%"UVxf" num(%" PERL_PRIgldbl ")\n",
2485                           PTR2UV(sv), SvNVX(sv));
2486             RESTORE_NUMERIC_LOCAL();
2487         });
2488 #else
2489         DEBUG_c({
2490             STORE_NUMERIC_LOCAL_SET_STANDARD();
2491             PerlIO_printf(Perl_debug_log, "0x%"UVxf" num(%"NVgf")\n",
2492                           PTR2UV(sv), SvNVX(sv));
2493             RESTORE_NUMERIC_LOCAL();
2494         });
2495 #endif
2496     }
2497     else if (SvTYPE(sv) < SVt_PVNV)
2498         sv_upgrade(sv, SVt_PVNV);
2499     if (SvNOKp(sv)) {
2500         return SvNVX(sv);
2501     }
2502     if (SvIOKp(sv)) {
2503         SvNV_set(sv, SvIsUV(sv) ? (NV)SvUVX(sv) : (NV)SvIVX(sv));
2504 #ifdef NV_PRESERVES_UV
2505         if (SvIOK(sv))
2506             SvNOK_on(sv);
2507         else
2508             SvNOKp_on(sv);
2509 #else
2510         /* Only set the public NV OK flag if this NV preserves the IV  */
2511         /* Check it's not 0xFFFFFFFFFFFFFFFF */
2512         if (SvIOK(sv) &&
2513             SvIsUV(sv) ? ((SvUVX(sv) != UV_MAX)&&(SvUVX(sv) == U_V(SvNVX(sv))))
2514                        : (SvIVX(sv) == I_V(SvNVX(sv))))
2515             SvNOK_on(sv);
2516         else
2517             SvNOKp_on(sv);
2518 #endif
2519     }
2520     else if (SvPOKp(sv) && SvLEN(sv)) {
2521         UV value;
2522         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), &value);
2523         if (!SvIOKp(sv) && !numtype && ckWARN(WARN_NUMERIC))
2524             not_a_number(sv);
2525 #ifdef NV_PRESERVES_UV
2526         if ((numtype & (IS_NUMBER_IN_UV | IS_NUMBER_NOT_INT))
2527             == IS_NUMBER_IN_UV) {
2528             /* It's definitely an integer */
2529             SvNV_set(sv, (numtype & IS_NUMBER_NEG) ? -(NV)value : (NV)value);
2530         } else
2531             SvNV_set(sv, Atof(SvPVX_const(sv)));
2532         if (numtype)
2533             SvNOK_on(sv);
2534         else
2535             SvNOKp_on(sv);
2536 #else
2537         SvNV_set(sv, Atof(SvPVX_const(sv)));
2538         /* Only set the public NV OK flag if this NV preserves the value in
2539            the PV at least as well as an IV/UV would.
2540            Not sure how to do this 100% reliably. */
2541         /* if that shift count is out of range then Configure's test is
2542            wonky. We shouldn't be in here with NV_PRESERVES_UV_BITS ==
2543            UV_BITS */
2544         if (((UV)1 << NV_PRESERVES_UV_BITS) >
2545             U_V(SvNVX(sv) > 0 ? SvNVX(sv) : -SvNVX(sv))) {
2546             SvNOK_on(sv); /* Definitely small enough to preserve all bits */
2547         } else if (!(numtype & IS_NUMBER_IN_UV)) {
2548             /* Can't use strtol etc to convert this string, so don't try.
2549                sv_2iv and sv_2uv will use the NV to convert, not the PV.  */
2550             SvNOK_on(sv);
2551         } else {
2552             /* value has been set.  It may not be precise.  */
2553             if ((numtype & IS_NUMBER_NEG) && (value > (UV)IV_MIN)) {
2554                 /* 2s complement assumption for (UV)IV_MIN  */
2555                 SvNOK_on(sv); /* Integer is too negative.  */
2556             } else {
2557                 SvNOKp_on(sv);
2558                 SvIOKp_on(sv);
2559
2560                 if (numtype & IS_NUMBER_NEG) {
2561                     SvIV_set(sv, -(IV)value);
2562                 } else if (value <= (UV)IV_MAX) {
2563                     SvIV_set(sv, (IV)value);
2564                 } else {
2565                     SvUV_set(sv, value);
2566                     SvIsUV_on(sv);
2567                 }
2568
2569                 if (numtype & IS_NUMBER_NOT_INT) {
2570                     /* I believe that even if the original PV had decimals,
2571                        they are lost beyond the limit of the FP precision.
2572                        However, neither is canonical, so both only get p
2573                        flags.  NWC, 2000/11/25 */
2574                     /* Both already have p flags, so do nothing */
2575                 } else {
2576                     const NV nv = SvNVX(sv);
2577                     if (SvNVX(sv) < (NV)IV_MAX + 0.5) {
2578                         if (SvIVX(sv) == I_V(nv)) {
2579                             SvNOK_on(sv);
2580                         } else {
2581                             /* It had no "." so it must be integer.  */
2582                         }
2583                         SvIOK_on(sv);
2584                     } else {
2585                         /* between IV_MAX and NV(UV_MAX).
2586                            Could be slightly > UV_MAX */
2587
2588                         if (numtype & IS_NUMBER_NOT_INT) {
2589                             /* UV and NV both imprecise.  */
2590                         } else {
2591                             const UV nv_as_uv = U_V(nv);
2592
2593                             if (value == nv_as_uv && SvUVX(sv) != UV_MAX) {
2594                                 SvNOK_on(sv);
2595                             }
2596                             SvIOK_on(sv);
2597                         }
2598                     }
2599                 }
2600             }
2601         }
2602         /* It might be more code efficient to go through the entire logic above
2603            and conditionally set with SvNOKp_on() rather than SvNOK(), but it
2604            gets complex and potentially buggy, so more programmer efficient
2605            to do it this way, by turning off the public flags:  */
2606         if (!numtype)
2607             SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK);
2608 #endif /* NV_PRESERVES_UV */
2609     }
2610     else  {
2611         if (isGV_with_GP(sv)) {
2612             glob_2number(MUTABLE_GV(sv));
2613             return 0.0;
2614         }
2615
2616         if (!PL_localizing && !(SvFLAGS(sv) & SVs_PADTMP) && ckWARN(WARN_UNINITIALIZED))
2617             report_uninit(sv);
2618         assert (SvTYPE(sv) >= SVt_NV);
2619         /* Typically the caller expects that sv_any is not NULL now.  */
2620         /* XXX Ilya implies that this is a bug in callers that assume this
2621            and ideally should be fixed.  */
2622         return 0.0;
2623     }
2624 #if defined(USE_LONG_DOUBLE)
2625     DEBUG_c({
2626         STORE_NUMERIC_LOCAL_SET_STANDARD();
2627         PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2nv(%" PERL_PRIgldbl ")\n",
2628                       PTR2UV(sv), SvNVX(sv));
2629         RESTORE_NUMERIC_LOCAL();
2630     });
2631 #else
2632     DEBUG_c({
2633         STORE_NUMERIC_LOCAL_SET_STANDARD();
2634         PerlIO_printf(Perl_debug_log, "0x%"UVxf" 1nv(%"NVgf")\n",
2635                       PTR2UV(sv), SvNVX(sv));
2636         RESTORE_NUMERIC_LOCAL();
2637     });
2638 #endif
2639     return SvNVX(sv);
2640 }
2641
2642 /*
2643 =for apidoc sv_2num
2644
2645 Return an SV with the numeric value of the source SV, doing any necessary
2646 reference or overload conversion.  You must use the C<SvNUM(sv)> macro to
2647 access this function.
2648
2649 =cut
2650 */
2651
2652 SV *
2653 Perl_sv_2num(pTHX_ register SV *const sv)
2654 {
2655     PERL_ARGS_ASSERT_SV_2NUM;
2656
2657     if (!SvROK(sv))
2658         return sv;
2659     if (SvAMAGIC(sv)) {
2660         SV * const tmpsv = AMG_CALLunary(sv, numer_amg);
2661         TAINT_IF(tmpsv && SvTAINTED(tmpsv));
2662         if (tmpsv && (!SvROK(tmpsv) || (SvRV(tmpsv) != SvRV(sv))))
2663             return sv_2num(tmpsv);
2664     }
2665     return sv_2mortal(newSVuv(PTR2UV(SvRV(sv))));
2666 }
2667
2668 /* uiv_2buf(): private routine for use by sv_2pv_flags(): print an IV or
2669  * UV as a string towards the end of buf, and return pointers to start and
2670  * end of it.
2671  *
2672  * We assume that buf is at least TYPE_CHARS(UV) long.
2673  */
2674
2675 static char *
2676 S_uiv_2buf(char *const buf, const IV iv, UV uv, const int is_uv, char **const peob)
2677 {
2678     char *ptr = buf + TYPE_CHARS(UV);
2679     char * const ebuf = ptr;
2680     int sign;
2681
2682     PERL_ARGS_ASSERT_UIV_2BUF;
2683
2684     if (is_uv)
2685         sign = 0;
2686     else if (iv >= 0) {
2687         uv = iv;
2688         sign = 0;
2689     } else {
2690         uv = -iv;
2691         sign = 1;
2692     }
2693     do {
2694         *--ptr = '0' + (char)(uv % 10);
2695     } while (uv /= 10);
2696     if (sign)
2697         *--ptr = '-';
2698     *peob = ebuf;
2699     return ptr;
2700 }
2701
2702 /*
2703 =for apidoc sv_2pv_flags
2704
2705 Returns a pointer to the string value of an SV, and sets *lp to its length.
2706 If flags includes SV_GMAGIC, does an mg_get() first. Coerces sv to a string
2707 if necessary.
2708 Normally invoked via the C<SvPV_flags> macro. C<sv_2pv()> and C<sv_2pv_nomg>
2709 usually end up here too.
2710
2711 =cut
2712 */
2713
2714 char *
2715 Perl_sv_2pv_flags(pTHX_ register SV *const sv, STRLEN *const lp, const I32 flags)
2716 {
2717     dVAR;
2718     register char *s;
2719
2720     if (!sv) {
2721         if (lp)
2722             *lp = 0;
2723         return (char *)"";
2724     }
2725     if (SvGMAGICAL(sv)) {
2726         if (flags & SV_GMAGIC)
2727             mg_get(sv);
2728         if (SvPOKp(sv)) {
2729             if (lp)
2730                 *lp = SvCUR(sv);
2731             if (flags & SV_MUTABLE_RETURN)
2732                 return SvPVX_mutable(sv);
2733             if (flags & SV_CONST_RETURN)
2734                 return (char *)SvPVX_const(sv);
2735             return SvPVX(sv);
2736         }
2737         if (SvIOKp(sv) || SvNOKp(sv)) {
2738             char tbuf[64];  /* Must fit sprintf/Gconvert of longest IV/NV */
2739             STRLEN len;
2740
2741             if (SvIOKp(sv)) {
2742                 len = SvIsUV(sv)
2743                     ? my_snprintf(tbuf, sizeof(tbuf), "%"UVuf, (UV)SvUVX(sv))
2744                     : my_snprintf(tbuf, sizeof(tbuf), "%"IVdf, (IV)SvIVX(sv));
2745             } else if(SvNVX(sv) == 0.0) {
2746                     tbuf[0] = '0';
2747                     tbuf[1] = 0;
2748                     len = 1;
2749             } else {
2750                 Gconvert(SvNVX(sv), NV_DIG, 0, tbuf);
2751                 len = strlen(tbuf);
2752             }
2753             assert(!SvROK(sv));
2754             {
2755                 dVAR;
2756
2757                 SvUPGRADE(sv, SVt_PV);
2758                 if (lp)
2759                     *lp = len;
2760                 s = SvGROW_mutable(sv, len + 1);
2761                 SvCUR_set(sv, len);
2762                 SvPOKp_on(sv);
2763                 return (char*)memcpy(s, tbuf, len + 1);
2764             }
2765         }
2766         if (SvROK(sv)) {
2767             goto return_rok;
2768         }
2769         assert(SvTYPE(sv) >= SVt_PVMG);
2770         /* This falls through to the report_uninit near the end of the
2771            function. */
2772     } else if (SvTHINKFIRST(sv)) {
2773         if (SvROK(sv)) {
2774         return_rok:
2775             if (SvAMAGIC(sv)) {
2776                 SV *tmpstr;
2777                 if (flags & SV_SKIP_OVERLOAD)
2778                     return NULL;
2779                 tmpstr = AMG_CALLunary(sv, string_amg);
2780                 TAINT_IF(tmpstr && SvTAINTED(tmpstr));
2781                 if (tmpstr && (!SvROK(tmpstr) || (SvRV(tmpstr) != SvRV(sv)))) {
2782                     /* Unwrap this:  */
2783                     /* char *pv = lp ? SvPV(tmpstr, *lp) : SvPV_nolen(tmpstr);
2784                      */
2785
2786                     char *pv;
2787                     if ((SvFLAGS(tmpstr) & (SVf_POK)) == SVf_POK) {
2788                         if (flags & SV_CONST_RETURN) {
2789                             pv = (char *) SvPVX_const(tmpstr);
2790                         } else {
2791                             pv = (flags & SV_MUTABLE_RETURN)
2792                                 ? SvPVX_mutable(tmpstr) : SvPVX(tmpstr);
2793                         }
2794                         if (lp)
2795                             *lp = SvCUR(tmpstr);
2796                     } else {
2797                         pv = sv_2pv_flags(tmpstr, lp, flags);
2798                     }
2799                     if (SvUTF8(tmpstr))
2800                         SvUTF8_on(sv);
2801                     else
2802                         SvUTF8_off(sv);
2803                     return pv;
2804                 }
2805             }
2806             {
2807                 STRLEN len;
2808                 char *retval;
2809                 char *buffer;
2810                 SV *const referent = SvRV(sv);
2811
2812                 if (!referent) {
2813                     len = 7;
2814                     retval = buffer = savepvn("NULLREF", len);
2815                 } else if (SvTYPE(referent) == SVt_REGEXP) {
2816                     REGEXP * const re = (REGEXP *)MUTABLE_PTR(referent);
2817                     I32 seen_evals = 0;
2818
2819                     assert(re);
2820                         
2821                     /* If the regex is UTF-8 we want the containing scalar to
2822                        have an UTF-8 flag too */
2823                     if (RX_UTF8(re))
2824                         SvUTF8_on(sv);
2825                     else
2826                         SvUTF8_off(sv); 
2827
2828                     if ((seen_evals = RX_SEEN_EVALS(re)))
2829                         PL_reginterp_cnt += seen_evals;
2830
2831                     if (lp)
2832                         *lp = RX_WRAPLEN(re);
2833  
2834                     return RX_WRAPPED(re);
2835                 } else {
2836                     const char *const typestr = sv_reftype(referent, 0);
2837                     const STRLEN typelen = strlen(typestr);
2838                     UV addr = PTR2UV(referent);
2839                     const char *stashname = NULL;
2840                     STRLEN stashnamelen = 0; /* hush, gcc */
2841                     const char *buffer_end;
2842
2843                     if (SvOBJECT(referent)) {
2844                         const HEK *const name = HvNAME_HEK(SvSTASH(referent));
2845
2846                         if (name) {
2847                             stashname = HEK_KEY(name);
2848                             stashnamelen = HEK_LEN(name);
2849
2850                             if (HEK_UTF8(name)) {
2851                                 SvUTF8_on(sv);
2852                             } else {
2853                                 SvUTF8_off(sv);
2854                             }
2855                         } else {
2856                             stashname = "__ANON__";
2857                             stashnamelen = 8;
2858                         }
2859                         len = stashnamelen + 1 /* = */ + typelen + 3 /* (0x */
2860                             + 2 * sizeof(UV) + 2 /* )\0 */;
2861                     } else {
2862                         len = typelen + 3 /* (0x */
2863                             + 2 * sizeof(UV) + 2 /* )\0 */;
2864                     }
2865
2866                     Newx(buffer, len, char);
2867                     buffer_end = retval = buffer + len;
2868
2869                     /* Working backwards  */
2870                     *--retval = '\0';
2871                     *--retval = ')';
2872                     do {
2873                         *--retval = PL_hexdigit[addr & 15];
2874                     } while (addr >>= 4);
2875                     *--retval = 'x';
2876                     *--retval = '0';
2877                     *--retval = '(';
2878
2879                     retval -= typelen;
2880                     memcpy(retval, typestr, typelen);
2881
2882                     if (stashname) {
2883                         *--retval = '=';
2884                         retval -= stashnamelen;
2885                         memcpy(retval, stashname, stashnamelen);
2886                     }
2887                     /* retval may not necessarily have reached the start of the
2888                        buffer here.  */
2889                     assert (retval >= buffer);
2890
2891                     len = buffer_end - retval - 1; /* -1 for that \0  */
2892                 }
2893                 if (lp)
2894                     *lp = len;
2895                 SAVEFREEPV(buffer);
2896                 return retval;
2897             }
2898         }
2899         if (SvREADONLY(sv) && !SvOK(sv)) {
2900             if (lp)
2901                 *lp = 0;
2902             if (flags & SV_UNDEF_RETURNS_NULL)
2903                 return NULL;
2904             if (ckWARN(WARN_UNINITIALIZED))
2905                 report_uninit(sv);
2906             return (char *)"";
2907         }
2908     }
2909     if (SvIOK(sv) || ((SvIOKp(sv) && !SvNOKp(sv)))) {
2910         /* I'm assuming that if both IV and NV are equally valid then
2911            converting the IV is going to be more efficient */
2912         const U32 isUIOK = SvIsUV(sv);
2913         char buf[TYPE_CHARS(UV)];
2914         char *ebuf, *ptr;
2915         STRLEN len;
2916
2917         if (SvTYPE(sv) < SVt_PVIV)
2918             sv_upgrade(sv, SVt_PVIV);
2919         ptr = uiv_2buf(buf, SvIVX(sv), SvUVX(sv), isUIOK, &ebuf);
2920         len = ebuf - ptr;
2921         /* inlined from sv_setpvn */
2922         s = SvGROW_mutable(sv, len + 1);
2923         Move(ptr, s, len, char);
2924         s += len;
2925         *s = '\0';
2926     }
2927     else if (SvNOKp(sv)) {
2928         if (SvTYPE(sv) < SVt_PVNV)
2929             sv_upgrade(sv, SVt_PVNV);
2930         if (SvNVX(sv) == 0.0) {
2931             s = SvGROW_mutable(sv, 2);
2932             *s++ = '0';
2933             *s = '\0';
2934         } else {
2935             dSAVE_ERRNO;
2936             /* The +20 is pure guesswork.  Configure test needed. --jhi */
2937             s = SvGROW_mutable(sv, NV_DIG + 20);
2938             /* some Xenix systems wipe out errno here */
2939             Gconvert(SvNVX(sv), NV_DIG, 0, s);
2940             RESTORE_ERRNO;
2941             while (*s) s++;
2942         }
2943 #ifdef hcx
2944         if (s[-1] == '.')
2945             *--s = '\0';
2946 #endif
2947     }
2948     else {
2949         if (isGV_with_GP(sv)) {
2950             GV *const gv = MUTABLE_GV(sv);
2951             const U32 wasfake = SvFLAGS(gv) & SVf_FAKE;
2952             SV *const buffer = sv_newmortal();
2953
2954             /* FAKE globs can get coerced, so need to turn this off temporarily
2955                if it is on.  */
2956             SvFAKE_off(gv);
2957             gv_efullname3(buffer, gv, "*");
2958             SvFLAGS(gv) |= wasfake;
2959
2960             if (SvPOK(buffer)) {
2961                 if (lp) {
2962                     *lp = SvCUR(buffer);
2963                 }
2964                 return SvPVX(buffer);
2965             }
2966             else {
2967                 if (lp)
2968                     *lp = 0;
2969                 return (char *)"";
2970             }
2971         }
2972
2973         if (lp)
2974             *lp = 0;
2975         if (flags & SV_UNDEF_RETURNS_NULL)
2976             return NULL;
2977         if (!PL_localizing && !(SvFLAGS(sv) & SVs_PADTMP) && ckWARN(WARN_UNINITIALIZED))
2978             report_uninit(sv);
2979         if (SvTYPE(sv) < SVt_PV)
2980             /* Typically the caller expects that sv_any is not NULL now.  */
2981             sv_upgrade(sv, SVt_PV);
2982         return (char *)"";
2983     }
2984     {
2985         const STRLEN len = s - SvPVX_const(sv);
2986         if (lp) 
2987             *lp = len;
2988         SvCUR_set(sv, len);
2989     }
2990     SvPOK_on(sv);
2991     DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2pv(%s)\n",
2992                           PTR2UV(sv),SvPVX_const(sv)));
2993     if (flags & SV_CONST_RETURN)
2994         return (char *)SvPVX_const(sv);
2995     if (flags & SV_MUTABLE_RETURN)
2996         return SvPVX_mutable(sv);
2997     return SvPVX(sv);
2998 }
2999
3000 /*
3001 =for apidoc sv_copypv
3002
3003 Copies a stringified representation of the source SV into the
3004 destination SV.  Automatically performs any necessary mg_get and
3005 coercion of numeric values into strings.  Guaranteed to preserve
3006 UTF8 flag even from overloaded objects.  Similar in nature to
3007 sv_2pv[_flags] but operates directly on an SV instead of just the
3008 string.  Mostly uses sv_2pv_flags to do its work, except when that
3009 would lose the UTF-8'ness of the PV.
3010
3011 =cut
3012 */
3013
3014 void
3015 Perl_sv_copypv(pTHX_ SV *const dsv, register SV *const ssv)
3016 {
3017     STRLEN len;
3018     const char * const s = SvPV_const(ssv,len);
3019
3020     PERL_ARGS_ASSERT_SV_COPYPV;
3021
3022     sv_setpvn(dsv,s,len);
3023     if (SvUTF8(ssv))
3024         SvUTF8_on(dsv);
3025     else
3026         SvUTF8_off(dsv);
3027 }
3028
3029 /*
3030 =for apidoc sv_2pvbyte
3031
3032 Return a pointer to the byte-encoded representation of the SV, and set *lp
3033 to its length.  May cause the SV to be downgraded from UTF-8 as a
3034 side-effect.
3035
3036 Usually accessed via the C<SvPVbyte> macro.
3037
3038 =cut
3039 */
3040
3041 char *
3042 Perl_sv_2pvbyte(pTHX_ register SV *const sv, STRLEN *const lp)
3043 {
3044     PERL_ARGS_ASSERT_SV_2PVBYTE;
3045
3046     SvGETMAGIC(sv);
3047     sv_utf8_downgrade(sv,0);
3048     return lp ? SvPV_nomg(sv,*lp) : SvPV_nomg_nolen(sv);
3049 }
3050
3051 /*
3052 =for apidoc sv_2pvutf8
3053
3054 Return a pointer to the UTF-8-encoded representation of the SV, and set *lp
3055 to its length.  May cause the SV to be upgraded to UTF-8 as a side-effect.
3056
3057 Usually accessed via the C<SvPVutf8> macro.
3058
3059 =cut
3060 */
3061
3062 char *
3063 Perl_sv_2pvutf8(pTHX_ register SV *const sv, STRLEN *const lp)
3064 {
3065     PERL_ARGS_ASSERT_SV_2PVUTF8;
3066
3067     sv_utf8_upgrade(sv);
3068     return lp ? SvPV(sv,*lp) : SvPV_nolen(sv);
3069 }
3070
3071
3072 /*
3073 =for apidoc sv_2bool
3074
3075 This macro is only used by sv_true() or its macro equivalent, and only if
3076 the latter's argument is neither SvPOK, SvIOK nor SvNOK.
3077 It calls sv_2bool_flags with the SV_GMAGIC flag.
3078
3079 =for apidoc sv_2bool_flags
3080
3081 This function is only used by sv_true() and friends,  and only if
3082 the latter's argument is neither SvPOK, SvIOK nor SvNOK. If the flags
3083 contain SV_GMAGIC, then it does an mg_get() first.
3084
3085
3086 =cut
3087 */
3088
3089 bool
3090 Perl_sv_2bool_flags(pTHX_ register SV *const sv, const I32 flags)
3091 {
3092     dVAR;
3093
3094     PERL_ARGS_ASSERT_SV_2BOOL_FLAGS;
3095
3096     if(flags & SV_GMAGIC) SvGETMAGIC(sv);
3097
3098     if (!SvOK(sv))
3099         return 0;
3100     if (SvROK(sv)) {
3101         if (SvAMAGIC(sv)) {
3102             SV * const tmpsv = AMG_CALLunary(sv, bool__amg);
3103             if (tmpsv && (!SvROK(tmpsv) || (SvRV(tmpsv) != SvRV(sv))))
3104                 return cBOOL(SvTRUE(tmpsv));
3105         }
3106         return SvRV(sv) != 0;
3107     }
3108     if (SvPOKp(sv)) {
3109         register XPV* const Xpvtmp = (XPV*)SvANY(sv);
3110         if (Xpvtmp &&
3111                 (*sv->sv_u.svu_pv > '0' ||
3112                 Xpvtmp->xpv_cur > 1 ||
3113                 (Xpvtmp->xpv_cur && *sv->sv_u.svu_pv != '0')))
3114             return 1;
3115         else
3116             return 0;
3117     }
3118     else {
3119         if (SvIOKp(sv))
3120             return SvIVX(sv) != 0;
3121         else {
3122             if (SvNOKp(sv))
3123                 return SvNVX(sv) != 0.0;
3124             else {
3125                 if (isGV_with_GP(sv))
3126                     return TRUE;
3127                 else
3128                     return FALSE;
3129             }
3130         }
3131     }
3132 }
3133
3134 /*
3135 =for apidoc sv_utf8_upgrade
3136
3137 Converts the PV of an SV to its UTF-8-encoded form.
3138 Forces the SV to string form if it is not already.
3139 Will C<mg_get> on C<sv> if appropriate.
3140 Always sets the SvUTF8 flag to avoid future validity checks even
3141 if the whole string is the same in UTF-8 as not.
3142 Returns the number of bytes in the converted string
3143
3144 This is not as a general purpose byte encoding to Unicode interface:
3145 use the Encode extension for that.
3146
3147 =for apidoc sv_utf8_upgrade_nomg
3148
3149 Like sv_utf8_upgrade, but doesn't do magic on C<sv>
3150
3151 =for apidoc sv_utf8_upgrade_flags
3152
3153 Converts the PV of an SV to its UTF-8-encoded form.
3154 Forces the SV to string form if it is not already.
3155 Always sets the SvUTF8 flag to avoid future validity checks even
3156 if all the bytes are invariant in UTF-8. If C<flags> has C<SV_GMAGIC> bit set,
3157 will C<mg_get> on C<sv> if appropriate, else not.
3158 Returns the number of bytes in the converted string
3159 C<sv_utf8_upgrade> and
3160 C<sv_utf8_upgrade_nomg> are implemented in terms of this function.
3161
3162 This is not as a general purpose byte encoding to Unicode interface:
3163 use the Encode extension for that.
3164
3165 =cut
3166
3167 The grow version is currently not externally documented.  It adds a parameter,
3168 extra, which is the number of unused bytes the string of 'sv' is guaranteed to
3169 have free after it upon return.  This allows the caller to reserve extra space
3170 that it intends to fill, to avoid extra grows.
3171
3172 Also externally undocumented for the moment is the flag SV_FORCE_UTF8_UPGRADE,
3173 which can be used to tell this function to not first check to see if there are
3174 any characters that are different in UTF-8 (variant characters) which would
3175 force it to allocate a new string to sv, but to assume there are.  Typically
3176 this flag is used by a routine that has already parsed the string to find that
3177 there are such characters, and passes this information on so that the work
3178 doesn't have to be repeated.
3179
3180 (One might think that the calling routine could pass in the position of the
3181 first such variant, so it wouldn't have to be found again.  But that is not the
3182 case, because typically when the caller is likely to use this flag, it won't be
3183 calling this routine unless it finds something that won't fit into a byte.
3184 Otherwise it tries to not upgrade and just use bytes.  But some things that
3185 do fit into a byte are variants in utf8, and the caller may not have been
3186 keeping track of these.)
3187
3188 If the routine itself changes the string, it adds a trailing NUL.  Such a NUL
3189 isn't guaranteed due to having other routines do the work in some input cases,
3190 or if the input is already flagged as being in utf8.
3191
3192 The speed of this could perhaps be improved for many cases if someone wanted to
3193 write a fast function that counts the number of variant characters in a string,
3194 especially if it could return the position of the first one.
3195
3196 */
3197
3198 STRLEN
3199 Perl_sv_utf8_upgrade_flags_grow(pTHX_ register SV *const sv, const I32 flags, STRLEN extra)
3200 {
3201     dVAR;
3202
3203     PERL_ARGS_ASSERT_SV_UTF8_UPGRADE_FLAGS_GROW;
3204
3205     if (sv == &PL_sv_undef)
3206         return 0;
3207     if (!SvPOK(sv)) {
3208         STRLEN len = 0;
3209         if (SvREADONLY(sv) && (SvPOKp(sv) || SvIOKp(sv) || SvNOKp(sv))) {
3210             (void) sv_2pv_flags(sv,&len, flags);
3211             if (SvUTF8(sv)) {
3212                 if (extra) SvGROW(sv, SvCUR(sv) + extra);
3213                 return len;
3214             }
3215         } else {
3216             (void) SvPV_force_flags(sv,len,flags & SV_GMAGIC);
3217         }
3218     }
3219
3220     if (SvUTF8(sv)) {
3221         if (extra) SvGROW(sv, SvCUR(sv) + extra);
3222         return SvCUR(sv);
3223     }
3224
3225     if (SvIsCOW(sv)) {
3226         sv_force_normal_flags(sv, 0);
3227     }
3228
3229     if (PL_encoding && !(flags & SV_UTF8_NO_ENCODING)) {
3230         sv_recode_to_utf8(sv, PL_encoding);
3231         if (extra) SvGROW(sv, SvCUR(sv) + extra);
3232         return SvCUR(sv);
3233     }
3234
3235     if (SvCUR(sv) == 0) {
3236         if (extra) SvGROW(sv, extra);
3237     } else { /* Assume Latin-1/EBCDIC */
3238         /* This function could be much more efficient if we
3239          * had a FLAG in SVs to signal if there are any variant
3240          * chars in the PV.  Given that there isn't such a flag
3241          * make the loop as fast as possible (although there are certainly ways
3242          * to speed this up, eg. through vectorization) */
3243         U8 * s = (U8 *) SvPVX_const(sv);
3244         U8 * e = (U8 *) SvEND(sv);
3245         U8 *t = s;
3246         STRLEN two_byte_count = 0;
3247         
3248         if (flags & SV_FORCE_UTF8_UPGRADE) goto must_be_utf8;
3249
3250         /* See if really will need to convert to utf8.  We mustn't rely on our
3251          * incoming SV being well formed and having a trailing '\0', as certain
3252          * code in pp_formline can send us partially built SVs. */
3253
3254         while (t < e) {
3255             const U8 ch = *t++;
3256             if (NATIVE_IS_INVARIANT(ch)) continue;
3257
3258             t--;    /* t already incremented; re-point to first variant */
3259             two_byte_count = 1;
3260             goto must_be_utf8;
3261         }
3262
3263         /* utf8 conversion not needed because all are invariants.  Mark as
3264          * UTF-8 even if no variant - saves scanning loop */
3265         SvUTF8_on(sv);
3266         return SvCUR(sv);
3267
3268 must_be_utf8:
3269
3270         /* Here, the string should be converted to utf8, either because of an
3271          * input flag (two_byte_count = 0), or because a character that
3272          * requires 2 bytes was found (two_byte_count = 1).  t points either to
3273          * the beginning of the string (if we didn't examine anything), or to
3274          * the first variant.  In either case, everything from s to t - 1 will
3275          * occupy only 1 byte each on output.
3276          *
3277          * There are two main ways to convert.  One is to create a new string
3278          * and go through the input starting from the beginning, appending each
3279          * converted value onto the new string as we go along.  It's probably
3280          * best to allocate enough space in the string for the worst possible
3281          * case rather than possibly running out of space and having to
3282          * reallocate and then copy what we've done so far.  Since everything
3283          * from s to t - 1 is invariant, the destination can be initialized
3284          * with these using a fast memory copy
3285          *
3286          * The other way is to figure out exactly how big the string should be
3287          * by parsing the entire input.  Then you don't have to make it big
3288          * enough to handle the worst possible case, and more importantly, if
3289          * the string you already have is large enough, you don't have to
3290          * allocate a new string, you can copy the last character in the input
3291          * string to the final position(s) that will be occupied by the
3292          * converted string and go backwards, stopping at t, since everything
3293          * before that is invariant.
3294          *
3295          * There are advantages and disadvantages to each method.
3296          *
3297          * In the first method, we can allocate a new string, do the memory
3298          * copy from the s to t - 1, and then proceed through the rest of the
3299          * string byte-by-byte.
3300          *
3301          * In the second method, we proceed through the rest of the input
3302          * string just calculating how big the converted string will be.  Then
3303          * there are two cases:
3304          *  1)  if the string has enough extra space to handle the converted
3305          *      value.  We go backwards through the string, converting until we
3306          *      get to the position we are at now, and then stop.  If this
3307          *      position is far enough along in the string, this method is
3308          *      faster than the other method.  If the memory copy were the same
3309          *      speed as the byte-by-byte loop, that position would be about
3310          *      half-way, as at the half-way mark, parsing to the end and back
3311          *      is one complete string's parse, the same amount as starting
3312          *      over and going all the way through.  Actually, it would be
3313          *      somewhat less than half-way, as it's faster to just count bytes
3314          *      than to also copy, and we don't have the overhead of allocating
3315          *      a new string, changing the scalar to use it, and freeing the
3316          *      existing one.  But if the memory copy is fast, the break-even
3317          *      point is somewhere after half way.  The counting loop could be
3318          *      sped up by vectorization, etc, to move the break-even point
3319          *      further towards the beginning.
3320          *  2)  if the string doesn't have enough space to handle the converted
3321          *      value.  A new string will have to be allocated, and one might
3322          *      as well, given that, start from the beginning doing the first
3323          *      method.  We've spent extra time parsing the string and in
3324          *      exchange all we've gotten is that we know precisely how big to
3325          *      make the new one.  Perl is more optimized for time than space,
3326          *      so this case is a loser.
3327          * So what I've decided to do is not use the 2nd method unless it is
3328          * guaranteed that a new string won't have to be allocated, assuming
3329          * the worst case.  I also decided not to put any more conditions on it
3330          * than this, for now.  It seems likely that, since the worst case is
3331          * twice as big as the unknown portion of the string (plus 1), we won't
3332          * be guaranteed enough space, causing us to go to the first method,
3333          * unless the string is short, or the first variant character is near
3334          * the end of it.  In either of these cases, it seems best to use the
3335          * 2nd method.  The only circumstance I can think of where this would
3336          * be really slower is if the string had once had much more data in it
3337          * than it does now, but there is still a substantial amount in it  */
3338
3339         {
3340             STRLEN invariant_head = t - s;
3341             STRLEN size = invariant_head + (e - t) * 2 + 1 + extra;
3342             if (SvLEN(sv) < size) {
3343
3344                 /* Here, have decided to allocate a new string */
3345
3346                 U8 *dst;
3347                 U8 *d;
3348
3349                 Newx(dst, size, U8);
3350
3351                 /* If no known invariants at the beginning of the input string,
3352                  * set so starts from there.  Otherwise, can use memory copy to
3353                  * get up to where we are now, and then start from here */
3354
3355                 if (invariant_head <= 0) {
3356                     d = dst;
3357                 } else {
3358                     Copy(s, dst, invariant_head, char);
3359                     d = dst + invariant_head;
3360                 }
3361
3362                 while (t < e) {
3363                     const UV uv = NATIVE8_TO_UNI(*t++);
3364                     if (UNI_IS_INVARIANT(uv))
3365                         *d++ = (U8)UNI_TO_NATIVE(uv);
3366                     else {
3367                         *d++ = (U8)UTF8_EIGHT_BIT_HI(uv);
3368                         *d++ = (U8)UTF8_EIGHT_BIT_LO(uv);
3369                     }
3370                 }
3371                 *d = '\0';
3372                 SvPV_free(sv); /* No longer using pre-existing string */
3373                 SvPV_set(sv, (char*)dst);
3374                 SvCUR_set(sv, d - dst);
3375                 SvLEN_set(sv, size);
3376             } else {
3377
3378                 /* Here, have decided to get the exact size of the string.
3379                  * Currently this happens only when we know that there is
3380                  * guaranteed enough space to fit the converted string, so
3381                  * don't have to worry about growing.  If two_byte_count is 0,
3382                  * then t points to the first byte of the string which hasn't
3383                  * been examined yet.  Otherwise two_byte_count is 1, and t
3384                  * points to the first byte in the string that will expand to
3385                  * two.  Depending on this, start examining at t or 1 after t.
3386                  * */
3387
3388                 U8 *d = t + two_byte_count;
3389
3390
3391                 /* Count up the remaining bytes that expand to two */
3392
3393                 while (d < e) {
3394                     const U8 chr = *d++;
3395                     if (! NATIVE_IS_INVARIANT(chr)) two_byte_count++;
3396                 }
3397
3398                 /* The string will expand by just the number of bytes that
3399                  * occupy two positions.  But we are one afterwards because of
3400                  * the increment just above.  This is the place to put the
3401                  * trailing NUL, and to set the length before we decrement */
3402
3403                 d += two_byte_count;
3404                 SvCUR_set(sv, d - s);
3405                 *d-- = '\0';
3406
3407
3408                 /* Having decremented d, it points to the position to put the
3409                  * very last byte of the expanded string.  Go backwards through
3410                  * the string, copying and expanding as we go, stopping when we
3411                  * get to the part that is invariant the rest of the way down */
3412
3413                 e--;
3414                 while (e >= t) {
3415                     const U8 ch = NATIVE8_TO_UNI(*e--);
3416                     if (UNI_IS_INVARIANT(ch)) {
3417                         *d-- = UNI_TO_NATIVE(ch);
3418                     } else {
3419                         *d-- = (U8)UTF8_EIGHT_BIT_LO(ch);
3420                         *d-- = (U8)UTF8_EIGHT_BIT_HI(ch);
3421                     }
3422                 }
3423             }
3424
3425             if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
3426                 /* Update pos. We do it at the end rather than during
3427                  * the upgrade, to avoid slowing down the common case
3428                  * (upgrade without pos) */
3429                 MAGIC * mg = mg_find(sv, PERL_MAGIC_regex_global);
3430                 if (mg) {
3431                     I32 pos = mg->mg_len;
3432                     if (pos > 0 && (U32)pos > invariant_head) {
3433                         U8 *d = (U8*) SvPVX(sv) + invariant_head;
3434                         STRLEN n = (U32)pos - invariant_head;
3435                         while (n > 0) {
3436                             if (UTF8_IS_START(*d))
3437                                 d++;
3438                             d++;
3439                             n--;
3440                         }
3441                         mg->mg_len  = d - (U8*)SvPVX(sv);
3442                     }
3443                 }
3444                 if ((mg = mg_find(sv, PERL_MAGIC_utf8)))
3445                     magic_setutf8(sv,mg); /* clear UTF8 cache */
3446             }
3447         }
3448     }
3449
3450     /* Mark as UTF-8 even if no variant - saves scanning loop */
3451     SvUTF8_on(sv);
3452     return SvCUR(sv);
3453 }
3454
3455 /*
3456 =for apidoc sv_utf8_downgrade
3457
3458 Attempts to convert the PV of an SV from characters to bytes.
3459 If the PV contains a character that cannot fit
3460 in a byte, this conversion will fail;
3461 in this case, either returns false or, if C<fail_ok> is not
3462 true, croaks.
3463
3464 This is not as a general purpose Unicode to byte encoding interface:
3465 use the Encode extension for that.
3466
3467 =cut
3468 */
3469
3470 bool
3471 Perl_sv_utf8_downgrade(pTHX_ register SV *const sv, const bool fail_ok)
3472 {
3473     dVAR;
3474
3475     PERL_ARGS_ASSERT_SV_UTF8_DOWNGRADE;
3476
3477     if (SvPOKp(sv) && SvUTF8(sv)) {
3478         if (SvCUR(sv)) {
3479             U8 *s;
3480             STRLEN len;
3481             int mg_flags = SV_GMAGIC;
3482
3483             if (SvIsCOW(sv)) {
3484                 sv_force_normal_flags(sv, 0);
3485             }
3486             if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
3487                 /* update pos */
3488                 MAGIC * mg = mg_find(sv, PERL_MAGIC_regex_global);
3489                 if (mg) {
3490                     I32 pos = mg->mg_len;
3491                     if (pos > 0) {
3492                         sv_pos_b2u(sv, &pos);
3493                         mg_flags = 0; /* sv_pos_b2u does get magic */
3494                         mg->mg_len  = pos;
3495                     }
3496                 }
3497                 if ((mg = mg_find(sv, PERL_MAGIC_utf8)))
3498                     magic_setutf8(sv,mg); /* clear UTF8 cache */
3499
3500             }
3501             s = (U8 *) SvPV_flags(sv, len, mg_flags);
3502
3503             if (!utf8_to_bytes(s, &len)) {
3504                 if (fail_ok)
3505                     return FALSE;
3506                 else {
3507                     if (PL_op)
3508                         Perl_croak(aTHX_ "Wide character in %s",
3509                                    OP_DESC(PL_op));
3510                     else
3511                         Perl_croak(aTHX_ "Wide character");
3512                 }
3513             }
3514             SvCUR_set(sv, len);
3515         }
3516     }
3517     SvUTF8_off(sv);
3518     return TRUE;
3519 }
3520
3521 /*
3522 =for apidoc sv_utf8_encode
3523
3524 Converts the PV of an SV to UTF-8, but then turns the C<SvUTF8>
3525 flag off so that it looks like octets again.
3526
3527 =cut
3528 */
3529
3530 void
3531 Perl_sv_utf8_encode(pTHX_ register SV *const sv)
3532 {
3533     PERL_ARGS_ASSERT_SV_UTF8_ENCODE;
3534
3535     if (SvIsCOW(sv)) {
3536         sv_force_normal_flags(sv, 0);
3537     }
3538     if (SvREADONLY(sv)) {
3539         Perl_croak_no_modify(aTHX);
3540     }
3541     (void) sv_utf8_upgrade(sv);
3542     SvUTF8_off(sv);
3543 }
3544
3545 /*
3546 =for apidoc sv_utf8_decode
3547
3548 If the PV of the SV is an octet sequence in UTF-8
3549 and contains a multiple-byte character, the C<SvUTF8> flag is turned on
3550 so that it looks like a character. If the PV contains only single-byte
3551 characters, the C<SvUTF8> flag stays off.
3552 Scans PV for validity and returns false if the PV is invalid UTF-8.
3553
3554 =cut
3555 */
3556
3557 bool
3558 Perl_sv_utf8_decode(pTHX_ register SV *const sv)
3559 {
3560     PERL_ARGS_ASSERT_SV_UTF8_DECODE;
3561
3562     if (SvPOKp(sv)) {
3563         const U8 *start, *c;
3564         const U8 *e;
3565
3566         /* The octets may have got themselves encoded - get them back as
3567          * bytes
3568          */
3569         if (!sv_utf8_downgrade(sv, TRUE))
3570             return FALSE;
3571
3572         /* it is actually just a matter of turning the utf8 flag on, but
3573          * we want to make sure everything inside is valid utf8 first.
3574          */
3575         c = start = (const U8 *) SvPVX_const(sv);
3576         if (!is_utf8_string(c, SvCUR(sv)+1))
3577             return FALSE;
3578         e = (const U8 *) SvEND(sv);
3579         while (c < e) {
3580             const U8 ch = *c++;
3581             if (!UTF8_IS_INVARIANT(ch)) {
3582                 SvUTF8_on(sv);
3583                 break;
3584             }
3585         }
3586         if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
3587             /* adjust pos to the start of a UTF8 char sequence */
3588             MAGIC * mg = mg_find(sv, PERL_MAGIC_regex_global);
3589             if (mg) {
3590                 I32 pos = mg->mg_len;
3591                 if (pos > 0) {
3592                     for (c = start + pos; c > start; c--) {
3593                         if (UTF8_IS_START(*c))
3594                             break;
3595                     }
3596                     mg->mg_len  = c - start;
3597                 }
3598             }
3599             if ((mg = mg_find(sv, PERL_MAGIC_utf8)))
3600                 magic_setutf8(sv,mg); /* clear UTF8 cache */
3601         }
3602     }
3603     return TRUE;
3604 }
3605
3606 /*
3607 =for apidoc sv_setsv
3608
3609 Copies the contents of the source SV C<ssv> into the destination SV
3610 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3611 function if the source SV needs to be reused. Does not handle 'set' magic.
3612 Loosely speaking, it performs a copy-by-value, obliterating any previous
3613 content of the destination.
3614
3615 You probably want to use one of the assortment of wrappers, such as
3616 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3617 C<SvSetMagicSV_nosteal>.
3618
3619 =for apidoc sv_setsv_flags
3620
3621 Copies the contents of the source SV C<ssv> into the destination SV
3622 C<dsv>.  The source SV may be destroyed if it is mortal, so don't use this
3623 function if the source SV needs to be reused. Does not handle 'set' magic.
3624 Loosely speaking, it performs a copy-by-value, obliterating any previous
3625 content of the destination.
3626 If the C<flags> parameter has the C<SV_GMAGIC> bit set, will C<mg_get> on
3627 C<ssv> if appropriate, else not. If the C<flags> parameter has the
3628 C<NOSTEAL> bit set then the buffers of temps will not be stolen. <sv_setsv>
3629 and C<sv_setsv_nomg> are implemented in terms of this function.
3630
3631 You probably want to use one of the assortment of wrappers, such as
3632 C<SvSetSV>, C<SvSetSV_nosteal>, C<SvSetMagicSV> and
3633 C<SvSetMagicSV_nosteal>.
3634
3635 This is the primary function for copying scalars, and most other
3636 copy-ish functions and macros use this underneath.
3637
3638 =cut
3639 */
3640
3641 static void
3642 S_glob_assign_glob(pTHX_ SV *const dstr, SV *const sstr, const int dtype)
3643 {
3644     I32 mro_changes = 0; /* 1 = method, 2 = isa, 3 = recursive isa */
3645     HV *old_stash = NULL;
3646
3647     PERL_ARGS_ASSERT_GLOB_ASSIGN_GLOB;
3648
3649     if (dtype != SVt_PVGV && !isGV_with_GP(dstr)) {
3650         const char * const name = GvNAME(sstr);
3651         const STRLEN len = GvNAMELEN(sstr);
3652         {
3653             if (dtype >= SVt_PV) {
3654                 SvPV_free(dstr);
3655                 SvPV_set(dstr, 0);
3656                 SvLEN_set(dstr, 0);
3657                 SvCUR_set(dstr, 0);
3658             }
3659             SvUPGRADE(dstr, SVt_PVGV);
3660             (void)SvOK_off(dstr);
3661             /* FIXME - why are we doing this, then turning it off and on again
3662                below?  */
3663             isGV_with_GP_on(dstr);
3664         }
3665         GvSTASH(dstr) = GvSTASH(sstr);
3666         if (GvSTASH(dstr))
3667             Perl_sv_add_backref(aTHX_ MUTABLE_SV(GvSTASH(dstr)), dstr);
3668         gv_name_set(MUTABLE_GV(dstr), name, len, GV_ADD);
3669         SvFAKE_on(dstr);        /* can coerce to non-glob */
3670     }
3671
3672     if(GvGP(MUTABLE_GV(sstr))) {
3673         /* If source has method cache entry, clear it */
3674         if(GvCVGEN(sstr)) {
3675             SvREFCNT_dec(GvCV(sstr));
3676             GvCV_set(sstr, NULL);
3677             GvCVGEN(sstr) = 0;
3678         }
3679         /* If source has a real method, then a method is
3680            going to change */
3681         else if(
3682          GvCV((const GV *)sstr) && GvSTASH(dstr) && HvENAME(GvSTASH(dstr))
3683         ) {
3684             mro_changes = 1;
3685         }
3686     }
3687
3688     /* If dest already had a real method, that's a change as well */
3689     if(
3690         !mro_changes && GvGP(MUTABLE_GV(dstr)) && GvCVu((const GV *)dstr)
3691      && GvSTASH(dstr) && HvENAME(GvSTASH(dstr))
3692     ) {
3693         mro_changes = 1;
3694     }
3695
3696     /* We don’t need to check the name of the destination if it was not a
3697        glob to begin with. */
3698     if(dtype == SVt_PVGV) {
3699         const char * const name = GvNAME((const GV *)dstr);
3700         if(
3701             strEQ(name,"ISA")
3702          /* The stash may have been detached from the symbol table, so
3703             check its name. */
3704          && GvSTASH(dstr) && HvENAME(GvSTASH(dstr))
3705          && GvAV((const GV *)sstr)
3706         )
3707             mro_changes = 2;
3708         else {
3709             const STRLEN len = GvNAMELEN(dstr);
3710             if ((len > 1 && name[len-2] == ':' && name[len-1] == ':')
3711              || (len == 1 && name[0] == ':')) {
3712                 mro_changes = 3;
3713
3714                 /* Set aside the old stash, so we can reset isa caches on
3715                    its subclasses. */
3716                 if((old_stash = GvHV(dstr)))
3717                     /* Make sure we do not lose it early. */
3718                     SvREFCNT_inc_simple_void_NN(
3719                      sv_2mortal((SV *)old_stash)
3720                     );
3721             }
3722         }
3723     }
3724
3725     gp_free(MUTABLE_GV(dstr));
3726     isGV_with_GP_off(dstr);
3727     (void)SvOK_off(dstr);
3728     isGV_with_GP_on(dstr);
3729     GvINTRO_off(dstr);          /* one-shot flag */
3730     GvGP_set(dstr, gp_ref(GvGP(sstr)));
3731     if (SvTAINTED(sstr))
3732         SvTAINT(dstr);
3733     if (GvIMPORTED(dstr) != GVf_IMPORTED
3734         && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
3735         {
3736             GvIMPORTED_on(dstr);
3737         }
3738     GvMULTI_on(dstr);
3739     if(mro_changes == 2) {
3740         MAGIC *mg;
3741         SV * const sref = (SV *)GvAV((const GV *)dstr);
3742         if (SvSMAGICAL(sref) && (mg = mg_find(sref, PERL_MAGIC_isa))) {
3743             if (SvTYPE(mg->mg_obj) != SVt_PVAV) {
3744                 AV * const ary = newAV();
3745                 av_push(ary, mg->mg_obj); /* takes the refcount */
3746                 mg->mg_obj = (SV *)ary;
3747             }
3748             av_push((AV *)mg->mg_obj, SvREFCNT_inc_simple_NN(dstr));
3749         }
3750         else sv_magic(sref, dstr, PERL_MAGIC_isa, NULL, 0);
3751         mro_isa_changed_in(GvSTASH(dstr));
3752     }
3753     else if(mro_changes == 3) {
3754         HV * const stash = GvHV(dstr);
3755         if(old_stash ? (HV *)HvENAME_get(old_stash) : stash)
3756             mro_package_moved(
3757                 stash, old_stash,
3758                 (GV *)dstr, 0
3759             );
3760     }
3761     else if(mro_changes) mro_method_changed_in(GvSTASH(dstr));
3762     return;
3763 }
3764
3765 static void
3766 S_glob_assign_ref(pTHX_ SV *const dstr, SV *const sstr)
3767 {
3768     SV * const sref = SvREFCNT_inc(SvRV(sstr));
3769     SV *dref = NULL;
3770     const int intro = GvINTRO(dstr);
3771     SV **location;
3772     U8 import_flag = 0;
3773     const U32 stype = SvTYPE(sref);
3774
3775     PERL_ARGS_ASSERT_GLOB_ASSIGN_REF;
3776
3777     if (intro) {
3778         GvINTRO_off(dstr);      /* one-shot flag */
3779         GvLINE(dstr) = CopLINE(PL_curcop);
3780         GvEGV(dstr) = MUTABLE_GV(dstr);
3781     }
3782     GvMULTI_on(dstr);
3783     switch (stype) {
3784     case SVt_PVCV:
3785         location = (SV **) &(GvGP(dstr)->gp_cv); /* XXX bypassing GvCV_set */
3786         import_flag = GVf_IMPORTED_CV;
3787         goto common;
3788     case SVt_PVHV:
3789         location = (SV **) &GvHV(dstr);
3790         import_flag = GVf_IMPORTED_HV;
3791         goto common;
3792     case SVt_PVAV:
3793         location = (SV **) &GvAV(dstr);
3794         import_flag = GVf_IMPORTED_AV;
3795         goto common;
3796     case SVt_PVIO:
3797         location = (SV **) &GvIOp(dstr);
3798         goto common;
3799     case SVt_PVFM:
3800         location = (SV **) &GvFORM(dstr);
3801         goto common;
3802     default:
3803         location = &GvSV(dstr);
3804         import_flag = GVf_IMPORTED_SV;
3805     common:
3806         if (intro) {
3807             if (stype == SVt_PVCV) {
3808                 /*if (GvCVGEN(dstr) && (GvCV(dstr) != (const CV *)sref || GvCVGEN(dstr))) {*/
3809                 if (GvCVGEN(dstr)) {
3810                     SvREFCNT_dec(GvCV(dstr));
3811                     GvCV_set(dstr, NULL);
3812                     GvCVGEN(dstr) = 0; /* Switch off cacheness. */
3813                 }
3814             }
3815             SAVEGENERICSV(*location);
3816         }
3817         else
3818             dref = *location;
3819         if (stype == SVt_PVCV && (*location != sref || GvCVGEN(dstr))) {
3820             CV* const cv = MUTABLE_CV(*location);
3821             if (cv) {
3822                 if (!GvCVGEN((const GV *)dstr) &&
3823                     (CvROOT(cv) || CvXSUB(cv)))
3824                     {
3825                         /* Redefining a sub - warning is mandatory if
3826                            it was a const and its value changed. */
3827                         if (CvCONST(cv) && CvCONST((const CV *)sref)
3828                             && cv_const_sv(cv)
3829                             == cv_const_sv((const CV *)sref)) {
3830                             NOOP;
3831                             /* They are 2 constant subroutines generated from
3832                                the same constant. This probably means that
3833                                they are really the "same" proxy subroutine
3834                                instantiated in 2 places. Most likely this is
3835                                when a constant is exported twice.  Don't warn.
3836                             */
3837                         }
3838                         else if (ckWARN(WARN_REDEFINE)
3839                                  || (CvCONST(cv)
3840                                      && (!CvCONST((const CV *)sref)
3841                                          || sv_cmp(cv_const_sv(cv),
3842                                                    cv_const_sv((const CV *)
3843                                                                sref))))) {
3844                             Perl_warner(aTHX_ packWARN(WARN_REDEFINE),
3845                                         (const char *)
3846                                         (CvCONST(cv)
3847                                          ? "Constant subroutine %s::%s redefined"
3848                                          : "Subroutine %s::%s redefined"),
3849                                         HvNAME_get(GvSTASH((const GV *)dstr)),
3850                                         GvENAME(MUTABLE_GV(dstr)));
3851                         }
3852                     }
3853                 if (!intro)
3854                     cv_ckproto_len(cv, (const GV *)dstr,
3855                                    SvPOK(sref) ? SvPVX_const(sref) : NULL,
3856                                    SvPOK(sref) ? SvCUR(sref) : 0);
3857             }
3858             GvCVGEN(dstr) = 0; /* Switch off cacheness. */
3859             GvASSUMECV_on(dstr);
3860             if(GvSTASH(dstr)) mro_method_changed_in(GvSTASH(dstr)); /* sub foo { 1 } sub bar { 2 } *bar = \&foo */
3861         }
3862         *location = sref;
3863         if (import_flag && !(GvFLAGS(dstr) & import_flag)
3864             && CopSTASH_ne(PL_curcop, GvSTASH(dstr))) {
3865             GvFLAGS(dstr) |= import_flag;
3866         }
3867         if (stype == SVt_PVHV) {
3868             const char * const name = GvNAME((GV*)dstr);
3869             const STRLEN len = GvNAMELEN(dstr);
3870             if (
3871                 (
3872                    (len > 1 && name[len-2] == ':' && name[len-1] == ':')
3873                 || (len == 1 && name[0] == ':')
3874                 )
3875              && (!dref || HvENAME_get(dref))
3876             ) {
3877                 mro_package_moved(
3878                     (HV *)sref, (HV *)dref,
3879                     (GV *)dstr, 0
3880                 );
3881             }
3882         }
3883         else if (
3884             stype == SVt_PVAV && sref != dref
3885          && strEQ(GvNAME((GV*)dstr), "ISA")
3886          /* The stash may have been detached from the symbol table, so
3887             check its name before doing anything. */
3888          && GvSTASH(dstr) && HvENAME(GvSTASH(dstr))
3889         ) {
3890             MAGIC *mg;
3891             MAGIC * const omg = dref && SvSMAGICAL(dref)
3892                                  ? mg_find(dref, PERL_MAGIC_isa)
3893                                  : NULL;
3894             if (SvSMAGICAL(sref) && (mg = mg_find(sref, PERL_MAGIC_isa))) {
3895                 if (SvTYPE(mg->mg_obj) != SVt_PVAV) {
3896                     AV * const ary = newAV();
3897                     av_push(ary, mg->mg_obj); /* takes the refcount */
3898                     mg->mg_obj = (SV *)ary;
3899                 }
3900                 if (omg) {
3901                     if (SvTYPE(omg->mg_obj) == SVt_PVAV) {
3902                         SV **svp = AvARRAY((AV *)omg->mg_obj);
3903                         I32 items = AvFILLp((AV *)omg->mg_obj) + 1;
3904                         while (items--)
3905                             av_push(
3906                              (AV *)mg->mg_obj,
3907                              SvREFCNT_inc_simple_NN(*svp++)
3908                             );
3909                     }
3910                     else
3911                         av_push(
3912                          (AV *)mg->mg_obj,
3913                          SvREFCNT_inc_simple_NN(omg->mg_obj)
3914                         );
3915                 }
3916                 else
3917                     av_push((AV *)mg->mg_obj,SvREFCNT_inc_simple_NN(dstr));
3918             }
3919             else
3920             {
3921                 sv_magic(
3922                  sref, omg ? omg->mg_obj : dstr, PERL_MAGIC_isa, NULL, 0
3923                 );
3924                 mg = mg_find(sref, PERL_MAGIC_isa);
3925             }
3926             /* Since the *ISA assignment could have affected more than
3927                one stash, don’t call mro_isa_changed_in directly, but let
3928                magic_clearisa do it for us, as it already has the logic for
3929                dealing with globs vs arrays of globs. */
3930             assert(mg);
3931             Perl_magic_clearisa(aTHX_ NULL, mg);
3932         }
3933         break;
3934     }
3935     SvREFCNT_dec(dref);
3936     if (SvTAINTED(sstr))
3937         SvTAINT(dstr);
3938     return;
3939 }
3940
3941 void
3942 Perl_sv_setsv_flags(pTHX_ SV *dstr, register SV* sstr, const I32 flags)
3943 {
3944     dVAR;
3945     register U32 sflags;
3946     register int dtype;
3947     register svtype stype;
3948
3949     PERL_ARGS_ASSERT_SV_SETSV_FLAGS;
3950
3951     if (sstr == dstr)
3952         return;
3953
3954     if (SvIS_FREED(dstr)) {
3955         Perl_croak(aTHX_ "panic: attempt to copy value %" SVf
3956                    " to a freed scalar %p", SVfARG(sstr), (void *)dstr);
3957     }
3958     SV_CHECK_THINKFIRST_COW_DROP(dstr);
3959     if (!sstr)
3960         sstr = &PL_sv_undef;
3961     if (SvIS_FREED(sstr)) {
3962         Perl_croak(aTHX_ "panic: attempt to copy freed scalar %p to %p",
3963                    (void*)sstr, (void*)dstr);
3964     }
3965     stype = SvTYPE(sstr);
3966     dtype = SvTYPE(dstr);
3967
3968     (void)SvAMAGIC_off(dstr);
3969     if ( SvVOK(dstr) )
3970     {
3971         /* need to nuke the magic */
3972         mg_free(dstr);
3973     }
3974
3975     /* There's a lot of redundancy below but we're going for speed here */
3976
3977     switch (stype) {
3978     case SVt_NULL:
3979       undef_sstr:
3980         if (dtype != SVt_PVGV && dtype != SVt_PVLV) {
3981             (void)SvOK_off(dstr);
3982             return;
3983         }
3984         break;
3985     case SVt_IV:
3986         if (SvIOK(sstr)) {
3987             switch (dtype) {
3988             case SVt_NULL:
3989                 sv_upgrade(dstr, SVt_IV);
3990                 break;
3991             case SVt_NV:
3992             case SVt_PV:
3993                 sv_upgrade(dstr, SVt_PVIV);
3994                 break;
3995             case SVt_PVGV:
3996             case SVt_PVLV:
3997                 goto end_of_first_switch;
3998             }
3999             (void)SvIOK_only(dstr);
4000             SvIV_set(dstr,  SvIVX(sstr));
4001             if (SvIsUV(sstr))
4002                 SvIsUV_on(dstr);
4003             /* SvTAINTED can only be true if the SV has taint magic, which in
4004                turn means that the SV type is PVMG (or greater). This is the
4005                case statement for SVt_IV, so this cannot be true (whatever gcov
4006                may say).  */
4007             assert(!SvTAINTED(sstr));
4008             return;
4009         }
4010         if (!SvROK(sstr))
4011             goto undef_sstr;
4012         if (dtype < SVt_PV && dtype != SVt_IV)
4013             sv_upgrade(dstr, SVt_IV);
4014         break;
4015
4016     case SVt_NV:
4017         if (SvNOK(sstr)) {
4018             switch (dtype) {
4019             case SVt_NULL:
4020             case SVt_IV:
4021                 sv_upgrade(dstr, SVt_NV);
4022                 break;
4023             case SVt_PV:
4024             case SVt_PVIV:
4025                 sv_upgrade(dstr, SVt_PVNV);
4026                 break;
4027             case SVt_PVGV:
4028             case SVt_PVLV:
4029                 goto end_of_first_switch;
4030             }
4031             SvNV_set(dstr, SvNVX(sstr));
4032             (void)SvNOK_only(dstr);
4033             /* SvTAINTED can only be true if the SV has taint magic, which in
4034                turn means that the SV type is PVMG (or greater). This is the
4035                case statement for SVt_NV, so this cannot be true (whatever gcov
4036                may say).  */
4037             assert(!SvTAINTED(sstr));
4038             return;
4039         }
4040         goto undef_sstr;
4041
4042     case SVt_PVFM:
4043 #ifdef PERL_OLD_COPY_ON_WRITE
4044         if ((SvFLAGS(sstr) & CAN_COW_MASK) == CAN_COW_FLAGS) {
4045             if (dtype < SVt_PVIV)
4046                 sv_upgrade(dstr, SVt_PVIV);
4047             break;
4048         }
4049         /* Fall through */
4050 #endif
4051     case SVt_PV:
4052         if (dtype < SVt_PV)
4053             sv_upgrade(dstr, SVt_PV);
4054         break;
4055     case SVt_PVIV:
4056         if (dtype < SVt_PVIV)
4057             sv_upgrade(dstr, SVt_PVIV);
4058         break;
4059     case SVt_PVNV:
4060         if (dtype < SVt_PVNV)
4061             sv_upgrade(dstr, SVt_PVNV);
4062         break;
4063     default:
4064         {
4065         const char * const type = sv_reftype(sstr,0);
4066         if (PL_op)
4067             Perl_croak(aTHX_ "Bizarre copy of %s in %s", type, OP_DESC(PL_op));
4068         else
4069             Perl_croak(aTHX_ "Bizarre copy of %s", type);
4070         }
4071         break;
4072
4073     case SVt_REGEXP:
4074         if (dtype < SVt_REGEXP)
4075             sv_upgrade(dstr, SVt_REGEXP);
4076         break;
4077
4078         /* case SVt_BIND: */
4079     case SVt_PVLV:
4080     case SVt_PVGV:
4081     case SVt_PVMG:
4082         if (SvGMAGICAL(sstr) && (flags & SV_GMAGIC)) {
4083             mg_get(sstr);
4084             if (SvTYPE(sstr) != stype)
4085                 stype = SvTYPE(sstr);
4086         }
4087         if (isGV_with_GP(sstr) && dtype <= SVt_PVLV) {
4088                     glob_assign_glob(dstr, sstr, dtype);
4089                     return;
4090         }
4091         if (stype == SVt_PVLV)
4092             SvUPGRADE(dstr, SVt_PVNV);
4093         else
4094             SvUPGRADE(dstr, (svtype)stype);
4095     }
4096  end_of_first_switch:
4097
4098     /* dstr may have been upgraded.  */
4099     dtype = SvTYPE(dstr);
4100     sflags = SvFLAGS(sstr);
4101
4102     if (dtype == SVt_PVCV || dtype == SVt_PVFM) {
4103         /* Assigning to a subroutine sets the prototype.  */
4104         if (SvOK(sstr)) {
4105             STRLEN len;
4106             const char *const ptr = SvPV_const(sstr, len);
4107
4108             SvGROW(dstr, len + 1);
4109             Copy(ptr, SvPVX(dstr), len + 1, char);
4110             SvCUR_set(dstr, len);
4111             SvPOK_only(dstr);
4112             SvFLAGS(dstr) |= sflags & SVf_UTF8;
4113         } else {
4114             SvOK_off(dstr);
4115         }
4116     } else if (dtype == SVt_PVAV || dtype == SVt_PVHV) {
4117         const char * const type = sv_reftype(dstr,0);
4118         if (PL_op)
4119             Perl_croak(aTHX_ "Cannot copy to %s in %s", type, OP_DESC(PL_op));
4120         else
4121             Perl_croak(aTHX_ "Cannot copy to %s", type);
4122     } else if (sflags & SVf_ROK) {
4123         if (isGV_with_GP(dstr)
4124             && SvTYPE(SvRV(sstr)) == SVt_PVGV && isGV_with_GP(SvRV(sstr))) {
4125             sstr = SvRV(sstr);
4126             if (sstr == dstr) {
4127                 if (GvIMPORTED(dstr) != GVf_IMPORTED
4128                     && CopSTASH_ne(PL_curcop, GvSTASH(dstr)))
4129                 {
4130                     GvIMPORTED_on(dstr);
4131                 }
4132                 GvMULTI_on(dstr);
4133                 return;
4134             }
4135             glob_assign_glob(dstr, sstr, dtype);
4136             return;
4137         }
4138
4139         if (dtype >= SVt_PV) {
4140             if (isGV_with_GP(dstr)) {
4141                 glob_assign_ref(dstr, sstr);
4142                 return;
4143             }
4144             if (SvPVX_const(dstr)) {
4145                 SvPV_free(dstr);
4146                 SvLEN_set(dstr, 0);
4147                 SvCUR_set(dstr, 0);
4148             }
4149         }
4150         (void)SvOK_off(dstr);
4151         SvRV_set(dstr, SvREFCNT_inc(SvRV(sstr)));
4152         SvFLAGS(dstr) |= sflags & SVf_ROK;
4153         assert(!(sflags & SVp_NOK));
4154         assert(!(sflags & SVp_IOK));
4155         assert(!(sflags & SVf_NOK));
4156         assert(!(sflags & SVf_IOK));
4157     }
4158     else if (isGV_with_GP(dstr)) {
4159         if (!(sflags & SVf_OK)) {
4160             Perl_ck_warner(aTHX_ packWARN(WARN_MISC),
4161                            "Undefined value assigned to typeglob");
4162         }
4163         else {
4164             GV *gv = gv_fetchsv(sstr, GV_ADD, SVt_PVGV);
4165             if (dstr != (const SV *)gv) {
4166                 const char * const name = GvNAME((const GV *)dstr);
4167                 const STRLEN len = GvNAMELEN(dstr);
4168                 HV *old_stash = NULL;
4169                 bool reset_isa = FALSE;
4170                 if ((len > 1 && name[len-2] == ':' && name[len-1] == ':')
4171                  || (len == 1 && name[0] == ':')) {
4172                     /* Set aside the old stash, so we can reset isa caches
4173                        on its subclasses. */
4174                     if((old_stash = GvHV(dstr))) {
4175                         /* Make sure we do not lose it early. */
4176                         SvREFCNT_inc_simple_void_NN(
4177                          sv_2mortal((SV *)old_stash)
4178                         );
4179                     }
4180                     reset_isa = TRUE;
4181                 }
4182
4183                 if (GvGP(dstr))
4184                     gp_free(MUTABLE_GV(dstr));
4185                 GvGP_set(dstr, gp_ref(GvGP(gv)));
4186
4187                 if (reset_isa) {
4188                     HV * const stash = GvHV(dstr);
4189                     if(
4190                         old_stash ? (HV *)HvENAME_get(old_stash) : stash
4191                     )
4192                         mro_package_moved(
4193                          stash, old_stash,
4194                          (GV *)dstr, 0
4195                         );
4196                 }
4197             }
4198         }
4199     }
4200     else if (dtype == SVt_REGEXP && stype == SVt_REGEXP) {
4201         reg_temp_copy((REGEXP*)dstr, (REGEXP*)sstr);
4202     }
4203     else if (sflags & SVp_POK) {
4204         bool isSwipe = 0;
4205
4206         /*
4207          * Check to see if we can just swipe the string.  If so, it's a
4208          * possible small lose on short strings, but a big win on long ones.
4209          * It might even be a win on short strings if SvPVX_const(dstr)
4210          * has to be allocated and SvPVX_const(sstr) has to be freed.
4211          * Likewise if we can set up COW rather than doing an actual copy, we
4212          * drop to the else clause, as the swipe code and the COW setup code
4213          * have much in common.
4214          */
4215
4216         /* Whichever path we take through the next code, we want this true,
4217            and doing it now facilitates the COW check.  */
4218         (void)SvPOK_only(dstr);
4219
4220         if (
4221             /* If we're already COW then this clause is not true, and if COW
4222                is allowed then we drop down to the else and make dest COW 
4223                with us.  If caller hasn't said that we're allowed to COW
4224                shared hash keys then we don't do the COW setup, even if the
4225                source scalar is a shared hash key scalar.  */
4226             (((flags & SV_COW_SHARED_HASH_KEYS)
4227                ? (sflags & (SVf_FAKE|SVf_READONLY)) != (SVf_FAKE|SVf_READONLY)
4228                : 1 /* If making a COW copy is forbidden then the behaviour we
4229                        desire is as if the source SV isn't actually already
4230                        COW, even if it is.  So we act as if the source flags
4231                        are not COW, rather than actually testing them.  */
4232               )
4233 #ifndef PERL_OLD_COPY_ON_WRITE
4234              /* The change that added SV_COW_SHARED_HASH_KEYS makes the logic
4235                 when PERL_OLD_COPY_ON_WRITE is defined a little wrong.
4236                 Conceptually PERL_OLD_COPY_ON_WRITE being defined should
4237                 override SV_COW_SHARED_HASH_KEYS, because it means "always COW"
4238                 but in turn, it's somewhat dead code, never expected to go
4239                 live, but more kept as a placeholder on how to do it better
4240                 in a newer implementation.  */
4241              /* If we are COW and dstr is a suitable target then we drop down
4242                 into the else and make dest a COW of us.  */
4243              || (SvFLAGS(dstr) & CAN_COW_MASK) != CAN_COW_FLAGS
4244 #endif
4245              )
4246             &&
4247             !(isSwipe =
4248                  (sflags & SVs_TEMP) &&   /* slated for free anyway? */
4249                  !(sflags & SVf_OOK) &&   /* and not involved in OOK hack? */
4250                  (!(flags & SV_NOSTEAL)) &&
4251                                         /* and we're allowed to steal temps */
4252                  SvREFCNT(sstr) == 1 &&   /* and no other references to it? */
4253                  SvLEN(sstr))             /* and really is a string */
4254 #ifdef PERL_OLD_COPY_ON_WRITE
4255             && ((flags & SV_COW_SHARED_HASH_KEYS)
4256                 ? (!((sflags & CAN_COW_MASK) == CAN_COW_FLAGS
4257                      && (SvFLAGS(dstr) & CAN_COW_MASK) == CAN_COW_FLAGS
4258                      && SvTYPE(sstr) >= SVt_PVIV && SvTYPE(sstr) != SVt_PVFM))
4259                 : 1)
4260 #endif
4261             ) {
4262             /* Failed the swipe test, and it's not a shared hash key either.
4263                Have to copy the string.  */
4264             STRLEN len = SvCUR(sstr);
4265             SvGROW(dstr, len + 1);      /* inlined from sv_setpvn */
4266             Move(SvPVX_const(sstr),SvPVX(dstr),len,char);
4267             SvCUR_set(dstr, len);
4268             *SvEND(dstr) = '\0';
4269         } else {
4270             /* If PERL_OLD_COPY_ON_WRITE is not defined, then isSwipe will always
4271                be true in here.  */
4272             /* Either it's a shared hash key, or it's suitable for
4273                copy-on-write or we can swipe the string.  */
4274             if (DEBUG_C_TEST) {
4275                 PerlIO_printf(Perl_debug_log, "Copy on write: sstr --> dstr\n");
4276                 sv_dump(sstr);
4277                 sv_dump(dstr);
4278             }
4279 #ifdef PERL_OLD_COPY_ON_WRITE
4280             if (!isSwipe) {
4281                 if ((sflags & (SVf_FAKE | SVf_READONLY))
4282                     != (SVf_FAKE | SVf_READONLY)) {
4283                     SvREADONLY_on(sstr);
4284                     SvFAKE_on(sstr);
4285                     /* Make the source SV into a loop of 1.
4286                        (about to become 2) */
4287                     SV_COW_NEXT_SV_SET(sstr, sstr);
4288                 }
4289             }
4290 #endif
4291             /* Initial code is common.  */
4292             if (SvPVX_const(dstr)) {    /* we know that dtype >= SVt_PV */
4293                 SvPV_free(dstr);
4294             }
4295
4296             if (!isSwipe) {
4297                 /* making another shared SV.  */
4298                 STRLEN cur = SvCUR(sstr);
4299                 STRLEN len = SvLEN(sstr);
4300 #ifdef PERL_OLD_COPY_ON_WRITE
4301                 if (len) {
4302                     assert (SvTYPE(dstr) >= SVt_PVIV);
4303                     /* SvIsCOW_normal */
4304                     /* splice us in between source and next-after-source.  */
4305                     SV_COW_NEXT_SV_SET(dstr, SV_COW_NEXT_SV(sstr));
4306                     SV_COW_NEXT_SV_SET(sstr, dstr);
4307                     SvPV_set(dstr, SvPVX_mutable(sstr));
4308                 } else
4309 #endif
4310                 {
4311                     /* SvIsCOW_shared_hash */
4312                     DEBUG_C(PerlIO_printf(Perl_debug_log,
4313                                           "Copy on write: Sharing hash\n"));
4314
4315                     assert (SvTYPE(dstr) >= SVt_PV);
4316                     SvPV_set(dstr,
4317                              HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)))));
4318                 }
4319                 SvLEN_set(dstr, len);
4320                 SvCUR_set(dstr, cur);
4321                 SvREADONLY_on(dstr);
4322                 SvFAKE_on(dstr);
4323             }
4324             else
4325                 {       /* Passes the swipe test.  */
4326                 SvPV_set(dstr, SvPVX_mutable(sstr));
4327                 SvLEN_set(dstr, SvLEN(sstr));
4328                 SvCUR_set(dstr, SvCUR(sstr));
4329
4330                 SvTEMP_off(dstr);
4331                 (void)SvOK_off(sstr);   /* NOTE: nukes most SvFLAGS on sstr */
4332                 SvPV_set(sstr, NULL);
4333                 SvLEN_set(sstr, 0);
4334                 SvCUR_set(sstr, 0);
4335                 SvTEMP_off(sstr);
4336             }
4337         }
4338         if (sflags & SVp_NOK) {
4339             SvNV_set(dstr, SvNVX(sstr));
4340         }
4341         if (sflags & SVp_IOK) {
4342             SvIV_set(dstr, SvIVX(sstr));
4343             /* Must do this otherwise some other overloaded use of 0x80000000
4344                gets confused. I guess SVpbm_VALID */
4345             if (sflags & SVf_IVisUV)
4346                 SvIsUV_on(dstr);
4347         }
4348         SvFLAGS(dstr) |= sflags & (SVf_IOK|SVp_IOK|SVf_NOK|SVp_NOK|SVf_UTF8);
4349         {
4350             const MAGIC * const smg = SvVSTRING_mg(sstr);
4351             if (smg) {
4352                 sv_magic(dstr, NULL, PERL_MAGIC_vstring,
4353                          smg->mg_ptr, smg->mg_len);
4354                 SvRMAGICAL_on(dstr);
4355             }
4356         }
4357     }
4358     else if (sflags & (SVp_IOK|SVp_NOK)) {
4359         (void)SvOK_off(dstr);
4360         SvFLAGS(dstr) |= sflags & (SVf_IOK|SVp_IOK|SVf_IVisUV|SVf_NOK|SVp_NOK);
4361         if (sflags & SVp_IOK) {
4362             /* XXXX Do we want to set IsUV for IV(ROK)?  Be extra safe... */
4363             SvIV_set(dstr, SvIVX(sstr));
4364         }
4365         if (sflags & SVp_NOK) {
4366             SvNV_set(dstr, SvNVX(sstr));
4367         }
4368     }
4369     else {
4370         if (isGV_with_GP(sstr)) {
4371             /* This stringification rule for globs is spread in 3 places.
4372                This feels bad. FIXME.  */
4373             const U32 wasfake = sflags & SVf_FAKE;
4374
4375             /* FAKE globs can get coerced, so need to turn this off
4376                temporarily if it is on.  */
4377             SvFAKE_off(sstr);
4378             gv_efullname3(dstr, MUTABLE_GV(sstr), "*");
4379             SvFLAGS(sstr) |= wasfake;
4380         }
4381         else
4382             (void)SvOK_off(dstr);
4383     }
4384     if (SvTAINTED(sstr))
4385         SvTAINT(dstr);
4386 }
4387
4388 /*
4389 =for apidoc sv_setsv_mg
4390
4391 Like C<sv_setsv>, but also handles 'set' magic.
4392
4393 =cut
4394 */
4395
4396 void
4397 Perl_sv_setsv_mg(pTHX_ SV *const dstr, register SV *const sstr)
4398 {
4399     PERL_ARGS_ASSERT_SV_SETSV_MG;
4400
4401     sv_setsv(dstr,sstr);
4402     SvSETMAGIC(dstr);
4403 }
4404
4405 #ifdef PERL_OLD_COPY_ON_WRITE
4406 SV *
4407 Perl_sv_setsv_cow(pTHX_ SV *dstr, SV *sstr)
4408 {
4409     STRLEN cur = SvCUR(sstr);
4410     STRLEN len = SvLEN(sstr);
4411     register char *new_pv;
4412
4413     PERL_ARGS_ASSERT_SV_SETSV_COW;
4414
4415     if (DEBUG_C_TEST) {
4416         PerlIO_printf(Perl_debug_log, "Fast copy on write: %p -> %p\n",
4417                       (void*)sstr, (void*)dstr);
4418         sv_dump(sstr);
4419         if (dstr)
4420                     sv_dump(dstr);
4421     }
4422
4423     if (dstr) {
4424         if (SvTHINKFIRST(dstr))
4425             sv_force_normal_flags(dstr, SV_COW_DROP_PV);
4426         else if (SvPVX_const(dstr))
4427             Safefree(SvPVX_const(dstr));
4428     }
4429     else
4430         new_SV(dstr);
4431     SvUPGRADE(dstr, SVt_PVIV);
4432
4433     assert (SvPOK(sstr));
4434     assert (SvPOKp(sstr));
4435     assert (!SvIOK(sstr));
4436     assert (!SvIOKp(sstr));
4437     assert (!SvNOK(sstr));
4438     assert (!SvNOKp(sstr));
4439
4440     if (SvIsCOW(sstr)) {
4441
4442         if (SvLEN(sstr) == 0) {
4443             /* source is a COW shared hash key.  */
4444             DEBUG_C(PerlIO_printf(Perl_debug_log,
4445                                   "Fast copy on write: Sharing hash\n"));
4446             new_pv = HEK_KEY(share_hek_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr))));
4447             goto common_exit;
4448         }
4449         SV_COW_NEXT_SV_SET(dstr, SV_COW_NEXT_SV(sstr));
4450     } else {
4451         assert ((SvFLAGS(sstr) & CAN_COW_MASK) == CAN_COW_FLAGS);
4452         SvUPGRADE(sstr, SVt_PVIV);
4453         SvREADONLY_on(sstr);
4454         SvFAKE_on(sstr);
4455         DEBUG_C(PerlIO_printf(Perl_debug_log,
4456                               "Fast copy on write: Converting sstr to COW\n"));
4457         SV_COW_NEXT_SV_SET(dstr, sstr);
4458     }
4459     SV_COW_NEXT_SV_SET(sstr, dstr);
4460     new_pv = SvPVX_mutable(sstr);
4461
4462   common_exit:
4463     SvPV_set(dstr, new_pv);
4464     SvFLAGS(dstr) = (SVt_PVIV|SVf_POK|SVp_POK|SVf_FAKE|SVf_READONLY);
4465     if (SvUTF8(sstr))
4466         SvUTF8_on(dstr);
4467     SvLEN_set(dstr, len);
4468     SvCUR_set(dstr, cur);
4469     if (DEBUG_C_TEST) {
4470         sv_dump(dstr);
4471     }
4472     return dstr;
4473 }
4474 #endif
4475
4476 /*
4477 =for apidoc sv_setpvn
4478
4479 Copies a string into an SV.  The C<len> parameter indicates the number of
4480 bytes to be copied.  If the C<ptr> argument is NULL the SV will become
4481 undefined.  Does not handle 'set' magic.  See C<sv_setpvn_mg>.
4482
4483 =cut
4484 */
4485
4486 void
4487 Perl_sv_setpvn(pTHX_ register SV *const sv, register const char *const ptr, register const STRLEN len)
4488 {
4489     dVAR;
4490     register char *dptr;
4491
4492     PERL_ARGS_ASSERT_SV_SETPVN;
4493
4494     SV_CHECK_THINKFIRST_COW_DROP(sv);
4495     if (!ptr) {
4496         (void)SvOK_off(sv);
4497         return;
4498     }
4499     else {
4500         /* len is STRLEN which is unsigned, need to copy to signed */
4501         const IV iv = len;
4502         if (iv < 0)
4503             Perl_croak(aTHX_ "panic: sv_setpvn called with negative strlen");
4504     }
4505     SvUPGRADE(sv, SVt_PV);
4506
4507     dptr = SvGROW(sv, len + 1);
4508     Move(ptr,dptr,len,char);
4509     dptr[len] = '\0';
4510     SvCUR_set(sv, len);
4511     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4512     SvTAINT(sv);
4513 }
4514
4515 /*
4516 =for apidoc sv_setpvn_mg
4517
4518 Like C<sv_setpvn>, but also handles 'set' magic.
4519
4520 =cut
4521 */
4522
4523 void
4524 Perl_sv_setpvn_mg(pTHX_ register SV *const sv, register const char *const ptr, register const STRLEN len)
4525 {
4526     PERL_ARGS_ASSERT_SV_SETPVN_MG;
4527
4528     sv_setpvn(sv,ptr,len);
4529     SvSETMAGIC(sv);
4530 }
4531
4532 /*
4533 =for apidoc sv_setpv
4534
4535 Copies a string into an SV.  The string must be null-terminated.  Does not
4536 handle 'set' magic.  See C<sv_setpv_mg>.
4537
4538 =cut
4539 */
4540
4541 void
4542 Perl_sv_setpv(pTHX_ register SV *const sv, register const char *const ptr)
4543 {
4544     dVAR;
4545     register STRLEN len;
4546
4547     PERL_ARGS_ASSERT_SV_SETPV;
4548
4549     SV_CHECK_THINKFIRST_COW_DROP(sv);
4550     if (!ptr) {
4551         (void)SvOK_off(sv);
4552         return;
4553     }
4554     len = strlen(ptr);
4555     SvUPGRADE(sv, SVt_PV);
4556
4557     SvGROW(sv, len + 1);
4558     Move(ptr,SvPVX(sv),len+1,char);
4559     SvCUR_set(sv, len);
4560     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4561     SvTAINT(sv);
4562 }
4563
4564 /*
4565 =for apidoc sv_setpv_mg
4566
4567 Like C<sv_setpv>, but also handles 'set' magic.
4568
4569 =cut
4570 */
4571
4572 void
4573 Perl_sv_setpv_mg(pTHX_ register SV *const sv, register const char *const ptr)
4574 {
4575     PERL_ARGS_ASSERT_SV_SETPV_MG;
4576
4577     sv_setpv(sv,ptr);
4578     SvSETMAGIC(sv);
4579 }
4580
4581 /*
4582 =for apidoc sv_usepvn_flags
4583
4584 Tells an SV to use C<ptr> to find its string value.  Normally the
4585 string is stored inside the SV but sv_usepvn allows the SV to use an
4586 outside string.  The C<ptr> should point to memory that was allocated
4587 by C<malloc>.  The string length, C<len>, must be supplied.  By default
4588 this function will realloc (i.e. move) the memory pointed to by C<ptr>,
4589 so that pointer should not be freed or used by the programmer after
4590 giving it to sv_usepvn, and neither should any pointers from "behind"
4591 that pointer (e.g. ptr + 1) be used.
4592
4593 If C<flags> & SV_SMAGIC is true, will call SvSETMAGIC. If C<flags> &
4594 SV_HAS_TRAILING_NUL is true, then C<ptr[len]> must be NUL, and the realloc
4595 will be skipped. (i.e. the buffer is actually at least 1 byte longer than
4596 C<len>, and already meets the requirements for storing in C<SvPVX>)
4597
4598 =cut
4599 */
4600
4601 void
4602 Perl_sv_usepvn_flags(pTHX_ SV *const sv, char *ptr, const STRLEN len, const U32 flags)
4603 {
4604     dVAR;
4605     STRLEN allocate;
4606
4607     PERL_ARGS_ASSERT_SV_USEPVN_FLAGS;
4608
4609     SV_CHECK_THINKFIRST_COW_DROP(sv);
4610     SvUPGRADE(sv, SVt_PV);
4611     if (!ptr) {
4612         (void)SvOK_off(sv);
4613         if (flags & SV_SMAGIC)
4614             SvSETMAGIC(sv);
4615         return;
4616     }
4617     if (SvPVX_const(sv))
4618         SvPV_free(sv);
4619
4620 #ifdef DEBUGGING
4621     if (flags & SV_HAS_TRAILING_NUL)
4622         assert(ptr[len] == '\0');
4623 #endif
4624
4625     allocate = (flags & SV_HAS_TRAILING_NUL)
4626         ? len + 1 :
4627 #ifdef Perl_safesysmalloc_size
4628         len + 1;
4629 #else 
4630         PERL_STRLEN_ROUNDUP(len + 1);
4631 #endif
4632     if (flags & SV_HAS_TRAILING_NUL) {
4633         /* It's long enough - do nothing.
4634            Specifically Perl_newCONSTSUB is relying on this.  */
4635     } else {
4636 #ifdef DEBUGGING
4637         /* Force a move to shake out bugs in callers.  */
4638         char *new_ptr = (char*)safemalloc(allocate);
4639         Copy(ptr, new_ptr, len, char);
4640         PoisonFree(ptr,len,char);
4641         Safefree(ptr);
4642         ptr = new_ptr;
4643 #else
4644         ptr = (char*) saferealloc (ptr, allocate);
4645 #endif
4646     }
4647 #ifdef Perl_safesysmalloc_size
4648     SvLEN_set(sv, Perl_safesysmalloc_size(ptr));
4649 #else
4650     SvLEN_set(sv, allocate);
4651 #endif
4652     SvCUR_set(sv, len);
4653     SvPV_set(sv, ptr);
4654     if (!(flags & SV_HAS_TRAILING_NUL)) {
4655         ptr[len] = '\0';
4656     }
4657     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
4658     SvTAINT(sv);
4659     if (flags & SV_SMAGIC)
4660         SvSETMAGIC(sv);
4661 }
4662
4663 #ifdef PERL_OLD_COPY_ON_WRITE
4664 /* Need to do this *after* making the SV normal, as we need the buffer
4665    pointer to remain valid until after we've copied it.  If we let go too early,
4666    another thread could invalidate it by unsharing last of the same hash key
4667    (which it can do by means other than releasing copy-on-write Svs)
4668    or by changing the other copy-on-write SVs in the loop.  */
4669 STATIC void
4670 S_sv_release_COW(pTHX_ register SV *sv, const char *pvx, SV *after)
4671 {
4672     PERL_ARGS_ASSERT_SV_RELEASE_COW;
4673
4674     { /* this SV was SvIsCOW_normal(sv) */
4675          /* we need to find the SV pointing to us.  */
4676         SV *current = SV_COW_NEXT_SV(after);
4677
4678         if (current == sv) {
4679             /* The SV we point to points back to us (there were only two of us
4680                in the loop.)
4681                Hence other SV is no longer copy on write either.  */
4682             SvFAKE_off(after);
4683             SvREADONLY_off(after);
4684         } else {
4685             /* We need to follow the pointers around the loop.  */
4686             SV *next;
4687             while ((next = SV_COW_NEXT_SV(current)) != sv) {
4688                 assert (next);
4689                 current = next;
4690                  /* don't loop forever if the structure is bust, and we have
4691                     a pointer into a closed loop.  */
4692                 assert (current != after);
4693                 assert (SvPVX_const(current) == pvx);
4694             }
4695             /* Make the SV before us point to the SV after us.  */
4696             SV_COW_NEXT_SV_SET(current, after);
4697         }
4698     }
4699 }
4700 #endif
4701 /*
4702 =for apidoc sv_force_normal_flags
4703
4704 Undo various types of fakery on an SV: if the PV is a shared string, make
4705 a private copy; if we're a ref, stop refing; if we're a glob, downgrade to
4706 an xpvmg; if we're a copy-on-write scalar, this is the on-write time when
4707 we do the copy, and is also used locally. If C<SV_COW_DROP_PV> is set
4708 then a copy-on-write scalar drops its PV buffer (if any) and becomes
4709 SvPOK_off rather than making a copy. (Used where this scalar is about to be
4710 set to some other value.) In addition, the C<flags> parameter gets passed to
4711 C<sv_unref_flags()> when unreffing. C<sv_force_normal> calls this function
4712 with flags set to 0.
4713
4714 =cut
4715 */
4716
4717 void
4718 Perl_sv_force_normal_flags(pTHX_ register SV *const sv, const U32 flags)
4719 {
4720     dVAR;
4721
4722     PERL_ARGS_ASSERT_SV_FORCE_NORMAL_FLAGS;
4723
4724 #ifdef PERL_OLD_COPY_ON_WRITE
4725     if (SvREADONLY(sv)) {
4726         if (SvFAKE(sv)) {
4727             const char * const pvx = SvPVX_const(sv);
4728             const STRLEN len = SvLEN(sv);
4729             const STRLEN cur = SvCUR(sv);
4730             /* next COW sv in the loop.  If len is 0 then this is a shared-hash
4731                key scalar, so we mustn't attempt to call SV_COW_NEXT_SV(), as
4732                we'll fail an assertion.  */
4733             SV * const next = len ? SV_COW_NEXT_SV(sv) : 0;
4734
4735             if (DEBUG_C_TEST) {
4736                 PerlIO_printf(Perl_debug_log,
4737                               "Copy on write: Force normal %ld\n",
4738                               (long) flags);
4739                 sv_dump(sv);
4740             }
4741             SvFAKE_off(sv);
4742             SvREADONLY_off(sv);
4743             /* This SV doesn't own the buffer, so need to Newx() a new one:  */
4744             SvPV_set(sv, NULL);
4745             SvLEN_set(sv, 0);
4746             if (flags & SV_COW_DROP_PV) {
4747                 /* OK, so we don't need to copy our buffer.  */
4748                 SvPOK_off(sv);
4749             } else {
4750                 SvGROW(sv, cur + 1);
4751                 Move(pvx,SvPVX(sv),cur,char);
4752                 SvCUR_set(sv, cur);
4753                 *SvEND(sv) = '\0';
4754             }
4755             if (len) {
4756                 sv_release_COW(sv, pvx, next);
4757             } else {
4758                 unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
4759             }
4760             if (DEBUG_C_TEST) {
4761                 sv_dump(sv);
4762             }
4763         }
4764         else if (IN_PERL_RUNTIME)
4765             Perl_croak_no_modify(aTHX);
4766     }
4767 #else
4768     if (SvREADONLY(sv)) {
4769         if (SvFAKE(sv) && !isGV_with_GP(sv)) {
4770             const char * const pvx = SvPVX_const(sv);
4771             const STRLEN len = SvCUR(sv);
4772             SvFAKE_off(sv);
4773             SvREADONLY_off(sv);
4774             SvPV_set(sv, NULL);
4775             SvLEN_set(sv, 0);
4776             SvGROW(sv, len + 1);
4777             Move(pvx,SvPVX(sv),len,char);
4778             *SvEND(sv) = '\0';
4779             unshare_hek(SvSHARED_HEK_FROM_PV(pvx));
4780         }
4781         else if (IN_PERL_RUNTIME)
4782             Perl_croak_no_modify(aTHX);
4783     }
4784 #endif
4785     if (SvROK(sv))
4786         sv_unref_flags(sv, flags);
4787     else if (SvFAKE(sv) && isGV_with_GP(sv))
4788         sv_unglob(sv);
4789     else if (SvFAKE(sv) && SvTYPE(sv) == SVt_REGEXP) {
4790         /* Need to downgrade the REGEXP to a simple(r) scalar. This is analogous
4791            to sv_unglob. We only need it here, so inline it.  */
4792         const svtype new_type = SvMAGIC(sv) || SvSTASH(sv) ? SVt_PVMG : SVt_PV;
4793         SV *const temp = newSV_type(new_type);
4794         void *const temp_p = SvANY(sv);
4795
4796         if (new_type == SVt_PVMG) {
4797             SvMAGIC_set(temp, SvMAGIC(sv));
4798             SvMAGIC_set(sv, NULL);
4799             SvSTASH_set(temp, SvSTASH(sv));
4800             SvSTASH_set(sv, NULL);
4801         }
4802         SvCUR_set(temp, SvCUR(sv));
4803         /* Remember that SvPVX is in the head, not the body. */
4804         if (SvLEN(temp)) {
4805             SvLEN_set(temp, SvLEN(sv));
4806             /* This signals "buffer is owned by someone else" in sv_clear,
4807                which is the least effort way to stop it freeing the buffer.
4808             */
4809             SvLEN_set(sv, SvLEN(sv)+1);
4810         } else {
4811             /* Their buffer is already owned by someone else. */
4812             SvPVX(sv) = savepvn(SvPVX(sv), SvCUR(sv));
4813             SvLEN_set(temp, SvCUR(sv)+1);
4814         }
4815
4816         /* Now swap the rest of the bodies. */
4817
4818         SvFLAGS(sv) &= ~(SVf_FAKE|SVTYPEMASK);
4819         SvFLAGS(sv) |= new_type;
4820         SvANY(sv) = SvANY(temp);
4821
4822         SvFLAGS(temp) &= ~(SVTYPEMASK);
4823         SvFLAGS(temp) |= SVt_REGEXP|SVf_FAKE;
4824         SvANY(temp) = temp_p;
4825
4826         SvREFCNT_dec(temp);
4827     }
4828 }
4829
4830 /*
4831 =for apidoc sv_chop
4832
4833 Efficient removal of characters from the beginning of the string buffer.
4834 SvPOK(sv) must be true and the C<ptr> must be a pointer to somewhere inside
4835 the string buffer.  The C<ptr> becomes the first character of the adjusted
4836 string. Uses the "OOK hack".
4837 Beware: after this function returns, C<ptr> and SvPVX_const(sv) may no longer
4838 refer to the same chunk of data.
4839
4840 =cut
4841 */
4842
4843 void
4844 Perl_sv_chop(pTHX_ register SV *const sv, register const char *const ptr)
4845 {
4846     STRLEN delta;
4847     STRLEN old_delta;
4848     U8 *p;
4849 #ifdef DEBUGGING
4850     const U8 *real_start;
4851 #endif
4852     STRLEN max_delta;
4853
4854     PERL_ARGS_ASSERT_SV_CHOP;
4855
4856     if (!ptr || !SvPOKp(sv))
4857         return;
4858     delta = ptr - SvPVX_const(sv);
4859     if (!delta) {
4860         /* Nothing to do.  */
4861         return;
4862     }
4863     /* SvPVX(sv) may move in SV_CHECK_THINKFIRST(sv), but after this line,
4864        nothing uses the value of ptr any more.  */
4865     max_delta = SvLEN(sv) ? SvLEN(sv) : SvCUR(sv);
4866     if (ptr <= SvPVX_const(sv))
4867         Perl_croak(aTHX_ "panic: sv_chop ptr=%p, start=%p, end=%p",
4868                    ptr, SvPVX_const(sv), SvPVX_const(sv) + max_delta);
4869     SV_CHECK_THINKFIRST(sv);
4870     if (delta > max_delta)
4871         Perl_croak(aTHX_ "panic: sv_chop ptr=%p (was %p), start=%p, end=%p",
4872                    SvPVX_const(sv) + delta, ptr, SvPVX_const(sv),
4873                    SvPVX_const(sv) + max_delta);
4874
4875     if (!SvOOK(sv)) {
4876         if (!SvLEN(sv)) { /* make copy of shared string */
4877             const char *pvx = SvPVX_const(sv);
4878             const STRLEN len = SvCUR(sv);
4879             SvGROW(sv, len + 1);
4880             Move(pvx,SvPVX(sv),len,char);
4881             *SvEND(sv) = '\0';
4882         }
4883         SvFLAGS(sv) |= SVf_OOK;
4884         old_delta = 0;
4885     } else {
4886         SvOOK_offset(sv, old_delta);
4887     }
4888     SvLEN_set(sv, SvLEN(sv) - delta);
4889     SvCUR_set(sv, SvCUR(sv) - delta);
4890     SvPV_set(sv, SvPVX(sv) + delta);
4891
4892     p = (U8 *)SvPVX_const(sv);
4893
4894     delta += old_delta;
4895
4896 #ifdef DEBUGGING
4897     real_start = p - delta;
4898 #endif
4899
4900     assert(delta);
4901     if (delta < 0x100) {
4902         *--p = (U8) delta;
4903     } else {
4904         *--p = 0;
4905         p -= sizeof(STRLEN);
4906         Copy((U8*)&delta, p, sizeof(STRLEN), U8);
4907     }
4908
4909 #ifdef DEBUGGING
4910     /* Fill the preceding buffer with sentinals to verify that no-one is
4911        using it.  */
4912     while (p > real_start) {
4913         --p;
4914         *p = (U8)PTR2UV(p);
4915     }
4916 #endif
4917 }
4918
4919 /*
4920 =for apidoc sv_catpvn
4921
4922 Concatenates the string onto the end of the string which is in the SV.  The
4923 C<len> indicates number of bytes to copy.  If the SV has the UTF-8
4924 status set, then the bytes appended should be valid UTF-8.
4925 Handles 'get' magic, but not 'set' magic.  See C<sv_catpvn_mg>.
4926
4927 =for apidoc sv_catpvn_flags
4928
4929 Concatenates the string onto the end of the string which is in the SV.  The
4930 C<len> indicates number of bytes to copy.  If the SV has the UTF-8
4931 status set, then the bytes appended should be valid UTF-8.
4932 If C<flags> has C<SV_GMAGIC> bit set, will C<mg_get> on C<dsv> if
4933 appropriate, else not. C<sv_catpvn> and C<sv_catpvn_nomg> are implemented
4934 in terms of this function.
4935
4936 =cut
4937 */
4938
4939 void
4940 Perl_sv_catpvn_flags(pTHX_ register SV *const dsv, register const char *sstr, register const STRLEN slen, const I32 flags)
4941 {
4942     dVAR;
4943     STRLEN dlen;
4944     const char * const dstr = SvPV_force_flags(dsv, dlen, flags);
4945
4946     PERL_ARGS_ASSERT_SV_CATPVN_FLAGS;
4947
4948     SvGROW(dsv, dlen + slen + 1);
4949     if (sstr == dstr)
4950         sstr = SvPVX_const(dsv);
4951     Move(sstr, SvPVX(dsv) + dlen, slen, char);
4952     SvCUR_set(dsv, SvCUR(dsv) + slen);
4953     *SvEND(dsv) = '\0';
4954     (void)SvPOK_only_UTF8(dsv);         /* validate pointer */
4955     SvTAINT(dsv);
4956     if (flags & SV_SMAGIC)
4957         SvSETMAGIC(dsv);
4958 }
4959
4960 /*
4961 =for apidoc sv_catsv
4962
4963 Concatenates the string from SV C<ssv> onto the end of the string in
4964 SV C<dsv>.  Modifies C<dsv> but not C<ssv>.  Handles 'get' magic, but
4965 not 'set' magic.  See C<sv_catsv_mg>.
4966
4967 =for apidoc sv_catsv_flags
4968
4969 Concatenates the string from SV C<ssv> onto the end of the string in
4970 SV C<dsv>.  Modifies C<dsv> but not C<ssv>.  If C<flags> has C<SV_GMAGIC>
4971 bit set, will C<mg_get> on the SVs if appropriate, else not. C<sv_catsv>
4972 and C<sv_catsv_nomg> are implemented in terms of this function.
4973
4974 =cut */
4975
4976 void
4977 Perl_sv_catsv_flags(pTHX_ SV *const dsv, register SV *const ssv, const I32 flags)
4978 {
4979     dVAR;
4980  
4981     PERL_ARGS_ASSERT_SV_CATSV_FLAGS;
4982
4983    if (ssv) {
4984         STRLEN slen;
4985         const char *spv = SvPV_flags_const(ssv, slen, flags);
4986         if (spv) {
4987             /*  sutf8 and dutf8 were type bool, but under USE_ITHREADS,
4988                 gcc version 2.95.2 20000220 (Debian GNU/Linux) for
4989                 Linux xxx 2.2.17 on sparc64 with gcc -O2, we erroneously
4990                 get dutf8 = 0x20000000, (i.e.  SVf_UTF8) even though
4991                 dsv->sv_flags doesn't have that bit set.
4992                 Andy Dougherty  12 Oct 2001
4993             */
4994             const I32 sutf8 = DO_UTF8(ssv);
4995             I32 dutf8;
4996
4997             if (SvGMAGICAL(dsv) && (flags & SV_GMAGIC))
4998                 mg_get(dsv);
4999             dutf8 = DO_UTF8(dsv);
5000
5001             if (dutf8 != sutf8) {
5002                 if (dutf8) {
5003                     /* Not modifying source SV, so taking a temporary copy. */
5004                     SV* const csv = newSVpvn_flags(spv, slen, SVs_TEMP);
5005
5006                     sv_utf8_upgrade(csv);
5007                     spv = SvPV_const(csv, slen);
5008                 }
5009                 else
5010                     /* Leave enough space for the cat that's about to happen */
5011                     sv_utf8_upgrade_flags_grow(dsv, 0, slen);
5012             }
5013             sv_catpvn_nomg(dsv, spv, slen);
5014         }
5015     }
5016     if (flags & SV_SMAGIC)
5017         SvSETMAGIC(dsv);
5018 }
5019
5020 /*
5021 =for apidoc sv_catpv
5022
5023 Concatenates the string onto the end of the string which is in the SV.
5024 If the SV has the UTF-8 status set, then the bytes appended should be
5025 valid UTF-8.  Handles 'get' magic, but not 'set' magic.  See C<sv_catpv_mg>.
5026
5027 =cut */
5028
5029 void
5030 Perl_sv_catpv(pTHX_ register SV *const sv, register const char *ptr)
5031 {
5032     dVAR;
5033     register STRLEN len;
5034     STRLEN tlen;
5035     char *junk;
5036
5037     PERL_ARGS_ASSERT_SV_CATPV;
5038
5039     if (!ptr)
5040         return;
5041     junk = SvPV_force(sv, tlen);
5042     len = strlen(ptr);
5043     SvGROW(sv, tlen + len + 1);
5044     if (ptr == junk)
5045         ptr = SvPVX_const(sv);
5046     Move(ptr,SvPVX(sv)+tlen,len+1,char);
5047     SvCUR_set(sv, SvCUR(sv) + len);
5048     (void)SvPOK_only_UTF8(sv);          /* validate pointer */
5049     SvTAINT(sv);
5050 }
5051
5052 /*
5053 =for apidoc sv_catpv_flags
5054
5055 Concatenates the string onto the end of the string which is in the SV.
5056 If the SV has the UTF-8 status set, then the bytes appended should
5057 be valid UTF-8.  If C<flags> has C<SV_GMAGIC> bit set, will C<mg_get>
5058 on the SVs if appropriate, else not.
5059
5060 =cut
5061 */
5062
5063 void
5064 Perl_sv_catpv_flags(pTHX_ SV *dstr, const char *sstr, const I32 flags)
5065 {
5066     PERL_ARGS_ASSERT_SV_CATPV_FLAGS;
5067     sv_catpvn_flags(dstr, sstr, strlen(sstr), flags);
5068 }
5069
5070 /*
5071 =for apidoc sv_catpv_mg
5072
5073 Like C<sv_catpv>, but also handles 'set' magic.
5074
5075 =cut
5076 */
5077
5078 void
5079 Perl_sv_catpv_mg(pTHX_ register SV *const sv, register const char *const ptr)
5080 {
5081     PERL_ARGS_ASSERT_SV_CATPV_MG;
5082
5083     sv_catpv(sv,ptr);
5084     SvSETMAGIC(sv);
5085 }
5086
5087 /*
5088 =for apidoc newSV
5089
5090 Creates a new SV.  A non-zero C<len> parameter indicates the number of
5091 bytes of preallocated string space the SV should have.  An extra byte for a
5092 trailing NUL is also reserved.  (SvPOK is not set for the SV even if string
5093 space is allocated.)  The reference count for the new SV is set to 1.
5094
5095 In 5.9.3, newSV() replaces the older NEWSV() API, and drops the first
5096 parameter, I<x>, a debug aid which allowed callers to identify themselves.
5097 This aid has been superseded by a new build option, PERL_MEM_LOG (see
5098 L<perlhacktips/PERL_MEM_LOG>).  The older API is still there for use in XS
5099 modules supporting older perls.
5100
5101 =cut
5102 */
5103
5104 SV *
5105 Perl_newSV(pTHX_ const STRLEN len)
5106 {
5107     dVAR;
5108     register SV *sv;
5109
5110     new_SV(sv);
5111     if (len) {
5112         sv_upgrade(sv, SVt_PV);
5113         SvGROW(sv, len + 1);
5114     }
5115     return sv;
5116 }
5117 /*
5118 =for apidoc sv_magicext
5119
5120 Adds magic to an SV, upgrading it if necessary. Applies the
5121 supplied vtable and returns a pointer to the magic added.
5122
5123 Note that C<sv_magicext> will allow things that C<sv_magic> will not.
5124 In particular, you can add magic to SvREADONLY SVs, and add more than
5125 one instance of the same 'how'.
5126
5127 If C<namlen> is greater than zero then a C<savepvn> I<copy> of C<name> is
5128 stored, if C<namlen> is zero then C<name> is stored as-is and - as another
5129 special case - if C<(name && namlen == HEf_SVKEY)> then C<name> is assumed
5130 to contain an C<SV*> and is stored as-is with its REFCNT incremented.
5131
5132 (This is now used as a subroutine by C<sv_magic>.)
5133
5134 =cut
5135 */
5136 MAGIC * 
5137 Perl_sv_magicext(pTHX_ SV *const sv, SV *const obj, const int how, 
5138                 const MGVTBL *const vtable, const char *const name, const I32 namlen)
5139 {
5140     dVAR;
5141     MAGIC* mg;
5142
5143     PERL_ARGS_ASSERT_SV_MAGICEXT;
5144
5145     SvUPGRADE(sv, SVt_PVMG);
5146     Newxz(mg, 1, MAGIC);
5147     mg->mg_moremagic = SvMAGIC(sv);
5148     SvMAGIC_set(sv, mg);
5149
5150     /* Sometimes a magic contains a reference loop, where the sv and
5151        object refer to each other.  To prevent a reference loop that
5152        would prevent such objects being freed, we look for such loops
5153        and if we find one we avoid incrementing the object refcount.
5154
5155        Note we cannot do this to avoid self-tie loops as intervening RV must
5156        have its REFCNT incremented to keep it in existence.
5157
5158     */
5159     if (!obj || obj == sv ||
5160         how == PERL_MAGIC_arylen ||
5161         how == PERL_MAGIC_symtab ||
5162         (SvTYPE(obj) == SVt_PVGV &&
5163             (GvSV(obj) == sv || GvHV(obj) == (const HV *)sv
5164              || GvAV(obj) == (const AV *)sv || GvCV(obj) == (const CV *)sv
5165              || GvIOp(obj) == (const IO *)sv || GvFORM(obj) == (const CV *)sv)))
5166     {
5167         mg->mg_obj = obj;
5168     }
5169     else {
5170         mg->mg_obj = SvREFCNT_inc_simple(obj);
5171         mg->mg_flags |= MGf_REFCOUNTED;
5172     }
5173
5174     /* Normal self-ties simply pass a null object, and instead of
5175        using mg_obj directly, use the SvTIED_obj macro to produce a
5176        new RV as needed.  For glob "self-ties", we are tieing the PVIO
5177        with an RV obj pointing to the glob containing the PVIO.  In
5178        this case, to avoid a reference loop, we need to weaken the
5179        reference.
5180     */
5181
5182     if (how == PERL_MAGIC_tiedscalar && SvTYPE(sv) == SVt_PVIO &&
5183         obj && SvROK(obj) && GvIO(SvRV(obj)) == (const IO *)sv)
5184     {
5185       sv_rvweaken(obj);
5186     }
5187
5188     mg->mg_type = how;
5189     mg->mg_len = namlen;
5190     if (name) {
5191         if (namlen > 0)
5192             mg->mg_ptr = savepvn(name, namlen);
5193         else if (namlen == HEf_SVKEY) {
5194             /* Yes, this is casting away const. This is only for the case of
5195                HEf_SVKEY. I think we need to document this aberation of the
5196                constness of the API, rather than making name non-const, as
5197                that change propagating outwards a long way.  */
5198             mg->mg_ptr = (char*)SvREFCNT_inc_simple_NN((SV *)name);
5199         } else
5200             mg->mg_ptr = (char *) name;
5201     }
5202     mg->mg_virtual = (MGVTBL *) vtable;
5203
5204     mg_magical(sv);
5205     if (SvGMAGICAL(sv))
5206         SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK|SVf_POK);
5207     return mg;
5208 }
5209
5210 /*
5211 =for apidoc sv_magic
5212
5213 Adds magic to an SV. First upgrades C<sv> to type C<SVt_PVMG> if necessary,
5214 then adds a new magic item of type C<how> to the head of the magic list.
5215
5216 See C<sv_magicext> (which C<sv_magic> now calls) for a description of the
5217 handling of the C<name> and C<namlen> arguments.
5218
5219 You need to use C<sv_magicext> to add magic to SvREADONLY SVs and also
5220 to add more than one instance of the same 'how'.
5221
5222 =cut
5223 */
5224
5225 void
5226 Perl_sv_magic(pTHX_ register SV *const sv, SV *const obj, const int how, 
5227              const char *const name, const I32 namlen)
5228 {
5229     dVAR;
5230     const MGVTBL *vtable;
5231     MAGIC* mg;
5232     unsigned int flags;
5233     unsigned int vtable_index;
5234
5235     PERL_ARGS_ASSERT_SV_MAGIC;
5236
5237     if (how < 0 || (unsigned)how > C_ARRAY_LENGTH(PL_magic_data)
5238         || ((flags = PL_magic_data[how]),
5239             (vtable_index = flags & PERL_MAGIC_VTABLE_MASK)
5240             > magic_vtable_max))
5241         Perl_croak(aTHX_ "Don't know how to handle magic of type \\%o", how);
5242
5243     /* PERL_MAGIC_ext is reserved for use by extensions not perl internals.
5244        Useful for attaching extension internal data to perl vars.
5245        Note that multiple extensions may clash if magical scalars
5246        etc holding private data from one are passed to another. */
5247
5248     vtable = (vtable_index == magic_vtable_max)
5249         ? NULL : PL_magic_vtables + vtable_index;
5250
5251 #ifdef PERL_OLD_COPY_ON_WRITE
5252     if (SvIsCOW(sv))
5253         sv_force_normal_flags(sv, 0);
5254 #endif
5255     if (SvREADONLY(sv)) {
5256         if (
5257             /* its okay to attach magic to shared strings; the subsequent
5258              * upgrade to PVMG will unshare the string */
5259             !(SvFAKE(sv) && SvTYPE(sv) < SVt_PVMG)
5260
5261             && IN_PERL_RUNTIME
5262             && !PERL_MAGIC_TYPE_READONLY_ACCEPTABLE(how)
5263            )
5264         {
5265             Perl_croak_no_modify(aTHX);
5266         }
5267     }
5268     if (SvMAGICAL(sv) || (how == PERL_MAGIC_taint && SvTYPE(sv) >= SVt_PVMG)) {
5269         if (SvMAGIC(sv) && (mg = mg_find(sv, how))) {
5270             /* sv_magic() refuses to add a magic of the same 'how' as an
5271                existing one
5272              */
5273             if (how == PERL_MAGIC_taint) {
5274                 mg->mg_len |= 1;
5275                 /* Any scalar which already had taint magic on which someone
5276                    (erroneously?) did SvIOK_on() or similar will now be
5277                    incorrectly sporting public "OK" flags.  */
5278                 SvFLAGS(sv) &= ~(SVf_IOK|SVf_NOK|SVf_POK);
5279             }
5280             return;
5281         }
5282     }
5283
5284     /* Rest of work is done else where */
5285     mg = sv_magicext(sv,obj,how,vtable,name,namlen);
5286
5287     switch (how) {
5288     case PERL_MAGIC_taint:
5289         mg->mg_len = 1;
5290         break;
5291     case PERL_MAGIC_ext:
5292     case PERL_MAGIC_dbfile:
5293         SvRMAGICAL_on(sv);
5294         break;
5295     }
5296 }
5297
5298 static int
5299 S_sv_unmagicext_flags(pTHX_ SV *const sv, const int type, MGVTBL *vtbl, const U32 flags)
5300 {
5301     MAGIC* mg;
5302     MAGIC** mgp;
5303
5304     assert(flags <= 1);
5305
5306     if (SvTYPE(sv) < SVt_PVMG || !SvMAGIC(sv))
5307         return 0;
5308     mgp = &(((XPVMG*) SvANY(sv))->xmg_u.xmg_magic);
5309     for (mg = *mgp; mg; mg = *mgp) {
5310         const MGVTBL* const virt = mg->mg_virtual;
5311         if (mg->mg_type == type && (!flags || virt == vtbl)) {
5312             *mgp = mg->mg_moremagic;
5313             if (virt && virt->svt_free)
5314                 virt->svt_free(aTHX_ sv, mg);
5315             if (mg->mg_ptr && mg->mg_type != PERL_MAGIC_regex_global) {
5316                 if (mg->mg_len > 0)
5317                     Safefree(mg->mg_ptr);
5318                 else if (mg->mg_len == HEf_SVKEY)
5319                     SvREFCNT_dec(MUTABLE_SV(mg->mg_ptr));
5320                 else if (mg->mg_type == PERL_MAGIC_utf8)
5321                     Safefree(mg->mg_ptr);
5322             }
5323             if (mg->mg_flags & MGf_REFCOUNTED)
5324                 SvREFCNT_dec(mg->mg_obj);
5325             Safefree(mg);
5326         }
5327         else
5328             mgp = &mg->mg_moremagic;
5329     }
5330     if (SvMAGIC(sv)) {
5331         if (SvMAGICAL(sv))      /* if we're under save_magic, wait for restore_magic; */
5332             mg_magical(sv);     /*    else fix the flags now */
5333     }
5334     else {
5335         SvMAGICAL_off(sv);
5336         SvFLAGS(sv) |= (SvFLAGS(sv) & (SVp_IOK|SVp_NOK|SVp_POK)) >> PRIVSHIFT;
5337     }
5338     return 0;
5339 }
5340
5341 /*
5342 =for apidoc sv_unmagic
5343
5344 Removes all magic of type C<type> from an SV.
5345
5346 =cut
5347 */
5348
5349 int
5350 Perl_sv_unmagic(pTHX_ SV *const sv, const int type)
5351 {
5352     PERL_ARGS_ASSERT_SV_UNMAGIC;
5353     return S_sv_unmagicext_flags(aTHX_ sv, type, NULL, 0);
5354 }
5355
5356 /*
5357 =for apidoc sv_unmagicext
5358
5359 Removes all magic of type C<type> with the specified C<vtbl> from an SV.
5360
5361 =cut
5362 */
5363
5364 int
5365 Perl_sv_unmagicext(pTHX_ SV *const sv, const int type, MGVTBL *vtbl)
5366 {
5367     PERL_ARGS_ASSERT_SV_UNMAGICEXT;
5368     return S_sv_unmagicext_flags(aTHX_ sv, type, vtbl, 1);
5369 }
5370
5371 /*
5372 =for apidoc sv_rvweaken
5373
5374 Weaken a reference: set the C<SvWEAKREF> flag on this RV; give the
5375 referred-to SV C<PERL_MAGIC_backref> magic if it hasn't already; and
5376 push a back-reference to this RV onto the array of backreferences
5377 associated with that magic. If the RV is magical, set magic will be
5378 called after the RV is cleared.
5379
5380 =cut
5381 */
5382
5383 SV *
5384 Perl_sv_rvweaken(pTHX_ SV *const sv)
5385 {
5386     SV *tsv;
5387
5388     PERL_ARGS_ASSERT_SV_RVWEAKEN;
5389
5390     if (!SvOK(sv))  /* let undefs pass */
5391         return sv;
5392     if (!SvROK(sv))
5393         Perl_croak(aTHX_ "Can't weaken a nonreference");
5394     else if (SvWEAKREF(sv)) {
5395         Perl_ck_warner(aTHX_ packWARN(WARN_MISC), "Reference is already weak");
5396         return sv;
5397     }
5398     tsv = SvRV(sv);
5399     Perl_sv_add_backref(aTHX_ tsv, sv);
5400     SvWEAKREF_on(sv);
5401     SvREFCNT_dec(tsv);
5402     return sv;
5403 }
5404
5405 /* Give tsv backref magic if it hasn't already got it, then push a
5406  * back-reference to sv onto the array associated with the backref magic.
5407  *
5408  * As an optimisation, if there's only one backref and it's not an AV,
5409  * store it directly in the HvAUX or mg_obj slot, avoiding the need to
5410  * allocate an AV. (Whether the slot holds an AV tells us whether this is
5411  * active.)
5412  */
5413
5414 /* A discussion about the backreferences array and its refcount:
5415  *
5416  * The AV holding the backreferences is pointed to either as the mg_obj of
5417  * PERL_MAGIC_backref, or in the specific case of a HV, from the
5418  * xhv_backreferences field. The array is created with a refcount
5419  * of 2. This means that if during global destruction the array gets
5420  * picked on before its parent to have its refcount decremented by the
5421  * random zapper, it won't actually be freed, meaning it's still there for
5422  * when its parent gets freed.
5423  *
5424  * When the parent SV is freed, the extra ref is killed by
5425  * Perl_sv_kill_backrefs.  The other ref is killed, in the case of magic,
5426  * by mg_free() / MGf_REFCOUNTED, or for a hash, by Perl_hv_kill_backrefs.
5427  *
5428  * When a single backref SV is stored directly, it is not reference
5429  * counted.
5430  */
5431
5432 void
5433 Perl_sv_add_backref(pTHX_ SV *const tsv, SV *const sv)
5434 {
5435     dVAR;
5436     SV **svp;
5437     AV *av = NULL;
5438     MAGIC *mg = NULL;
5439
5440     PERL_ARGS_ASSERT_SV_ADD_BACKREF;
5441
5442     /* find slot to store array or singleton backref */
5443
5444     if (SvTYPE(tsv) == SVt_PVHV) {
5445         svp = (SV**)Perl_hv_backreferences_p(aTHX_ MUTABLE_HV(tsv));
5446     } else {
5447         if (! ((mg =
5448             (SvMAGICAL(tsv) ? mg_find(tsv, PERL_MAGIC_backref) : NULL))))
5449         {
5450             sv_magic(tsv, NULL, PERL_MAGIC_backref, NULL, 0);
5451             mg = mg_find(tsv, PERL_MAGIC_backref);
5452         }
5453         svp = &(mg->mg_obj);
5454     }
5455
5456     /* create or retrieve the array */
5457
5458     if (   (!*svp && SvTYPE(sv) == SVt_PVAV)
5459         || (*svp && SvTYPE(*svp) != SVt_PVAV)
5460     ) {
5461         /* create array */
5462         av = newAV();
5463         AvREAL_off(av);
5464         SvREFCNT_inc_simple_void(av);
5465         /* av now has a refcnt of 2; see discussion above */
5466         if (*svp) {
5467             /* move single existing backref to the array */
5468             av_extend(av, 1);
5469             AvARRAY(av)[++AvFILLp(av)] = *svp; /* av_push() */
5470         }
5471         *svp = (SV*)av;
5472         if (mg)
5473             mg->mg_flags |= MGf_REFCOUNTED;
5474     }
5475     else
5476         av = MUTABLE_AV(*svp);
5477
5478     if (!av) {
5479         /* optimisation: store single backref directly in HvAUX or mg_obj */
5480         *svp = sv;
5481         return;
5482     }
5483     /* push new backref */
5484     assert(SvTYPE(av) == SVt_PVAV);
5485     if (AvFILLp(av) >= AvMAX(av)) {
5486         av_extend(av, AvFILLp(av)+1);
5487     }
5488     AvARRAY(av)[++AvFILLp(av)] = sv; /* av_push() */
5489 }
5490
5491 /* delete a back-reference to ourselves from the backref magic associated
5492  * with the SV we point to.
5493  */
5494
5495 void
5496 Perl_sv_del_backref(pTHX_ SV *const tsv, SV *const sv)
5497 {
5498     dVAR;
5499     SV **svp = NULL;
5500
5501     PERL_ARGS_ASSERT_SV_DEL_BACKREF;
5502
5503     if (SvTYPE(tsv) == SVt_PVHV) {
5504         if (SvOOK(tsv))
5505             svp = (SV**)Perl_hv_backreferences_p(aTHX_ MUTABLE_HV(tsv));
5506     }
5507     else {
5508         MAGIC *const mg
5509             = SvMAGICAL(tsv) ? mg_find(tsv, PERL_MAGIC_backref) : NULL;
5510         svp =  mg ? &(mg->mg_obj) : NULL;
5511     }
5512
5513     if (!svp || !*svp)
5514         Perl_croak(aTHX_ "panic: del_backref");
5515
5516     if (SvTYPE(*svp) == SVt_PVAV) {
5517 #ifdef DEBUGGING
5518         int count = 1;
5519 #endif
5520         AV * const av = (AV*)*svp;
5521         SSize_t fill;
5522         assert(!SvIS_FREED(av));
5523         fill = AvFILLp(av);
5524         assert(fill > -1);
5525         svp = AvARRAY(av);
5526         /* for an SV with N weak references to it, if all those
5527          * weak refs are deleted, then sv_del_backref will be called
5528          * N times and O(N^2) compares will be done within the backref
5529          * array. To ameliorate this potential slowness, we:
5530          * 1) make sure this code is as tight as possible;
5531          * 2) when looking for SV, look for it at both the head and tail of the
5532          *    array first before searching the rest, since some create/destroy
5533          *    patterns will cause the backrefs to be freed in order.
5534          */
5535         if (*svp == sv) {
5536             AvARRAY(av)++;
5537             AvMAX(av)--;
5538         }
5539         else {
5540             SV **p = &svp[fill];
5541             SV *const topsv = *p;
5542             if (topsv != sv) {
5543 #ifdef DEBUGGING
5544                 count = 0;
5545 #endif
5546                 while (--p > svp) {
5547                     if (*p == sv) {
5548                         /* We weren't the last entry.
5549                            An unordered list has this property that you
5550                            can take the last element off the end to fill
5551                            the hole, and it's still an unordered list :-)
5552                         */
5553                         *p = topsv;
5554 #ifdef DEBUGGING
5555                         count++;
5556 #else
5557                         break; /* should only be one */
5558 #endif
5559                     }
5560                 }
5561             }
5562         }
5563         assert(count ==1);
5564         AvFILLp(av) = fill-1;
5565     }
5566     else {
5567         /* optimisation: only a single backref, stored directly */
5568         if (*svp != sv)
5569             Perl_croak(aTHX_ "panic: del_backref");
5570         *svp = NULL;
5571     }
5572
5573 }
5574
5575 void
5576 Perl_sv_kill_backrefs(pTHX_ SV *const sv, AV *const av)
5577 {
5578     SV **svp;
5579     SV **last;
5580     bool is_array;
5581
5582     PERL_ARGS_ASSERT_SV_KILL_BACKREFS;
5583
5584     if (!av)
5585         return;
5586
5587     /* after multiple passes through Perl_sv_clean_all() for a thinngy
5588      * that has badly leaked, the backref array may have gotten freed,
5589      * since we only protect it against 1 round of cleanup */
5590     if (SvIS_FREED(av)) {
5591         if (PL_in_clean_all) /* All is fair */
5592             return;
5593         Perl_croak(aTHX_
5594                    "panic: magic_killbackrefs (freed backref AV/SV)");
5595     }
5596
5597
5598     is_array = (SvTYPE(av) == SVt_PVAV);
5599     if (is_array) {
5600         assert(!SvIS_FREED(av));
5601         svp = AvARRAY(av);
5602         if (svp)
5603             last = svp + AvFILLp(av);
5604     }
5605     else {
5606         /* optimisation: only a single backref, stored directly */
5607         svp = (SV**)&av;
5608         last = svp;
5609     }
5610
5611     if (svp) {
5612         while (svp <= last) {
5613             if (*svp) {
5614                 SV *const referrer = *svp;
5615                 if (SvWEAKREF(referrer)) {
5616                     /* XXX Should we check that it hasn't changed? */
5617                     assert(SvROK(referrer));
5618                     SvRV_set(referrer, 0);
5619                     SvOK_off(referrer);
5620                     SvWEAKREF_off(referrer);
5621                     SvSETMAGIC(referrer);
5622                 } else if (SvTYPE(referrer) == SVt_PVGV ||
5623                            SvTYPE(referrer) == SVt_PVLV) {
5624                     assert(SvTYPE(sv) == SVt_PVHV); /* stash backref */
5625                     /* You lookin' at me?  */
5626                     assert(GvSTASH(referrer));
5627                     assert(GvSTASH(referrer) == (const HV *)sv);
5628                     GvSTASH(referrer) = 0;
5629                 } else if (SvTYPE(referrer) == SVt_PVCV ||
5630                            SvTYPE(referrer) == SVt_PVFM) {
5631                     if (SvTYPE(sv) == SVt_PVHV) { /* stash backref */
5632                         /* You lookin' at me?  */
5633                         assert(CvSTASH(referrer));
5634                         assert(CvSTASH(referrer) == (const HV *)sv);
5635                         SvANY(MUTABLE_CV(referrer))->xcv_stash = 0;
5636                     }
5637                     else {
5638                         assert(SvTYPE(sv) == SVt_PVGV);
5639                         /* You lookin' at me?  */
5640                         assert(CvGV(referrer));
5641                         assert(CvGV(referrer) == (const GV *)sv);
5642                         anonymise_cv_maybe(MUTABLE_GV(sv),
5643                                                 MUTABLE_CV(referrer));
5644                     }
5645
5646                 } else {
5647                     Perl_croak(aTHX_
5648                                "panic: magic_killbackrefs (flags=%"UVxf")",
5649                                (UV)SvFLAGS(referrer));
5650                 }
5651
5652                 if (is_array)
5653                     *svp = NULL;
5654             }
5655             svp++;
5656         }
5657     }
5658     if (is_array) {
5659         AvFILLp(av) = -1;
5660         SvREFCNT_dec(av); /* remove extra count added by sv_add_backref() */
5661     }
5662     return;
5663 }
5664
5665 /*
5666 =for apidoc sv_insert
5667
5668 Inserts a string at the specified offset/length within the SV. Similar to
5669 the Perl substr() function. Handles get magic.
5670
5671 =for apidoc sv_insert_flags
5672
5673 Same as C<sv_insert>, but the extra C<flags> are passed the C<SvPV_force_flags> that applies to C<bigstr>.
5674
5675 =cut
5676 */
5677
5678 void
5679 Perl_sv_insert_flags(pTHX_ SV *const bigstr, const STRLEN offset, const STRLEN len, const char *const little, const STRLEN littlelen, const U32 flags)
5680 {
5681     dVAR;
5682     register char *big;
5683     register char *mid;
5684     register char *midend;
5685     register char *bigend;
5686     register I32 i;
5687     STRLEN curlen;
5688
5689     PERL_ARGS_ASSERT_SV_INSERT_FLAGS;
5690
5691     if (!bigstr)
5692         Perl_croak(aTHX_ "Can't modify non-existent substring");
5693     SvPV_force_flags(bigstr, curlen, flags);
5694     (void)SvPOK_only_UTF8(bigstr);
5695     if (offset + len > curlen) {
5696         SvGROW(bigstr, offset+len+1);
5697         Zero(SvPVX(bigstr)+curlen, offset+len-curlen, char);
5698         SvCUR_set(bigstr, offset+len);
5699     }
5700
5701     SvTAINT(bigstr);
5702     i = littlelen - len;
5703     if (i > 0) {                        /* string might grow */
5704         big = SvGROW(bigstr, SvCUR(bigstr) + i + 1);
5705         mid = big + offset + len;
5706         midend = bigend = big + SvCUR(bigstr);
5707         bigend += i;
5708         *bigend = '\0';
5709         while (midend > mid)            /* shove everything down */
5710             *--bigend = *--midend;
5711         Move(little,big+offset,littlelen,char);
5712         SvCUR_set(bigstr, SvCUR(bigstr) + i);
5713         SvSETMAGIC(bigstr);
5714         return;
5715     }
5716     else if (i == 0) {
5717         Move(little,SvPVX(bigstr)+offset,len,char);
5718         SvSETMAGIC(bigstr);
5719         return;
5720     }
5721
5722     big = SvPVX(bigstr);
5723     mid = big + offset;
5724     midend = mid + len;
5725     bigend = big + SvCUR(bigstr);
5726
5727     if (midend > bigend)
5728         Perl_croak(aTHX_ "panic: sv_insert");
5729
5730     if (mid - big > bigend - midend) {  /* faster to shorten from end */
5731         if (littlelen) {
5732             Move(little, mid, littlelen,char);
5733             mid += littlelen;
5734         }
5735         i = bigend - midend;
5736         if (i > 0) {
5737             Move(midend, mid, i,char);
5738             mid += i;
5739         }
5740         *mid = '\0';
5741         SvCUR_set(bigstr, mid - big);
5742     }
5743     else if ((i = mid - big)) { /* faster from front */
5744         midend -= littlelen;
5745         mid = midend;
5746         Move(big, midend - i, i, char);
5747         sv_chop(bigstr,midend-i);
5748         if (littlelen)
5749             Move(little, mid, littlelen,char);
5750     }
5751     else if (littlelen) {
5752         midend -= littlelen;
5753         sv_chop(bigstr,midend);
5754         Move(little,midend,littlelen,char);
5755     }
5756     else {
5757         sv_chop(bigstr,midend);
5758     }
5759     SvSETMAGIC(bigstr);
5760 }
5761
5762 /*
5763 =for apidoc sv_replace
5764
5765 Make the first argument a copy of the second, then delete the original.
5766 The target SV physically takes over ownership of the body of the source SV
5767 and inherits its flags; however, the target keeps any magic it owns,
5768 and any magic in the source is discarded.
5769 Note that this is a rather specialist SV copying operation; most of the
5770 time you'll want to use C<sv_setsv> or one of its many macro front-ends.
5771
5772 =cut
5773 */
5774
5775 void
5776 Perl_sv_replace(pTHX_ register SV *const sv, register SV *const nsv)
5777 {
5778     dVAR;
5779     const U32 refcnt = SvREFCNT(sv);
5780
5781     PERL_ARGS_ASSERT_SV_REPLACE;
5782
5783     SV_CHECK_THINKFIRST_COW_DROP(sv);
5784     if (SvREFCNT(nsv) != 1) {
5785         Perl_croak(aTHX_ "panic: reference miscount on nsv in sv_replace()"
5786                    " (%" UVuf " != 1)", (UV) SvREFCNT(nsv));
5787     }
5788     if (SvMAGICAL(sv)) {
5789         if (SvMAGICAL(nsv))
5790             mg_free(nsv);
5791         else
5792             sv_upgrade(nsv, SVt_PVMG);
5793         SvMAGIC_set(nsv, SvMAGIC(sv));
5794         SvFLAGS(nsv) |= SvMAGICAL(sv);
5795         SvMAGICAL_off(sv);
5796         SvMAGIC_set(sv, NULL);
5797     }
5798     SvREFCNT(sv) = 0;
5799     sv_clear(sv);
5800     assert(!SvREFCNT(sv));
5801 #ifdef DEBUG_LEAKING_SCALARS
5802     sv->sv_flags  = nsv->sv_flags;
5803     sv->sv_any    = nsv->sv_any;
5804     sv->sv_refcnt = nsv->sv_refcnt;
5805     sv->sv_u      = nsv->sv_u;
5806 #else
5807     StructCopy(nsv,sv,SV);
5808 #endif
5809     if(SvTYPE(sv) == SVt_IV) {
5810         SvANY(sv)
5811             = (XPVIV*)((char*)&(sv->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
5812     }
5813         
5814
5815 #ifdef PERL_OLD_COPY_ON_WRITE
5816     if (SvIsCOW_normal(nsv)) {
5817         /* We need to follow the pointers around the loop to make the
5818            previous SV point to sv, rather than nsv.  */
5819         SV *next;
5820         SV *current = nsv;
5821         while ((next = SV_COW_NEXT_SV(current)) != nsv) {
5822             assert(next);
5823             current = next;
5824             assert(SvPVX_const(current) == SvPVX_const(nsv));
5825         }
5826         /* Make the SV before us point to the SV after us.  */
5827         if (DEBUG_C_TEST) {
5828             PerlIO_printf(Perl_debug_log, "previous is\n");
5829             sv_dump(current);
5830             PerlIO_printf(Perl_debug_log,
5831                           "move it from 0x%"UVxf" to 0x%"UVxf"\n",
5832                           (UV) SV_COW_NEXT_SV(current), (UV) sv);
5833         }
5834         SV_COW_NEXT_SV_SET(current, sv);
5835     }
5836 #endif
5837     SvREFCNT(sv) = refcnt;
5838     SvFLAGS(nsv) |= SVTYPEMASK;         /* Mark as freed */
5839     SvREFCNT(nsv) = 0;
5840     del_SV(nsv);
5841 }
5842
5843 /* We're about to free a GV which has a CV that refers back to us.
5844  * If that CV will outlive us, make it anonymous (i.e. fix up its CvGV
5845  * field) */
5846
5847 STATIC void
5848 S_anonymise_cv_maybe(pTHX_ GV *gv, CV* cv)
5849 {
5850     char *stash;
5851     SV *gvname;
5852     GV *anongv;
5853
5854     PERL_ARGS_ASSERT_ANONYMISE_CV_MAYBE;
5855
5856     /* be assertive! */
5857     assert(SvREFCNT(gv) == 0);
5858     assert(isGV(gv) && isGV_with_GP(gv));
5859     assert(GvGP(gv));
5860     assert(!CvANON(cv));
5861     assert(CvGV(cv) == gv);
5862
5863     /* will the CV shortly be freed by gp_free() ? */
5864     if (GvCV(gv) == cv && GvGP(gv)->gp_refcnt < 2 && SvREFCNT(cv) < 2) {
5865         SvANY(cv)->xcv_gv = NULL;
5866         return;
5867     }
5868
5869     /* if not, anonymise: */
5870     stash  = GvSTASH(gv) && HvNAME(GvSTASH(gv))
5871               ? HvENAME(GvSTASH(gv)) : NULL;
5872     gvname = Perl_newSVpvf(aTHX_ "%s::__ANON__",
5873                                         stash ? stash : "__ANON__");
5874     anongv = gv_fetchsv(gvname, GV_ADDMULTI, SVt_PVCV);
5875     SvREFCNT_dec(gvname);
5876
5877     CvANON_on(cv);
5878     CvCVGV_RC_on(cv);
5879     SvANY(cv)->xcv_gv = MUTABLE_GV(SvREFCNT_inc(anongv));
5880 }
5881
5882
5883 /*
5884 =for apidoc sv_clear
5885
5886 Clear an SV: call any destructors, free up any memory used by the body,
5887 and free the body itself. The SV's head is I<not> freed, although
5888 its type is set to all 1's so that it won't inadvertently be assumed
5889 to be live during global destruction etc.
5890 This function should only be called when REFCNT is zero. Most of the time
5891 you'll want to call C<sv_free()> (or its macro wrapper C<SvREFCNT_dec>)
5892 instead.
5893
5894 =cut
5895 */
5896
5897 void
5898 Perl_sv_clear(pTHX_ SV *const orig_sv)
5899 {
5900     dVAR;
5901     HV *stash;
5902     U32 type;
5903     const struct body_details *sv_type_details;
5904     SV* iter_sv = NULL;
5905     SV* next_sv = NULL;
5906     register SV *sv = orig_sv;
5907     STRLEN hash_index;
5908
5909     PERL_ARGS_ASSERT_SV_CLEAR;
5910
5911     /* within this loop, sv is the SV currently being freed, and
5912      * iter_sv is the most recent AV or whatever that's being iterated
5913      * over to provide more SVs */
5914
5915     while (sv) {
5916
5917         type = SvTYPE(sv);
5918
5919         assert(SvREFCNT(sv) == 0);
5920         assert(SvTYPE(sv) != SVTYPEMASK);
5921
5922         if (type <= SVt_IV) {
5923             /* See the comment in sv.h about the collusion between this
5924              * early return and the overloading of the NULL slots in the
5925              * size table.  */
5926             if (SvROK(sv))
5927                 goto free_rv;
5928             SvFLAGS(sv) &= SVf_BREAK;
5929             SvFLAGS(sv) |= SVTYPEMASK;
5930             goto free_head;
5931         }
5932
5933         assert(!SvOBJECT(sv) || type >= SVt_PVMG); /* objs are always >= MG */
5934
5935         if (type >= SVt_PVMG) {
5936             if (SvOBJECT(sv)) {
5937                 if (!curse(sv, 1)) goto get_next_sv;
5938                 type = SvTYPE(sv); /* destructor may have changed it */
5939             }
5940             /* Free back-references before magic, in case the magic calls
5941              * Perl code that has weak references to sv. */
5942             if (type == SVt_PVHV) {
5943                 Perl_hv_kill_backrefs(aTHX_ MUTABLE_HV(sv));
5944                 if (SvMAGIC(sv))
5945                     mg_free(sv);
5946             }
5947             else if (type == SVt_PVMG && SvPAD_OUR(sv)) {
5948                 SvREFCNT_dec(SvOURSTASH(sv));
5949             } else if (SvMAGIC(sv)) {
5950                 /* Free back-references before other types of magic. */
5951                 sv_unmagic(sv, PERL_MAGIC_backref);
5952                 mg_free(sv);
5953             }
5954             if (type == SVt_PVMG && SvPAD_TYPED(sv))
5955                 SvREFCNT_dec(SvSTASH(sv));
5956         }
5957         switch (type) {
5958             /* case SVt_BIND: */
5959         case SVt_PVIO:
5960             if (IoIFP(sv) &&
5961                 IoIFP(sv) != PerlIO_stdin() &&
5962                 IoIFP(sv) != PerlIO_stdout() &&
5963                 IoIFP(sv) != PerlIO_stderr() &&
5964                 !(IoFLAGS(sv) & IOf_FAKE_DIRP))
5965             {
5966                 io_close(MUTABLE_IO(sv), FALSE);
5967             }
5968             if (IoDIRP(sv) && !(IoFLAGS(sv) & IOf_FAKE_DIRP))
5969                 PerlDir_close(IoDIRP(sv));
5970             IoDIRP(sv) = (DIR*)NULL;
5971             Safefree(IoTOP_NAME(sv));
5972             Safefree(IoFMT_NAME(sv));
5973             Safefree(IoBOTTOM_NAME(sv));
5974             goto freescalar;
5975         case SVt_REGEXP:
5976             /* FIXME for plugins */
5977             pregfree2((REGEXP*) sv);
5978             goto freescalar;
5979         case SVt_PVCV:
5980         case SVt_PVFM:
5981             cv_undef(MUTABLE_CV(sv));
5982             /* If we're in a stash, we don't own a reference to it.
5983              * However it does have a back reference to us, which needs to
5984              * be cleared.  */
5985             if ((stash = CvSTASH(sv)))
5986                 sv_del_backref(MUTABLE_SV(stash), sv);
5987             goto freescalar;
5988         case SVt_PVHV:
5989             if (PL_last_swash_hv == (const HV *)sv) {
5990                 PL_last_swash_hv = NULL;
5991             }
5992             if (HvTOTALKEYS((HV*)sv) > 0) {
5993                 const char *name;
5994                 /* this statement should match the one at the beginning of
5995                  * hv_undef_flags() */
5996                 if (   PL_phase != PERL_PHASE_DESTRUCT
5997                     && (name = HvNAME((HV*)sv)))
5998                 {
5999                     if (PL_stashcache)
6000                         (void)hv_delete(PL_stashcache, name,
6001                             HvNAMELEN_get((HV*)sv), G_DISCARD);
6002                     hv_name_set((HV*)sv, NULL, 0, 0);
6003                 }
6004
6005                 /* save old iter_sv in unused SvSTASH field */
6006                 assert(!SvOBJECT(sv));
6007                 SvSTASH(sv) = (HV*)iter_sv;
6008                 iter_sv = sv;
6009
6010                 /* XXX ideally we should save the old value of hash_index
6011                  * too, but I can't think of any place to hide it. The
6012                  * effect of not saving it is that for freeing hashes of
6013                  * hashes, we become quadratic in scanning the HvARRAY of
6014                  * the top hash looking for new entries to free; but
6015                  * hopefully this will be dwarfed by the freeing of all
6016                  * the nested hashes. */
6017                 hash_index = 0;
6018                 next_sv = Perl_hfree_next_entry(aTHX_ (HV*)sv, &hash_index);
6019                 goto get_next_sv; /* process this new sv */
6020             }
6021             /* free empty hash */
6022             Perl_hv_undef_flags(aTHX_ MUTABLE_HV(sv), HV_NAME_SETALL);
6023             assert(!HvARRAY((HV*)sv));
6024             break;
6025         case SVt_PVAV:
6026             {
6027                 AV* av = MUTABLE_AV(sv);
6028                 if (PL_comppad == av) {
6029                     PL_comppad = NULL;
6030                     PL_curpad = NULL;
6031                 }
6032                 if (AvREAL(av) && AvFILLp(av) > -1) {
6033                     next_sv = AvARRAY(av)[AvFILLp(av)--];
6034                     /* save old iter_sv in top-most slot of AV,
6035                      * and pray that it doesn't get wiped in the meantime */
6036                     AvARRAY(av)[AvMAX(av)] = iter_sv;
6037                     iter_sv = sv;
6038                     goto get_next_sv; /* process this new sv */
6039                 }
6040                 Safefree(AvALLOC(av));
6041             }
6042
6043             break;
6044         case SVt_PVLV:
6045             if (LvTYPE(sv) == 'T') { /* for tie: return HE to pool */
6046                 SvREFCNT_dec(HeKEY_sv((HE*)LvTARG(sv)));
6047                 HeNEXT((HE*)LvTARG(sv)) = PL_hv_fetch_ent_mh;
6048                 PL_hv_fetch_ent_mh = (HE*)LvTARG(sv);
6049             }
6050             else if (LvTYPE(sv) != 't') /* unless tie: unrefcnted fake SV**  */
6051                 SvREFCNT_dec(LvTARG(sv));
6052         case SVt_PVGV:
6053             if (isGV_with_GP(sv)) {
6054                 if(GvCVu((const GV *)sv) && (stash = GvSTASH(MUTABLE_GV(sv)))
6055                    && HvENAME_get(stash))
6056                     mro_method_changed_in(stash);
6057                 gp_free(MUTABLE_GV(sv));
6058                 if (GvNAME_HEK(sv))
6059                     unshare_hek(GvNAME_HEK(sv));
6060                 /* If we're in a stash, we don't own a reference to it.
6061                  * However it does have a back reference to us, which
6062                  * needs to be cleared.  */
6063                 if (!SvVALID(sv) && (stash = GvSTASH(sv)))
6064                         sv_del_backref(MUTABLE_SV(stash), sv);
6065             }
6066             /* FIXME. There are probably more unreferenced pointers to SVs
6067              * in the interpreter struct that we should check and tidy in
6068              * a similar fashion to this:  */
6069             if ((const GV *)sv == PL_last_in_gv)
6070                 PL_last_in_gv = NULL;
6071         case SVt_PVMG:
6072         case SVt_PVNV:
6073         case SVt_PVIV:
6074         case SVt_PV:
6075           freescalar:
6076             /* Don't bother with SvOOK_off(sv); as we're only going to
6077              * free it.  */
6078             if (SvOOK(sv)) {
6079                 STRLEN offset;
6080                 SvOOK_offset(sv, offset);
6081                 SvPV_set(sv, SvPVX_mutable(sv) - offset);
6082                 /* Don't even bother with turning off the OOK flag.  */
6083             }
6084             if (SvROK(sv)) {
6085             free_rv:
6086                 {
6087                     SV * const target = SvRV(sv);
6088                     if (SvWEAKREF(sv))
6089                         sv_del_backref(target, sv);
6090                     else
6091                         next_sv = target;
6092                 }
6093             }
6094 #ifdef PERL_OLD_COPY_ON_WRITE
6095             else if (SvPVX_const(sv)
6096                      && !(SvTYPE(sv) == SVt_PVIO
6097                      && !(IoFLAGS(sv) & IOf_FAKE_DIRP)))
6098             {
6099                 if (SvIsCOW(sv)) {
6100                     if (DEBUG_C_TEST) {
6101                         PerlIO_printf(Perl_debug_log, "Copy on write: clear\n");
6102                         sv_dump(sv);
6103                     }
6104                     if (SvLEN(sv)) {
6105                         sv_release_COW(sv, SvPVX_const(sv), SV_COW_NEXT_SV(sv));
6106                     } else {
6107                         unshare_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sv)));
6108                     }
6109
6110                     SvFAKE_off(sv);
6111                 } else if (SvLEN(sv)) {
6112                     Safefree(SvPVX_const(sv));
6113                 }
6114             }
6115 #else
6116             else if (SvPVX_const(sv) && SvLEN(sv)
6117                      && !(SvTYPE(sv) == SVt_PVIO
6118                      && !(IoFLAGS(sv) & IOf_FAKE_DIRP)))
6119                 Safefree(SvPVX_mutable(sv));
6120             else if (SvPVX_const(sv) && SvREADONLY(sv) && SvFAKE(sv)) {
6121                 unshare_hek(SvSHARED_HEK_FROM_PV(SvPVX_const(sv)));
6122                 SvFAKE_off(sv);
6123             }
6124 #endif
6125             break;
6126         case SVt_NV:
6127             break;
6128         }
6129
6130       free_body:
6131
6132         SvFLAGS(sv) &= SVf_BREAK;
6133         SvFLAGS(sv) |= SVTYPEMASK;
6134
6135         sv_type_details = bodies_by_type + type;
6136         if (sv_type_details->arena) {
6137             del_body(((char *)SvANY(sv) + sv_type_details->offset),
6138                      &PL_body_roots[type]);
6139         }
6140         else if (sv_type_details->body_size) {
6141             safefree(SvANY(sv));
6142         }
6143
6144       free_head:
6145         /* caller is responsible for freeing the head of the original sv */
6146         if (sv != orig_sv && !SvREFCNT(sv))
6147             del_SV(sv);
6148
6149         /* grab and free next sv, if any */
6150       get_next_sv:
6151         while (1) {
6152             sv = NULL;
6153             if (next_sv) {
6154                 sv = next_sv;
6155                 next_sv = NULL;
6156             }
6157             else if (!iter_sv) {
6158                 break;
6159             } else if (SvTYPE(iter_sv) == SVt_PVAV) {
6160                 AV *const av = (AV*)iter_sv;
6161                 if (AvFILLp(av) > -1) {
6162                     sv = AvARRAY(av)[AvFILLp(av)--];
6163                 }
6164                 else { /* no more elements of current AV to free */
6165                     sv = iter_sv;
6166                     type = SvTYPE(sv);
6167                     /* restore previous value, squirrelled away */
6168                     iter_sv = AvARRAY(av)[AvMAX(av)];
6169                     Safefree(AvALLOC(av));
6170                     goto free_body;
6171                 }
6172             } else if (SvTYPE(iter_sv) == SVt_PVHV) {
6173                 sv = Perl_hfree_next_entry(aTHX_ (HV*)iter_sv, &hash_index);
6174                 if (!sv && !HvTOTALKEYS((HV *)iter_sv)) {
6175                     /* no more elements of current HV to free */
6176                     sv = iter_sv;
6177                     type = SvTYPE(sv);
6178                     /* Restore previous value of iter_sv, squirrelled away */
6179                     assert(!SvOBJECT(sv));
6180                     iter_sv = (SV*)SvSTASH(sv);
6181
6182                     /* ideally we should restore the old hash_index here,
6183                      * but we don't currently save the old value */
6184                     hash_index = 0;
6185
6186                     /* free any remaining detritus from the hash struct */
6187                     Perl_hv_undef_flags(aTHX_ MUTABLE_HV(sv), HV_NAME_SETALL);
6188                     assert(!HvARRAY((HV*)sv));
6189                     goto free_body;
6190                 }
6191             }
6192
6193             /* unrolled SvREFCNT_dec and sv_free2 follows: */
6194
6195             if (!sv)
6196                 continue;
6197             if (!SvREFCNT(sv)) {
6198                 sv_free(sv);
6199                 continue;
6200             }
6201             if (--(SvREFCNT(sv)))
6202                 continue;
6203 #ifdef DEBUGGING
6204             if (SvTEMP(sv)) {
6205                 Perl_ck_warner_d(aTHX_ packWARN(WARN_DEBUGGING),
6206                          "Attempt to free temp prematurely: SV 0x%"UVxf
6207                          pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
6208                 continue;
6209             }
6210 #endif
6211             if (SvREADONLY(sv) && SvIMMORTAL(sv)) {
6212                 /* make sure SvREFCNT(sv)==0 happens very seldom */
6213                 SvREFCNT(sv) = (~(U32)0)/2;
6214                 continue;
6215             }
6216             break;
6217         } /* while 1 */
6218
6219     } /* while sv */
6220 }
6221
6222 /* This routine curses the sv itself, not the object referenced by sv. So
6223    sv does not have to be ROK. */
6224
6225 static bool
6226 S_curse(pTHX_ SV * const sv, const bool check_refcnt) {
6227     dVAR;
6228
6229     PERL_ARGS_ASSERT_CURSE;
6230     assert(SvOBJECT(sv));
6231
6232     if (PL_defstash &&  /* Still have a symbol table? */
6233         SvDESTROYABLE(sv))
6234     {
6235         dSP;
6236         HV* stash;
6237         do {
6238             CV* destructor;
6239             stash = SvSTASH(sv);
6240             destructor = StashHANDLER(stash,DESTROY);
6241             if (destructor
6242                 /* A constant subroutine can have no side effects, so
6243                    don't bother calling it.  */
6244                 && !CvCONST(destructor)
6245                 /* Don't bother calling an empty destructor */
6246                 && (CvISXSUB(destructor)
6247                 || (CvSTART(destructor)
6248                     && (CvSTART(destructor)->op_next->op_type
6249                                         != OP_LEAVESUB))))
6250             {
6251                 SV* const tmpref = newRV(sv);
6252                 SvREADONLY_on(tmpref); /* DESTROY() could be naughty */
6253                 ENTER;
6254                 PUSHSTACKi(PERLSI_DESTROY);
6255                 EXTEND(SP, 2);
6256                 PUSHMARK(SP);
6257                 PUSHs(tmpref);
6258                 PUTBACK;
6259                 call_sv(MUTABLE_SV(destructor),
6260                             G_DISCARD|G_EVAL|G_KEEPERR|G_VOID);
6261                 POPSTACK;
6262                 SPAGAIN;
6263                 LEAVE;
6264                 if(SvREFCNT(tmpref) < 2) {
6265                     /* tmpref is not kept alive! */
6266                     SvREFCNT(sv)--;
6267                     SvRV_set(tmpref, NULL);
6268                     SvROK_off(tmpref);
6269                 }
6270                 SvREFCNT_dec(tmpref);
6271             }
6272         } while (SvOBJECT(sv) && SvSTASH(sv) != stash);
6273
6274
6275         if (check_refcnt && SvREFCNT(sv)) {
6276             if (PL_in_clean_objs)
6277                 Perl_croak(aTHX_
6278                     "DESTROY created new reference to dead object '%s'",
6279                     HvNAME_get(stash));
6280             /* DESTROY gave object new lease on life */
6281             return FALSE;
6282         }
6283     }
6284
6285     if (SvOBJECT(sv)) {
6286         SvREFCNT_dec(SvSTASH(sv)); /* possibly of changed persuasion */
6287         SvOBJECT_off(sv);       /* Curse the object. */
6288         if (SvTYPE(sv) != SVt_PVIO)
6289             --PL_sv_objcount;/* XXX Might want something more general */
6290     }
6291     return TRUE;
6292 }
6293
6294 /*
6295 =for apidoc sv_newref
6296
6297 Increment an SV's reference count. Use the C<SvREFCNT_inc()> wrapper
6298 instead.
6299
6300 =cut
6301 */
6302
6303 SV *
6304 Perl_sv_newref(pTHX_ SV *const sv)
6305 {
6306     PERL_UNUSED_CONTEXT;
6307     if (sv)
6308         (SvREFCNT(sv))++;
6309     return sv;
6310 }
6311
6312 /*
6313 =for apidoc sv_free
6314
6315 Decrement an SV's reference count, and if it drops to zero, call
6316 C<sv_clear> to invoke destructors and free up any memory used by
6317 the body; finally, deallocate the SV's head itself.
6318 Normally called via a wrapper macro C<SvREFCNT_dec>.
6319
6320 =cut
6321 */
6322
6323 void
6324 Perl_sv_free(pTHX_ SV *const sv)
6325 {
6326     dVAR;
6327     if (!sv)
6328         return;
6329     if (SvREFCNT(sv) == 0) {
6330         if (SvFLAGS(sv) & SVf_BREAK)
6331             /* this SV's refcnt has been artificially decremented to
6332              * trigger cleanup */
6333             return;
6334         if (PL_in_clean_all) /* All is fair */
6335             return;
6336         if (SvREADONLY(sv) && SvIMMORTAL(sv)) {
6337             /* make sure SvREFCNT(sv)==0 happens very seldom */
6338             SvREFCNT(sv) = (~(U32)0)/2;
6339             return;
6340         }
6341         if (ckWARN_d(WARN_INTERNAL)) {
6342 #ifdef DEBUG_LEAKING_SCALARS_FORK_DUMP
6343             Perl_dump_sv_child(aTHX_ sv);
6344 #else
6345   #ifdef DEBUG_LEAKING_SCALARS
6346             sv_dump(sv);
6347   #endif
6348 #ifdef DEBUG_LEAKING_SCALARS_ABORT
6349             if (PL_warnhook == PERL_WARNHOOK_FATAL
6350                 || ckDEAD(packWARN(WARN_INTERNAL))) {
6351                 /* Don't let Perl_warner cause us to escape our fate:  */
6352                 abort();
6353             }
6354 #endif
6355             /* This may not return:  */
6356             Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
6357                         "Attempt to free unreferenced scalar: SV 0x%"UVxf
6358                         pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
6359 #endif
6360         }
6361 #ifdef DEBUG_LEAKING_SCALARS_ABORT
6362         abort();
6363 #endif
6364         return;
6365     }
6366     if (--(SvREFCNT(sv)) > 0)
6367         return;
6368     Perl_sv_free2(aTHX_ sv);
6369 }
6370
6371 void
6372 Perl_sv_free2(pTHX_ SV *const sv)
6373 {
6374     dVAR;
6375
6376     PERL_ARGS_ASSERT_SV_FREE2;
6377
6378 #ifdef DEBUGGING
6379     if (SvTEMP(sv)) {
6380         Perl_ck_warner_d(aTHX_ packWARN(WARN_DEBUGGING),
6381                          "Attempt to free temp prematurely: SV 0x%"UVxf
6382                          pTHX__FORMAT, PTR2UV(sv) pTHX__VALUE);
6383         return;
6384     }
6385 #endif
6386     if (SvREADONLY(sv) && SvIMMORTAL(sv)) {
6387         /* make sure SvREFCNT(sv)==0 happens very seldom */
6388         SvREFCNT(sv) = (~(U32)0)/2;
6389         return;
6390     }
6391     sv_clear(sv);
6392     if (! SvREFCNT(sv))
6393         del_SV(sv);
6394 }
6395
6396 /*
6397 =for apidoc sv_len
6398
6399 Returns the length of the string in the SV. Handles magic and type
6400 coercion.  See also C<SvCUR>, which gives raw access to the xpv_cur slot.
6401
6402 =cut
6403 */
6404
6405 STRLEN
6406 Perl_sv_len(pTHX_ register SV *const sv)
6407 {
6408     STRLEN len;
6409
6410     if (!sv)
6411         return 0;
6412
6413     if (SvGMAGICAL(sv))
6414         len = mg_length(sv);
6415     else
6416         (void)SvPV_const(sv, len);
6417     return len;
6418 }
6419
6420 /*
6421 =for apidoc sv_len_utf8
6422
6423 Returns the number of characters in the string in an SV, counting wide
6424 UTF-8 bytes as a single character. Handles magic and type coercion.
6425
6426 =cut
6427 */
6428
6429 /*
6430  * The length is cached in PERL_MAGIC_utf8, in the mg_len field.  Also the
6431  * mg_ptr is used, by sv_pos_u2b() and sv_pos_b2u() - see the comments below.
6432  * (Note that the mg_len is not the length of the mg_ptr field.
6433  * This allows the cache to store the character length of the string without
6434  * needing to malloc() extra storage to attach to the mg_ptr.)
6435  *
6436  */
6437
6438 STRLEN
6439 Perl_sv_len_utf8(pTHX_ register SV *const sv)
6440 {
6441     if (!sv)
6442         return 0;
6443
6444     if (SvGMAGICAL(sv))
6445         return mg_length(sv);
6446     else
6447     {
6448         STRLEN len;
6449         const U8 *s = (U8*)SvPV_const(sv, len);
6450
6451         if (PL_utf8cache) {
6452             STRLEN ulen;
6453             MAGIC *mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_utf8) : NULL;
6454
6455             if (mg && (mg->mg_len != -1 || mg->mg_ptr)) {
6456                 if (mg->mg_len != -1)
6457                     ulen = mg->mg_len;
6458                 else {
6459                     /* We can use the offset cache for a headstart.
6460                        The longer value is stored in the first pair.  */
6461                     STRLEN *cache = (STRLEN *) mg->mg_ptr;
6462
6463                     ulen = cache[0] + Perl_utf8_length(aTHX_ s + cache[1],
6464                                                        s + len);
6465                 }
6466                 
6467                 if (PL_utf8cache < 0) {
6468                     const STRLEN real = Perl_utf8_length(aTHX_ s, s + len);
6469                     assert_uft8_cache_coherent("sv_len_utf8", ulen, real, sv);
6470                 }
6471             }
6472             else {
6473                 ulen = Perl_utf8_length(aTHX_ s, s + len);
6474                 utf8_mg_len_cache_update(sv, &mg, ulen);
6475             }
6476             return ulen;
6477         }
6478         return Perl_utf8_length(aTHX_ s, s + len);
6479     }
6480 }
6481
6482 /* Walk forwards to find the byte corresponding to the passed in UTF-8
6483    offset.  */
6484 static STRLEN
6485 S_sv_pos_u2b_forwards(const U8 *const start, const U8 *const send,
6486                       STRLEN *const uoffset_p, bool *const at_end)
6487 {
6488     const U8 *s = start;
6489     STRLEN uoffset = *uoffset_p;
6490
6491     PERL_ARGS_ASSERT_SV_POS_U2B_FORWARDS;
6492
6493     while (s < send && uoffset) {
6494         --uoffset;
6495         s += UTF8SKIP(s);
6496     }
6497     if (s == send) {
6498         *at_end = TRUE;
6499     }
6500     else if (s > send) {
6501         *at_end = TRUE;
6502         /* This is the existing behaviour. Possibly it should be a croak, as
6503            it's actually a bounds error  */
6504         s = send;
6505     }
6506     *uoffset_p -= uoffset;
6507     return s - start;
6508 }
6509
6510 /* Given the length of the string in both bytes and UTF-8 characters, decide
6511    whether to walk forwards or backwards to find the byte corresponding to
6512    the passed in UTF-8 offset.  */
6513 static STRLEN
6514 S_sv_pos_u2b_midway(const U8 *const start, const U8 *send,
6515                     STRLEN uoffset, const STRLEN uend)
6516 {
6517     STRLEN backw = uend - uoffset;
6518
6519     PERL_ARGS_ASSERT_SV_POS_U2B_MIDWAY;
6520
6521     if (uoffset < 2 * backw) {
6522         /* The assumption is that going forwards is twice the speed of going
6523            forward (that's where the 2 * backw comes from).
6524            (The real figure of course depends on the UTF-8 data.)  */
6525         const U8 *s = start;
6526
6527         while (s < send && uoffset--)
6528             s += UTF8SKIP(s);
6529         assert (s <= send);
6530         if (s > send)
6531             s = send;
6532         return s - start;
6533     }
6534
6535     while (backw--) {
6536         send--;
6537         while (UTF8_IS_CONTINUATION(*send))
6538             send--;
6539     }
6540     return send - start;
6541 }
6542
6543 /* For the string representation of the given scalar, find the byte
6544    corresponding to the passed in UTF-8 offset.  uoffset0 and boffset0
6545    give another position in the string, *before* the sought offset, which
6546    (which is always true, as 0, 0 is a valid pair of positions), which should
6547    help reduce the amount of linear searching.
6548    If *mgp is non-NULL, it should point to the UTF-8 cache magic, which
6549    will be used to reduce the amount of linear searching. The cache will be
6550    created if necessary, and the found value offered to it for update.  */
6551 static STRLEN
6552 S_sv_pos_u2b_cached(pTHX_ SV *const sv, MAGIC **const mgp, const U8 *const start,
6553                     const U8 *const send, STRLEN uoffset,
6554                     STRLEN uoffset0, STRLEN boffset0)
6555 {
6556     STRLEN boffset = 0; /* Actually always set, but let's keep gcc happy.  */
6557     bool found = FALSE;
6558     bool at_end = FALSE;
6559
6560     PERL_ARGS_ASSERT_SV_POS_U2B_CACHED;
6561
6562     assert (uoffset >= uoffset0);
6563
6564     if (!uoffset)
6565         return 0;
6566
6567     if (!SvREADONLY(sv)
6568         && PL_utf8cache
6569         && (*mgp || (SvTYPE(sv) >= SVt_PVMG &&
6570                      (*mgp = mg_find(sv, PERL_MAGIC_utf8))))) {
6571         if ((*mgp)->mg_ptr) {
6572             STRLEN *cache = (STRLEN *) (*mgp)->mg_ptr;
6573             if (cache[0] == uoffset) {
6574                 /* An exact match. */
6575                 return cache[1];
6576             }
6577             if (cache[2] == uoffset) {
6578                 /* An exact match. */
6579                 return cache[3];
6580             }
6581
6582             if (cache[0] < uoffset) {
6583                 /* The cache already knows part of the way.   */
6584                 if (cache[0] > uoffset0) {
6585                     /* The cache knows more than the passed in pair  */
6586                     uoffset0 = cache[0];
6587                     boffset0 = cache[1];
6588                 }
6589                 if ((*mgp)->mg_len != -1) {
6590                     /* And we know the end too.  */
6591                     boffset = boffset0
6592                         + sv_pos_u2b_midway(start + boffset0, send,
6593                                               uoffset - uoffset0,
6594                                               (*mgp)->mg_len - uoffset0);
6595                 } else {
6596                     uoffset -= uoffset0;
6597                     boffset = boffset0
6598                         + sv_pos_u2b_forwards(start + boffset0,
6599                                               send, &uoffset, &at_end);
6600                     uoffset += uoffset0;
6601                 }
6602             }
6603             else if (cache[2] < uoffset) {
6604                 /* We're between the two cache entries.  */
6605                 if (cache[2] > uoffset0) {
6606                     /* and the cache knows more than the passed in pair  */
6607                     uoffset0 = cache[2];
6608                     boffset0 = cache[3];
6609                 }
6610
6611                 boffset = boffset0
6612                     + sv_pos_u2b_midway(start + boffset0,
6613                                           start + cache[1],
6614                                           uoffset - uoffset0,
6615                                           cache[0] - uoffset0);
6616             } else {
6617                 boffset = boffset0
6618                     + sv_pos_u2b_midway(start + boffset0,
6619                                           start + cache[3],
6620                                           uoffset - uoffset0,
6621                                           cache[2] - uoffset0);
6622             }
6623             found = TRUE;
6624         }
6625         else if ((*mgp)->mg_len != -1) {
6626             /* If we can take advantage of a passed in offset, do so.  */
6627             /* In fact, offset0 is either 0, or less than offset, so don't
6628                need to worry about the other possibility.  */
6629             boffset = boffset0
6630                 + sv_pos_u2b_midway(start + boffset0, send,
6631                                       uoffset - uoffset0,
6632                                       (*mgp)->mg_len - uoffset0);
6633             found = TRUE;
6634         }
6635     }
6636
6637     if (!found || PL_utf8cache < 0) {
6638         STRLEN real_boffset;
6639         uoffset -= uoffset0;
6640         real_boffset = boffset0 + sv_pos_u2b_forwards(start + boffset0,
6641                                                       send, &uoffset, &at_end);
6642         uoffset += uoffset0;
6643
6644         if (found && PL_utf8cache < 0)
6645             assert_uft8_cache_coherent("sv_pos_u2b_cache", boffset,
6646                                        real_boffset, sv);
6647         boffset = real_boffset;
6648     }
6649
6650     if (PL_utf8cache) {
6651         if (at_end)
6652             utf8_mg_len_cache_update(sv, mgp, uoffset);
6653         else
6654             utf8_mg_pos_cache_update(sv, mgp, boffset, uoffset, send - start);
6655     }
6656     return boffset;
6657 }
6658
6659
6660 /*
6661 =for apidoc sv_pos_u2b_flags
6662
6663 Converts the value pointed to by offsetp from a count of UTF-8 chars from
6664 the start of the string, to a count of the equivalent number of bytes; if
6665 lenp is non-zero, it does the same to lenp, but this time starting from
6666 the offset, rather than from the start of the string. Handles type coercion.
6667 I<flags> is passed to C<SvPV_flags>, and usually should be
6668 C<SV_GMAGIC|SV_CONST_RETURN> to handle magic.
6669
6670 =cut
6671 */
6672
6673 /*
6674  * sv_pos_u2b_flags() uses, like sv_pos_b2u(), the mg_ptr of the potential
6675  * PERL_MAGIC_utf8 of the sv to store the mapping between UTF-8 and
6676  * byte offsets.  See also the comments of S_utf8_mg_pos_cache_update().
6677  *
6678  */
6679
6680 STRLEN
6681 Perl_sv_pos_u2b_flags(pTHX_ SV *const sv, STRLEN uoffset, STRLEN *const lenp,
6682                       U32 flags)
6683 {
6684     const U8 *start;
6685     STRLEN len;
6686     STRLEN boffset;
6687
6688     PERL_ARGS_ASSERT_SV_POS_U2B_FLAGS;
6689
6690     start = (U8*)SvPV_flags(sv, len, flags);
6691     if (len) {
6692         const U8 * const send = start + len;
6693         MAGIC *mg = NULL;
6694         boffset = sv_pos_u2b_cached(sv, &mg, start, send, uoffset, 0, 0);
6695
6696         if (lenp
6697             && *lenp /* don't bother doing work for 0, as its bytes equivalent
6698                         is 0, and *lenp is already set to that.  */) {
6699             /* Convert the relative offset to absolute.  */
6700             const STRLEN uoffset2 = uoffset + *lenp;
6701             const STRLEN boffset2
6702                 = sv_pos_u2b_cached(sv, &mg, start, send, uoffset2,
6703                                       uoffset, boffset) - boffset;
6704
6705             *lenp = boffset2;
6706         }
6707     } else {
6708         if (lenp)
6709             *lenp = 0;
6710         boffset = 0;
6711     }
6712
6713     return boffset;
6714 }
6715
6716 /*
6717 =for apidoc sv_pos_u2b
6718
6719 Converts the value pointed to by offsetp from a count of UTF-8 chars from
6720 the start of the string, to a count of the equivalent number of bytes; if
6721 lenp is non-zero, it does the same to lenp, but this time starting from
6722 the offset, rather than from the start of the string. Handles magic and
6723 type coercion.
6724
6725 Use C<sv_pos_u2b_flags> in preference, which correctly handles strings longer
6726 than 2Gb.
6727
6728 =cut
6729 */
6730
6731 /*
6732  * sv_pos_u2b() uses, like sv_pos_b2u(), the mg_ptr of the potential
6733  * PERL_MAGIC_utf8 of the sv to store the mapping between UTF-8 and
6734  * byte offsets.  See also the comments of S_utf8_mg_pos_cache_update().
6735  *
6736  */
6737
6738 /* This function is subject to size and sign problems */
6739
6740 void
6741 Perl_sv_pos_u2b(pTHX_ register SV *const sv, I32 *const offsetp, I32 *const lenp)
6742 {
6743     PERL_ARGS_ASSERT_SV_POS_U2B;
6744
6745     if (lenp) {
6746         STRLEN ulen = (STRLEN)*lenp;
6747         *offsetp = (I32)sv_pos_u2b_flags(sv, (STRLEN)*offsetp, &ulen,
6748                                          SV_GMAGIC|SV_CONST_RETURN);
6749         *lenp = (I32)ulen;
6750     } else {
6751         *offsetp = (I32)sv_pos_u2b_flags(sv, (STRLEN)*offsetp, NULL,
6752                                          SV_GMAGIC|SV_CONST_RETURN);
6753     }
6754 }
6755
6756 static void
6757 S_utf8_mg_len_cache_update(pTHX_ SV *const sv, MAGIC **const mgp,
6758                            const STRLEN ulen)
6759 {
6760     PERL_ARGS_ASSERT_UTF8_MG_LEN_CACHE_UPDATE;
6761     if (SvREADONLY(sv))
6762         return;
6763
6764     if (!*mgp && (SvTYPE(sv) < SVt_PVMG ||
6765                   !(*mgp = mg_find(sv, PERL_MAGIC_utf8)))) {
6766         *mgp = sv_magicext(sv, 0, PERL_MAGIC_utf8, &PL_vtbl_utf8, 0, 0);
6767     }
6768     assert(*mgp);
6769
6770     (*mgp)->mg_len = ulen;
6771     /* For now, treat "overflowed" as "still unknown". See RT #72924.  */
6772     if (ulen != (STRLEN) (*mgp)->mg_len)
6773         (*mgp)->mg_len = -1;
6774 }
6775
6776 /* Create and update the UTF8 magic offset cache, with the proffered utf8/
6777    byte length pairing. The (byte) length of the total SV is passed in too,
6778    as blen, because for some (more esoteric) SVs, the call to SvPV_const()
6779    may not have updated SvCUR, so we can't rely on reading it directly.
6780
6781    The proffered utf8/byte length pairing isn't used if the cache already has
6782    two pairs, and swapping either for the proffered pair would increase the
6783    RMS of the intervals between known byte offsets.
6784
6785    The cache itself consists of 4 STRLEN values
6786    0: larger UTF-8 offset
6787    1: corresponding byte offset
6788    2: smaller UTF-8 offset
6789    3: corresponding byte offset
6790
6791    Unused cache pairs have the value 0, 0.
6792    Keeping the cache "backwards" means that the invariant of
6793    cache[0] >= cache[2] is maintained even with empty slots, which means that
6794    the code that uses it doesn't need to worry if only 1 entry has actually
6795    been set to non-zero.  It also makes the "position beyond the end of the
6796    cache" logic much simpler, as the first slot is always the one to start
6797    from.   
6798 */
6799 static void
6800 S_utf8_mg_pos_cache_update(pTHX_ SV *const sv, MAGIC **const mgp, const STRLEN byte,
6801                            const STRLEN utf8, const STRLEN blen)
6802 {
6803     STRLEN *cache;
6804
6805     PERL_ARGS_ASSERT_UTF8_MG_POS_CACHE_UPDATE;
6806
6807     if (SvREADONLY(sv))
6808         return;
6809
6810     if (!*mgp && (SvTYPE(sv) < SVt_PVMG ||
6811                   !(*mgp = mg_find(sv, PERL_MAGIC_utf8)))) {
6812         *mgp = sv_magicext(sv, 0, PERL_MAGIC_utf8, (MGVTBL*)&PL_vtbl_utf8, 0,
6813                            0);
6814         (*mgp)->mg_len = -1;
6815     }
6816     assert(*mgp);
6817
6818     if (!(cache = (STRLEN *)(*mgp)->mg_ptr)) {
6819         Newxz(cache, PERL_MAGIC_UTF8_CACHESIZE * 2, STRLEN);
6820         (*mgp)->mg_ptr = (char *) cache;
6821     }
6822     assert(cache);
6823
6824     if (PL_utf8cache < 0 && SvPOKp(sv)) {
6825         /* SvPOKp() because it's possible that sv has string overloading, and
6826            therefore is a reference, hence SvPVX() is actually a pointer.
6827            This cures the (very real) symptoms of RT 69422, but I'm not actually
6828            sure whether we should even be caching the results of UTF-8
6829            operations on overloading, given that nothing stops overloading
6830            returning a different value every time it's called.  */
6831         const U8 *start = (const U8 *) SvPVX_const(sv);
6832         const STRLEN realutf8 = utf8_length(start, start + byte);
6833
6834         assert_uft8_cache_coherent("utf8_mg_pos_cache_update", utf8, realutf8,
6835                                    sv);
6836     }
6837
6838     /* Cache is held with the later position first, to simplify the code
6839        that deals with unbounded ends.  */
6840        
6841     ASSERT_UTF8_CACHE(cache);
6842     if (cache[1] == 0) {
6843         /* Cache is totally empty  */
6844         cache[0] = utf8;
6845         cache[1] = byte;
6846     } else if (cache[3] == 0) {
6847         if (byte > cache[1]) {
6848             /* New one is larger, so goes first.  */
6849             cache[2] = cache[0];
6850             cache[3] = cache[1];
6851             cache[0] = utf8;
6852             cache[1] = byte;
6853         } else {
6854             cache[2] = utf8;
6855             cache[3] = byte;
6856         }
6857     } else {
6858 #define THREEWAY_SQUARE(a,b,c,d) \
6859             ((float)((d) - (c))) * ((float)((d) - (c))) \
6860             + ((float)((c) - (b))) * ((float)((c) - (b))) \
6861                + ((float)((b) - (a))) * ((float)((b) - (a)))
6862
6863         /* Cache has 2 slots in use, and we know three potential pairs.
6864            Keep the two that give the lowest RMS distance. Do the
6865            calculation in bytes simply because we always know the byte
6866            length.  squareroot has the same ordering as the positive value,
6867            so don't bother with the actual square root.  */
6868         const float existing = THREEWAY_SQUARE(0, cache[3], cache[1], blen);
6869         if (byte > cache[1]) {
6870             /* New position is after the existing pair of pairs.  */
6871             const float keep_earlier
6872                 = THREEWAY_SQUARE(0, cache[3], byte, blen);
6873             const float keep_later
6874                 = THREEWAY_SQUARE(0, cache[1], byte, blen);
6875
6876             if (keep_later < keep_earlier) {
6877                 if (keep_later < existing) {
6878                     cache[2] = cache[0];
6879                     cache[3] = cache[1];
6880                     cache[0] = utf8;
6881                     cache[1] = byte;
6882                 }
6883             }
6884             else {
6885                 if (keep_earlier < existing) {
6886                     cache[0] = utf8;
6887                     cache[1] = byte;
6888                 }
6889             }
6890         }
6891         else if (byte > cache[3]) {
6892             /* New position is between the existing pair of pairs.  */
6893             const float keep_earlier
6894                 = THREEWAY_SQUARE(0, cache[3], byte, blen);
6895             const float keep_later
6896                 = THREEWAY_SQUARE(0, byte, cache[1], blen);
6897
6898             if (keep_later < keep_earlier) {
6899                 if (keep_later < existing) {
6900                     cache[2] = utf8;
6901                     cache[3] = byte;
6902                 }
6903             }
6904             else {
6905                 if (keep_earlier < existing) {
6906                     cache[0] = utf8;
6907                     cache[1] = byte;
6908                 }
6909             }
6910         }
6911         else {
6912             /* New position is before the existing pair of pairs.  */
6913             const float keep_earlier
6914                 = THREEWAY_SQUARE(0, byte, cache[3], blen);
6915             const float keep_later
6916                 = THREEWAY_SQUARE(0, byte, cache[1], blen);
6917
6918             if (keep_later < keep_earlier) {
6919                 if (keep_later < existing) {
6920                     cache[2] = utf8;
6921                     cache[3] = byte;
6922                 }
6923             }
6924             else {
6925                 if (keep_earlier < existing) {
6926                     cache[0] = cache[2];
6927                     cache[1] = cache[3];
6928                     cache[2] = utf8;
6929                     cache[3] = byte;
6930                 }
6931             }
6932         }
6933     }
6934     ASSERT_UTF8_CACHE(cache);
6935 }
6936
6937 /* We already know all of the way, now we may be able to walk back.  The same
6938    assumption is made as in S_sv_pos_u2b_midway(), namely that walking
6939    backward is half the speed of walking forward. */
6940 static STRLEN
6941 S_sv_pos_b2u_midway(pTHX_ const U8 *const s, const U8 *const target,
6942                     const U8 *end, STRLEN endu)
6943 {
6944     const STRLEN forw = target - s;
6945     STRLEN backw = end - target;
6946
6947     PERL_ARGS_ASSERT_SV_POS_B2U_MIDWAY;
6948
6949     if (forw < 2 * backw) {
6950         return utf8_length(s, target);
6951     }
6952
6953     while (end > target) {
6954         end--;
6955         while (UTF8_IS_CONTINUATION(*end)) {
6956             end--;
6957         }
6958         endu--;
6959     }
6960     return endu;
6961 }
6962
6963 /*
6964 =for apidoc sv_pos_b2u
6965
6966 Converts the value pointed to by offsetp from a count of bytes from the
6967 start of the string, to a count of the equivalent number of UTF-8 chars.
6968 Handles magic and type coercion.
6969
6970 =cut
6971 */
6972
6973 /*
6974  * sv_pos_b2u() uses, like sv_pos_u2b(), the mg_ptr of the potential
6975  * PERL_MAGIC_utf8 of the sv to store the mapping between UTF-8 and
6976  * byte offsets.
6977  *
6978  */
6979 void
6980 Perl_sv_pos_b2u(pTHX_ register SV *const sv, I32 *const offsetp)
6981 {
6982     const U8* s;
6983     const STRLEN byte = *offsetp;
6984     STRLEN len = 0; /* Actually always set, but let's keep gcc happy.  */
6985     STRLEN blen;
6986     MAGIC* mg = NULL;
6987     const U8* send;
6988     bool found = FALSE;
6989
6990     PERL_ARGS_ASSERT_SV_POS_B2U;
6991
6992     if (!sv)
6993         return;
6994
6995     s = (const U8*)SvPV_const(sv, blen);
6996
6997     if (blen < byte)
6998         Perl_croak(aTHX_ "panic: sv_pos_b2u: bad byte offset");
6999
7000     send = s + byte;
7001
7002     if (!SvREADONLY(sv)
7003         && PL_utf8cache
7004         && SvTYPE(sv) >= SVt_PVMG
7005         && (mg = mg_find(sv, PERL_MAGIC_utf8)))
7006     {
7007         if (mg->mg_ptr) {
7008             STRLEN * const cache = (STRLEN *) mg->mg_ptr;
7009             if (cache[1] == byte) {
7010                 /* An exact match. */
7011                 *offsetp = cache[0];
7012                 return;
7013             }
7014             if (cache[3] == byte) {
7015                 /* An exact match. */
7016                 *offsetp = cache[2];
7017                 return;
7018             }
7019
7020             if (cache[1] < byte) {
7021                 /* We already know part of the way. */
7022                 if (mg->mg_len != -1) {
7023                     /* Actually, we know the end too.  */
7024                     len = cache[0]
7025                         + S_sv_pos_b2u_midway(aTHX_ s + cache[1], send,
7026                                               s + blen, mg->mg_len - cache[0]);
7027                 } else {
7028                     len = cache[0] + utf8_length(s + cache[1], send);
7029                 }
7030             }
7031             else if (cache[3] < byte) {
7032                 /* We're between the two cached pairs, so we do the calculation
7033                    offset by the byte/utf-8 positions for the earlier pair,
7034                    then add the utf-8 characters from the string start to
7035                    there.  */
7036                 len = S_sv_pos_b2u_midway(aTHX_ s + cache[3], send,
7037                                           s + cache[1], cache[0] - cache[2])
7038                     + cache[2];
7039
7040             }
7041             else { /* cache[3] > byte */
7042                 len = S_sv_pos_b2u_midway(aTHX_ s, send, s + cache[3],
7043                                           cache[2]);
7044
7045             }
7046             ASSERT_UTF8_CACHE(cache);
7047             found = TRUE;
7048         } else if (mg->mg_len != -1) {
7049             len = S_sv_pos_b2u_midway(aTHX_ s, send, s + blen, mg->mg_len);
7050             found = TRUE;
7051         }
7052     }
7053     if (!found || PL_utf8cache < 0) {
7054         const STRLEN real_len = utf8_length(s, send);
7055
7056         if (found && PL_utf8cache < 0)
7057             assert_uft8_cache_coherent("sv_pos_b2u", len, real_len, sv);
7058         len = real_len;
7059     }
7060     *offsetp = len;
7061
7062     if (PL_utf8cache) {
7063         if (blen == byte)
7064             utf8_mg_len_cache_update(sv, &mg, len);
7065         else
7066             utf8_mg_pos_cache_update(sv, &mg, byte, len, blen);
7067     }
7068 }
7069
7070 static void
7071 S_assert_uft8_cache_coherent(pTHX_ const char *const func, STRLEN from_cache,
7072                              STRLEN real, SV *const sv)
7073 {
7074     PERL_ARGS_ASSERT_ASSERT_UFT8_CACHE_COHERENT;
7075
7076     /* As this is debugging only code, save space by keeping this test here,
7077        rather than inlining it in all the callers.  */
7078     if (from_cache == real)
7079         return;
7080
7081     /* Need to turn the assertions off otherwise we may recurse infinitely
7082        while printing error messages.  */
7083     SAVEI8(PL_utf8cache);
7084     PL_utf8cache = 0;
7085     Perl_croak(aTHX_ "panic: %s cache %"UVuf" real %"UVuf" for %"SVf,
7086                func, (UV) from_cache, (UV) real, SVfARG(sv));
7087 }
7088
7089 /*
7090 =for apidoc sv_eq
7091
7092 Returns a boolean indicating whether the strings in the two SVs are
7093 identical. Is UTF-8 and 'use bytes' aware, handles get magic, and will
7094 coerce its args to strings if necessary.
7095
7096 =for apidoc sv_eq_flags
7097
7098 Returns a boolean indicating whether the strings in the two SVs are
7099 identical. Is UTF-8 and 'use bytes' aware and coerces its args to strings
7100 if necessary. If the flags include SV_GMAGIC, it handles get-magic, too.
7101
7102 =cut
7103 */
7104
7105 I32
7106 Perl_sv_eq_flags(pTHX_ register SV *sv1, register SV *sv2, const U32 flags)
7107 {
7108     dVAR;
7109     const char *pv1;
7110     STRLEN cur1;
7111     const char *pv2;
7112     STRLEN cur2;
7113     I32  eq     = 0;
7114     char *tpv   = NULL;
7115     SV* svrecode = NULL;
7116
7117     if (!sv1) {
7118         pv1 = "";
7119         cur1 = 0;
7120     }
7121     else {
7122         /* if pv1 and pv2 are the same, second SvPV_const call may
7123          * invalidate pv1 (if we are handling magic), so we may need to
7124          * make a copy */
7125         if (sv1 == sv2 && flags & SV_GMAGIC
7126          && (SvTHINKFIRST(sv1) || SvGMAGICAL(sv1))) {
7127             pv1 = SvPV_const(sv1, cur1);
7128             sv1 = newSVpvn_flags(pv1, cur1, SVs_TEMP | SvUTF8(sv2));
7129         }
7130         pv1 = SvPV_flags_const(sv1, cur1, flags);
7131     }
7132
7133     if (!sv2){
7134         pv2 = "";
7135         cur2 = 0;
7136     }
7137     else
7138         pv2 = SvPV_flags_const(sv2, cur2, flags);
7139
7140     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
7141         /* Differing utf8ness.
7142          * Do not UTF8size the comparands as a side-effect. */
7143          if (PL_encoding) {
7144               if (SvUTF8(sv1)) {
7145                    svrecode = newSVpvn(pv2, cur2);
7146                    sv_recode_to_utf8(svrecode, PL_encoding);
7147                    pv2 = SvPV_const(svrecode, cur2);
7148               }
7149               else {
7150                    svrecode = newSVpvn(pv1, cur1);
7151                    sv_recode_to_utf8(svrecode, PL_encoding);
7152                    pv1 = SvPV_const(svrecode, cur1);
7153               }
7154               /* Now both are in UTF-8. */
7155               if (cur1 != cur2) {
7156                    SvREFCNT_dec(svrecode);
7157                    return FALSE;
7158               }
7159          }
7160          else {
7161               if (SvUTF8(sv1)) {
7162                   /* sv1 is the UTF-8 one  */
7163                   return bytes_cmp_utf8((const U8*)pv2, cur2,
7164                                         (const U8*)pv1, cur1) == 0;
7165               }
7166               else {
7167                   /* sv2 is the UTF-8 one  */
7168                   return bytes_cmp_utf8((const U8*)pv1, cur1,
7169                                         (const U8*)pv2, cur2) == 0;
7170               }
7171          }
7172     }
7173
7174     if (cur1 == cur2)
7175         eq = (pv1 == pv2) || memEQ(pv1, pv2, cur1);
7176         
7177     SvREFCNT_dec(svrecode);
7178     if (tpv)
7179         Safefree(tpv);
7180
7181     return eq;
7182 }
7183
7184 /*
7185 =for apidoc sv_cmp
7186
7187 Compares the strings in two SVs.  Returns -1, 0, or 1 indicating whether the
7188 string in C<sv1> is less than, equal to, or greater than the string in
7189 C<sv2>. Is UTF-8 and 'use bytes' aware, handles get magic, and will
7190 coerce its args to strings if necessary.  See also C<sv_cmp_locale>.
7191
7192 =for apidoc sv_cmp_flags
7193
7194 Compares the strings in two SVs.  Returns -1, 0, or 1 indicating whether the
7195 string in C<sv1> is less than, equal to, or greater than the string in
7196 C<sv2>. Is UTF-8 and 'use bytes' aware and will coerce its args to strings
7197 if necessary. If the flags include SV_GMAGIC, it handles get magic. See
7198 also C<sv_cmp_locale_flags>.
7199
7200 =cut
7201 */
7202
7203 I32
7204 Perl_sv_cmp(pTHX_ register SV *const sv1, register SV *const sv2)
7205 {
7206     return sv_cmp_flags(sv1, sv2, SV_GMAGIC);
7207 }
7208
7209 I32
7210 Perl_sv_cmp_flags(pTHX_ register SV *const sv1, register SV *const sv2,
7211                   const U32 flags)
7212 {
7213     dVAR;
7214     STRLEN cur1, cur2;
7215     const char *pv1, *pv2;
7216     char *tpv = NULL;
7217     I32  cmp;
7218     SV *svrecode = NULL;
7219
7220     if (!sv1) {
7221         pv1 = "";
7222         cur1 = 0;
7223     }
7224     else
7225         pv1 = SvPV_flags_const(sv1, cur1, flags);
7226
7227     if (!sv2) {
7228         pv2 = "";
7229         cur2 = 0;
7230     }
7231     else
7232         pv2 = SvPV_flags_const(sv2, cur2, flags);
7233
7234     if (cur1 && cur2 && SvUTF8(sv1) != SvUTF8(sv2) && !IN_BYTES) {
7235         /* Differing utf8ness.
7236          * Do not UTF8size the comparands as a side-effect. */
7237         if (SvUTF8(sv1)) {
7238             if (PL_encoding) {
7239                  svrecode = newSVpvn(pv2, cur2);
7240                  sv_recode_to_utf8(svrecode, PL_encoding);
7241                  pv2 = SvPV_const(svrecode, cur2);
7242             }
7243             else {
7244                 const int retval = -bytes_cmp_utf8((const U8*)pv2, cur2,
7245                                                    (const U8*)pv1, cur1);
7246                 return retval ? retval < 0 ? -1 : +1 : 0;
7247             }
7248         }
7249         else {
7250             if (PL_encoding) {
7251                  svrecode = newSVpvn(pv1, cur1);
7252                  sv_recode_to_utf8(svrecode, PL_encoding);
7253                  pv1 = SvPV_const(svrecode, cur1);
7254             }
7255             else {
7256                 const int retval = bytes_cmp_utf8((const U8*)pv1, cur1,
7257                                                   (const U8*)pv2, cur2);
7258                 return retval ? retval < 0 ? -1 : +1 : 0;
7259             }
7260         }
7261     }
7262
7263     if (!cur1) {
7264         cmp = cur2 ? -1 : 0;
7265     } else if (!cur2) {
7266         cmp = 1;
7267     } else {
7268         const I32 retval = memcmp((const void*)pv1, (const void*)pv2, cur1 < cur2 ? cur1 : cur2);
7269
7270         if (retval) {
7271             cmp = retval < 0 ? -1 : 1;
7272         } else if (cur1 == cur2) {
7273             cmp = 0;
7274         } else {
7275             cmp = cur1 < cur2 ? -1 : 1;
7276         }
7277     }
7278
7279     SvREFCNT_dec(svrecode);
7280     if (tpv)
7281         Safefree(tpv);
7282
7283     return cmp;
7284 }
7285
7286 /*
7287 =for apidoc sv_cmp_locale
7288
7289 Compares the strings in two SVs in a locale-aware manner. Is UTF-8 and
7290 'use bytes' aware, handles get magic, and will coerce its args to strings
7291 if necessary.  See also C<sv_cmp>.
7292
7293 =for apidoc sv_cmp_locale_flags
7294
7295 Compares the strings in two SVs in a locale-aware manner. Is UTF-8 and
7296 'use bytes' aware and will coerce its args to strings if necessary. If the
7297 flags contain SV_GMAGIC, it handles get magic. See also C<sv_cmp_flags>.
7298
7299 =cut
7300 */
7301
7302 I32
7303 Perl_sv_cmp_locale(pTHX_ register SV *const sv1, register SV *const sv2)
7304 {
7305     return sv_cmp_locale_flags(sv1, sv2, SV_GMAGIC);
7306 }
7307
7308 I32
7309 Perl_sv_cmp_locale_flags(pTHX_ register SV *const sv1, register SV *const sv2,
7310                          const U32 flags)
7311 {
7312     dVAR;
7313 #ifdef USE_LOCALE_COLLATE
7314
7315     char *pv1, *pv2;
7316     STRLEN len1, len2;
7317     I32 retval;
7318
7319     if (PL_collation_standard)
7320         goto raw_compare;
7321
7322     len1 = 0;
7323     pv1 = sv1 ? sv_collxfrm_flags(sv1, &len1, flags) : (char *) NULL;
7324     len2 = 0;
7325     pv2 = sv2 ? sv_collxfrm_flags(sv2, &len2, flags) : (char *) NULL;
7326
7327     if (!pv1 || !len1) {
7328         if (pv2 && len2)
7329             return -1;
7330         else
7331             goto raw_compare;
7332     }
7333     else {
7334         if (!pv2 || !len2)
7335             return 1;
7336     }
7337
7338     retval = memcmp((void*)pv1, (void*)pv2, len1 < len2 ? len1 : len2);
7339
7340     if (retval)
7341         return retval < 0 ? -1 : 1;
7342
7343     /*
7344      * When the result of collation is equality, that doesn't mean
7345      * that there are no differences -- some locales exclude some
7346      * characters from consideration.  So to avoid false equalities,
7347      * we use the raw string as a tiebreaker.
7348      */
7349
7350   raw_compare:
7351     /*FALLTHROUGH*/
7352
7353 #endif /* USE_LOCALE_COLLATE */
7354
7355     return sv_cmp(sv1, sv2);
7356 }
7357
7358
7359 #ifdef USE_LOCALE_COLLATE
7360
7361 /*
7362 =for apidoc sv_collxfrm
7363
7364 This calls C<sv_collxfrm_flags> with the SV_GMAGIC flag. See
7365 C<sv_collxfrm_flags>.
7366
7367 =for apidoc sv_collxfrm_flags
7368
7369 Add Collate Transform magic to an SV if it doesn't already have it. If the
7370 flags contain SV_GMAGIC, it handles get-magic.
7371
7372 Any scalar variable may carry PERL_MAGIC_collxfrm magic that contains the
7373 scalar data of the variable, but transformed to such a format that a normal
7374 memory comparison can be used to compare the data according to the locale
7375 settings.
7376
7377 =cut
7378 */
7379
7380 char *
7381 Perl_sv_collxfrm_flags(pTHX_ SV *const sv, STRLEN *const nxp, const I32 flags)
7382 {
7383     dVAR;
7384     MAGIC *mg;
7385
7386     PERL_ARGS_ASSERT_SV_COLLXFRM_FLAGS;
7387
7388     mg = SvMAGICAL(sv) ? mg_find(sv, PERL_MAGIC_collxfrm) : (MAGIC *) NULL;
7389     if (!mg || !mg->mg_ptr || *(U32*)mg->mg_ptr != PL_collation_ix) {
7390         const char *s;
7391         char *xf;
7392         STRLEN len, xlen;
7393
7394         if (mg)
7395             Safefree(mg->mg_ptr);
7396         s = SvPV_flags_const(sv, len, flags);
7397         if ((xf = mem_collxfrm(s, len, &xlen))) {
7398             if (! mg) {
7399 #ifdef PERL_OLD_COPY_ON_WRITE
7400                 if (SvIsCOW(sv))
7401                     sv_force_normal_flags(sv, 0);
7402 #endif
7403                 mg = sv_magicext(sv, 0, PERL_MAGIC_collxfrm, &PL_vtbl_collxfrm,
7404                                  0, 0);
7405                 assert(mg);
7406             }
7407             mg->mg_ptr = xf;
7408             mg->mg_len = xlen;
7409         }
7410         else {
7411             if (mg) {
7412                 mg->mg_ptr = NULL;
7413                 mg->mg_len = -1;
7414             }
7415         }
7416     }
7417     if (mg && mg->mg_ptr) {
7418         *nxp = mg->mg_len;
7419         return mg->mg_ptr + sizeof(PL_collation_ix);
7420     }
7421     else {
7422         *nxp = 0;
7423         return NULL;
7424     }
7425 }
7426
7427 #endif /* USE_LOCALE_COLLATE */
7428
7429 static char *
7430 S_sv_gets_append_to_utf8(pTHX_ SV *const sv, PerlIO *const fp, I32 append)
7431 {
7432     SV * const tsv = newSV(0);
7433     ENTER;
7434     SAVEFREESV(tsv);
7435     sv_gets(tsv, fp, 0);
7436     sv_utf8_upgrade_nomg(tsv);
7437     SvCUR_set(sv,append);
7438     sv_catsv(sv,tsv);
7439     LEAVE;
7440     return (SvCUR(sv) - append) ? SvPVX(sv) : NULL;
7441 }
7442
7443 static char *
7444 S_sv_gets_read_record(pTHX_ SV *const sv, PerlIO *const fp, I32 append)
7445 {
7446     I32 bytesread;
7447     const U32 recsize = SvUV(SvRV(PL_rs)); /* RsRECORD() guarantees > 0. */
7448       /* Grab the size of the record we're getting */
7449     char *const buffer = SvGROW(sv, (STRLEN)(recsize + append + 1)) + append;
7450 #ifdef VMS
7451     int fd;
7452 #endif
7453
7454     /* Go yank in */
7455 #ifdef VMS
7456     /* VMS wants read instead of fread, because fread doesn't respect */
7457     /* RMS record boundaries. This is not necessarily a good thing to be */
7458     /* doing, but we've got no other real choice - except avoid stdio
7459        as implementation - perhaps write a :vms layer ?
7460     */
7461     fd = PerlIO_fileno(fp);
7462     if (fd != -1) {
7463         bytesread = PerlLIO_read(fd, buffer, recsize);
7464     }
7465     else /* in-memory file from PerlIO::Scalar */
7466 #endif
7467     {
7468         bytesread = PerlIO_read(fp, buffer, recsize);
7469     }
7470
7471     if (bytesread < 0)
7472         bytesread = 0;
7473     SvCUR_set(sv, bytesread + append);
7474     buffer[bytesread] = '\0';
7475     return (SvCUR(sv) - append) ? SvPVX(sv) : NULL;
7476 }
7477
7478 /*
7479 =for apidoc sv_gets
7480
7481 Get a line from the filehandle and store it into the SV, optionally
7482 appending to the currently-stored string.
7483
7484 =cut
7485 */
7486
7487 char *
7488 Perl_sv_gets(pTHX_ register SV *const sv, register PerlIO *const fp, I32 append)
7489 {
7490     dVAR;
7491     const char *rsptr;
7492     STRLEN rslen;
7493     register STDCHAR rslast;
7494     register STDCHAR *bp;
7495     register I32 cnt;
7496     I32 i = 0;
7497     I32 rspara = 0;
7498
7499     PERL_ARGS_ASSERT_SV_GETS;
7500
7501     if (SvTHINKFIRST(sv))
7502         sv_force_normal_flags(sv, append ? 0 : SV_COW_DROP_PV);
7503     /* XXX. If you make this PVIV, then copy on write can copy scalars read
7504        from <>.
7505        However, perlbench says it's slower, because the existing swipe code
7506        is faster than copy on write.
7507        Swings and roundabouts.  */
7508     SvUPGRADE(sv, SVt_PV);
7509
7510     SvSCREAM_off(sv);
7511
7512     if (append) {
7513         if (PerlIO_isutf8(fp)) {
7514             if (!SvUTF8(sv)) {
7515                 sv_utf8_upgrade_nomg(sv);
7516                 sv_pos_u2b(sv,&append,0);
7517             }
7518         } else if (SvUTF8(sv)) {
7519             return S_sv_gets_append_to_utf8(aTHX_ sv, fp, append);
7520         }
7521     }
7522
7523     SvPOK_only(sv);
7524     if (!append) {
7525         SvCUR_set(sv,0);
7526     }
7527     if (PerlIO_isutf8(fp))
7528         SvUTF8_on(sv);
7529
7530     if (IN_PERL_COMPILETIME) {
7531         /* we always read code in line mode */
7532         rsptr = "\n";
7533         rslen = 1;
7534     }
7535     else if (RsSNARF(PL_rs)) {
7536         /* If it is a regular disk file use size from stat() as estimate
7537            of amount we are going to read -- may result in mallocing
7538            more memory than we really need if the layers below reduce
7539            the size we read (e.g. CRLF or a gzip layer).
7540          */
7541         Stat_t st;
7542         if (!PerlLIO_fstat(PerlIO_fileno(fp), &st) && S_ISREG(st.st_mode))  {
7543             const Off_t offset = PerlIO_tell(fp);
7544             if (offset != (Off_t) -1 && st.st_size + append > offset) {
7545                 (void) SvGROW(sv, (STRLEN)((st.st_size - offset) + append + 1));
7546             }
7547         }
7548         rsptr = NULL;
7549         rslen = 0;
7550     }
7551     else if (RsRECORD(PL_rs)) {
7552         return S_sv_gets_read_record(aTHX_ sv, fp, append);
7553     }
7554     else if (RsPARA(PL_rs)) {
7555         rsptr = "\n\n";
7556         rslen = 2;
7557         rspara = 1;
7558     }
7559     else {
7560         /* Get $/ i.e. PL_rs into same encoding as stream wants */
7561         if (PerlIO_isutf8(fp)) {
7562             rsptr = SvPVutf8(PL_rs, rslen);
7563         }
7564         else {
7565             if (SvUTF8(PL_rs)) {
7566                 if (!sv_utf8_downgrade(PL_rs, TRUE)) {
7567                     Perl_croak(aTHX_ "Wide character in $/");
7568                 }
7569             }
7570             rsptr = SvPV_const(PL_rs, rslen);
7571         }
7572     }
7573
7574     rslast = rslen ? rsptr[rslen - 1] : '\0';
7575
7576     if (rspara) {               /* have to do this both before and after */
7577         do {                    /* to make sure file boundaries work right */
7578             if (PerlIO_eof(fp))
7579                 return 0;
7580             i = PerlIO_getc(fp);
7581             if (i != '\n') {
7582                 if (i == -1)
7583                     return 0;
7584                 PerlIO_ungetc(fp,i);
7585                 break;
7586             }
7587         } while (i != EOF);
7588     }
7589
7590     /* See if we know enough about I/O mechanism to cheat it ! */
7591
7592     /* This used to be #ifdef test - it is made run-time test for ease
7593        of abstracting out stdio interface. One call should be cheap
7594        enough here - and may even be a macro allowing compile
7595        time optimization.
7596      */
7597
7598     if (PerlIO_fast_gets(fp)) {
7599
7600     /*
7601      * We're going to steal some values from the stdio struct
7602      * and put EVERYTHING in the innermost loop into registers.
7603      */
7604     register STDCHAR *ptr;
7605     STRLEN bpx;
7606     I32 shortbuffered;
7607
7608 #if defined(VMS) && defined(PERLIO_IS_STDIO)
7609     /* An ungetc()d char is handled separately from the regular
7610      * buffer, so we getc() it back out and stuff it in the buffer.
7611      */
7612     i = PerlIO_getc(fp);
7613     if (i == EOF) return 0;
7614     *(--((*fp)->_ptr)) = (unsigned char) i;
7615     (*fp)->_cnt++;
7616 #endif
7617
7618     /* Here is some breathtakingly efficient cheating */
7619
7620     cnt = PerlIO_get_cnt(fp);                   /* get count into register */
7621     /* make sure we have the room */
7622     if ((I32)(SvLEN(sv) - append) <= cnt + 1) {
7623         /* Not room for all of it
7624            if we are looking for a separator and room for some
7625          */
7626         if (rslen && cnt > 80 && (I32)SvLEN(sv) > append) {
7627             /* just process what we have room for */
7628             shortbuffered = cnt - SvLEN(sv) + append + 1;
7629             cnt -= shortbuffered;
7630         }
7631         else {
7632             shortbuffered = 0;
7633             /* remember that cnt can be negative */
7634             SvGROW(sv, (STRLEN)(append + (cnt <= 0 ? 2 : (cnt + 1))));
7635         }
7636     }
7637     else
7638         shortbuffered = 0;
7639     bp = (STDCHAR*)SvPVX_const(sv) + append;  /* move these two too to registers */
7640     ptr = (STDCHAR*)PerlIO_get_ptr(fp);
7641     DEBUG_P(PerlIO_printf(Perl_debug_log,
7642         "Screamer: entering, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
7643     DEBUG_P(PerlIO_printf(Perl_debug_log,
7644         "Screamer: entering: PerlIO * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
7645                PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
7646                PTR2UV(PerlIO_has_base(fp) ? PerlIO_get_base(fp) : 0)));
7647     for (;;) {
7648       screamer:
7649         if (cnt > 0) {
7650             if (rslen) {
7651                 while (cnt > 0) {                    /* this     |  eat */
7652                     cnt--;
7653                     if ((*bp++ = *ptr++) == rslast)  /* really   |  dust */
7654                         goto thats_all_folks;        /* screams  |  sed :-) */
7655                 }
7656             }
7657             else {
7658                 Copy(ptr, bp, cnt, char);            /* this     |  eat */
7659                 bp += cnt;                           /* screams  |  dust */
7660                 ptr += cnt;                          /* louder   |  sed :-) */
7661                 cnt = 0;
7662                 assert (!shortbuffered);
7663                 goto cannot_be_shortbuffered;
7664             }
7665         }
7666         
7667         if (shortbuffered) {            /* oh well, must extend */
7668             cnt = shortbuffered;
7669             shortbuffered = 0;
7670             bpx = bp - (STDCHAR*)SvPVX_const(sv); /* box up before relocation */
7671             SvCUR_set(sv, bpx);
7672             SvGROW(sv, SvLEN(sv) + append + cnt + 2);
7673             bp = (STDCHAR*)SvPVX_const(sv) + bpx; /* unbox after relocation */
7674             continue;
7675         }
7676
7677     cannot_be_shortbuffered:
7678         DEBUG_P(PerlIO_printf(Perl_debug_log,
7679                               "Screamer: going to getc, ptr=%"UVuf", cnt=%ld\n",
7680                               PTR2UV(ptr),(long)cnt));
7681         PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt); /* deregisterize cnt and ptr */
7682
7683         DEBUG_Pv(PerlIO_printf(Perl_debug_log,
7684             "Screamer: pre: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
7685             PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
7686             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
7687
7688         /* This used to call 'filbuf' in stdio form, but as that behaves like
7689            getc when cnt <= 0 we use PerlIO_getc here to avoid introducing
7690            another abstraction.  */
7691         i   = PerlIO_getc(fp);          /* get more characters */
7692
7693         DEBUG_Pv(PerlIO_printf(Perl_debug_log,
7694             "Screamer: post: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
7695             PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
7696             PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
7697
7698         cnt = PerlIO_get_cnt(fp);
7699         ptr = (STDCHAR*)PerlIO_get_ptr(fp);     /* reregisterize cnt and ptr */
7700         DEBUG_P(PerlIO_printf(Perl_debug_log,
7701             "Screamer: after getc, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
7702
7703         if (i == EOF)                   /* all done for ever? */
7704             goto thats_really_all_folks;
7705
7706         bpx = bp - (STDCHAR*)SvPVX_const(sv);   /* box up before relocation */
7707         SvCUR_set(sv, bpx);
7708         SvGROW(sv, bpx + cnt + 2);
7709         bp = (STDCHAR*)SvPVX_const(sv) + bpx;   /* unbox after relocation */
7710
7711         *bp++ = (STDCHAR)i;             /* store character from PerlIO_getc */
7712
7713         if (rslen && (STDCHAR)i == rslast)  /* all done for now? */
7714             goto thats_all_folks;
7715     }
7716
7717 thats_all_folks:
7718     if ((rslen > 1 && (STRLEN)(bp - (STDCHAR*)SvPVX_const(sv)) < rslen) ||
7719           memNE((char*)bp - rslen, rsptr, rslen))
7720         goto screamer;                          /* go back to the fray */
7721 thats_really_all_folks:
7722     if (shortbuffered)
7723         cnt += shortbuffered;
7724         DEBUG_P(PerlIO_printf(Perl_debug_log,
7725             "Screamer: quitting, ptr=%"UVuf", cnt=%ld\n",PTR2UV(ptr),(long)cnt));
7726     PerlIO_set_ptrcnt(fp, (STDCHAR*)ptr, cnt);  /* put these back or we're in trouble */
7727     DEBUG_P(PerlIO_printf(Perl_debug_log,
7728         "Screamer: end: FILE * thinks ptr=%"UVuf", cnt=%ld, base=%"UVuf"\n",
7729         PTR2UV(PerlIO_get_ptr(fp)), (long)PerlIO_get_cnt(fp),
7730         PTR2UV(PerlIO_has_base (fp) ? PerlIO_get_base(fp) : 0)));
7731     *bp = '\0';
7732     SvCUR_set(sv, bp - (STDCHAR*)SvPVX_const(sv));      /* set length */
7733     DEBUG_P(PerlIO_printf(Perl_debug_log,
7734         "Screamer: done, len=%ld, string=|%.*s|\n",
7735         (long)SvCUR(sv),(int)SvCUR(sv),SvPVX_const(sv)));
7736     }
7737    else
7738     {
7739        /*The big, slow, and stupid way. */
7740 #ifdef USE_HEAP_INSTEAD_OF_STACK        /* Even slower way. */
7741         STDCHAR *buf = NULL;
7742         Newx(buf, 8192, STDCHAR);
7743         assert(buf);
7744 #else
7745         STDCHAR buf[8192];
7746 #endif
7747
7748 screamer2:
7749         if (rslen) {
7750             register const STDCHAR * const bpe = buf + sizeof(buf);
7751             bp = buf;
7752             while ((i = PerlIO_getc(fp)) != EOF && (*bp++ = (STDCHAR)i) != rslast && bp < bpe)
7753                 ; /* keep reading */
7754             cnt = bp - buf;
7755         }
7756         else {
7757             cnt = PerlIO_read(fp,(char*)buf, sizeof(buf));
7758             /* Accommodate broken VAXC compiler, which applies U8 cast to
7759              * both args of ?: operator, causing EOF to change into 255
7760              */
7761             if (cnt > 0)
7762                  i = (U8)buf[cnt - 1];
7763             else
7764                  i = EOF;
7765         }
7766
7767         if (cnt < 0)
7768             cnt = 0;  /* we do need to re-set the sv even when cnt <= 0 */
7769         if (append)
7770              sv_catpvn(sv, (char *) buf, cnt);
7771         else
7772              sv_setpvn(sv, (char *) buf, cnt);
7773
7774         if (i != EOF &&                 /* joy */
7775             (!rslen ||
7776              SvCUR(sv) < rslen ||
7777              memNE(SvPVX_const(sv) + SvCUR(sv) - rslen, rsptr, rslen)))
7778         {
7779             append = -1;
7780             /*
7781              * If we're reading from a TTY and we get a short read,
7782              * indicating that the user hit his EOF character, we need
7783              * to notice it now, because if we try to read from the TTY
7784              * again, the EOF condition will disappear.
7785              *
7786              * The comparison of cnt to sizeof(buf) is an optimization
7787              * that prevents unnecessary calls to feof().
7788              *
7789              * - jik 9/25/96
7790              */
7791             if (!(cnt < (I32)sizeof(buf) && PerlIO_eof(fp)))
7792                 goto screamer2;
7793         }
7794
7795 #ifdef USE_HEAP_INSTEAD_OF_STACK
7796         Safefree(buf);
7797 #endif
7798     }
7799
7800     if (rspara) {               /* have to do this both before and after */
7801         while (i != EOF) {      /* to make sure file boundaries work right */
7802             i = PerlIO_getc(fp);
7803             if (i != '\n') {
7804                 PerlIO_ungetc(fp,i);
7805                 break;
7806             }
7807         }
7808     }
7809
7810     return (SvCUR(sv) - append) ? SvPVX(sv) : NULL;
7811 }
7812
7813 /*
7814 =for apidoc sv_inc
7815
7816 Auto-increment of the value in the SV, doing string to numeric conversion
7817 if necessary. Handles 'get' magic and operator overloading.
7818
7819 =cut
7820 */
7821
7822 void
7823 Perl_sv_inc(pTHX_ register SV *const sv)
7824 {
7825     if (!sv)
7826         return;
7827     SvGETMAGIC(sv);
7828     sv_inc_nomg(sv);
7829 }
7830
7831 /*
7832 =for apidoc sv_inc_nomg
7833
7834 Auto-increment of the value in the SV, doing string to numeric conversion
7835 if necessary. Handles operator overloading. Skips handling 'get' magic.
7836
7837 =cut
7838 */
7839
7840 void
7841 Perl_sv_inc_nomg(pTHX_ register SV *const sv)
7842 {
7843     dVAR;
7844     register char *d;
7845     int flags;
7846
7847     if (!sv)
7848         return;
7849     if (SvTHINKFIRST(sv)) {
7850         if (SvIsCOW(sv))
7851             sv_force_normal_flags(sv, 0);
7852         if (SvREADONLY(sv)) {
7853             if (IN_PERL_RUNTIME)
7854                 Perl_croak_no_modify(aTHX);
7855         }
7856         if (SvROK(sv)) {
7857             IV i;
7858             if (SvAMAGIC(sv) && AMG_CALLunary(sv, inc_amg))
7859                 return;
7860             i = PTR2IV(SvRV(sv));
7861             sv_unref(sv);
7862             sv_setiv(sv, i);
7863         }
7864     }
7865     flags = SvFLAGS(sv);
7866     if ((flags & (SVp_NOK|SVp_IOK)) == SVp_NOK) {
7867         /* It's (privately or publicly) a float, but not tested as an
7868            integer, so test it to see. */
7869         (void) SvIV(sv);
7870         flags = SvFLAGS(sv);
7871     }
7872     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
7873         /* It's publicly an integer, or privately an integer-not-float */
7874 #ifdef PERL_PRESERVE_IVUV
7875       oops_its_int:
7876 #endif
7877         if (SvIsUV(sv)) {
7878             if (SvUVX(sv) == UV_MAX)
7879                 sv_setnv(sv, UV_MAX_P1);
7880             else
7881                 (void)SvIOK_only_UV(sv);
7882                 SvUV_set(sv, SvUVX(sv) + 1);
7883         } else {
7884             if (SvIVX(sv) == IV_MAX)
7885                 sv_setuv(sv, (UV)IV_MAX + 1);
7886             else {
7887                 (void)SvIOK_only(sv);
7888                 SvIV_set(sv, SvIVX(sv) + 1);
7889             }   
7890         }
7891         return;
7892     }
7893     if (flags & SVp_NOK) {
7894         const NV was = SvNVX(sv);
7895         if (NV_OVERFLOWS_INTEGERS_AT &&
7896             was >= NV_OVERFLOWS_INTEGERS_AT) {
7897             Perl_ck_warner(aTHX_ packWARN(WARN_IMPRECISION),
7898                            "Lost precision when incrementing %" NVff " by 1",
7899                            was);
7900         }
7901         (void)SvNOK_only(sv);
7902         SvNV_set(sv, was + 1.0);
7903         return;
7904     }
7905
7906     if (!(flags & SVp_POK) || !*SvPVX_const(sv)) {
7907         if ((flags & SVTYPEMASK) < SVt_PVIV)
7908             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV ? SVt_PVIV : SVt_IV));
7909         (void)SvIOK_only(sv);
7910         SvIV_set(sv, 1);
7911         return;
7912     }
7913     d = SvPVX(sv);
7914     while (isALPHA(*d)) d++;
7915     while (isDIGIT(*d)) d++;
7916     if (d < SvEND(sv)) {
7917 #ifdef PERL_PRESERVE_IVUV
7918         /* Got to punt this as an integer if needs be, but we don't issue
7919            warnings. Probably ought to make the sv_iv_please() that does
7920            the conversion if possible, and silently.  */
7921         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), NULL);
7922         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
7923             /* Need to try really hard to see if it's an integer.
7924                9.22337203685478e+18 is an integer.
7925                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
7926                so $a="9.22337203685478e+18"; $a+0; $a++
7927                needs to be the same as $a="9.22337203685478e+18"; $a++
7928                or we go insane. */
7929         
7930             (void) sv_2iv(sv);
7931             if (SvIOK(sv))
7932                 goto oops_its_int;
7933
7934             /* sv_2iv *should* have made this an NV */
7935             if (flags & SVp_NOK) {
7936                 (void)SvNOK_only(sv);
7937                 SvNV_set(sv, SvNVX(sv) + 1.0);
7938                 return;
7939             }
7940             /* I don't think we can get here. Maybe I should assert this
7941                And if we do get here I suspect that sv_setnv will croak. NWC
7942                Fall through. */
7943 #if defined(USE_LONG_DOUBLE)
7944             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_inc punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"PERL_PRIgldbl"\n",
7945                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
7946 #else
7947             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_inc punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"NVgf"\n",
7948                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
7949 #endif
7950         }
7951 #endif /* PERL_PRESERVE_IVUV */
7952         sv_setnv(sv,Atof(SvPVX_const(sv)) + 1.0);
7953         return;
7954     }
7955     d--;
7956     while (d >= SvPVX_const(sv)) {
7957         if (isDIGIT(*d)) {
7958             if (++*d <= '9')
7959                 return;
7960             *(d--) = '0';
7961         }
7962         else {
7963 #ifdef EBCDIC
7964             /* MKS: The original code here died if letters weren't consecutive.
7965              * at least it didn't have to worry about non-C locales.  The
7966              * new code assumes that ('z'-'a')==('Z'-'A'), letters are
7967              * arranged in order (although not consecutively) and that only
7968              * [A-Za-z] are accepted by isALPHA in the C locale.
7969              */
7970             if (*d != 'z' && *d != 'Z') {
7971                 do { ++*d; } while (!isALPHA(*d));
7972                 return;
7973             }
7974             *(d--) -= 'z' - 'a';
7975 #else
7976             ++*d;
7977             if (isALPHA(*d))
7978                 return;
7979             *(d--) -= 'z' - 'a' + 1;
7980 #endif
7981         }
7982     }
7983     /* oh,oh, the number grew */
7984     SvGROW(sv, SvCUR(sv) + 2);
7985     SvCUR_set(sv, SvCUR(sv) + 1);
7986     for (d = SvPVX(sv) + SvCUR(sv); d > SvPVX_const(sv); d--)
7987         *d = d[-1];
7988     if (isDIGIT(d[1]))
7989         *d = '1';
7990     else
7991         *d = d[1];
7992 }
7993
7994 /*
7995 =for apidoc sv_dec
7996
7997 Auto-decrement of the value in the SV, doing string to numeric conversion
7998 if necessary. Handles 'get' magic and operator overloading.
7999
8000 =cut
8001 */
8002
8003 void
8004 Perl_sv_dec(pTHX_ register SV *const sv)
8005 {
8006     dVAR;
8007     if (!sv)
8008         return;
8009     SvGETMAGIC(sv);
8010     sv_dec_nomg(sv);
8011 }
8012
8013 /*
8014 =for apidoc sv_dec_nomg
8015
8016 Auto-decrement of the value in the SV, doing string to numeric conversion
8017 if necessary. Handles operator overloading. Skips handling 'get' magic.
8018
8019 =cut
8020 */
8021
8022 void
8023 Perl_sv_dec_nomg(pTHX_ register SV *const sv)
8024 {
8025     dVAR;
8026     int flags;
8027
8028     if (!sv)
8029         return;
8030     if (SvTHINKFIRST(sv)) {
8031         if (SvIsCOW(sv))
8032             sv_force_normal_flags(sv, 0);
8033         if (SvREADONLY(sv)) {
8034             if (IN_PERL_RUNTIME)
8035                 Perl_croak_no_modify(aTHX);
8036         }
8037         if (SvROK(sv)) {
8038             IV i;
8039             if (SvAMAGIC(sv) && AMG_CALLunary(sv, dec_amg))
8040                 return;
8041             i = PTR2IV(SvRV(sv));
8042             sv_unref(sv);
8043             sv_setiv(sv, i);
8044         }
8045     }
8046     /* Unlike sv_inc we don't have to worry about string-never-numbers
8047        and keeping them magic. But we mustn't warn on punting */
8048     flags = SvFLAGS(sv);
8049     if ((flags & SVf_IOK) || ((flags & (SVp_IOK | SVp_NOK)) == SVp_IOK)) {
8050         /* It's publicly an integer, or privately an integer-not-float */
8051 #ifdef PERL_PRESERVE_IVUV
8052       oops_its_int:
8053 #endif
8054         if (SvIsUV(sv)) {
8055             if (SvUVX(sv) == 0) {
8056                 (void)SvIOK_only(sv);
8057                 SvIV_set(sv, -1);
8058             }
8059             else {
8060                 (void)SvIOK_only_UV(sv);
8061                 SvUV_set(sv, SvUVX(sv) - 1);
8062             }   
8063         } else {
8064             if (SvIVX(sv) == IV_MIN) {
8065                 sv_setnv(sv, (NV)IV_MIN);
8066                 goto oops_its_num;
8067             }
8068             else {
8069                 (void)SvIOK_only(sv);
8070                 SvIV_set(sv, SvIVX(sv) - 1);
8071             }   
8072         }
8073         return;
8074     }
8075     if (flags & SVp_NOK) {
8076     oops_its_num:
8077         {
8078             const NV was = SvNVX(sv);
8079             if (NV_OVERFLOWS_INTEGERS_AT &&
8080                 was <= -NV_OVERFLOWS_INTEGERS_AT) {
8081                 Perl_ck_warner(aTHX_ packWARN(WARN_IMPRECISION),
8082                                "Lost precision when decrementing %" NVff " by 1",
8083                                was);
8084             }
8085             (void)SvNOK_only(sv);
8086             SvNV_set(sv, was - 1.0);
8087             return;
8088         }
8089     }
8090     if (!(flags & SVp_POK)) {
8091         if ((flags & SVTYPEMASK) < SVt_PVIV)
8092             sv_upgrade(sv, ((flags & SVTYPEMASK) > SVt_IV) ? SVt_PVIV : SVt_IV);
8093         SvIV_set(sv, -1);
8094         (void)SvIOK_only(sv);
8095         return;
8096     }
8097 #ifdef PERL_PRESERVE_IVUV
8098     {
8099         const int numtype = grok_number(SvPVX_const(sv), SvCUR(sv), NULL);
8100         if (numtype && !(numtype & IS_NUMBER_INFINITY)) {
8101             /* Need to try really hard to see if it's an integer.
8102                9.22337203685478e+18 is an integer.
8103                but "9.22337203685478e+18" + 0 is UV=9223372036854779904
8104                so $a="9.22337203685478e+18"; $a+0; $a--
8105                needs to be the same as $a="9.22337203685478e+18"; $a--
8106                or we go insane. */
8107         
8108             (void) sv_2iv(sv);
8109             if (SvIOK(sv))
8110                 goto oops_its_int;
8111
8112             /* sv_2iv *should* have made this an NV */
8113             if (flags & SVp_NOK) {
8114                 (void)SvNOK_only(sv);
8115                 SvNV_set(sv, SvNVX(sv) - 1.0);
8116                 return;
8117             }
8118             /* I don't think we can get here. Maybe I should assert this
8119                And if we do get here I suspect that sv_setnv will croak. NWC
8120                Fall through. */
8121 #if defined(USE_LONG_DOUBLE)
8122             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_dec punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"PERL_PRIgldbl"\n",
8123                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
8124 #else
8125             DEBUG_c(PerlIO_printf(Perl_debug_log,"sv_dec punt failed to convert '%s' to IOK or NOKp, UV=0x%"UVxf" NV=%"NVgf"\n",
8126                                   SvPVX_const(sv), SvIVX(sv), SvNVX(sv)));
8127 #endif
8128         }
8129     }
8130 #endif /* PERL_PRESERVE_IVUV */
8131     sv_setnv(sv,Atof(SvPVX_const(sv)) - 1.0);   /* punt */
8132 }
8133
8134 /* this define is used to eliminate a chunk of duplicated but shared logic
8135  * it has the suffix __SV_C to signal that it isnt API, and isnt meant to be
8136  * used anywhere but here - yves
8137  */
8138 #define PUSH_EXTEND_MORTAL__SV_C(AnSv) \
8139     STMT_START {      \
8140         EXTEND_MORTAL(1); \
8141         PL_tmps_stack[++PL_tmps_ix] = (AnSv); \
8142     } STMT_END
8143
8144 /*
8145 =for apidoc sv_mortalcopy
8146
8147 Creates a new SV which is a copy of the original SV (using C<sv_setsv>).
8148 The new SV is marked as mortal. It will be destroyed "soon", either by an
8149 explicit call to FREETMPS, or by an implicit call at places such as
8150 statement boundaries.  See also C<sv_newmortal> and C<sv_2mortal>.
8151
8152 =cut
8153 */
8154
8155 /* Make a string that will exist for the duration of the expression
8156  * evaluation.  Actually, it may have to last longer than that, but
8157  * hopefully we won't free it until it has been assigned to a
8158  * permanent location. */
8159
8160 SV *
8161 Perl_sv_mortalcopy(pTHX_ SV *const oldstr)
8162 {
8163     dVAR;
8164     register SV *sv;
8165
8166     new_SV(sv);
8167     sv_setsv(sv,oldstr);
8168     PUSH_EXTEND_MORTAL__SV_C(sv);
8169     SvTEMP_on(sv);
8170     return sv;
8171 }
8172
8173 /*
8174 =for apidoc sv_newmortal
8175
8176 Creates a new null SV which is mortal.  The reference count of the SV is
8177 set to 1. It will be destroyed "soon", either by an explicit call to
8178 FREETMPS, or by an implicit call at places such as statement boundaries.
8179 See also C<sv_mortalcopy> and C<sv_2mortal>.
8180
8181 =cut
8182 */
8183
8184 SV *
8185 Perl_sv_newmortal(pTHX)
8186 {
8187     dVAR;
8188     register SV *sv;
8189
8190     new_SV(sv);
8191     SvFLAGS(sv) = SVs_TEMP;
8192     PUSH_EXTEND_MORTAL__SV_C(sv);
8193     return sv;
8194 }
8195
8196
8197 /*
8198 =for apidoc newSVpvn_flags
8199
8200 Creates a new SV and copies a string into it.  The reference count for the
8201 SV is set to 1.  Note that if C<len> is zero, Perl will create a zero length
8202 string.  You are responsible for ensuring that the source string is at least
8203 C<len> bytes long.  If the C<s> argument is NULL the new SV will be undefined.
8204 Currently the only flag bits accepted are C<SVf_UTF8> and C<SVs_TEMP>.
8205 If C<SVs_TEMP> is set, then C<sv_2mortal()> is called on the result before
8206 returning. If C<SVf_UTF8> is set, C<s> is considered to be in UTF-8 and the
8207 C<SVf_UTF8> flag will be set on the new SV.
8208 C<newSVpvn_utf8()> is a convenience wrapper for this function, defined as
8209
8210     #define newSVpvn_utf8(s, len, u)                    \
8211         newSVpvn_flags((s), (len), (u) ? SVf_UTF8 : 0)
8212
8213 =cut
8214 */
8215
8216 SV *
8217 Perl_newSVpvn_flags(pTHX_ const char *const s, const STRLEN len, const U32 flags)
8218 {
8219     dVAR;
8220     register SV *sv;
8221
8222     /* All the flags we don't support must be zero.
8223        And we're new code so I'm going to assert this from the start.  */
8224     assert(!(flags & ~(SVf_UTF8|SVs_TEMP)));
8225     new_SV(sv);
8226     sv_setpvn(sv,s,len);
8227
8228     /* This code used to a sv_2mortal(), however we now unroll the call to sv_2mortal()
8229      * and do what it does ourselves here.
8230      * Since we have asserted that flags can only have the SVf_UTF8 and/or SVs_TEMP flags
8231      * set above we can use it to enable the sv flags directly (bypassing SvTEMP_on), which
8232      * in turn means we dont need to mask out the SVf_UTF8 flag below, which means that we
8233      * eliminate quite a few steps than it looks - Yves (explaining patch by gfx)
8234      */
8235
8236     SvFLAGS(sv) |= flags;
8237
8238     if(flags & SVs_TEMP){
8239         PUSH_EXTEND_MORTAL__SV_C(sv);
8240     }
8241
8242     return sv;
8243 }
8244
8245 /*
8246 =for apidoc sv_2mortal
8247
8248 Marks an existing SV as mortal.  The SV will be destroyed "soon", either
8249 by an explicit call to FREETMPS, or by an implicit call at places such as
8250 statement boundaries.  SvTEMP() is turned on which means that the SV's
8251 string buffer can be "stolen" if this SV is copied. See also C<sv_newmortal>
8252 and C<sv_mortalcopy>.
8253
8254 =cut
8255 */
8256
8257 SV *
8258 Perl_sv_2mortal(pTHX_ register SV *const sv)
8259 {
8260     dVAR;
8261     if (!sv)
8262         return NULL;
8263     if (SvREADONLY(sv) && SvIMMORTAL(sv))
8264         return sv;
8265     PUSH_EXTEND_MORTAL__SV_C(sv);
8266     SvTEMP_on(sv);
8267     return sv;
8268 }
8269
8270 /*
8271 =for apidoc newSVpv
8272
8273 Creates a new SV and copies a string into it.  The reference count for the
8274 SV is set to 1.  If C<len> is zero, Perl will compute the length using
8275 strlen().  For efficiency, consider using C<newSVpvn> instead.
8276
8277 =cut
8278 */
8279
8280 SV *
8281 Perl_newSVpv(pTHX_ const char *const s, const STRLEN len)
8282 {
8283     dVAR;
8284     register SV *sv;
8285
8286     new_SV(sv);
8287     sv_setpvn(sv, s, len || s == NULL ? len : strlen(s));
8288     return sv;
8289 }
8290
8291 /*
8292 =for apidoc newSVpvn
8293
8294 Creates a new SV and copies a string into it.  The reference count for the
8295 SV is set to 1.  Note that if C<len> is zero, Perl will create a zero length
8296 string.  You are responsible for ensuring that the source string is at least
8297 C<len> bytes long.  If the C<s> argument is NULL the new SV will be undefined.
8298
8299 =cut
8300 */
8301
8302 SV *
8303 Perl_newSVpvn(pTHX_ const char *const s, const STRLEN len)
8304 {
8305     dVAR;
8306     register SV *sv;
8307
8308     new_SV(sv);
8309     sv_setpvn(sv,s,len);
8310     return sv;
8311 }
8312
8313 /*
8314 =for apidoc newSVhek
8315
8316 Creates a new SV from the hash key structure.  It will generate scalars that
8317 point to the shared string table where possible. Returns a new (undefined)
8318 SV if the hek is NULL.
8319
8320 =cut
8321 */
8322
8323 SV *
8324 Perl_newSVhek(pTHX_ const HEK *const hek)
8325 {
8326     dVAR;
8327     if (!hek) {
8328         SV *sv;
8329
8330         new_SV(sv);
8331         return sv;
8332     }
8333
8334     if (HEK_LEN(hek) == HEf_SVKEY) {
8335         return newSVsv(*(SV**)HEK_KEY(hek));
8336     } else {
8337         const int flags = HEK_FLAGS(hek);
8338         if (flags & HVhek_WASUTF8) {
8339             /* Trouble :-)
8340                Andreas would like keys he put in as utf8 to come back as utf8
8341             */
8342             STRLEN utf8_len = HEK_LEN(hek);
8343             SV * const sv = newSV_type(SVt_PV);
8344             char *as_utf8 = (char *)bytes_to_utf8 ((U8*)HEK_KEY(hek), &utf8_len);
8345             /* bytes_to_utf8() allocates a new string, which we can repurpose: */
8346             sv_usepvn_flags(sv, as_utf8, utf8_len, SV_HAS_TRAILING_NUL);
8347             SvUTF8_on (sv);
8348             return sv;
8349         } else if (flags & (HVhek_REHASH|HVhek_UNSHARED)) {
8350             /* We don't have a pointer to the hv, so we have to replicate the
8351                flag into every HEK. This hv is using custom a hasing
8352                algorithm. Hence we can't return a shared string scalar, as
8353                that would contain the (wrong) hash value, and might get passed
8354                into an hv routine with a regular hash.
8355                Similarly, a hash that isn't using shared hash keys has to have
8356                the flag in every key so that we know not to try to call
8357                share_hek_kek on it.  */
8358
8359             SV * const sv = newSVpvn (HEK_KEY(hek), HEK_LEN(hek));
8360             if (HEK_UTF8(hek))
8361                 SvUTF8_on (sv);
8362             return sv;
8363         }
8364         /* This will be overwhelminly the most common case.  */
8365         {
8366             /* Inline most of newSVpvn_share(), because share_hek_hek() is far
8367                more efficient than sharepvn().  */
8368             SV *sv;
8369
8370             new_SV(sv);
8371             sv_upgrade(sv, SVt_PV);
8372             SvPV_set(sv, (char *)HEK_KEY(share_hek_hek(hek)));
8373             SvCUR_set(sv, HEK_LEN(hek));
8374             SvLEN_set(sv, 0);
8375             SvREADONLY_on(sv);
8376             SvFAKE_on(sv);
8377             SvPOK_on(sv);
8378             if (HEK_UTF8(hek))
8379                 SvUTF8_on(sv);
8380             return sv;
8381         }
8382     }
8383 }
8384
8385 /*
8386 =for apidoc newSVpvn_share
8387
8388 Creates a new SV with its SvPVX_const pointing to a shared string in the string
8389 table. If the string does not already exist in the table, it is created
8390 first.  Turns on READONLY and FAKE. If the C<hash> parameter is non-zero, that
8391 value is used; otherwise the hash is computed. The string's hash can be later
8392 be retrieved from the SV with the C<SvSHARED_HASH()> macro. The idea here is
8393 that as the string table is used for shared hash keys these strings will have
8394 SvPVX_const == HeKEY and hash lookup will avoid string compare.
8395
8396 =cut
8397 */
8398
8399 SV *
8400 Perl_newSVpvn_share(pTHX_ const char *src, I32 len, U32 hash)
8401 {
8402     dVAR;
8403     register SV *sv;
8404     bool is_utf8 = FALSE;
8405     const char *const orig_src = src;
8406
8407     if (len < 0) {
8408         STRLEN tmplen = -len;
8409         is_utf8 = TRUE;
8410         /* See the note in hv.c:hv_fetch() --jhi */
8411         src = (char*)bytes_from_utf8((const U8*)src, &tmplen, &is_utf8);
8412         len = tmplen;
8413     }
8414     if (!hash)
8415         PERL_HASH(hash, src, len);
8416     new_SV(sv);
8417     /* The logic for this is inlined in S_mro_get_linear_isa_dfs(), so if it
8418        changes here, update it there too.  */
8419     sv_upgrade(sv, SVt_PV);
8420     SvPV_set(sv, sharepvn(src, is_utf8?-len:len, hash));
8421     SvCUR_set(sv, len);
8422     SvLEN_set(sv, 0);
8423     SvREADONLY_on(sv);
8424     SvFAKE_on(sv);
8425     SvPOK_on(sv);
8426     if (is_utf8)
8427         SvUTF8_on(sv);
8428     if (src != orig_src)
8429         Safefree(src);
8430     return sv;
8431 }
8432
8433 /*
8434 =for apidoc newSVpv_share
8435
8436 Like C<newSVpvn_share>, but takes a nul-terminated string instead of a
8437 string/length pair.
8438
8439 =cut
8440 */
8441
8442 SV *
8443 Perl_newSVpv_share(pTHX_ const char *src, U32 hash)
8444 {
8445     return newSVpvn_share(src, strlen(src), hash);
8446 }
8447
8448 #if defined(PERL_IMPLICIT_CONTEXT)
8449
8450 /* pTHX_ magic can't cope with varargs, so this is a no-context
8451  * version of the main function, (which may itself be aliased to us).
8452  * Don't access this version directly.
8453  */
8454
8455 SV *
8456 Perl_newSVpvf_nocontext(const char *const pat, ...)
8457 {
8458     dTHX;
8459     register SV *sv;
8460     va_list args;
8461
8462     PERL_ARGS_ASSERT_NEWSVPVF_NOCONTEXT;
8463
8464     va_start(args, pat);
8465     sv = vnewSVpvf(pat, &args);
8466     va_end(args);
8467     return sv;
8468 }
8469 #endif
8470
8471 /*
8472 =for apidoc newSVpvf
8473
8474 Creates a new SV and initializes it with the string formatted like
8475 C<sprintf>.
8476
8477 =cut
8478 */
8479
8480 SV *
8481 Perl_newSVpvf(pTHX_ const char *const pat, ...)
8482 {
8483     register SV *sv;
8484     va_list args;
8485
8486     PERL_ARGS_ASSERT_NEWSVPVF;
8487
8488     va_start(args, pat);
8489     sv = vnewSVpvf(pat, &args);
8490     va_end(args);
8491     return sv;
8492 }
8493
8494 /* backend for newSVpvf() and newSVpvf_nocontext() */
8495
8496 SV *
8497 Perl_vnewSVpvf(pTHX_ const char *const pat, va_list *const args)
8498 {
8499     dVAR;
8500     register SV *sv;
8501
8502     PERL_ARGS_ASSERT_VNEWSVPVF;
8503
8504     new_SV(sv);
8505     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
8506     return sv;
8507 }
8508
8509 /*
8510 =for apidoc newSVnv
8511
8512 Creates a new SV and copies a floating point value into it.
8513 The reference count for the SV is set to 1.
8514
8515 =cut
8516 */
8517
8518 SV *
8519 Perl_newSVnv(pTHX_ const NV n)
8520 {
8521     dVAR;
8522     register SV *sv;
8523
8524     new_SV(sv);
8525     sv_setnv(sv,n);
8526     return sv;
8527 }
8528
8529 /*
8530 =for apidoc newSViv
8531
8532 Creates a new SV and copies an integer into it.  The reference count for the
8533 SV is set to 1.
8534
8535 =cut
8536 */
8537
8538 SV *
8539 Perl_newSViv(pTHX_ const IV i)
8540 {
8541     dVAR;
8542     register SV *sv;
8543
8544     new_SV(sv);
8545     sv_setiv(sv,i);
8546     return sv;
8547 }
8548
8549 /*
8550 =for apidoc newSVuv
8551
8552 Creates a new SV and copies an unsigned integer into it.
8553 The reference count for the SV is set to 1.
8554
8555 =cut
8556 */
8557
8558 SV *
8559 Perl_newSVuv(pTHX_ const UV u)
8560 {
8561     dVAR;
8562     register SV *sv;
8563
8564     new_SV(sv);
8565     sv_setuv(sv,u);
8566     return sv;
8567 }
8568
8569 /*
8570 =for apidoc newSV_type
8571
8572 Creates a new SV, of the type specified.  The reference count for the new SV
8573 is set to 1.
8574
8575 =cut
8576 */
8577
8578 SV *
8579 Perl_newSV_type(pTHX_ const svtype type)
8580 {
8581     register SV *sv;
8582
8583     new_SV(sv);
8584     sv_upgrade(sv, type);
8585     return sv;
8586 }
8587
8588 /*
8589 =for apidoc newRV_noinc
8590
8591 Creates an RV wrapper for an SV.  The reference count for the original
8592 SV is B<not> incremented.
8593
8594 =cut
8595 */
8596
8597 SV *
8598 Perl_newRV_noinc(pTHX_ SV *const tmpRef)
8599 {
8600     dVAR;
8601     register SV *sv = newSV_type(SVt_IV);
8602
8603     PERL_ARGS_ASSERT_NEWRV_NOINC;
8604
8605     SvTEMP_off(tmpRef);
8606     SvRV_set(sv, tmpRef);
8607     SvROK_on(sv);
8608     return sv;
8609 }
8610
8611 /* newRV_inc is the official function name to use now.
8612  * newRV_inc is in fact #defined to newRV in sv.h
8613  */
8614
8615 SV *
8616 Perl_newRV(pTHX_ SV *const sv)
8617 {
8618     dVAR;
8619
8620     PERL_ARGS_ASSERT_NEWRV;
8621
8622     return newRV_noinc(SvREFCNT_inc_simple_NN(sv));
8623 }
8624
8625 /*
8626 =for apidoc newSVsv
8627
8628 Creates a new SV which is an exact duplicate of the original SV.
8629 (Uses C<sv_setsv>).
8630
8631 =cut
8632 */
8633
8634 SV *
8635 Perl_newSVsv(pTHX_ register SV *const old)
8636 {
8637     dVAR;
8638     register SV *sv;
8639
8640     if (!old)
8641         return NULL;
8642     if (SvTYPE(old) == SVTYPEMASK) {
8643         Perl_ck_warner_d(aTHX_ packWARN(WARN_INTERNAL), "semi-panic: attempt to dup freed string");
8644         return NULL;
8645     }
8646     new_SV(sv);
8647     /* SV_GMAGIC is the default for sv_setv()
8648        SV_NOSTEAL prevents TEMP buffers being, well, stolen, and saves games
8649        with SvTEMP_off and SvTEMP_on round a call to sv_setsv.  */
8650     sv_setsv_flags(sv, old, SV_GMAGIC | SV_NOSTEAL);
8651     return sv;
8652 }
8653
8654 /*
8655 =for apidoc sv_reset
8656
8657 Underlying implementation for the C<reset> Perl function.
8658 Note that the perl-level function is vaguely deprecated.
8659
8660 =cut
8661 */
8662
8663 void
8664 Perl_sv_reset(pTHX_ register const char *s, HV *const stash)
8665 {
8666     dVAR;
8667     char todo[PERL_UCHAR_MAX+1];
8668
8669     PERL_ARGS_ASSERT_SV_RESET;
8670
8671     if (!stash)
8672         return;
8673
8674     if (!*s) {          /* reset ?? searches */
8675         MAGIC * const mg = mg_find((const SV *)stash, PERL_MAGIC_symtab);
8676         if (mg) {
8677             const U32 count = mg->mg_len / sizeof(PMOP**);
8678             PMOP **pmp = (PMOP**) mg->mg_ptr;
8679             PMOP *const *const end = pmp + count;
8680
8681             while (pmp < end) {
8682 #ifdef USE_ITHREADS
8683                 SvREADONLY_off(PL_regex_pad[(*pmp)->op_pmoffset]);
8684 #else
8685                 (*pmp)->op_pmflags &= ~PMf_USED;
8686 #endif
8687                 ++pmp;
8688             }
8689         }
8690         return;
8691     }
8692
8693     /* reset variables */
8694
8695     if (!HvARRAY(stash))
8696         return;
8697
8698     Zero(todo, 256, char);
8699     while (*s) {
8700         I32 max;
8701         I32 i = (unsigned char)*s;
8702         if (s[1] == '-') {
8703             s += 2;
8704         }
8705         max = (unsigned char)*s++;
8706         for ( ; i <= max; i++) {
8707             todo[i] = 1;
8708         }
8709         for (i = 0; i <= (I32) HvMAX(stash); i++) {
8710             HE *entry;
8711             for (entry = HvARRAY(stash)[i];
8712                  entry;
8713                  entry = HeNEXT(entry))
8714             {
8715                 register GV *gv;
8716                 register SV *sv;
8717
8718                 if (!todo[(U8)*HeKEY(entry)])
8719                     continue;
8720                 gv = MUTABLE_GV(HeVAL(entry));
8721                 sv = GvSV(gv);
8722                 if (sv) {
8723                     if (SvTHINKFIRST(sv)) {
8724                         if (!SvREADONLY(sv) && SvROK(sv))
8725                             sv_unref(sv);
8726                         /* XXX Is this continue a bug? Why should THINKFIRST
8727                            exempt us from resetting arrays and hashes?  */
8728                         continue;
8729                     }
8730                     SvOK_off(sv);
8731                     if (SvTYPE(sv) >= SVt_PV) {
8732                         SvCUR_set(sv, 0);
8733                         if (SvPVX_const(sv) != NULL)
8734                             *SvPVX(sv) = '\0';
8735                         SvTAINT(sv);
8736                     }
8737                 }
8738                 if (GvAV(gv)) {
8739                     av_clear(GvAV(gv));
8740                 }
8741                 if (GvHV(gv) && !HvNAME_get(GvHV(gv))) {
8742 #if defined(VMS)
8743                     Perl_die(aTHX_ "Can't reset %%ENV on this system");
8744 #else /* ! VMS */
8745                     hv_clear(GvHV(gv));
8746 #  if defined(USE_ENVIRON_ARRAY)
8747                     if (gv == PL_envgv)
8748                         my_clearenv();
8749 #  endif /* USE_ENVIRON_ARRAY */
8750 #endif /* VMS */
8751                 }
8752             }
8753         }
8754     }
8755 }
8756
8757 /*
8758 =for apidoc sv_2io
8759
8760 Using various gambits, try to get an IO from an SV: the IO slot if its a
8761 GV; or the recursive result if we're an RV; or the IO slot of the symbol
8762 named after the PV if we're a string.
8763
8764 =cut
8765 */
8766
8767 IO*
8768 Perl_sv_2io(pTHX_ SV *const sv)
8769 {
8770     IO* io;
8771     GV* gv;
8772
8773     PERL_ARGS_ASSERT_SV_2IO;
8774
8775     switch (SvTYPE(sv)) {
8776     case SVt_PVIO:
8777         io = MUTABLE_IO(sv);
8778         break;
8779     case SVt_PVGV:
8780     case SVt_PVLV:
8781         if (isGV_with_GP(sv)) {
8782             gv = MUTABLE_GV(sv);
8783             io = GvIO(gv);
8784             if (!io)
8785                 Perl_croak(aTHX_ "Bad filehandle: %s", GvNAME(gv));
8786             break;
8787         }
8788         /* FALL THROUGH */
8789     default:
8790         if (!SvOK(sv))
8791             Perl_croak(aTHX_ PL_no_usym, "filehandle");
8792         if (SvROK(sv))
8793             return sv_2io(SvRV(sv));
8794         gv = gv_fetchsv(sv, 0, SVt_PVIO);
8795         if (gv)
8796             io = GvIO(gv);
8797         else
8798             io = 0;
8799         if (!io)
8800             Perl_croak(aTHX_ "Bad filehandle: %"SVf, SVfARG(sv));
8801         break;
8802     }
8803     return io;
8804 }
8805
8806 /*
8807 =for apidoc sv_2cv
8808
8809 Using various gambits, try to get a CV from an SV; in addition, try if
8810 possible to set C<*st> and C<*gvp> to the stash and GV associated with it.
8811 The flags in C<lref> are passed to gv_fetchsv.
8812
8813 =cut
8814 */
8815
8816 CV *
8817 Perl_sv_2cv(pTHX_ SV *sv, HV **const st, GV **const gvp, const I32 lref)
8818 {
8819     dVAR;
8820     GV *gv = NULL;
8821     CV *cv = NULL;
8822
8823     PERL_ARGS_ASSERT_SV_2CV;
8824
8825     if (!sv) {
8826         *st = NULL;
8827         *gvp = NULL;
8828         return NULL;
8829     }
8830     switch (SvTYPE(sv)) {
8831     case SVt_PVCV:
8832         *st = CvSTASH(sv);
8833         *gvp = NULL;
8834         return MUTABLE_CV(sv);
8835     case SVt_PVHV:
8836     case SVt_PVAV:
8837         *st = NULL;
8838         *gvp = NULL;
8839         return NULL;
8840     case SVt_PVGV:
8841         if (isGV_with_GP(sv)) {
8842             gv = MUTABLE_GV(sv);
8843             *gvp = gv;
8844             *st = GvESTASH(gv);
8845             goto fix_gv;
8846         }
8847         /* FALL THROUGH */
8848
8849     default:
8850         if (SvROK(sv)) {
8851             SvGETMAGIC(sv);
8852             if (SvAMAGIC(sv))
8853                 sv = amagic_deref_call(sv, to_cv_amg);
8854             /* At this point I'd like to do SPAGAIN, but really I need to
8855                force it upon my callers. Hmmm. This is a mess... */
8856
8857             sv = SvRV(sv);
8858             if (SvTYPE(sv) == SVt_PVCV) {
8859                 cv = MUTABLE_CV(sv);
8860                 *gvp = NULL;
8861                 *st = CvSTASH(cv);
8862                 return cv;
8863             }
8864             else if(isGV_with_GP(sv))
8865                 gv = MUTABLE_GV(sv);
8866             else
8867                 Perl_croak(aTHX_ "Not a subroutine reference");
8868         }
8869         else if (isGV_with_GP(sv)) {
8870             SvGETMAGIC(sv);
8871             gv = MUTABLE_GV(sv);
8872         }
8873         else
8874             gv = gv_fetchsv(sv, lref, SVt_PVCV); /* Calls get magic */
8875         *gvp = gv;
8876         if (!gv) {
8877             *st = NULL;
8878             return NULL;
8879         }
8880         /* Some flags to gv_fetchsv mean don't really create the GV  */
8881         if (!isGV_with_GP(gv)) {
8882             *st = NULL;
8883             return NULL;
8884         }
8885         *st = GvESTASH(gv);
8886     fix_gv:
8887         if (lref && !GvCVu(gv)) {
8888             SV *tmpsv;
8889             ENTER;
8890             tmpsv = newSV(0);
8891             gv_efullname3(tmpsv, gv, NULL);
8892             /* XXX this is probably not what they think they're getting.
8893              * It has the same effect as "sub name;", i.e. just a forward
8894              * declaration! */
8895             newSUB(start_subparse(FALSE, 0),
8896                    newSVOP(OP_CONST, 0, tmpsv),
8897                    NULL, NULL);
8898             LEAVE;
8899             if (!GvCVu(gv))
8900                 Perl_croak(aTHX_ "Unable to create sub named \"%"SVf"\"",
8901                            SVfARG(SvOK(sv) ? sv : &PL_sv_no));
8902         }
8903         return GvCVu(gv);
8904     }
8905 }
8906
8907 /*
8908 =for apidoc sv_true
8909
8910 Returns true if the SV has a true value by Perl's rules.
8911 Use the C<SvTRUE> macro instead, which may call C<sv_true()> or may
8912 instead use an in-line version.
8913
8914 =cut
8915 */
8916
8917 I32
8918 Perl_sv_true(pTHX_ register SV *const sv)
8919 {
8920     if (!sv)
8921         return 0;
8922     if (SvPOK(sv)) {
8923         register const XPV* const tXpv = (XPV*)SvANY(sv);
8924         if (tXpv &&
8925                 (tXpv->xpv_cur > 1 ||
8926                 (tXpv->xpv_cur && *sv->sv_u.svu_pv != '0')))
8927             return 1;
8928         else
8929             return 0;
8930     }
8931     else {
8932         if (SvIOK(sv))
8933             return SvIVX(sv) != 0;
8934         else {
8935             if (SvNOK(sv))
8936                 return SvNVX(sv) != 0.0;
8937             else
8938                 return sv_2bool(sv);
8939         }
8940     }
8941 }
8942
8943 /*
8944 =for apidoc sv_pvn_force
8945
8946 Get a sensible string out of the SV somehow.
8947 A private implementation of the C<SvPV_force> macro for compilers which
8948 can't cope with complex macro expressions. Always use the macro instead.
8949
8950 =for apidoc sv_pvn_force_flags
8951
8952 Get a sensible string out of the SV somehow.
8953 If C<flags> has C<SV_GMAGIC> bit set, will C<mg_get> on C<sv> if
8954 appropriate, else not. C<sv_pvn_force> and C<sv_pvn_force_nomg> are
8955 implemented in terms of this function.
8956 You normally want to use the various wrapper macros instead: see
8957 C<SvPV_force> and C<SvPV_force_nomg>
8958
8959 =cut
8960 */
8961
8962 char *
8963 Perl_sv_pvn_force_flags(pTHX_ SV *const sv, STRLEN *const lp, const I32 flags)
8964 {
8965     dVAR;
8966
8967     PERL_ARGS_ASSERT_SV_PVN_FORCE_FLAGS;
8968
8969     if (SvTHINKFIRST(sv) && !SvROK(sv))
8970         sv_force_normal_flags(sv, 0);
8971
8972     if (SvPOK(sv)) {
8973         if (lp)
8974             *lp = SvCUR(sv);
8975     }
8976     else {
8977         char *s;
8978         STRLEN len;
8979  
8980         if (SvREADONLY(sv) && !(flags & SV_MUTABLE_RETURN)) {
8981             const char * const ref = sv_reftype(sv,0);
8982             if (PL_op)
8983                 Perl_croak(aTHX_ "Can't coerce readonly %s to string in %s",
8984                            ref, OP_DESC(PL_op));
8985             else
8986                 Perl_croak(aTHX_ "Can't coerce readonly %s to string", ref);
8987         }
8988         if ((SvTYPE(sv) > SVt_PVLV && SvTYPE(sv) != SVt_PVFM)
8989             || isGV_with_GP(sv))
8990             /* diag_listed_as: Can't coerce %s to %s in %s */
8991             Perl_croak(aTHX_ "Can't coerce %s to string in %s", sv_reftype(sv,0),
8992                 OP_DESC(PL_op));
8993         s = sv_2pv_flags(sv, &len, flags);
8994         if (lp)
8995             *lp = len;
8996
8997         if (s != SvPVX_const(sv)) {     /* Almost, but not quite, sv_setpvn() */
8998             if (SvROK(sv))
8999                 sv_unref(sv);
9000             SvUPGRADE(sv, SVt_PV);              /* Never FALSE */
9001             SvGROW(sv, len + 1);
9002             Move(s,SvPVX(sv),len,char);
9003             SvCUR_set(sv, len);
9004             SvPVX(sv)[len] = '\0';
9005         }
9006         if (!SvPOK(sv)) {
9007             SvPOK_on(sv);               /* validate pointer */
9008             SvTAINT(sv);
9009             DEBUG_c(PerlIO_printf(Perl_debug_log, "0x%"UVxf" 2pv(%s)\n",
9010                                   PTR2UV(sv),SvPVX_const(sv)));
9011         }
9012     }
9013     return SvPVX_mutable(sv);
9014 }
9015
9016 /*
9017 =for apidoc sv_pvbyten_force
9018
9019 The backend for the C<SvPVbytex_force> macro. Always use the macro instead.
9020
9021 =cut
9022 */
9023
9024 char *
9025 Perl_sv_pvbyten_force(pTHX_ SV *const sv, STRLEN *const lp)
9026 {
9027     PERL_ARGS_ASSERT_SV_PVBYTEN_FORCE;
9028
9029     sv_pvn_force(sv,lp);
9030     sv_utf8_downgrade(sv,0);
9031     *lp = SvCUR(sv);
9032     return SvPVX(sv);
9033 }
9034
9035 /*
9036 =for apidoc sv_pvutf8n_force
9037
9038 The backend for the C<SvPVutf8x_force> macro. Always use the macro instead.
9039
9040 =cut
9041 */
9042
9043 char *
9044 Perl_sv_pvutf8n_force(pTHX_ SV *const sv, STRLEN *const lp)
9045 {
9046     PERL_ARGS_ASSERT_SV_PVUTF8N_FORCE;
9047
9048     sv_pvn_force(sv,lp);
9049     sv_utf8_upgrade(sv);
9050     *lp = SvCUR(sv);
9051     return SvPVX(sv);
9052 }
9053
9054 /*
9055 =for apidoc sv_reftype
9056
9057 Returns a string describing what the SV is a reference to.
9058
9059 =cut
9060 */
9061
9062 const char *
9063 Perl_sv_reftype(pTHX_ const SV *const sv, const int ob)
9064 {
9065     PERL_ARGS_ASSERT_SV_REFTYPE;
9066
9067     /* The fact that I don't need to downcast to char * everywhere, only in ?:
9068        inside return suggests a const propagation bug in g++.  */
9069     if (ob && SvOBJECT(sv)) {
9070         char * const name = HvNAME_get(SvSTASH(sv));
9071         return name ? name : (char *) "__ANON__";
9072     }
9073     else {
9074         switch (SvTYPE(sv)) {
9075         case SVt_NULL:
9076         case SVt_IV:
9077         case SVt_NV:
9078         case SVt_PV:
9079         case SVt_PVIV:
9080         case SVt_PVNV:
9081         case SVt_PVMG:
9082                                 if (SvVOK(sv))
9083                                     return "VSTRING";
9084                                 if (SvROK(sv))
9085                                     return "REF";
9086                                 else
9087                                     return "SCALAR";
9088
9089         case SVt_PVLV:          return (char *)  (SvROK(sv) ? "REF"
9090                                 /* tied lvalues should appear to be
9091                                  * scalars for backwards compatibility */
9092                                 : (LvTYPE(sv) == 't' || LvTYPE(sv) == 'T')
9093                                     ? "SCALAR" : "LVALUE");
9094         case SVt_PVAV:          return "ARRAY";
9095         case SVt_PVHV:          return "HASH";
9096         case SVt_PVCV:          return "CODE";
9097         case SVt_PVGV:          return (char *) (isGV_with_GP(sv)
9098                                     ? "GLOB" : "SCALAR");
9099         case SVt_PVFM:          return "FORMAT";
9100         case SVt_PVIO:          return "IO";
9101         case SVt_BIND:          return "BIND";
9102         case SVt_REGEXP:        return "REGEXP";
9103         default:                return "UNKNOWN";
9104         }
9105     }
9106 }
9107
9108 /*
9109 =for apidoc sv_isobject
9110
9111 Returns a boolean indicating whether the SV is an RV pointing to a blessed
9112 object.  If the SV is not an RV, or if the object is not blessed, then this
9113 will return false.
9114
9115 =cut
9116 */
9117
9118 int
9119 Perl_sv_isobject(pTHX_ SV *sv)
9120 {
9121     if (!sv)
9122         return 0;
9123     SvGETMAGIC(sv);
9124     if (!SvROK(sv))
9125         return 0;
9126     sv = SvRV(sv);
9127     if (!SvOBJECT(sv))
9128         return 0;
9129     return 1;
9130 }
9131
9132 /*
9133 =for apidoc sv_isa
9134
9135 Returns a boolean indicating whether the SV is blessed into the specified
9136 class.  This does not check for subtypes; use C<sv_derived_from> to verify
9137 an inheritance relationship.
9138
9139 =cut
9140 */
9141
9142 int
9143 Perl_sv_isa(pTHX_ SV *sv, const char *const name)
9144 {
9145     const char *hvname;
9146
9147     PERL_ARGS_ASSERT_SV_ISA;
9148
9149     if (!sv)
9150         return 0;
9151     SvGETMAGIC(sv);
9152     if (!SvROK(sv))
9153         return 0;
9154     sv = SvRV(sv);
9155     if (!SvOBJECT(sv))
9156         return 0;
9157     hvname = HvNAME_get(SvSTASH(sv));
9158     if (!hvname)
9159         return 0;
9160
9161     return strEQ(hvname, name);
9162 }
9163
9164 /*
9165 =for apidoc newSVrv
9166
9167 Creates a new SV for the RV, C<rv>, to point to.  If C<rv> is not an RV then
9168 it will be upgraded to one.  If C<classname> is non-null then the new SV will
9169 be blessed in the specified package.  The new SV is returned and its
9170 reference count is 1.
9171
9172 =cut
9173 */
9174
9175 SV*
9176 Perl_newSVrv(pTHX_ SV *const rv, const char *const classname)
9177 {
9178     dVAR;
9179     SV *sv;
9180
9181     PERL_ARGS_ASSERT_NEWSVRV;
9182
9183     new_SV(sv);
9184
9185     SV_CHECK_THINKFIRST_COW_DROP(rv);
9186     (void)SvAMAGIC_off(rv);
9187
9188     if (SvTYPE(rv) >= SVt_PVMG) {
9189         const U32 refcnt = SvREFCNT(rv);
9190         SvREFCNT(rv) = 0;
9191         sv_clear(rv);
9192         SvFLAGS(rv) = 0;
9193         SvREFCNT(rv) = refcnt;
9194
9195         sv_upgrade(rv, SVt_IV);
9196     } else if (SvROK(rv)) {
9197         SvREFCNT_dec(SvRV(rv));
9198     } else {
9199         prepare_SV_for_RV(rv);
9200     }
9201
9202     SvOK_off(rv);
9203     SvRV_set(rv, sv);
9204     SvROK_on(rv);
9205
9206     if (classname) {
9207         HV* const stash = gv_stashpv(classname, GV_ADD);
9208         (void)sv_bless(rv, stash);
9209     }
9210     return sv;
9211 }
9212
9213 /*
9214 =for apidoc sv_setref_pv
9215
9216 Copies a pointer into a new SV, optionally blessing the SV.  The C<rv>
9217 argument will be upgraded to an RV.  That RV will be modified to point to
9218 the new SV.  If the C<pv> argument is NULL then C<PL_sv_undef> will be placed
9219 into the SV.  The C<classname> argument indicates the package for the
9220 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
9221 will have a reference count of 1, and the RV will be returned.
9222
9223 Do not use with other Perl types such as HV, AV, SV, CV, because those
9224 objects will become corrupted by the pointer copy process.
9225
9226 Note that C<sv_setref_pvn> copies the string while this copies the pointer.
9227
9228 =cut
9229 */
9230
9231 SV*
9232 Perl_sv_setref_pv(pTHX_ SV *const rv, const char *const classname, void *const pv)
9233 {
9234     dVAR;
9235
9236     PERL_ARGS_ASSERT_SV_SETREF_PV;
9237
9238     if (!pv) {
9239         sv_setsv(rv, &PL_sv_undef);
9240         SvSETMAGIC(rv);
9241     }
9242     else
9243         sv_setiv(newSVrv(rv,classname), PTR2IV(pv));
9244     return rv;
9245 }
9246
9247 /*
9248 =for apidoc sv_setref_iv
9249
9250 Copies an integer into a new SV, optionally blessing the SV.  The C<rv>
9251 argument will be upgraded to an RV.  That RV will be modified to point to
9252 the new SV.  The C<classname> argument indicates the package for the
9253 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
9254 will have a reference count of 1, and the RV will be returned.
9255
9256 =cut
9257 */
9258
9259 SV*
9260 Perl_sv_setref_iv(pTHX_ SV *const rv, const char *const classname, const IV iv)
9261 {
9262     PERL_ARGS_ASSERT_SV_SETREF_IV;
9263
9264     sv_setiv(newSVrv(rv,classname), iv);
9265     return rv;
9266 }
9267
9268 /*
9269 =for apidoc sv_setref_uv
9270
9271 Copies an unsigned integer into a new SV, optionally blessing the SV.  The C<rv>
9272 argument will be upgraded to an RV.  That RV will be modified to point to
9273 the new SV.  The C<classname> argument indicates the package for the
9274 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
9275 will have a reference count of 1, and the RV will be returned.
9276
9277 =cut
9278 */
9279
9280 SV*
9281 Perl_sv_setref_uv(pTHX_ SV *const rv, const char *const classname, const UV uv)
9282 {
9283     PERL_ARGS_ASSERT_SV_SETREF_UV;
9284
9285     sv_setuv(newSVrv(rv,classname), uv);
9286     return rv;
9287 }
9288
9289 /*
9290 =for apidoc sv_setref_nv
9291
9292 Copies a double into a new SV, optionally blessing the SV.  The C<rv>
9293 argument will be upgraded to an RV.  That RV will be modified to point to
9294 the new SV.  The C<classname> argument indicates the package for the
9295 blessing.  Set C<classname> to C<NULL> to avoid the blessing.  The new SV
9296 will have a reference count of 1, and the RV will be returned.
9297
9298 =cut
9299 */
9300
9301 SV*
9302 Perl_sv_setref_nv(pTHX_ SV *const rv, const char *const classname, const NV nv)
9303 {
9304     PERL_ARGS_ASSERT_SV_SETREF_NV;
9305
9306     sv_setnv(newSVrv(rv,classname), nv);
9307     return rv;
9308 }
9309
9310 /*
9311 =for apidoc sv_setref_pvn
9312
9313 Copies a string into a new SV, optionally blessing the SV.  The length of the
9314 string must be specified with C<n>.  The C<rv> argument will be upgraded to
9315 an RV.  That RV will be modified to point to the new SV.  The C<classname>
9316 argument indicates the package for the blessing.  Set C<classname> to
9317 C<NULL> to avoid the blessing.  The new SV will have a reference count
9318 of 1, and the RV will be returned.
9319
9320 Note that C<sv_setref_pv> copies the pointer while this copies the string.
9321
9322 =cut
9323 */
9324
9325 SV*
9326 Perl_sv_setref_pvn(pTHX_ SV *const rv, const char *const classname,
9327                    const char *const pv, const STRLEN n)
9328 {
9329     PERL_ARGS_ASSERT_SV_SETREF_PVN;
9330
9331     sv_setpvn(newSVrv(rv,classname), pv, n);
9332     return rv;
9333 }
9334
9335 /*
9336 =for apidoc sv_bless
9337
9338 Blesses an SV into a specified package.  The SV must be an RV.  The package
9339 must be designated by its stash (see C<gv_stashpv()>).  The reference count
9340 of the SV is unaffected.
9341
9342 =cut
9343 */
9344
9345 SV*
9346 Perl_sv_bless(pTHX_ SV *const sv, HV *const stash)
9347 {
9348     dVAR;
9349     SV *tmpRef;
9350
9351     PERL_ARGS_ASSERT_SV_BLESS;
9352
9353     if (!SvROK(sv))
9354         Perl_croak(aTHX_ "Can't bless non-reference value");
9355     tmpRef = SvRV(sv);
9356     if (SvFLAGS(tmpRef) & (SVs_OBJECT|SVf_READONLY)) {
9357         if (SvIsCOW(tmpRef))
9358             sv_force_normal_flags(tmpRef, 0);
9359         if (SvREADONLY(tmpRef))
9360             Perl_croak_no_modify(aTHX);
9361         if (SvOBJECT(tmpRef)) {
9362             if (SvTYPE(tmpRef) != SVt_PVIO)
9363                 --PL_sv_objcount;
9364             SvREFCNT_dec(SvSTASH(tmpRef));
9365         }
9366     }
9367     SvOBJECT_on(tmpRef);
9368     if (SvTYPE(tmpRef) != SVt_PVIO)
9369         ++PL_sv_objcount;
9370     SvUPGRADE(tmpRef, SVt_PVMG);
9371     SvSTASH_set(tmpRef, MUTABLE_HV(SvREFCNT_inc_simple(stash)));
9372
9373     if (Gv_AMG(stash))
9374         SvAMAGIC_on(sv);
9375     else
9376         (void)SvAMAGIC_off(sv);
9377
9378     if(SvSMAGICAL(tmpRef))
9379         if(mg_find(tmpRef, PERL_MAGIC_ext) || mg_find(tmpRef, PERL_MAGIC_uvar))
9380             mg_set(tmpRef);
9381
9382
9383
9384     return sv;
9385 }
9386
9387 /* Downgrades a PVGV to a PVMG. If it’s actually a PVLV, we leave the type
9388  * as it is after unglobbing it.
9389  */
9390
9391 STATIC void
9392 S_sv_unglob(pTHX_ SV *const sv)
9393 {
9394     dVAR;
9395     void *xpvmg;
9396     HV *stash;
9397     SV * const temp = sv_newmortal();
9398
9399     PERL_ARGS_ASSERT_SV_UNGLOB;
9400
9401     assert(SvTYPE(sv) == SVt_PVGV || SvTYPE(sv) == SVt_PVLV);
9402     SvFAKE_off(sv);
9403     gv_efullname3(temp, MUTABLE_GV(sv), "*");
9404
9405     if (GvGP(sv)) {
9406         if(GvCVu((const GV *)sv) && (stash = GvSTASH(MUTABLE_GV(sv)))
9407            && HvNAME_get(stash))
9408             mro_method_changed_in(stash);
9409         gp_free(MUTABLE_GV(sv));
9410     }
9411     if (GvSTASH(sv)) {
9412         sv_del_backref(MUTABLE_SV(GvSTASH(sv)), sv);
9413         GvSTASH(sv) = NULL;
9414     }
9415     GvMULTI_off(sv);
9416     if (GvNAME_HEK(sv)) {
9417         unshare_hek(GvNAME_HEK(sv));
9418     }
9419     isGV_with_GP_off(sv);
9420
9421     if(SvTYPE(sv) == SVt_PVGV) {
9422         /* need to keep SvANY(sv) in the right arena */
9423         xpvmg = new_XPVMG();
9424         StructCopy(SvANY(sv), xpvmg, XPVMG);
9425         del_XPVGV(SvANY(sv));
9426         SvANY(sv) = xpvmg;
9427
9428         SvFLAGS(sv) &= ~SVTYPEMASK;
9429         SvFLAGS(sv) |= SVt_PVMG;
9430     }
9431
9432     /* Intentionally not calling any local SET magic, as this isn't so much a
9433        set operation as merely an internal storage change.  */
9434     sv_setsv_flags(sv, temp, 0);
9435 }
9436
9437 /*
9438 =for apidoc sv_unref_flags
9439
9440 Unsets the RV status of the SV, and decrements the reference count of
9441 whatever was being referenced by the RV.  This can almost be thought of
9442 as a reversal of C<newSVrv>.  The C<cflags> argument can contain
9443 C<SV_IMMEDIATE_UNREF> to force the reference count to be decremented
9444 (otherwise the decrementing is conditional on the reference count being
9445 different from one or the reference being a readonly SV).
9446 See C<SvROK_off>.
9447
9448 =cut
9449 */
9450
9451 void
9452 Perl_sv_unref_flags(pTHX_ SV *const ref, const U32 flags)
9453 {
9454     SV* const target = SvRV(ref);
9455
9456     PERL_ARGS_ASSERT_SV_UNREF_FLAGS;
9457
9458     if (SvWEAKREF(ref)) {
9459         sv_del_backref(target, ref);
9460         SvWEAKREF_off(ref);
9461         SvRV_set(ref, NULL);
9462         return;
9463     }
9464     SvRV_set(ref, NULL);
9465     SvROK_off(ref);
9466     /* You can't have a || SvREADONLY(target) here, as $a = $$a, where $a was
9467        assigned to as BEGIN {$a = \"Foo"} will fail.  */
9468     if (SvREFCNT(target) != 1 || (flags & SV_IMMEDIATE_UNREF))
9469         SvREFCNT_dec(target);
9470     else /* XXX Hack, but hard to make $a=$a->[1] work otherwise */
9471         sv_2mortal(target);     /* Schedule for freeing later */
9472 }
9473
9474 /*
9475 =for apidoc sv_untaint
9476
9477 Untaint an SV. Use C<SvTAINTED_off> instead.
9478
9479 =cut
9480 */
9481
9482 void
9483 Perl_sv_untaint(pTHX_ SV *const sv)
9484 {
9485     PERL_ARGS_ASSERT_SV_UNTAINT;
9486
9487     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
9488         MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
9489         if (mg)
9490             mg->mg_len &= ~1;
9491     }
9492 }
9493
9494 /*
9495 =for apidoc sv_tainted
9496
9497 Test an SV for taintedness. Use C<SvTAINTED> instead.
9498
9499 =cut
9500 */
9501
9502 bool
9503 Perl_sv_tainted(pTHX_ SV *const sv)
9504 {
9505     PERL_ARGS_ASSERT_SV_TAINTED;
9506
9507     if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
9508         const MAGIC * const mg = mg_find(sv, PERL_MAGIC_taint);
9509         if (mg && (mg->mg_len & 1) )
9510             return TRUE;
9511     }
9512     return FALSE;
9513 }
9514
9515 /*
9516 =for apidoc sv_setpviv
9517
9518 Copies an integer into the given SV, also updating its string value.
9519 Does not handle 'set' magic.  See C<sv_setpviv_mg>.
9520
9521 =cut
9522 */
9523
9524 void
9525 Perl_sv_setpviv(pTHX_ SV *const sv, const IV iv)
9526 {
9527     char buf[TYPE_CHARS(UV)];
9528     char *ebuf;
9529     char * const ptr = uiv_2buf(buf, iv, 0, 0, &ebuf);
9530
9531     PERL_ARGS_ASSERT_SV_SETPVIV;
9532
9533     sv_setpvn(sv, ptr, ebuf - ptr);
9534 }
9535
9536 /*
9537 =for apidoc sv_setpviv_mg
9538
9539 Like C<sv_setpviv>, but also handles 'set' magic.
9540
9541 =cut
9542 */
9543
9544 void
9545 Perl_sv_setpviv_mg(pTHX_ SV *const sv, const IV iv)
9546 {
9547     PERL_ARGS_ASSERT_SV_SETPVIV_MG;
9548
9549     sv_setpviv(sv, iv);
9550     SvSETMAGIC(sv);
9551 }
9552
9553 #if defined(PERL_IMPLICIT_CONTEXT)
9554
9555 /* pTHX_ magic can't cope with varargs, so this is a no-context
9556  * version of the main function, (which may itself be aliased to us).
9557  * Don't access this version directly.
9558  */
9559
9560 void
9561 Perl_sv_setpvf_nocontext(SV *const sv, const char *const pat, ...)
9562 {
9563     dTHX;
9564     va_list args;
9565
9566     PERL_ARGS_ASSERT_SV_SETPVF_NOCONTEXT;
9567
9568     va_start(args, pat);
9569     sv_vsetpvf(sv, pat, &args);
9570     va_end(args);
9571 }
9572
9573 /* pTHX_ magic can't cope with varargs, so this is a no-context
9574  * version of the main function, (which may itself be aliased to us).
9575  * Don't access this version directly.
9576  */
9577
9578 void
9579 Perl_sv_setpvf_mg_nocontext(SV *const sv, const char *const pat, ...)
9580 {
9581     dTHX;
9582     va_list args;
9583
9584     PERL_ARGS_ASSERT_SV_SETPVF_MG_NOCONTEXT;
9585
9586     va_start(args, pat);
9587     sv_vsetpvf_mg(sv, pat, &args);
9588     va_end(args);
9589 }
9590 #endif
9591
9592 /*
9593 =for apidoc sv_setpvf
9594
9595 Works like C<sv_catpvf> but copies the text into the SV instead of
9596 appending it.  Does not handle 'set' magic.  See C<sv_setpvf_mg>.
9597
9598 =cut
9599 */
9600
9601 void
9602 Perl_sv_setpvf(pTHX_ SV *const sv, const char *const pat, ...)
9603 {
9604     va_list args;
9605
9606     PERL_ARGS_ASSERT_SV_SETPVF;
9607
9608     va_start(args, pat);
9609     sv_vsetpvf(sv, pat, &args);
9610     va_end(args);
9611 }
9612
9613 /*
9614 =for apidoc sv_vsetpvf
9615
9616 Works like C<sv_vcatpvf> but copies the text into the SV instead of
9617 appending it.  Does not handle 'set' magic.  See C<sv_vsetpvf_mg>.
9618
9619 Usually used via its frontend C<sv_setpvf>.
9620
9621 =cut
9622 */
9623
9624 void
9625 Perl_sv_vsetpvf(pTHX_ SV *const sv, const char *const pat, va_list *const args)
9626 {
9627     PERL_ARGS_ASSERT_SV_VSETPVF;
9628
9629     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
9630 }
9631
9632 /*
9633 =for apidoc sv_setpvf_mg
9634
9635 Like C<sv_setpvf>, but also handles 'set' magic.
9636
9637 =cut
9638 */
9639
9640 void
9641 Perl_sv_setpvf_mg(pTHX_ SV *const sv, const char *const pat, ...)
9642 {
9643     va_list args;
9644
9645     PERL_ARGS_ASSERT_SV_SETPVF_MG;
9646
9647     va_start(args, pat);
9648     sv_vsetpvf_mg(sv, pat, &args);
9649     va_end(args);
9650 }
9651
9652 /*
9653 =for apidoc sv_vsetpvf_mg
9654
9655 Like C<sv_vsetpvf>, but also handles 'set' magic.
9656
9657 Usually used via its frontend C<sv_setpvf_mg>.
9658
9659 =cut
9660 */
9661
9662 void
9663 Perl_sv_vsetpvf_mg(pTHX_ SV *const sv, const char *const pat, va_list *const args)
9664 {
9665     PERL_ARGS_ASSERT_SV_VSETPVF_MG;
9666
9667     sv_vsetpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
9668     SvSETMAGIC(sv);
9669 }
9670
9671 #if defined(PERL_IMPLICIT_CONTEXT)
9672
9673 /* pTHX_ magic can't cope with varargs, so this is a no-context
9674  * version of the main function, (which may itself be aliased to us).
9675  * Don't access this version directly.
9676  */
9677
9678 void
9679 Perl_sv_catpvf_nocontext(SV *const sv, const char *const pat, ...)
9680 {
9681     dTHX;
9682     va_list args;
9683
9684     PERL_ARGS_ASSERT_SV_CATPVF_NOCONTEXT;
9685
9686     va_start(args, pat);
9687     sv_vcatpvf(sv, pat, &args);
9688     va_end(args);
9689 }
9690
9691 /* pTHX_ magic can't cope with varargs, so this is a no-context
9692  * version of the main function, (which may itself be aliased to us).
9693  * Don't access this version directly.
9694  */
9695
9696 void
9697 Perl_sv_catpvf_mg_nocontext(SV *const sv, const char *const pat, ...)
9698 {
9699     dTHX;
9700     va_list args;
9701
9702     PERL_ARGS_ASSERT_SV_CATPVF_MG_NOCONTEXT;
9703
9704     va_start(args, pat);
9705     sv_vcatpvf_mg(sv, pat, &args);
9706     va_end(args);
9707 }
9708 #endif
9709
9710 /*
9711 =for apidoc sv_catpvf
9712
9713 Processes its arguments like C<sprintf> and appends the formatted
9714 output to an SV.  If the appended data contains "wide" characters
9715 (including, but not limited to, SVs with a UTF-8 PV formatted with %s,
9716 and characters >255 formatted with %c), the original SV might get
9717 upgraded to UTF-8.  Handles 'get' magic, but not 'set' magic.  See
9718 C<sv_catpvf_mg>. If the original SV was UTF-8, the pattern should be
9719 valid UTF-8; if the original SV was bytes, the pattern should be too.
9720
9721 =cut */
9722
9723 void
9724 Perl_sv_catpvf(pTHX_ SV *const sv, const char *const pat, ...)
9725 {
9726     va_list args;
9727
9728     PERL_ARGS_ASSERT_SV_CATPVF;
9729
9730     va_start(args, pat);
9731     sv_vcatpvf(sv, pat, &args);
9732     va_end(args);
9733 }
9734
9735 /*
9736 =for apidoc sv_vcatpvf
9737
9738 Processes its arguments like C<vsprintf> and appends the formatted output
9739 to an SV.  Does not handle 'set' magic.  See C<sv_vcatpvf_mg>.
9740
9741 Usually used via its frontend C<sv_catpvf>.
9742
9743 =cut
9744 */
9745
9746 void
9747 Perl_sv_vcatpvf(pTHX_ SV *const sv, const char *const pat, va_list *const args)
9748 {
9749     PERL_ARGS_ASSERT_SV_VCATPVF;
9750
9751     sv_vcatpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
9752 }
9753
9754 /*
9755 =for apidoc sv_catpvf_mg
9756
9757 Like C<sv_catpvf>, but also handles 'set' magic.
9758
9759 =cut
9760 */
9761
9762 void
9763 Perl_sv_catpvf_mg(pTHX_ SV *const sv, const char *const pat, ...)
9764 {
9765     va_list args;
9766
9767     PERL_ARGS_ASSERT_SV_CATPVF_MG;
9768
9769     va_start(args, pat);
9770     sv_vcatpvf_mg(sv, pat, &args);
9771     va_end(args);
9772 }
9773
9774 /*
9775 =for apidoc sv_vcatpvf_mg
9776
9777 Like C<sv_vcatpvf>, but also handles 'set' magic.
9778
9779 Usually used via its frontend C<sv_catpvf_mg>.
9780
9781 =cut
9782 */
9783
9784 void
9785 Perl_sv_vcatpvf_mg(pTHX_ SV *const sv, const char *const pat, va_list *const args)
9786 {
9787     PERL_ARGS_ASSERT_SV_VCATPVF_MG;
9788
9789     sv_vcatpvfn(sv, pat, strlen(pat), args, NULL, 0, NULL);
9790     SvSETMAGIC(sv);
9791 }
9792
9793 /*
9794 =for apidoc sv_vsetpvfn
9795
9796 Works like C<sv_vcatpvfn> but copies the text into the SV instead of
9797 appending it.
9798
9799 Usually used via one of its frontends C<sv_vsetpvf> and C<sv_vsetpvf_mg>.
9800
9801 =cut
9802 */
9803
9804 void
9805 Perl_sv_vsetpvfn(pTHX_ SV *const sv, const char *const pat, const STRLEN patlen,
9806                  va_list *const args, SV **const svargs, const I32 svmax, bool *const maybe_tainted)
9807 {
9808     PERL_ARGS_ASSERT_SV_VSETPVFN;
9809
9810     sv_setpvs(sv, "");
9811     sv_vcatpvfn(sv, pat, patlen, args, svargs, svmax, maybe_tainted);
9812 }
9813
9814
9815 /*
9816  * Warn of missing argument to sprintf, and then return a defined value
9817  * to avoid inappropriate "use of uninit" warnings [perl #71000].
9818  */
9819 #define WARN_MISSING WARN_UNINITIALIZED /* Not sure we want a new category */
9820 STATIC SV*
9821 S_vcatpvfn_missing_argument(pTHX) {
9822     if (ckWARN(WARN_MISSING)) {
9823         Perl_warner(aTHX_ packWARN(WARN_MISSING), "Missing argument in %s",
9824                 PL_op ? OP_DESC(PL_op) : "sv_vcatpvfn()");
9825     }
9826     return &PL_sv_no;
9827 }
9828
9829
9830 STATIC I32
9831 S_expect_number(pTHX_ char **const pattern)
9832 {
9833     dVAR;
9834     I32 var = 0;
9835
9836     PERL_ARGS_ASSERT_EXPECT_NUMBER;
9837
9838     switch (**pattern) {
9839     case '1': case '2': case '3':
9840     case '4': case '5': case '6':
9841     case '7': case '8': case '9':
9842         var = *(*pattern)++ - '0';
9843         while (isDIGIT(**pattern)) {
9844             const I32 tmp = var * 10 + (*(*pattern)++ - '0');
9845             if (tmp < var)
9846                 Perl_croak(aTHX_ "Integer overflow in format string for %s", (PL_op ? OP_DESC(PL_op) : "sv_vcatpvfn"));
9847             var = tmp;
9848         }
9849     }
9850     return var;
9851 }
9852
9853 STATIC char *
9854 S_F0convert(NV nv, char *const endbuf, STRLEN *const len)
9855 {
9856     const int neg = nv < 0;
9857     UV uv;
9858
9859     PERL_ARGS_ASSERT_F0CONVERT;
9860
9861     if (neg)
9862         nv = -nv;
9863     if (nv < UV_MAX) {
9864         char *p = endbuf;
9865         nv += 0.5;
9866         uv = (UV)nv;
9867         if (uv & 1 && uv == nv)
9868             uv--;                       /* Round to even */
9869         do {
9870             const unsigned dig = uv % 10;
9871             *--p = '0' + dig;
9872         } while (uv /= 10);
9873         if (neg)
9874             *--p = '-';
9875         *len = endbuf - p;
9876         return p;
9877     }
9878     return NULL;
9879 }
9880
9881
9882 /*
9883 =for apidoc sv_vcatpvfn
9884
9885 Processes its arguments like C<vsprintf> and appends the formatted output
9886 to an SV.  Uses an array of SVs if the C style variable argument list is
9887 missing (NULL).  When running with taint checks enabled, indicates via
9888 C<maybe_tainted> if results are untrustworthy (often due to the use of
9889 locales).
9890
9891 Usually used via one of its frontends C<sv_vcatpvf> and C<sv_vcatpvf_mg>.
9892
9893 =cut
9894 */
9895
9896
9897 #define VECTORIZE_ARGS  vecsv = va_arg(*args, SV*);\
9898                         vecstr = (U8*)SvPV_const(vecsv,veclen);\
9899                         vec_utf8 = DO_UTF8(vecsv);
9900
9901 /* XXX maybe_tainted is never assigned to, so the doc above is lying. */
9902
9903 void
9904 Perl_sv_vcatpvfn(pTHX_ SV *const sv, const char *const pat, const STRLEN patlen,
9905                  va_list *const args, SV **const svargs, const I32 svmax, bool *const maybe_tainted)
9906 {
9907     dVAR;
9908     char *p;
9909     char *q;
9910     const char *patend;
9911     STRLEN origlen;
9912     I32 svix = 0;
9913     static const char nullstr[] = "(null)";
9914     SV *argsv = NULL;
9915     bool has_utf8 = DO_UTF8(sv);    /* has the result utf8? */
9916     const bool pat_utf8 = has_utf8; /* the pattern is in utf8? */
9917     SV *nsv = NULL;
9918     /* Times 4: a decimal digit takes more than 3 binary digits.
9919      * NV_DIG: mantissa takes than many decimal digits.
9920      * Plus 32: Playing safe. */
9921     char ebuf[IV_DIG * 4 + NV_DIG + 32];
9922     /* large enough for "%#.#f" --chip */
9923     /* what about long double NVs? --jhi */
9924
9925     PERL_ARGS_ASSERT_SV_VCATPVFN;
9926     PERL_UNUSED_ARG(maybe_tainted);
9927
9928     /* no matter what, this is a string now */
9929     (void)SvPV_force(sv, origlen);
9930
9931     /* special-case "", "%s", and "%-p" (SVf - see below) */
9932     if (patlen == 0)
9933         return;
9934     if (patlen == 2 && pat[0] == '%' && pat[1] == 's') {
9935         if (args) {
9936             const char * const s = va_arg(*args, char*);
9937             sv_catpv(sv, s ? s : nullstr);
9938         }
9939         else if (svix < svmax) {
9940             sv_catsv(sv, *svargs);
9941         }
9942         else
9943             S_vcatpvfn_missing_argument(aTHX);
9944         return;
9945     }
9946     if (args && patlen == 3 && pat[0] == '%' &&
9947                 pat[1] == '-' && pat[2] == 'p') {
9948         argsv = MUTABLE_SV(va_arg(*args, void*));
9949         sv_catsv(sv, argsv);
9950         return;
9951     }
9952
9953 #ifndef USE_LONG_DOUBLE
9954     /* special-case "%.<number>[gf]" */
9955     if ( !args && patlen <= 5 && pat[0] == '%' && pat[1] == '.'
9956          && (pat[patlen-1] == 'g' || pat[patlen-1] == 'f') ) {
9957         unsigned digits = 0;
9958         const char *pp;
9959
9960         pp = pat + 2;
9961         while (*pp >= '0' && *pp <= '9')
9962             digits = 10 * digits + (*pp++ - '0');
9963         if (pp - pat == (int)patlen - 1 && svix < svmax) {
9964             const NV nv = SvNV(*svargs);
9965             if (*pp == 'g') {
9966                 /* Add check for digits != 0 because it seems that some
9967                    gconverts are buggy in this case, and we don't yet have
9968                    a Configure test for this.  */
9969                 if (digits && digits < sizeof(ebuf) - NV_DIG - 10) {
9970                      /* 0, point, slack */
9971                     Gconvert(nv, (int)digits, 0, ebuf);
9972                     sv_catpv(sv, ebuf);
9973                     if (*ebuf)  /* May return an empty string for digits==0 */
9974                         return;
9975                 }
9976             } else if (!digits) {
9977                 STRLEN l;
9978
9979                 if ((p = F0convert(nv, ebuf + sizeof ebuf, &l))) {
9980                     sv_catpvn(sv, p, l);
9981                     return;
9982                 }
9983             }
9984         }
9985     }
9986 #endif /* !USE_LONG_DOUBLE */
9987
9988     if (!args && svix < svmax && DO_UTF8(*svargs))
9989         has_utf8 = TRUE;
9990
9991     patend = (char*)pat + patlen;
9992     for (p = (char*)pat; p < patend; p = q) {
9993         bool alt = FALSE;
9994         bool left = FALSE;
9995         bool vectorize = FALSE;
9996         bool vectorarg = FALSE;
9997         bool vec_utf8 = FALSE;
9998         char fill = ' ';
9999         char plus = 0;
10000         char intsize = 0;
10001         STRLEN width = 0;
10002         STRLEN zeros = 0;
10003         bool has_precis = FALSE;
10004         STRLEN precis = 0;
10005         const I32 osvix = svix;
10006         bool is_utf8 = FALSE;  /* is this item utf8?   */
10007 #ifdef HAS_LDBL_SPRINTF_BUG
10008         /* This is to try to fix a bug with irix/nonstop-ux/powerux and
10009            with sfio - Allen <allens@cpan.org> */
10010         bool fix_ldbl_sprintf_bug = FALSE;
10011 #endif
10012
10013         char esignbuf[4];
10014         U8 utf8buf[UTF8_MAXBYTES+1];
10015         STRLEN esignlen = 0;
10016
10017         const char *eptr = NULL;
10018         const char *fmtstart;
10019         STRLEN elen = 0;
10020         SV *vecsv = NULL;
10021         const U8 *vecstr = NULL;
10022         STRLEN veclen = 0;
10023         char c = 0;
10024         int i;
10025         unsigned base = 0;
10026         IV iv = 0;
10027         UV uv = 0;
10028         /* we need a long double target in case HAS_LONG_DOUBLE but
10029            not USE_LONG_DOUBLE
10030         */
10031 #if defined(HAS_LONG_DOUBLE) && LONG_DOUBLESIZE > DOUBLESIZE
10032         long double nv;
10033 #else
10034         NV nv;
10035 #endif
10036         STRLEN have;
10037         STRLEN need;
10038         STRLEN gap;
10039         const char *dotstr = ".";
10040         STRLEN dotstrlen = 1;
10041         I32 efix = 0; /* explicit format parameter index */
10042         I32 ewix = 0; /* explicit width index */
10043         I32 epix = 0; /* explicit precision index */
10044         I32 evix = 0; /* explicit vector index */
10045         bool asterisk = FALSE;
10046
10047         /* echo everything up to the next format specification */
10048         for (q = p; q < patend && *q != '%'; ++q) ;
10049         if (q > p) {
10050             if (has_utf8 && !pat_utf8)
10051                 sv_catpvn_utf8_upgrade(sv, p, q - p, nsv);
10052             else
10053                 sv_catpvn(sv, p, q - p);
10054             p = q;
10055         }
10056         if (q++ >= patend)
10057             break;
10058
10059         fmtstart = q;
10060
10061 /*
10062     We allow format specification elements in this order:
10063         \d+\$              explicit format parameter index
10064         [-+ 0#]+           flags
10065         v|\*(\d+\$)?v      vector with optional (optionally specified) arg
10066         0                  flag (as above): repeated to allow "v02"     
10067         \d+|\*(\d+\$)?     width using optional (optionally specified) arg
10068         \.(\d*|\*(\d+\$)?) precision using optional (optionally specified) arg
10069         [hlqLV]            size
10070     [%bcdefginopsuxDFOUX] format (mandatory)
10071 */
10072
10073         if (args) {
10074 /*  
10075         As of perl5.9.3, printf format checking is on by default.
10076         Internally, perl uses %p formats to provide an escape to
10077         some extended formatting.  This block deals with those
10078         extensions: if it does not match, (char*)q is reset and
10079         the normal format processing code is used.
10080
10081         Currently defined extensions are:
10082                 %p              include pointer address (standard)      
10083                 %-p     (SVf)   include an SV (previously %_)
10084                 %-<num>p        include an SV with precision <num>      
10085                 %<num>p         reserved for future extensions
10086
10087         Robin Barker 2005-07-14
10088
10089                 %1p     (VDf)   removed.  RMB 2007-10-19
10090 */
10091             char* r = q; 
10092             bool sv = FALSE;    
10093             STRLEN n = 0;
10094             if (*q == '-')
10095                 sv = *q++;
10096             n = expect_number(&q);
10097             if (*q++ == 'p') {
10098                 if (sv) {                       /* SVf */
10099                     if (n) {
10100                         precis = n;
10101                         has_precis = TRUE;
10102                     }
10103                     argsv = MUTABLE_SV(va_arg(*args, void*));
10104                     eptr = SvPV_const(argsv, elen);
10105                     if (DO_UTF8(argsv))
10106                         is_utf8 = TRUE;
10107                     goto string;
10108                 }
10109                 else if (n) {
10110                     Perl_ck_warner_d(aTHX_ packWARN(WARN_INTERNAL),
10111                                      "internal %%<num>p might conflict with future printf extensions");
10112                 }
10113             }
10114             q = r; 
10115         }
10116
10117         if ( (width = expect_number(&q)) ) {
10118             if (*q == '$') {
10119                 ++q;
10120                 efix = width;
10121             } else {
10122                 goto gotwidth;
10123             }
10124         }
10125
10126         /* FLAGS */
10127
10128         while (*q) {
10129             switch (*q) {
10130             case ' ':
10131             case '+':
10132                 if (plus == '+' && *q == ' ') /* '+' over ' ' */
10133                     q++;
10134                 else
10135                     plus = *q++;
10136                 continue;
10137
10138             case '-':
10139                 left = TRUE;
10140                 q++;
10141                 continue;
10142
10143             case '0':
10144                 fill = *q++;
10145                 continue;
10146
10147             case '#':
10148                 alt = TRUE;
10149                 q++;
10150                 continue;
10151
10152             default:
10153                 break;
10154             }
10155             break;
10156         }
10157
10158       tryasterisk:
10159         if (*q == '*') {
10160             q++;
10161             if ( (ewix = expect_number(&q)) )
10162                 if (*q++ != '$')
10163                     goto unknown;
10164             asterisk = TRUE;
10165         }
10166         if (*q == 'v') {
10167             q++;
10168             if (vectorize)
10169                 goto unknown;
10170             if ((vectorarg = asterisk)) {
10171                 evix = ewix;
10172                 ewix = 0;
10173                 asterisk = FALSE;
10174             }
10175             vectorize = TRUE;
10176             goto tryasterisk;
10177         }
10178
10179         if (!asterisk)
10180         {
10181             if( *q == '0' )
10182                 fill = *q++;
10183             width = expect_number(&q);
10184         }
10185
10186         if (vectorize && vectorarg) {
10187             /* vectorizing, but not with the default "." */
10188             if (args)
10189                 vecsv = va_arg(*args, SV*);
10190             else if (evix) {
10191                 vecsv = (evix > 0 && evix <= svmax)
10192                     ? svargs[evix-1] : S_vcatpvfn_missing_argument(aTHX);
10193             } else {
10194                 vecsv = svix < svmax
10195                     ? svargs[svix++] : S_vcatpvfn_missing_argument(aTHX);
10196             }
10197             dotstr = SvPV_const(vecsv, dotstrlen);
10198             /* Keep the DO_UTF8 test *after* the SvPV call, else things go
10199                bad with tied or overloaded values that return UTF8.  */
10200             if (DO_UTF8(vecsv))
10201                 is_utf8 = TRUE;
10202             else if (has_utf8) {
10203                 vecsv = sv_mortalcopy(vecsv);
10204                 sv_utf8_upgrade(vecsv);
10205                 dotstr = SvPV_const(vecsv, dotstrlen);
10206                 is_utf8 = TRUE;
10207             }               
10208         }
10209
10210         if (asterisk) {
10211             if (args)
10212                 i = va_arg(*args, int);
10213             else
10214                 i = (ewix ? ewix <= svmax : svix < svmax) ?
10215                     SvIVx(svargs[ewix ? ewix-1 : svix++]) : 0;
10216             left |= (i < 0);
10217             width = (i < 0) ? -i : i;
10218         }
10219       gotwidth:
10220
10221         /* PRECISION */
10222
10223         if (*q == '.') {
10224             q++;
10225             if (*q == '*') {
10226                 q++;
10227                 if ( ((epix = expect_number(&q))) && (*q++ != '$') )
10228                     goto unknown;
10229                 /* XXX: todo, support specified precision parameter */
10230                 if (epix)
10231                     goto unknown;
10232                 if (args)
10233                     i = va_arg(*args, int);
10234                 else
10235                     i = (ewix ? ewix <= svmax : svix < svmax)
10236                         ? SvIVx(svargs[ewix ? ewix-1 : svix++]) : 0;
10237                 precis = i;
10238                 has_precis = !(i < 0);
10239             }
10240             else {
10241                 precis = 0;
10242                 while (isDIGIT(*q))
10243                     precis = precis * 10 + (*q++ - '0');
10244                 has_precis = TRUE;
10245             }
10246         }
10247
10248         if (vectorize) {
10249             if (args) {
10250                 VECTORIZE_ARGS
10251             }
10252             else if (efix ? (efix > 0 && efix <= svmax) : svix < svmax) {
10253                 vecsv = svargs[efix ? efix-1 : svix++];
10254                 vecstr = (U8*)SvPV_const(vecsv,veclen);
10255                 vec_utf8 = DO_UTF8(vecsv);
10256
10257                 /* if this is a version object, we need to convert
10258                  * back into v-string notation and then let the
10259                  * vectorize happen normally
10260                  */
10261                 if (sv_derived_from(vecsv, "version")) {
10262                     char *version = savesvpv(vecsv);
10263                     if ( hv_exists(MUTABLE_HV(SvRV(vecsv)), "alpha", 5 ) ) {
10264                         Perl_warner(aTHX_ packWARN(WARN_INTERNAL),
10265                         "vector argument not supported with alpha versions");
10266                         goto unknown;
10267                     }
10268                     vecsv = sv_newmortal();
10269                     scan_vstring(version, version + veclen, vecsv);
10270                     vecstr = (U8*)SvPV_const(vecsv, veclen);
10271                     vec_utf8 = DO_UTF8(vecsv);
10272                     Safefree(version);
10273                 }
10274             }
10275             else {
10276                 vecstr = (U8*)"";
10277                 veclen = 0;
10278             }
10279         }
10280
10281         /* SIZE */
10282
10283         switch (*q) {
10284 #ifdef WIN32
10285         case 'I':                       /* Ix, I32x, and I64x */
10286 #  ifdef WIN64
10287             if (q[1] == '6' && q[2] == '4') {
10288                 q += 3;
10289                 intsize = 'q';
10290                 break;
10291             }
10292 #  endif
10293             if (q[1] == '3' && q[2] == '2') {
10294                 q += 3;
10295                 break;
10296             }
10297 #  ifdef WIN64
10298             intsize = 'q';
10299 #  endif
10300             q++;
10301             break;
10302 #endif
10303 #if defined(HAS_QUAD) || defined(HAS_LONG_DOUBLE)
10304         case 'L':                       /* Ld */
10305             /*FALLTHROUGH*/
10306 #ifdef HAS_QUAD
10307         case 'q':                       /* qd */
10308 #endif
10309             intsize = 'q';
10310             q++;
10311             break;
10312 #endif
10313         case 'l':
10314             ++q;
10315 #if defined(HAS_QUAD) || defined(HAS_LONG_DOUBLE)
10316             if (*q == 'l') {    /* lld, llf */
10317                 intsize = 'q';
10318                 ++q;
10319             }
10320             else
10321 #endif
10322                 intsize = 'l';
10323             break;
10324         case 'h':
10325             if (*++q == 'h') {  /* hhd, hhu */
10326                 intsize = 'c';
10327                 ++q;
10328             }
10329             else
10330                 intsize = 'h';
10331             break;
10332         case 'V':
10333         case 'z':
10334         case 't':
10335 #if HAS_C99
10336         case 'j':
10337 #endif
10338             intsize = *q++;
10339             break;
10340         }
10341
10342         /* CONVERSION */
10343
10344         if (*q == '%') {
10345             eptr = q++;
10346             elen = 1;
10347             if (vectorize) {
10348                 c = '%';
10349                 goto unknown;
10350             }
10351             goto string;
10352         }
10353
10354         if (!vectorize && !args) {
10355             if (efix) {
10356                 const I32 i = efix-1;
10357                 argsv = (i >= 0 && i < svmax)
10358                     ? svargs[i] : S_vcatpvfn_missing_argument(aTHX);
10359             } else {
10360                 argsv = (svix >= 0 && svix < svmax)
10361                     ? svargs[svix++] : S_vcatpvfn_missing_argument(aTHX);
10362             }
10363         }
10364
10365         switch (c = *q++) {
10366
10367             /* STRINGS */
10368
10369         case 'c':
10370             if (vectorize)
10371                 goto unknown;
10372             uv = (args) ? va_arg(*args, int) : SvIV(argsv);
10373             if ((uv > 255 ||
10374                  (!UNI_IS_INVARIANT(uv) && SvUTF8(sv)))
10375                 && !IN_BYTES) {
10376                 eptr = (char*)utf8buf;
10377                 elen = uvchr_to_utf8((U8*)eptr, uv) - utf8buf;
10378                 is_utf8 = TRUE;
10379             }
10380             else {
10381                 c = (char)uv;
10382                 eptr = &c;
10383                 elen = 1;
10384             }
10385             goto string;
10386
10387         case 's':
10388             if (vectorize)
10389                 goto unknown;
10390             if (args) {
10391                 eptr = va_arg(*args, char*);
10392                 if (eptr)
10393                     elen = strlen(eptr);
10394                 else {
10395                     eptr = (char *)nullstr;
10396                     elen = sizeof nullstr - 1;
10397                 }
10398             }
10399             else {
10400                 eptr = SvPV_const(argsv, elen);
10401                 if (DO_UTF8(argsv)) {
10402                     STRLEN old_precis = precis;
10403                     if (has_precis && precis < elen) {
10404                         STRLEN ulen = sv_len_utf8(argsv);
10405                         I32 p = precis > ulen ? ulen : precis;
10406                         sv_pos_u2b(argsv, &p, 0); /* sticks at end */
10407                         precis = p;
10408                     }
10409                     if (width) { /* fudge width (can't fudge elen) */
10410                         if (has_precis && precis < elen)
10411                             width += precis - old_precis;
10412                         else
10413                             width += elen - sv_len_utf8(argsv);
10414                     }
10415                     is_utf8 = TRUE;
10416                 }
10417             }
10418
10419         string:
10420             if (has_precis && precis < elen)
10421                 elen = precis;
10422             break;
10423
10424             /* INTEGERS */
10425
10426         case 'p':
10427             if (alt || vectorize)
10428                 goto unknown;
10429             uv = PTR2UV(args ? va_arg(*args, void*) : argsv);
10430             base = 16;
10431             goto integer;
10432
10433         case 'D':
10434 #ifdef IV_IS_QUAD
10435             intsize = 'q';
10436 #else
10437             intsize = 'l';
10438 #endif
10439             /*FALLTHROUGH*/
10440         case 'd':
10441         case 'i':
10442 #if vdNUMBER
10443         format_vd:
10444 #endif
10445             if (vectorize) {
10446                 STRLEN ulen;
10447                 if (!veclen)
10448                     continue;
10449                 if (vec_utf8)
10450                     uv = utf8n_to_uvchr(vecstr, veclen, &ulen,
10451                                         UTF8_ALLOW_ANYUV);
10452                 else {
10453                     uv = *vecstr;
10454                     ulen = 1;
10455                 }
10456                 vecstr += ulen;
10457                 veclen -= ulen;
10458                 if (plus)
10459                      esignbuf[esignlen++] = plus;
10460             }
10461             else if (args) {
10462                 switch (intsize) {
10463                 case 'c':       iv = (char)va_arg(*args, int); break;
10464                 case 'h':       iv = (short)va_arg(*args, int); break;
10465                 case 'l':       iv = va_arg(*args, long); break;
10466                 case 'V':       iv = va_arg(*args, IV); break;
10467                 case 'z':       iv = va_arg(*args, SSize_t); break;
10468                 case 't':       iv = va_arg(*args, ptrdiff_t); break;
10469                 default:        iv = va_arg(*args, int); break;
10470 #if HAS_C99
10471                 case 'j':       iv = va_arg(*args, intmax_t); break;
10472 #endif
10473                 case 'q':
10474 #ifdef HAS_QUAD
10475                                 iv = va_arg(*args, Quad_t); break;
10476 #else
10477                                 goto unknown;
10478 #endif
10479                 }
10480             }
10481             else {
10482                 IV tiv = SvIV(argsv); /* work around GCC bug #13488 */
10483                 switch (intsize) {
10484                 case 'c':       iv = (char)tiv; break;
10485                 case 'h':       iv = (short)tiv; break;
10486                 case 'l':       iv = (long)tiv; break;
10487                 case 'V':
10488                 default:        iv = tiv; break;
10489                 case 'q':
10490 #ifdef HAS_QUAD
10491                                 iv = (Quad_t)tiv; break;
10492 #else
10493                                 goto unknown;
10494 #endif
10495                 }
10496             }
10497             if ( !vectorize )   /* we already set uv above */
10498             {
10499                 if (iv >= 0) {
10500                     uv = iv;
10501                     if (plus)
10502                         esignbuf[esignlen++] = plus;
10503                 }
10504                 else {
10505                     uv = -iv;
10506                     esignbuf[esignlen++] = '-';
10507                 }
10508             }
10509             base = 10;
10510             goto integer;
10511
10512         case 'U':
10513 #ifdef IV_IS_QUAD
10514             intsize = 'q';
10515 #else
10516             intsize = 'l';
10517 #endif
10518             /*FALLTHROUGH*/
10519         case 'u':
10520             base = 10;
10521             goto uns_integer;
10522
10523         case 'B':
10524         case 'b':
10525             base = 2;
10526             goto uns_integer;
10527
10528         case 'O':
10529 #ifdef IV_IS_QUAD
10530             intsize = 'q';
10531 #else
10532             intsize = 'l';
10533 #endif
10534             /*FALLTHROUGH*/
10535         case 'o':
10536             base = 8;
10537             goto uns_integer;
10538
10539         case 'X':
10540         case 'x':
10541             base = 16;
10542
10543         uns_integer:
10544             if (vectorize) {
10545                 STRLEN ulen;
10546         vector:
10547                 if (!veclen)
10548                     continue;
10549                 if (vec_utf8)
10550                     uv = utf8n_to_uvchr(vecstr, veclen, &ulen,
10551                                         UTF8_ALLOW_ANYUV);
10552                 else {
10553                     uv = *vecstr;
10554                     ulen = 1;
10555                 }
10556                 vecstr += ulen;
10557                 veclen -= ulen;
10558             }
10559             else if (args) {
10560                 switch (intsize) {
10561                 case 'c':  uv = (unsigned char)va_arg(*args, unsigned); break;
10562                 case 'h':  uv = (unsigned short)va_arg(*args, unsigned); break;
10563                 case 'l':  uv = va_arg(*args, unsigned long); break;
10564                 case 'V':  uv = va_arg(*args, UV); break;
10565                 case 'z':  uv = va_arg(*args, Size_t); break;
10566                 case 't':  uv = va_arg(*args, ptrdiff_t); break; /* will sign extend, but there is no uptrdiff_t, so oh well */
10567 #if HAS_C99
10568                 case 'j':  uv = va_arg(*args, uintmax_t); break;
10569 #endif
10570                 default:   uv = va_arg(*args, unsigned); break;
10571                 case 'q':
10572 #ifdef HAS_QUAD
10573                            uv = va_arg(*args, Uquad_t); break;
10574 #else
10575                            goto unknown;
10576 #endif
10577                 }
10578             }
10579             else {
10580                 UV tuv = SvUV(argsv); /* work around GCC bug #13488 */
10581                 switch (intsize) {
10582                 case 'c':       uv = (unsigned char)tuv; break;
10583                 case 'h':       uv = (unsigned short)tuv; break;
10584                 case 'l':       uv = (unsigned long)tuv; break;
10585                 case 'V':
10586                 default:        uv = tuv; break;
10587                 case 'q':
10588 #ifdef HAS_QUAD
10589                                 uv = (Uquad_t)tuv; break;
10590 #else
10591                                 goto unknown;
10592 #endif
10593                 }
10594             }
10595
10596         integer:
10597             {
10598                 char *ptr = ebuf + sizeof ebuf;
10599                 bool tempalt = uv ? alt : FALSE; /* Vectors can't change alt */
10600                 zeros = 0;
10601
10602                 switch (base) {
10603                     unsigned dig;
10604                 case 16:
10605                     p = (char *)((c == 'X') ? PL_hexdigit + 16 : PL_hexdigit);
10606                     do {
10607                         dig = uv & 15;
10608                         *--ptr = p[dig];
10609                     } while (uv >>= 4);
10610                     if (tempalt) {
10611                         esignbuf[esignlen++] = '0';
10612                         esignbuf[esignlen++] = c;  /* 'x' or 'X' */
10613                     }
10614                     break;
10615                 case 8:
10616                     do {
10617                         dig = uv & 7;
10618                         *--ptr = '0' + dig;
10619                     } while (uv >>= 3);
10620                     if (alt && *ptr != '0')
10621                         *--ptr = '0';
10622                     break;
10623                 case 2:
10624                     do {
10625                         dig = uv & 1;
10626                         *--ptr = '0' + dig;
10627                     } while (uv >>= 1);
10628                     if (tempalt) {
10629                         esignbuf[esignlen++] = '0';
10630                         esignbuf[esignlen++] = c;
10631                     }
10632                     break;
10633                 default:                /* it had better be ten or less */
10634                     do {
10635                         dig = uv % base;
10636                         *--ptr = '0' + dig;
10637                     } while (uv /= base);
10638                     break;
10639                 }
10640                 elen = (ebuf + sizeof ebuf) - ptr;
10641                 eptr = ptr;
10642                 if (has_precis) {
10643                     if (precis > elen)
10644                         zeros = precis - elen;
10645                     else if (precis == 0 && elen == 1 && *eptr == '0'
10646                              && !(base == 8 && alt)) /* "%#.0o" prints "0" */
10647                         elen = 0;
10648
10649                 /* a precision nullifies the 0 flag. */
10650                     if (fill == '0')
10651                         fill = ' ';
10652                 }
10653             }
10654             break;
10655
10656             /* FLOATING POINT */
10657
10658         case 'F':
10659             c = 'f';            /* maybe %F isn't supported here */
10660             /*FALLTHROUGH*/
10661         case 'e': case 'E':
10662         case 'f':
10663         case 'g': case 'G':
10664             if (vectorize)
10665                 goto unknown;
10666
10667             /* This is evil, but floating point is even more evil */
10668
10669             /* for SV-style calling, we can only get NV
10670                for C-style calling, we assume %f is double;
10671                for simplicity we allow any of %Lf, %llf, %qf for long double
10672             */
10673             switch (intsize) {
10674             case 'V':
10675 #if defined(USE_LONG_DOUBLE)
10676                 intsize = 'q';
10677 #endif
10678                 break;
10679 /* [perl #20339] - we should accept and ignore %lf rather than die */
10680             case 'l':
10681                 /*FALLTHROUGH*/
10682             default:
10683 #if defined(USE_LONG_DOUBLE)
10684                 intsize = args ? 0 : 'q';
10685 #endif
10686                 break;
10687             case 'q':
10688 #if defined(HAS_LONG_DOUBLE)
10689                 break;
10690 #else
10691                 /*FALLTHROUGH*/
10692 #endif
10693             case 'c':
10694             case 'h':
10695             case 'z':
10696             case 't':
10697             case 'j':
10698                 goto unknown;
10699             }
10700
10701             /* now we need (long double) if intsize == 'q', else (double) */
10702             nv = (args) ?
10703 #if LONG_DOUBLESIZE > DOUBLESIZE
10704                 intsize == 'q' ?
10705                     va_arg(*args, long double) :
10706                     va_arg(*args, double)
10707 #else
10708                     va_arg(*args, double)
10709 #endif
10710                 : SvNV(argsv);
10711
10712             need = 0;
10713             /* nv * 0 will be NaN for NaN, +Inf and -Inf, and 0 for anything
10714                else. frexp() has some unspecified behaviour for those three */
10715             if (c != 'e' && c != 'E' && (nv * 0) == 0) {
10716                 i = PERL_INT_MIN;
10717                 /* FIXME: if HAS_LONG_DOUBLE but not USE_LONG_DOUBLE this
10718                    will cast our (long double) to (double) */
10719                 (void)Perl_frexp(nv, &i);
10720                 if (i == PERL_INT_MIN)
10721                     Perl_die(aTHX_ "panic: frexp");
10722                 if (i > 0)
10723                     need = BIT_DIGITS(i);
10724             }
10725             need += has_precis ? precis : 6; /* known default */
10726
10727             if (need < width)
10728                 need = width;
10729
10730 #ifdef HAS_LDBL_SPRINTF_BUG
10731             /* This is to try to fix a bug with irix/nonstop-ux/powerux and
10732                with sfio - Allen <allens@cpan.org> */
10733
10734 #  ifdef DBL_MAX
10735 #    define MY_DBL_MAX DBL_MAX
10736 #  else /* XXX guessing! HUGE_VAL may be defined as infinity, so not using */
10737 #    if DOUBLESIZE >= 8
10738 #      define MY_DBL_MAX 1.7976931348623157E+308L
10739 #    else
10740 #      define MY_DBL_MAX 3.40282347E+38L
10741 #    endif
10742 #  endif
10743
10744 #  ifdef HAS_LDBL_SPRINTF_BUG_LESS1 /* only between -1L & 1L - Allen */
10745 #    define MY_DBL_MAX_BUG 1L
10746 #  else
10747 #    define MY_DBL_MAX_BUG MY_DBL_MAX
10748 #  endif
10749
10750 #  ifdef DBL_MIN
10751 #    define MY_DBL_MIN DBL_MIN
10752 #  else  /* XXX guessing! -Allen */
10753 #    if DOUBLESIZE >= 8
10754 #      define MY_DBL_MIN 2.2250738585072014E-308L
10755 #    else
10756 #      define MY_DBL_MIN 1.17549435E-38L
10757 #    endif
10758 #  endif
10759
10760             if ((intsize == 'q') && (c == 'f') &&
10761                 ((nv < MY_DBL_MAX_BUG) && (nv > -MY_DBL_MAX_BUG)) &&
10762                 (need < DBL_DIG)) {
10763                 /* it's going to be short enough that
10764                  * long double precision is not needed */
10765
10766                 if ((nv <= 0L) && (nv >= -0L))
10767                     fix_ldbl_sprintf_bug = TRUE; /* 0 is 0 - easiest */
10768                 else {
10769                     /* would use Perl_fp_class as a double-check but not
10770                      * functional on IRIX - see perl.h comments */
10771
10772                     if ((nv >= MY_DBL_MIN) || (nv <= -MY_DBL_MIN)) {
10773                         /* It's within the range that a double can represent */
10774 #if defined(DBL_MAX) && !defined(DBL_MIN)
10775                         if ((nv >= ((long double)1/DBL_MAX)) ||
10776                             (nv <= (-(long double)1/DBL_MAX)))
10777 #endif
10778                         fix_ldbl_sprintf_bug = TRUE;
10779                     }
10780                 }
10781                 if (fix_ldbl_sprintf_bug == TRUE) {
10782                     double temp;
10783
10784                     intsize = 0;
10785                     temp = (double)nv;
10786                     nv = (NV)temp;
10787                 }
10788             }
10789
10790 #  undef MY_DBL_MAX
10791 #  undef MY_DBL_MAX_BUG
10792 #  undef MY_DBL_MIN
10793
10794 #endif /* HAS_LDBL_SPRINTF_BUG */
10795
10796             need += 20; /* fudge factor */
10797             if (PL_efloatsize < need) {
10798                 Safefree(PL_efloatbuf);
10799                 PL_efloatsize = need + 20; /* more fudge */
10800                 Newx(PL_efloatbuf, PL_efloatsize, char);
10801                 PL_efloatbuf[0] = '\0';
10802             }
10803
10804             if ( !(width || left || plus || alt) && fill != '0'
10805                  && has_precis && intsize != 'q' ) {    /* Shortcuts */
10806                 /* See earlier comment about buggy Gconvert when digits,
10807                    aka precis is 0  */
10808                 if ( c == 'g' && precis) {
10809                     Gconvert((NV)nv, (int)precis, 0, PL_efloatbuf);
10810                     /* May return an empty string for digits==0 */
10811                     if (*PL_efloatbuf) {
10812                         elen = strlen(PL_efloatbuf);
10813                         goto float_converted;
10814                     }
10815                 } else if ( c == 'f' && !precis) {
10816                     if ((eptr = F0convert(nv, ebuf + sizeof ebuf, &elen)))
10817                         break;
10818                 }
10819             }
10820             {
10821                 char *ptr = ebuf + sizeof ebuf;
10822                 *--ptr = '\0';
10823                 *--ptr = c;
10824                 /* FIXME: what to do if HAS_LONG_DOUBLE but not PERL_PRIfldbl? */
10825 #if defined(HAS_LONG_DOUBLE) && defined(PERL_PRIfldbl)
10826                 if (intsize == 'q') {
10827                     /* Copy the one or more characters in a long double
10828                      * format before the 'base' ([efgEFG]) character to
10829                      * the format string. */
10830                     static char const prifldbl[] = PERL_PRIfldbl;
10831                     char const *p = prifldbl + sizeof(prifldbl) - 3;
10832                     while (p >= prifldbl) { *--ptr = *p--; }
10833                 }
10834 #endif
10835                 if (has_precis) {
10836                     base = precis;
10837                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
10838                     *--ptr = '.';
10839                 }
10840                 if (width) {
10841                     base = width;
10842                     do { *--ptr = '0' + (base % 10); } while (base /= 10);
10843                 }
10844                 if (fill == '0')
10845                     *--ptr = fill;
10846                 if (left)
10847                     *--ptr = '-';
10848                 if (plus)
10849                     *--ptr = plus;
10850                 if (alt)
10851                     *--ptr = '#';
10852                 *--ptr = '%';
10853
10854                 /* No taint.  Otherwise we are in the strange situation
10855                  * where printf() taints but print($float) doesn't.
10856                  * --jhi */
10857 #if defined(HAS_LONG_DOUBLE)
10858                 elen = ((intsize == 'q')
10859                         ? my_snprintf(PL_efloatbuf, PL_efloatsize, ptr, nv)
10860                         : my_snprintf(PL_efloatbuf, PL_efloatsize, ptr, (double)nv));
10861 #else
10862                 elen = my_sprintf(PL_efloatbuf, ptr, nv);
10863 #endif
10864             }
10865         float_converted:
10866             eptr = PL_efloatbuf;
10867             break;
10868
10869             /* SPECIAL */
10870
10871         case 'n':
10872             if (vectorize)
10873                 goto unknown;
10874             i = SvCUR(sv) - origlen;
10875             if (args) {
10876                 switch (intsize) {
10877                 case 'c':       *(va_arg(*args, char*)) = i; break;
10878                 case 'h':       *(va_arg(*args, short*)) = i; break;
10879                 default:        *(va_arg(*args, int*)) = i; break;
10880                 case 'l':       *(va_arg(*args, long*)) = i; break;
10881                 case 'V':       *(va_arg(*args, IV*)) = i; break;
10882                 case 'z':       *(va_arg(*args, SSize_t*)) = i; break;
10883                 case 't':       *(va_arg(*args, ptrdiff_t*)) = i; break;
10884 #if HAS_C99
10885                 case 'j':       *(va_arg(*args, intmax_t*)) = i; break;
10886 #endif
10887                 case 'q':
10888 #ifdef HAS_QUAD
10889                                 *(va_arg(*args, Quad_t*)) = i; break;
10890 #else
10891                                 goto unknown;
10892 #endif
10893                 }
10894             }
10895             else
10896                 sv_setuv_mg(argsv, (UV)i);
10897             continue;   /* not "break" */
10898
10899             /* UNKNOWN */
10900
10901         default:
10902       unknown:
10903             if (!args
10904                 && (PL_op->op_type == OP_PRTF || PL_op->op_type == OP_SPRINTF)
10905                 && ckWARN(WARN_PRINTF))
10906             {
10907                 SV * const msg = sv_newmortal();
10908                 Perl_sv_setpvf(aTHX_ msg, "Invalid conversion in %sprintf: ",
10909                           (PL_op->op_type == OP_PRTF) ? "" : "s");
10910                 if (fmtstart < patend) {
10911                     const char * const fmtend = q < patend ? q : patend;
10912                     const char * f;
10913                     sv_catpvs(msg, "\"%");
10914                     for (f = fmtstart; f < fmtend; f++) {
10915                         if (isPRINT(*f)) {
10916                             sv_catpvn(msg, f, 1);
10917                         } else {
10918                             Perl_sv_catpvf(aTHX_ msg,
10919                                            "\\%03"UVof, (UV)*f & 0xFF);
10920                         }
10921                     }
10922                     sv_catpvs(msg, "\"");
10923                 } else {
10924                     sv_catpvs(msg, "end of string");
10925                 }
10926                 Perl_warner(aTHX_ packWARN(WARN_PRINTF), "%"SVf, SVfARG(msg)); /* yes, this is reentrant */
10927             }
10928
10929             /* output mangled stuff ... */
10930             if (c == '\0')
10931                 --q;
10932             eptr = p;
10933             elen = q - p;
10934
10935             /* ... right here, because formatting flags should not apply */
10936             SvGROW(sv, SvCUR(sv) + elen + 1);
10937             p = SvEND(sv);
10938             Copy(eptr, p, elen, char);
10939             p += elen;
10940             *p = '\0';
10941             SvCUR_set(sv, p - SvPVX_const(sv));
10942             svix = osvix;
10943             continue;   /* not "break" */
10944         }
10945
10946         if (is_utf8 != has_utf8) {
10947             if (is_utf8) {
10948                 if (SvCUR(sv))
10949                     sv_utf8_upgrade(sv);
10950             }
10951             else {
10952                 const STRLEN old_elen = elen;
10953                 SV * const nsv = newSVpvn_flags(eptr, elen, SVs_TEMP);
10954                 sv_utf8_upgrade(nsv);
10955                 eptr = SvPVX_const(nsv);
10956                 elen = SvCUR(nsv);
10957
10958                 if (width) { /* fudge width (can't fudge elen) */
10959                     width += elen - old_elen;
10960                 }
10961                 is_utf8 = TRUE;
10962             }
10963         }
10964
10965         have = esignlen + zeros + elen;
10966         if (have < zeros)
10967             Perl_croak_nocontext("%s", PL_memory_wrap);
10968
10969         need = (have > width ? have : width);
10970         gap = need - have;
10971
10972         if (need >= (((STRLEN)~0) - SvCUR(sv) - dotstrlen - 1))
10973             Perl_croak_nocontext("%s", PL_memory_wrap);
10974         SvGROW(sv, SvCUR(sv) + need + dotstrlen + 1);
10975         p = SvEND(sv);
10976         if (esignlen && fill == '0') {
10977             int i;
10978             for (i = 0; i < (int)esignlen; i++)
10979                 *p++ = esignbuf[i];
10980         }
10981         if (gap && !left) {
10982             memset(p, fill, gap);
10983             p += gap;
10984         }
10985         if (esignlen && fill != '0') {
10986             int i;
10987             for (i = 0; i < (int)esignlen; i++)
10988                 *p++ = esignbuf[i];
10989         }
10990         if (zeros) {
10991             int i;
10992             for (i = zeros; i; i--)
10993                 *p++ = '0';
10994         }
10995         if (elen) {
10996             Copy(eptr, p, elen, char);
10997             p += elen;
10998         }
10999         if (gap && left) {
11000             memset(p, ' ', gap);
11001             p += gap;
11002         }
11003         if (vectorize) {
11004             if (veclen) {
11005                 Copy(dotstr, p, dotstrlen, char);
11006                 p += dotstrlen;
11007             }
11008             else
11009                 vectorize = FALSE;              /* done iterating over vecstr */
11010         }
11011         if (is_utf8)
11012             has_utf8 = TRUE;
11013         if (has_utf8)
11014             SvUTF8_on(sv);
11015         *p = '\0';
11016         SvCUR_set(sv, p - SvPVX_const(sv));
11017         if (vectorize) {
11018             esignlen = 0;
11019             goto vector;
11020         }
11021     }
11022     SvTAINT(sv);
11023 }
11024
11025 /* =========================================================================
11026
11027 =head1 Cloning an interpreter
11028
11029 All the macros and functions in this section are for the private use of
11030 the main function, perl_clone().
11031
11032 The foo_dup() functions make an exact copy of an existing foo thingy.
11033 During the course of a cloning, a hash table is used to map old addresses
11034 to new addresses. The table is created and manipulated with the
11035 ptr_table_* functions.
11036
11037 =cut
11038
11039  * =========================================================================*/
11040
11041
11042 #if defined(USE_ITHREADS)
11043
11044 /* XXX Remove this so it doesn't have to go thru the macro and return for nothing */
11045 #ifndef GpREFCNT_inc
11046 #  define GpREFCNT_inc(gp)      ((gp) ? (++(gp)->gp_refcnt, (gp)) : (GP*)NULL)
11047 #endif
11048
11049
11050 /* Certain cases in Perl_ss_dup have been merged, by relying on the fact
11051    that currently av_dup, gv_dup and hv_dup are the same as sv_dup.
11052    If this changes, please unmerge ss_dup.
11053    Likewise, sv_dup_inc_multiple() relies on this fact.  */
11054 #define sv_dup_inc_NN(s,t)      SvREFCNT_inc_NN(sv_dup_inc(s,t))
11055 #define av_dup(s,t)     MUTABLE_AV(sv_dup((const SV *)s,t))
11056 #define av_dup_inc(s,t) MUTABLE_AV(sv_dup_inc((const SV *)s,t))
11057 #define hv_dup(s,t)     MUTABLE_HV(sv_dup((const SV *)s,t))
11058 #define hv_dup_inc(s,t) MUTABLE_HV(sv_dup_inc((const SV *)s,t))
11059 #define cv_dup(s,t)     MUTABLE_CV(sv_dup((const SV *)s,t))
11060 #define cv_dup_inc(s,t) MUTABLE_CV(sv_dup_inc((const SV *)s,t))
11061 #define io_dup(s,t)     MUTABLE_IO(sv_dup((const SV *)s,t))
11062 #define io_dup_inc(s,t) MUTABLE_IO(sv_dup_inc((const SV *)s,t))
11063 #define gv_dup(s,t)     MUTABLE_GV(sv_dup((const SV *)s,t))
11064 #define gv_dup_inc(s,t) MUTABLE_GV(sv_dup_inc((const SV *)s,t))
11065 #define SAVEPV(p)       ((p) ? savepv(p) : NULL)
11066 #define SAVEPVN(p,n)    ((p) ? savepvn(p,n) : NULL)
11067
11068 /* clone a parser */
11069
11070 yy_parser *
11071 Perl_parser_dup(pTHX_ const yy_parser *const proto, CLONE_PARAMS *const param)
11072 {
11073     yy_parser *parser;
11074
11075     PERL_ARGS_ASSERT_PARSER_DUP;
11076
11077     if (!proto)
11078         return NULL;
11079
11080     /* look for it in the table first */
11081     parser = (yy_parser *)ptr_table_fetch(PL_ptr_table, proto);
11082     if (parser)
11083         return parser;
11084
11085     /* create anew and remember what it is */
11086     Newxz(parser, 1, yy_parser);
11087     ptr_table_store(PL_ptr_table, proto, parser);
11088
11089     /* XXX these not yet duped */
11090     parser->old_parser = NULL;
11091     parser->stack = NULL;
11092     parser->ps = NULL;
11093     parser->stack_size = 0;
11094     /* XXX parser->stack->state = 0; */
11095
11096     /* XXX eventually, just Copy() most of the parser struct ? */
11097
11098     parser->lex_brackets = proto->lex_brackets;
11099     parser->lex_casemods = proto->lex_casemods;
11100     parser->lex_brackstack = savepvn(proto->lex_brackstack,
11101                     (proto->lex_brackets < 120 ? 120 : proto->lex_brackets));
11102     parser->lex_casestack = savepvn(proto->lex_casestack,
11103                     (proto->lex_casemods < 12 ? 12 : proto->lex_casemods));
11104     parser->lex_defer   = proto->lex_defer;
11105     parser->lex_dojoin  = proto->lex_dojoin;
11106     parser->lex_expect  = proto->lex_expect;
11107     parser->lex_formbrack = proto->lex_formbrack;
11108     parser->lex_inpat   = proto->lex_inpat;
11109     parser->lex_inwhat  = proto->lex_inwhat;
11110     parser->lex_op      = proto->lex_op;
11111     parser->lex_repl    = sv_dup_inc(proto->lex_repl, param);
11112     parser->lex_starts  = proto->lex_starts;
11113     parser->lex_stuff   = sv_dup_inc(proto->lex_stuff, param);
11114     parser->multi_close = proto->multi_close;
11115     parser->multi_open  = proto->multi_open;
11116     parser->multi_start = proto->multi_start;
11117     parser->multi_end   = proto->multi_end;
11118     parser->pending_ident = proto->pending_ident;
11119     parser->preambled   = proto->preambled;
11120     parser->sublex_info = proto->sublex_info; /* XXX not quite right */
11121     parser->linestr     = sv_dup_inc(proto->linestr, param);
11122     parser->expect      = proto->expect;
11123     parser->copline     = proto->copline;
11124     parser->last_lop_op = proto->last_lop_op;
11125     parser->lex_state   = proto->lex_state;
11126     parser->rsfp        = fp_dup(proto->rsfp, '<', param);
11127     /* rsfp_filters entries have fake IoDIRP() */
11128     parser->rsfp_filters= av_dup_inc(proto->rsfp_filters, param);
11129     parser->in_my       = proto->in_my;
11130     parser->in_my_stash = hv_dup(proto->in_my_stash, param);
11131     parser->error_count = proto->error_count;
11132
11133
11134     parser->linestr     = sv_dup_inc(proto->linestr, param);
11135
11136     {
11137         char * const ols = SvPVX(proto->linestr);
11138         char * const ls  = SvPVX(parser->linestr);
11139
11140         parser->bufptr      = ls + (proto->bufptr >= ols ?
11141                                     proto->bufptr -  ols : 0);
11142         parser->oldbufptr   = ls + (proto->oldbufptr >= ols ?
11143                                     proto->oldbufptr -  ols : 0);
11144         parser->oldoldbufptr= ls + (proto->oldoldbufptr >= ols ?
11145                                     proto->oldoldbufptr -  ols : 0);
11146         parser->linestart   = ls + (proto->linestart >= ols ?
11147                                     proto->linestart -  ols : 0);
11148         parser->last_uni    = ls + (proto->last_uni >= ols ?
11149                                     proto->last_uni -  ols : 0);
11150         parser->last_lop    = ls + (proto->last_lop >= ols ?
11151                                     proto->last_lop -  ols : 0);
11152
11153         parser->bufend      = ls + SvCUR(parser->linestr);
11154     }
11155
11156     Copy(proto->tokenbuf, parser->tokenbuf, 256, char);
11157
11158
11159 #ifdef PERL_MAD
11160     parser->endwhite    = proto->endwhite;
11161     parser->faketokens  = proto->faketokens;
11162     parser->lasttoke    = proto->lasttoke;
11163     parser->nextwhite   = proto->nextwhite;
11164     parser->realtokenstart = proto->realtokenstart;
11165     parser->skipwhite   = proto->skipwhite;
11166     parser->thisclose   = proto->thisclose;
11167     parser->thismad     = proto->thismad;
11168     parser->thisopen    = proto->thisopen;
11169     parser->thisstuff   = proto->thisstuff;
11170     parser->thistoken   = proto->thistoken;
11171     parser->thiswhite   = proto->thiswhite;
11172
11173     Copy(proto->nexttoke, parser->nexttoke, 5, NEXTTOKE);
11174     parser->curforce    = proto->curforce;
11175 #else
11176     Copy(proto->nextval, parser->nextval, 5, YYSTYPE);
11177     Copy(proto->nexttype, parser->nexttype, 5,  I32);
11178     parser->nexttoke    = proto->nexttoke;
11179 #endif
11180
11181     /* XXX should clone saved_curcop here, but we aren't passed
11182      * proto_perl; so do it in perl_clone_using instead */
11183
11184     return parser;
11185 }
11186
11187
11188 /* duplicate a file handle */
11189
11190 PerlIO *
11191 Perl_fp_dup(pTHX_ PerlIO *const fp, const char type, CLONE_PARAMS *const param)
11192 {
11193     PerlIO *ret;
11194
11195     PERL_ARGS_ASSERT_FP_DUP;
11196     PERL_UNUSED_ARG(type);
11197
11198     if (!fp)
11199         return (PerlIO*)NULL;
11200
11201     /* look for it in the table first */
11202     ret = (PerlIO*)ptr_table_fetch(PL_ptr_table, fp);
11203     if (ret)
11204         return ret;
11205
11206     /* create anew and remember what it is */
11207     ret = PerlIO_fdupopen(aTHX_ fp, param, PERLIO_DUP_CLONE);
11208     ptr_table_store(PL_ptr_table, fp, ret);
11209     return ret;
11210 }
11211
11212 /* duplicate a directory handle */
11213
11214 DIR *
11215 Perl_dirp_dup(pTHX_ DIR *const dp, CLONE_PARAMS *const param)
11216 {
11217     DIR *ret;
11218
11219 #ifdef HAS_FCHDIR
11220     DIR *pwd;
11221     register const Direntry_t *dirent;
11222     char smallbuf[256];
11223     char *name = NULL;
11224     STRLEN len = -1;
11225     long pos;
11226 #endif
11227
11228     PERL_UNUSED_CONTEXT;
11229     PERL_ARGS_ASSERT_DIRP_DUP;
11230
11231     if (!dp)
11232         return (DIR*)NULL;
11233
11234     /* look for it in the table first */
11235     ret = (DIR*)ptr_table_fetch(PL_ptr_table, dp);
11236     if (ret)
11237         return ret;
11238
11239 #ifdef HAS_FCHDIR
11240
11241     PERL_UNUSED_ARG(param);
11242
11243     /* create anew */
11244
11245     /* open the current directory (so we can switch back) */
11246     if (!(pwd = PerlDir_open("."))) return (DIR *)NULL;
11247
11248     /* chdir to our dir handle and open the present working directory */
11249     if (fchdir(my_dirfd(dp)) < 0 || !(ret = PerlDir_open("."))) {
11250         PerlDir_close(pwd);
11251         return (DIR *)NULL;
11252     }
11253     /* Now we should have two dir handles pointing to the same dir. */
11254
11255     /* Be nice to the calling code and chdir back to where we were. */
11256     fchdir(my_dirfd(pwd)); /* If this fails, then what? */
11257
11258     /* We have no need of the pwd handle any more. */
11259     PerlDir_close(pwd);
11260
11261 #ifdef DIRNAMLEN
11262 # define d_namlen(d) (d)->d_namlen
11263 #else
11264 # define d_namlen(d) strlen((d)->d_name)
11265 #endif
11266     /* Iterate once through dp, to get the file name at the current posi-
11267        tion. Then step back. */
11268     pos = PerlDir_tell(dp);
11269     if ((dirent = PerlDir_read(dp))) {
11270         len = d_namlen(dirent);
11271         if (len <= sizeof smallbuf) name = smallbuf;
11272         else Newx(name, len, char);
11273         Move(dirent->d_name, name, len, char);
11274     }
11275     PerlDir_seek(dp, pos);
11276
11277     /* Iterate through the new dir handle, till we find a file with the
11278        right name. */
11279     if (!dirent) /* just before the end */
11280         for(;;) {
11281             pos = PerlDir_tell(ret);
11282             if (PerlDir_read(ret)) continue; /* not there yet */
11283             PerlDir_seek(ret, pos); /* step back */
11284             break;
11285         }
11286     else {
11287         const long pos0 = PerlDir_tell(ret);
11288         for(;;) {
11289             pos = PerlDir_tell(ret);
11290             if ((dirent = PerlDir_read(ret))) {
11291                 if (len == d_namlen(dirent)
11292                  && memEQ(name, dirent->d_name, len)) {
11293                     /* found it */
11294                     PerlDir_seek(ret, pos); /* step back */
11295                     break;
11296                 }
11297                 /* else we are not there yet; keep iterating */
11298             }
11299             else { /* This is not meant to happen. The best we can do is
11300                       reset the iterator to the beginning. */
11301                 PerlDir_seek(ret, pos0);
11302                 break;
11303             }
11304         }
11305     }
11306 #undef d_namlen
11307
11308     if (name && name != smallbuf)
11309         Safefree(name);
11310 #endif
11311
11312 #ifdef WIN32
11313     ret = win32_dirp_dup(dp, param);
11314 #endif
11315
11316     /* pop it in the pointer table */
11317     if (ret)
11318         ptr_table_store(PL_ptr_table, dp, ret);
11319
11320     return ret;
11321 }
11322
11323 /* duplicate a typeglob */
11324
11325 GP *
11326 Perl_gp_dup(pTHX_ GP *const gp, CLONE_PARAMS *const param)
11327 {
11328     GP *ret;
11329
11330     PERL_ARGS_ASSERT_GP_DUP;
11331
11332     if (!gp)
11333         return (GP*)NULL;
11334     /* look for it in the table first */
11335     ret = (GP*)ptr_table_fetch(PL_ptr_table, gp);
11336     if (ret)
11337         return ret;
11338
11339     /* create anew and remember what it is */
11340     Newxz(ret, 1, GP);
11341     ptr_table_store(PL_ptr_table, gp, ret);
11342
11343     /* clone */
11344     /* ret->gp_refcnt must be 0 before any other dups are called. We're relying
11345        on Newxz() to do this for us.  */
11346     ret->gp_sv          = sv_dup_inc(gp->gp_sv, param);
11347     ret->gp_io          = io_dup_inc(gp->gp_io, param);
11348     ret->gp_form        = cv_dup_inc(gp->gp_form, param);
11349     ret->gp_av          = av_dup_inc(gp->gp_av, param);
11350     ret->gp_hv          = hv_dup_inc(gp->gp_hv, param);
11351     ret->gp_egv = gv_dup(gp->gp_egv, param);/* GvEGV is not refcounted */
11352     ret->gp_cv          = cv_dup_inc(gp->gp_cv, param);
11353     ret->gp_cvgen       = gp->gp_cvgen;
11354     ret->gp_line        = gp->gp_line;
11355     ret->gp_file_hek    = hek_dup(gp->gp_file_hek, param);
11356     return ret;
11357 }
11358
11359 /* duplicate a chain of magic */
11360
11361 MAGIC *
11362 Perl_mg_dup(pTHX_ MAGIC *mg, CLONE_PARAMS *const param)
11363 {
11364     MAGIC *mgret = NULL;
11365     MAGIC **mgprev_p = &mgret;
11366
11367     PERL_ARGS_ASSERT_MG_DUP;
11368
11369     for (; mg; mg = mg->mg_moremagic) {
11370         MAGIC *nmg;
11371
11372         if ((param->flags & CLONEf_JOIN_IN)
11373                 && mg->mg_type == PERL_MAGIC_backref)
11374             /* when joining, we let the individual SVs add themselves to
11375              * backref as needed. */
11376             continue;
11377
11378         Newx(nmg, 1, MAGIC);
11379         *mgprev_p = nmg;
11380         mgprev_p = &(nmg->mg_moremagic);
11381
11382         /* There was a comment "XXX copy dynamic vtable?" but as we don't have
11383            dynamic vtables, I'm not sure why Sarathy wrote it. The comment dates
11384            from the original commit adding Perl_mg_dup() - revision 4538.
11385            Similarly there is the annotation "XXX random ptr?" next to the
11386            assignment to nmg->mg_ptr.  */
11387         *nmg = *mg;
11388
11389         /* FIXME for plugins
11390         if (nmg->mg_type == PERL_MAGIC_qr) {
11391             nmg->mg_obj = MUTABLE_SV(CALLREGDUPE((REGEXP*)nmg->mg_obj, param));
11392         }
11393         else
11394         */
11395         nmg->mg_obj = (nmg->mg_flags & MGf_REFCOUNTED)
11396                           ? nmg->mg_type == PERL_MAGIC_backref
11397                                 /* The backref AV has its reference
11398                                  * count deliberately bumped by 1 */
11399                                 ? SvREFCNT_inc(av_dup_inc((const AV *)
11400                                                     nmg->mg_obj, param))
11401                                 : sv_dup_inc(nmg->mg_obj, param)
11402                           : sv_dup(nmg->mg_obj, param);
11403
11404         if (nmg->mg_ptr && nmg->mg_type != PERL_MAGIC_regex_global) {
11405             if (nmg->mg_len > 0) {
11406                 nmg->mg_ptr     = SAVEPVN(nmg->mg_ptr, nmg->mg_len);
11407                 if (nmg->mg_type == PERL_MAGIC_overload_table &&
11408                         AMT_AMAGIC((AMT*)nmg->mg_ptr))
11409                 {
11410                     AMT * const namtp = (AMT*)nmg->mg_ptr;
11411                     sv_dup_inc_multiple((SV**)(namtp->table),
11412                                         (SV**)(namtp->table), NofAMmeth, param);
11413                 }
11414             }
11415             else if (nmg->mg_len == HEf_SVKEY)
11416                 nmg->mg_ptr = (char*)sv_dup_inc((const SV *)nmg->mg_ptr, param);
11417         }
11418         if ((nmg->mg_flags & MGf_DUP) && nmg->mg_virtual && nmg->mg_virtual->svt_dup) {
11419             nmg->mg_virtual->svt_dup(aTHX_ nmg, param);
11420         }
11421     }
11422     return mgret;
11423 }
11424
11425 #endif /* USE_ITHREADS */
11426
11427 struct ptr_tbl_arena {
11428     struct ptr_tbl_arena *next;
11429     struct ptr_tbl_ent array[1023/3]; /* as ptr_tbl_ent has 3 pointers.  */
11430 };
11431
11432 /* create a new pointer-mapping table */
11433
11434 PTR_TBL_t *
11435 Perl_ptr_table_new(pTHX)
11436 {
11437     PTR_TBL_t *tbl;
11438     PERL_UNUSED_CONTEXT;
11439
11440     Newx(tbl, 1, PTR_TBL_t);
11441     tbl->tbl_max        = 511;
11442     tbl->tbl_items      = 0;
11443     tbl->tbl_arena      = NULL;
11444     tbl->tbl_arena_next = NULL;
11445     tbl->tbl_arena_end  = NULL;
11446     Newxz(tbl->tbl_ary, tbl->tbl_max + 1, PTR_TBL_ENT_t*);
11447     return tbl;
11448 }
11449
11450 #define PTR_TABLE_HASH(ptr) \
11451   ((PTR2UV(ptr) >> 3) ^ (PTR2UV(ptr) >> (3 + 7)) ^ (PTR2UV(ptr) >> (3 + 17)))
11452
11453 /* map an existing pointer using a table */
11454
11455 STATIC PTR_TBL_ENT_t *
11456 S_ptr_table_find(PTR_TBL_t *const tbl, const void *const sv)
11457 {
11458     PTR_TBL_ENT_t *tblent;
11459     const UV hash = PTR_TABLE_HASH(sv);
11460
11461     PERL_ARGS_ASSERT_PTR_TABLE_FIND;
11462
11463     tblent = tbl->tbl_ary[hash & tbl->tbl_max];
11464     for (; tblent; tblent = tblent->next) {
11465         if (tblent->oldval == sv)
11466             return tblent;
11467     }
11468     return NULL;
11469 }
11470
11471 void *
11472 Perl_ptr_table_fetch(pTHX_ PTR_TBL_t *const tbl, const void *const sv)
11473 {
11474     PTR_TBL_ENT_t const *const tblent = ptr_table_find(tbl, sv);
11475
11476     PERL_ARGS_ASSERT_PTR_TABLE_FETCH;
11477     PERL_UNUSED_CONTEXT;
11478
11479     return tblent ? tblent->newval : NULL;
11480 }
11481
11482 /* add a new entry to a pointer-mapping table */
11483
11484 void
11485 Perl_ptr_table_store(pTHX_ PTR_TBL_t *const tbl, const void *const oldsv, void *const newsv)
11486 {
11487     PTR_TBL_ENT_t *tblent = ptr_table_find(tbl, oldsv);
11488
11489     PERL_ARGS_ASSERT_PTR_TABLE_STORE;
11490     PERL_UNUSED_CONTEXT;
11491
11492     if (tblent) {
11493         tblent->newval = newsv;
11494     } else {
11495         const UV entry = PTR_TABLE_HASH(oldsv) & tbl->tbl_max;
11496
11497         if (tbl->tbl_arena_next == tbl->tbl_arena_end) {
11498             struct ptr_tbl_arena *new_arena;
11499
11500             Newx(new_arena, 1, struct ptr_tbl_arena);
11501             new_arena->next = tbl->tbl_arena;
11502             tbl->tbl_arena = new_arena;
11503             tbl->tbl_arena_next = new_arena->array;
11504             tbl->tbl_arena_end = new_arena->array
11505                 + sizeof(new_arena->array) / sizeof(new_arena->array[0]);
11506         }
11507
11508         tblent = tbl->tbl_arena_next++;
11509
11510         tblent->oldval = oldsv;
11511         tblent->newval = newsv;
11512         tblent->next = tbl->tbl_ary[entry];
11513         tbl->tbl_ary[entry] = tblent;
11514         tbl->tbl_items++;
11515         if (tblent->next && tbl->tbl_items > tbl->tbl_max)
11516             ptr_table_split(tbl);
11517     }
11518 }
11519
11520 /* double the hash bucket size of an existing ptr table */
11521
11522 void
11523 Perl_ptr_table_split(pTHX_ PTR_TBL_t *const tbl)
11524 {
11525     PTR_TBL_ENT_t **ary = tbl->tbl_ary;
11526     const UV oldsize = tbl->tbl_max + 1;
11527     UV newsize = oldsize * 2;
11528     UV i;
11529
11530     PERL_ARGS_ASSERT_PTR_TABLE_SPLIT;
11531     PERL_UNUSED_CONTEXT;
11532
11533     Renew(ary, newsize, PTR_TBL_ENT_t*);
11534     Zero(&ary[oldsize], newsize-oldsize, PTR_TBL_ENT_t*);
11535     tbl->tbl_max = --newsize;
11536     tbl->tbl_ary = ary;
11537     for (i=0; i < oldsize; i++, ary++) {
11538         PTR_TBL_ENT_t **entp = ary;
11539         PTR_TBL_ENT_t *ent = *ary;
11540         PTR_TBL_ENT_t **curentp;
11541         if (!ent)
11542             continue;
11543         curentp = ary + oldsize;
11544         do {
11545             if ((newsize & PTR_TABLE_HASH(ent->oldval)) != i) {
11546                 *entp = ent->next;
11547                 ent->next = *curentp;
11548                 *curentp = ent;
11549             }
11550             else
11551                 entp = &ent->next;
11552             ent = *entp;
11553         } while (ent);
11554     }
11555 }
11556
11557 /* remove all the entries from a ptr table */
11558 /* Deprecated - will be removed post 5.14 */
11559
11560 void
11561 Perl_ptr_table_clear(pTHX_ PTR_TBL_t *const tbl)
11562 {
11563     if (tbl && tbl->tbl_items) {
11564         struct ptr_tbl_arena *arena = tbl->tbl_arena;
11565
11566         Zero(tbl->tbl_ary, tbl->tbl_max + 1, struct ptr_tbl_ent **);
11567
11568         while (arena) {
11569             struct ptr_tbl_arena *next = arena->next;
11570
11571             Safefree(arena);
11572             arena = next;
11573         };
11574
11575         tbl->tbl_items = 0;
11576         tbl->tbl_arena = NULL;
11577         tbl->tbl_arena_next = NULL;
11578         tbl->tbl_arena_end = NULL;
11579     }
11580 }
11581
11582 /* clear and free a ptr table */
11583
11584 void
11585 Perl_ptr_table_free(pTHX_ PTR_TBL_t *const tbl)
11586 {
11587     struct ptr_tbl_arena *arena;
11588
11589     if (!tbl) {
11590         return;
11591     }
11592
11593     arena = tbl->tbl_arena;
11594
11595     while (arena) {
11596         struct ptr_tbl_arena *next = arena->next;
11597
11598         Safefree(arena);
11599         arena = next;
11600     }
11601
11602     Safefree(tbl->tbl_ary);
11603     Safefree(tbl);
11604 }
11605
11606 #if defined(USE_ITHREADS)
11607
11608 void
11609 Perl_rvpv_dup(pTHX_ SV *const dstr, const SV *const sstr, CLONE_PARAMS *const param)
11610 {
11611     PERL_ARGS_ASSERT_RVPV_DUP;
11612
11613     if (SvROK(sstr)) {
11614         if (SvWEAKREF(sstr)) {
11615             SvRV_set(dstr, sv_dup(SvRV_const(sstr), param));
11616             if (param->flags & CLONEf_JOIN_IN) {
11617                 /* if joining, we add any back references individually rather
11618                  * than copying the whole backref array */
11619                 Perl_sv_add_backref(aTHX_ SvRV(dstr), dstr);
11620             }
11621         }
11622         else
11623             SvRV_set(dstr, sv_dup_inc(SvRV_const(sstr), param));
11624     }
11625     else if (SvPVX_const(sstr)) {
11626         /* Has something there */
11627         if (SvLEN(sstr)) {
11628             /* Normal PV - clone whole allocated space */
11629             SvPV_set(dstr, SAVEPVN(SvPVX_const(sstr), SvLEN(sstr)-1));
11630             if (SvREADONLY(sstr) && SvFAKE(sstr)) {
11631                 /* Not that normal - actually sstr is copy on write.
11632                    But we are a true, independent SV, so:  */
11633                 SvREADONLY_off(dstr);
11634                 SvFAKE_off(dstr);
11635             }
11636         }
11637         else {
11638             /* Special case - not normally malloced for some reason */
11639             if (isGV_with_GP(sstr)) {
11640                 /* Don't need to do anything here.  */
11641             }
11642             else if ((SvREADONLY(sstr) && SvFAKE(sstr))) {
11643                 /* A "shared" PV - clone it as "shared" PV */
11644                 SvPV_set(dstr,
11645                          HEK_KEY(hek_dup(SvSHARED_HEK_FROM_PV(SvPVX_const(sstr)),
11646                                          param)));
11647             }
11648             else {
11649                 /* Some other special case - random pointer */
11650                 SvPV_set(dstr, (char *) SvPVX_const(sstr));             
11651             }
11652         }
11653     }
11654     else {
11655         /* Copy the NULL */
11656         SvPV_set(dstr, NULL);
11657     }
11658 }
11659
11660 /* duplicate a list of SVs. source and dest may point to the same memory.  */
11661 static SV **
11662 S_sv_dup_inc_multiple(pTHX_ SV *const *source, SV **dest,
11663                       SSize_t items, CLONE_PARAMS *const param)
11664 {
11665     PERL_ARGS_ASSERT_SV_DUP_INC_MULTIPLE;
11666
11667     while (items-- > 0) {
11668         *dest++ = sv_dup_inc(*source++, param);
11669     }
11670
11671     return dest;
11672 }
11673
11674 /* duplicate an SV of any type (including AV, HV etc) */
11675
11676 static SV *
11677 S_sv_dup_common(pTHX_ const SV *const sstr, CLONE_PARAMS *const param)
11678 {
11679     dVAR;
11680     SV *dstr;
11681
11682     PERL_ARGS_ASSERT_SV_DUP_COMMON;
11683
11684     if (SvTYPE(sstr) == SVTYPEMASK) {
11685 #ifdef DEBUG_LEAKING_SCALARS_ABORT
11686         abort();
11687 #endif
11688         return NULL;
11689     }
11690     /* look for it in the table first */
11691     dstr = MUTABLE_SV(ptr_table_fetch(PL_ptr_table, sstr));
11692     if (dstr)
11693         return dstr;
11694
11695     if(param->flags & CLONEf_JOIN_IN) {
11696         /** We are joining here so we don't want do clone
11697             something that is bad **/
11698         if (SvTYPE(sstr) == SVt_PVHV) {
11699             const HEK * const hvname = HvNAME_HEK(sstr);
11700             if (hvname) {
11701                 /** don't clone stashes if they already exist **/
11702                 dstr = MUTABLE_SV(gv_stashpvn(HEK_KEY(hvname), HEK_LEN(hvname), 0));
11703                 ptr_table_store(PL_ptr_table, sstr, dstr);
11704                 return dstr;
11705             }
11706         }
11707     }
11708
11709     /* create anew and remember what it is */
11710     new_SV(dstr);
11711
11712 #ifdef DEBUG_LEAKING_SCALARS
11713     dstr->sv_debug_optype = sstr->sv_debug_optype;
11714     dstr->sv_debug_line = sstr->sv_debug_line;
11715     dstr->sv_debug_inpad = sstr->sv_debug_inpad;
11716     dstr->sv_debug_parent = (SV*)sstr;
11717     FREE_SV_DEBUG_FILE(dstr);
11718     dstr->sv_debug_file = savepv(sstr->sv_debug_file);
11719 #endif
11720
11721     ptr_table_store(PL_ptr_table, sstr, dstr);
11722
11723     /* clone */
11724     SvFLAGS(dstr)       = SvFLAGS(sstr);
11725     SvFLAGS(dstr)       &= ~SVf_OOK;            /* don't propagate OOK hack */
11726     SvREFCNT(dstr)      = 0;                    /* must be before any other dups! */
11727
11728 #ifdef DEBUGGING
11729     if (SvANY(sstr) && PL_watch_pvx && SvPVX_const(sstr) == PL_watch_pvx)
11730         PerlIO_printf(Perl_debug_log, "watch at %p hit, found string \"%s\"\n",
11731                       (void*)PL_watch_pvx, SvPVX_const(sstr));
11732 #endif
11733
11734     /* don't clone objects whose class has asked us not to */
11735     if (SvOBJECT(sstr) && ! (SvFLAGS(SvSTASH(sstr)) & SVphv_CLONEABLE)) {
11736         SvFLAGS(dstr) = 0;
11737         return dstr;
11738     }
11739
11740     switch (SvTYPE(sstr)) {
11741     case SVt_NULL:
11742         SvANY(dstr)     = NULL;
11743         break;
11744     case SVt_IV:
11745         SvANY(dstr)     = (XPVIV*)((char*)&(dstr->sv_u.svu_iv) - STRUCT_OFFSET(XPVIV, xiv_iv));
11746         if(SvROK(sstr)) {
11747             Perl_rvpv_dup(aTHX_ dstr, sstr, param);
11748         } else {
11749             SvIV_set(dstr, SvIVX(sstr));
11750         }
11751         break;
11752     case SVt_NV:
11753         SvANY(dstr)     = new_XNV();
11754         SvNV_set(dstr, SvNVX(sstr));
11755         break;
11756         /* case SVt_BIND: */
11757     default:
11758         {
11759             /* These are all the types that need complex bodies allocating.  */
11760             void *new_body;
11761             const svtype sv_type = SvTYPE(sstr);
11762             const struct body_details *const sv_type_details
11763                 = bodies_by_type + sv_type;
11764
11765             switch (sv_type) {
11766             default:
11767                 Perl_croak(aTHX_ "Bizarre SvTYPE [%" IVdf "]", (IV)SvTYPE(sstr));
11768                 break;
11769
11770             case SVt_PVGV:
11771             case SVt_PVIO:
11772             case SVt_PVFM:
11773             case SVt_PVHV:
11774             case SVt_PVAV:
11775             case SVt_PVCV:
11776             case SVt_PVLV:
11777             case SVt_REGEXP:
11778             case SVt_PVMG:
11779             case SVt_PVNV:
11780             case SVt_PVIV:
11781             case SVt_PV:
11782                 assert(sv_type_details->body_size);
11783                 if (sv_type_details->arena) {
11784                     new_body_inline(new_body, sv_type);
11785                     new_body
11786                         = (void*)((char*)new_body - sv_type_details->offset);
11787                 } else {
11788                     new_body = new_NOARENA(sv_type_details);
11789                 }
11790             }
11791             assert(new_body);
11792             SvANY(dstr) = new_body;
11793
11794 #ifndef PURIFY
11795             Copy(((char*)SvANY(sstr)) + sv_type_details->offset,
11796                  ((char*)SvANY(dstr)) + sv_type_details->offset,
11797                  sv_type_details->copy, char);
11798 #else
11799             Copy(((char*)SvANY(sstr)),
11800                  ((char*)SvANY(dstr)),
11801                  sv_type_details->body_size + sv_type_details->offset, char);
11802 #endif
11803
11804             if (sv_type != SVt_PVAV && sv_type != SVt_PVHV
11805                 && !isGV_with_GP(dstr)
11806                 && !(sv_type == SVt_PVIO && !(IoFLAGS(dstr) & IOf_FAKE_DIRP)))
11807                 Perl_rvpv_dup(aTHX_ dstr, sstr, param);
11808
11809             /* The Copy above means that all the source (unduplicated) pointers
11810                are now in the destination.  We can check the flags and the
11811                pointers in either, but it's possible that there's less cache
11812                missing by always going for the destination.
11813                FIXME - instrument and check that assumption  */
11814             if (sv_type >= SVt_PVMG) {
11815                 if ((sv_type == SVt_PVMG) && SvPAD_OUR(dstr)) {
11816                     SvOURSTASH_set(dstr, hv_dup_inc(SvOURSTASH(dstr), param));
11817                 } else if (SvMAGIC(dstr))
11818                     SvMAGIC_set(dstr, mg_dup(SvMAGIC(dstr), param));
11819                 if (SvSTASH(dstr))
11820                     SvSTASH_set(dstr, hv_dup_inc(SvSTASH(dstr), param));
11821             }
11822
11823             /* The cast silences a GCC warning about unhandled types.  */
11824             switch ((int)sv_type) {
11825             case SVt_PV:
11826                 break;
11827             case SVt_PVIV:
11828                 break;
11829             case SVt_PVNV:
11830                 break;
11831             case SVt_PVMG:
11832                 break;
11833             case SVt_REGEXP:
11834                 /* FIXME for plugins */
11835                 re_dup_guts((REGEXP*) sstr, (REGEXP*) dstr, param);
11836                 break;
11837             case SVt_PVLV:
11838                 /* XXX LvTARGOFF sometimes holds PMOP* when DEBUGGING */
11839                 if (LvTYPE(dstr) == 't') /* for tie: unrefcnted fake (SV**) */
11840                     LvTARG(dstr) = dstr;
11841                 else if (LvTYPE(dstr) == 'T') /* for tie: fake HE */
11842                     LvTARG(dstr) = MUTABLE_SV(he_dup((HE*)LvTARG(dstr), 0, param));
11843                 else
11844                     LvTARG(dstr) = sv_dup_inc(LvTARG(dstr), param);
11845             case SVt_PVGV:
11846                 /* non-GP case already handled above */
11847                 if(isGV_with_GP(sstr)) {
11848                     GvNAME_HEK(dstr) = hek_dup(GvNAME_HEK(dstr), param);
11849                     /* Don't call sv_add_backref here as it's going to be
11850                        created as part of the magic cloning of the symbol
11851                        table--unless this is during a join and the stash
11852                        is not actually being cloned.  */
11853                     /* Danger Will Robinson - GvGP(dstr) isn't initialised
11854                        at the point of this comment.  */
11855                     GvSTASH(dstr) = hv_dup(GvSTASH(dstr), param);
11856                     if (param->flags & CLONEf_JOIN_IN)
11857                         Perl_sv_add_backref(aTHX_ MUTABLE_SV(GvSTASH(dstr)), dstr);
11858                     GvGP_set(dstr, gp_dup(GvGP(sstr), param));
11859                     (void)GpREFCNT_inc(GvGP(dstr));
11860                 }
11861                 break;
11862             case SVt_PVIO:
11863                 /* PL_parser->rsfp_filters entries have fake IoDIRP() */
11864                 if(IoFLAGS(dstr) & IOf_FAKE_DIRP) {
11865                     /* I have no idea why fake dirp (rsfps)
11866                        should be treated differently but otherwise
11867                        we end up with leaks -- sky*/
11868                     IoTOP_GV(dstr)      = gv_dup_inc(IoTOP_GV(dstr), param);
11869                     IoFMT_GV(dstr)      = gv_dup_inc(IoFMT_GV(dstr), param);
11870                     IoBOTTOM_GV(dstr)   = gv_dup_inc(IoBOTTOM_GV(dstr), param);
11871                 } else {
11872                     IoTOP_GV(dstr)      = gv_dup(IoTOP_GV(dstr), param);
11873                     IoFMT_GV(dstr)      = gv_dup(IoFMT_GV(dstr), param);
11874                     IoBOTTOM_GV(dstr)   = gv_dup(IoBOTTOM_GV(dstr), param);
11875                     if (IoDIRP(dstr)) {
11876                         IoDIRP(dstr)    = dirp_dup(IoDIRP(dstr), param);
11877                     } else {
11878                         NOOP;
11879                         /* IoDIRP(dstr) is already a copy of IoDIRP(sstr)  */
11880                     }
11881                     IoIFP(dstr) = fp_dup(IoIFP(sstr), IoTYPE(dstr), param);
11882                 }
11883                 if (IoOFP(dstr) == IoIFP(sstr))
11884                     IoOFP(dstr) = IoIFP(dstr);
11885                 else
11886                     IoOFP(dstr) = fp_dup(IoOFP(dstr), IoTYPE(dstr), param);
11887                 IoTOP_NAME(dstr)        = SAVEPV(IoTOP_NAME(dstr));
11888                 IoFMT_NAME(dstr)        = SAVEPV(IoFMT_NAME(dstr));
11889                 IoBOTTOM_NAME(dstr)     = SAVEPV(IoBOTTOM_NAME(dstr));
11890                 break;
11891             case SVt_PVAV:
11892                 /* avoid cloning an empty array */
11893                 if (AvARRAY((const AV *)sstr) && AvFILLp((const AV *)sstr) >= 0) {
11894                     SV **dst_ary, **src_ary;
11895                     SSize_t items = AvFILLp((const AV *)sstr) + 1;
11896
11897                     src_ary = AvARRAY((const AV *)sstr);
11898                     Newxz(dst_ary, AvMAX((const AV *)sstr)+1, SV*);
11899                     ptr_table_store(PL_ptr_table, src_ary, dst_ary);
11900                     AvARRAY(MUTABLE_AV(dstr)) = dst_ary;
11901                     AvALLOC((const AV *)dstr) = dst_ary;
11902                     if (AvREAL((const AV *)sstr)) {
11903                         dst_ary = sv_dup_inc_multiple(src_ary, dst_ary, items,
11904                                                       param);
11905                     }
11906                     else {
11907                         while (items-- > 0)
11908                             *dst_ary++ = sv_dup(*src_ary++, param);
11909                     }
11910                     items = AvMAX((const AV *)sstr) - AvFILLp((const AV *)sstr);
11911                     while (items-- > 0) {
11912                         *dst_ary++ = &PL_sv_undef;
11913                     }
11914                 }
11915                 else {
11916                     AvARRAY(MUTABLE_AV(dstr))   = NULL;
11917                     AvALLOC((const AV *)dstr)   = (SV**)NULL;
11918                     AvMAX(  (const AV *)dstr)   = -1;
11919                     AvFILLp((const AV *)dstr)   = -1;
11920                 }
11921                 break;
11922             case SVt_PVHV:
11923                 if (HvARRAY((const HV *)sstr)) {
11924                     STRLEN i = 0;
11925                     const bool sharekeys = !!HvSHAREKEYS(sstr);
11926                     XPVHV * const dxhv = (XPVHV*)SvANY(dstr);
11927                     XPVHV * const sxhv = (XPVHV*)SvANY(sstr);
11928                     char *darray;
11929                     Newx(darray, PERL_HV_ARRAY_ALLOC_BYTES(dxhv->xhv_max+1)
11930                         + (SvOOK(sstr) ? sizeof(struct xpvhv_aux) : 0),
11931                         char);
11932                     HvARRAY(dstr) = (HE**)darray;
11933                     while (i <= sxhv->xhv_max) {
11934                         const HE * const source = HvARRAY(sstr)[i];
11935                         HvARRAY(dstr)[i] = source
11936                             ? he_dup(source, sharekeys, param) : 0;
11937                         ++i;
11938                     }
11939                     if (SvOOK(sstr)) {
11940                         const struct xpvhv_aux * const saux = HvAUX(sstr);
11941                         struct xpvhv_aux * const daux = HvAUX(dstr);
11942                         /* This flag isn't copied.  */
11943                         /* SvOOK_on(hv) attacks the IV flags.  */
11944                         SvFLAGS(dstr) |= SVf_OOK;
11945
11946                         if (saux->xhv_name_count) {
11947                             HEK ** const sname = saux->xhv_name_u.xhvnameu_names;
11948                             const I32 count
11949                              = saux->xhv_name_count < 0
11950                                 ? -saux->xhv_name_count
11951                                 :  saux->xhv_name_count;
11952                             HEK **shekp = sname + count;
11953                             HEK **dhekp;
11954                             Newx(daux->xhv_name_u.xhvnameu_names, count, HEK *);
11955                             dhekp = daux->xhv_name_u.xhvnameu_names + count;
11956                             while (shekp-- > sname) {
11957                                 dhekp--;
11958                                 *dhekp = hek_dup(*shekp, param);
11959                             }
11960                         }
11961                         else {
11962                             daux->xhv_name_u.xhvnameu_name
11963                                 = hek_dup(saux->xhv_name_u.xhvnameu_name,
11964                                           param);
11965                         }
11966                         daux->xhv_name_count = saux->xhv_name_count;
11967
11968                         daux->xhv_riter = saux->xhv_riter;
11969                         daux->xhv_eiter = saux->xhv_eiter
11970                             ? he_dup(saux->xhv_eiter,
11971                                         cBOOL(HvSHAREKEYS(sstr)), param) : 0;
11972                         /* backref array needs refcnt=2; see sv_add_backref */
11973                         daux->xhv_backreferences =
11974                             (param->flags & CLONEf_JOIN_IN)
11975                                 /* when joining, we let the individual GVs and
11976                                  * CVs add themselves to backref as
11977                                  * needed. This avoids pulling in stuff
11978                                  * that isn't required, and simplifies the
11979                                  * case where stashes aren't cloned back
11980                                  * if they already exist in the parent
11981                                  * thread */
11982                             ? NULL
11983                             : saux->xhv_backreferences
11984                                 ? (SvTYPE(saux->xhv_backreferences) == SVt_PVAV)
11985                                     ? MUTABLE_AV(SvREFCNT_inc(
11986                                           sv_dup_inc((const SV *)
11987                                             saux->xhv_backreferences, param)))
11988                                     : MUTABLE_AV(sv_dup((const SV *)
11989                                             saux->xhv_backreferences, param))
11990                                 : 0;
11991
11992                         daux->xhv_mro_meta = saux->xhv_mro_meta
11993                             ? mro_meta_dup(saux->xhv_mro_meta, param)
11994                             : 0;
11995
11996                         /* Record stashes for possible cloning in Perl_clone(). */
11997                         if (HvNAME(sstr))
11998                             av_push(param->stashes, dstr);
11999                     }
12000                 }
12001                 else
12002                     HvARRAY(MUTABLE_HV(dstr)) = NULL;
12003                 break;
12004             case SVt_PVCV:
12005                 if (!(param->flags & CLONEf_COPY_STACKS)) {
12006                     CvDEPTH(dstr) = 0;
12007                 }
12008                 /*FALLTHROUGH*/
12009             case SVt_PVFM:
12010                 /* NOTE: not refcounted */
12011                 SvANY(MUTABLE_CV(dstr))->xcv_stash =
12012                     hv_dup(CvSTASH(dstr), param);
12013                 if ((param->flags & CLONEf_JOIN_IN) && CvSTASH(dstr))
12014                     Perl_sv_add_backref(aTHX_ MUTABLE_SV(CvSTASH(dstr)), dstr);
12015                 if (!CvISXSUB(dstr)) {
12016                     OP_REFCNT_LOCK;
12017                     CvROOT(dstr) = OpREFCNT_inc(CvROOT(dstr));
12018                     OP_REFCNT_UNLOCK;
12019                     CvFILE(dstr) = SAVEPV(CvFILE(dstr));
12020                 } else if (CvCONST(dstr)) {
12021                     CvXSUBANY(dstr).any_ptr =
12022                         sv_dup_inc((const SV *)CvXSUBANY(dstr).any_ptr, param);
12023                 }
12024                 /* don't dup if copying back - CvGV isn't refcounted, so the
12025                  * duped GV may never be freed. A bit of a hack! DAPM */
12026                 SvANY(MUTABLE_CV(dstr))->xcv_gv =
12027                     CvCVGV_RC(dstr)
12028                     ? gv_dup_inc(CvGV(sstr), param)
12029                     : (param->flags & CLONEf_JOIN_IN)
12030                         ? NULL
12031                         : gv_dup(CvGV(sstr), param);
12032
12033                 CvPADLIST(dstr) = padlist_dup(CvPADLIST(sstr), param);
12034                 CvOUTSIDE(dstr) =
12035                     CvWEAKOUTSIDE(sstr)
12036                     ? cv_dup(    CvOUTSIDE(dstr), param)
12037                     : cv_dup_inc(CvOUTSIDE(dstr), param);
12038                 break;
12039             }
12040         }
12041     }
12042
12043     if (SvOBJECT(dstr) && SvTYPE(dstr) != SVt_PVIO)
12044         ++PL_sv_objcount;
12045
12046     return dstr;
12047  }
12048
12049 SV *
12050 Perl_sv_dup_inc(pTHX_ const SV *const sstr, CLONE_PARAMS *const param)
12051 {
12052     PERL_ARGS_ASSERT_SV_DUP_INC;
12053     return sstr ? SvREFCNT_inc(sv_dup_common(sstr, param)) : NULL;
12054 }
12055
12056 SV *
12057 Perl_sv_dup(pTHX_ const SV *const sstr, CLONE_PARAMS *const param)
12058 {
12059     SV *dstr = sstr ? sv_dup_common(sstr, param) : NULL;
12060     PERL_ARGS_ASSERT_SV_DUP;
12061
12062     /* Track every SV that (at least initially) had a reference count of 0.
12063        We need to do this by holding an actual reference to it in this array.
12064        If we attempt to cheat, turn AvREAL_off(), and store only pointers
12065        (akin to the stashes hash, and the perl stack), we come unstuck if
12066        a weak reference (or other SV legitimately SvREFCNT() == 0 for this
12067        thread) is manipulated in a CLONE method, because CLONE runs before the
12068        unreferenced array is walked to find SVs still with SvREFCNT() == 0
12069        (and fix things up by giving each a reference via the temps stack).
12070        Instead, during CLONE, if the 0-referenced SV has SvREFCNT_inc() and
12071        then SvREFCNT_dec(), it will be cleaned up (and added to the free list)
12072        before the walk of unreferenced happens and a reference to that is SV
12073        added to the temps stack. At which point we have the same SV considered
12074        to be in use, and free to be re-used. Not good.
12075     */
12076     if (dstr && !(param->flags & CLONEf_COPY_STACKS) && !SvREFCNT(dstr)) {
12077         assert(param->unreferenced);
12078         av_push(param->unreferenced, SvREFCNT_inc(dstr));
12079     }
12080
12081     return dstr;
12082 }
12083
12084 /* duplicate a context */
12085
12086 PERL_CONTEXT *
12087 Perl_cx_dup(pTHX_ PERL_CONTEXT *cxs, I32 ix, I32 max, CLONE_PARAMS* param)
12088 {
12089     PERL_CONTEXT *ncxs;
12090
12091     PERL_ARGS_ASSERT_CX_DUP;
12092
12093     if (!cxs)
12094         return (PERL_CONTEXT*)NULL;
12095
12096     /* look for it in the table first */
12097     ncxs = (PERL_CONTEXT*)ptr_table_fetch(PL_ptr_table, cxs);
12098     if (ncxs)
12099         return ncxs;
12100
12101     /* create anew and remember what it is */
12102     Newx(ncxs, max + 1, PERL_CONTEXT);
12103     ptr_table_store(PL_ptr_table, cxs, ncxs);
12104     Copy(cxs, ncxs, max + 1, PERL_CONTEXT);
12105
12106     while (ix >= 0) {
12107         PERL_CONTEXT * const ncx = &ncxs[ix];
12108         if (CxTYPE(ncx) == CXt_SUBST) {
12109             Perl_croak(aTHX_ "Cloning substitution context is unimplemented");
12110         }
12111         else {
12112             switch (CxTYPE(ncx)) {
12113             case CXt_SUB:
12114                 ncx->blk_sub.cv         = (ncx->blk_sub.olddepth == 0
12115                                            ? cv_dup_inc(ncx->blk_sub.cv, param)
12116                                            : cv_dup(ncx->blk_sub.cv,param));
12117                 ncx->blk_sub.argarray   = (CxHASARGS(ncx)
12118                                            ? av_dup_inc(ncx->blk_sub.argarray,
12119                                                         param)
12120                                            : NULL);
12121                 ncx->blk_sub.savearray  = av_dup_inc(ncx->blk_sub.savearray,
12122                                                      param);
12123                 ncx->blk_sub.oldcomppad = (PAD*)ptr_table_fetch(PL_ptr_table,
12124                                            ncx->blk_sub.oldcomppad);
12125                 break;
12126             case CXt_EVAL:
12127                 ncx->blk_eval.old_namesv = sv_dup_inc(ncx->blk_eval.old_namesv,
12128                                                       param);
12129                 ncx->blk_eval.cur_text  = sv_dup(ncx->blk_eval.cur_text, param);
12130                 break;
12131             case CXt_LOOP_LAZYSV:
12132                 ncx->blk_loop.state_u.lazysv.end
12133                     = sv_dup_inc(ncx->blk_loop.state_u.lazysv.end, param);
12134                 /* We are taking advantage of av_dup_inc and sv_dup_inc
12135                    actually being the same function, and order equivalence of
12136                    the two unions.
12137                    We can assert the later [but only at run time :-(]  */
12138                 assert ((void *) &ncx->blk_loop.state_u.ary.ary ==
12139                         (void *) &ncx->blk_loop.state_u.lazysv.cur);
12140             case CXt_LOOP_FOR:
12141                 ncx->blk_loop.state_u.ary.ary
12142                     = av_dup_inc(ncx->blk_loop.state_u.ary.ary, param);
12143             case CXt_LOOP_LAZYIV:
12144             case CXt_LOOP_PLAIN:
12145                 if (CxPADLOOP(ncx)) {
12146                     ncx->blk_loop.itervar_u.oldcomppad
12147                         = (PAD*)ptr_table_fetch(PL_ptr_table,
12148                                         ncx->blk_loop.itervar_u.oldcomppad);
12149                 } else {
12150                     ncx->blk_loop.itervar_u.gv
12151                         = gv_dup((const GV *)ncx->blk_loop.itervar_u.gv,
12152                                     param);
12153                 }
12154                 break;
12155             case CXt_FORMAT:
12156                 ncx->blk_format.cv      = cv_dup(ncx->blk_format.cv, param);
12157                 ncx->blk_format.gv      = gv_dup(ncx->blk_format.gv, param);
12158                 ncx->blk_format.dfoutgv = gv_dup_inc(ncx->blk_format.dfoutgv,
12159                                                      param);
12160                 break;
12161             case CXt_BLOCK:
12162             case CXt_NULL:
12163                 break;
12164             }
12165         }
12166         --ix;
12167     }
12168     return ncxs;
12169 }
12170
12171 /* duplicate a stack info structure */
12172
12173 PERL_SI *
12174 Perl_si_dup(pTHX_ PERL_SI *si, CLONE_PARAMS* param)
12175 {
12176     PERL_SI *nsi;
12177
12178     PERL_ARGS_ASSERT_SI_DUP;
12179
12180     if (!si)
12181         return (PERL_SI*)NULL;
12182
12183     /* look for it in the table first */
12184     nsi = (PERL_SI*)ptr_table_fetch(PL_ptr_table, si);
12185     if (nsi)
12186         return nsi;
12187
12188     /* create anew and remember what it is */
12189     Newxz(nsi, 1, PERL_SI);
12190     ptr_table_store(PL_ptr_table, si, nsi);
12191
12192     nsi->si_stack       = av_dup_inc(si->si_stack, param);
12193     nsi->si_cxix        = si->si_cxix;
12194     nsi->si_cxmax       = si->si_cxmax;
12195     nsi->si_cxstack     = cx_dup(si->si_cxstack, si->si_cxix, si->si_cxmax, param);
12196     nsi->si_type        = si->si_type;
12197     nsi->si_prev        = si_dup(si->si_prev, param);
12198     nsi->si_next        = si_dup(si->si_next, param);
12199     nsi->si_markoff     = si->si_markoff;
12200
12201     return nsi;
12202 }
12203
12204 #define POPINT(ss,ix)   ((ss)[--(ix)].any_i32)
12205 #define TOPINT(ss,ix)   ((ss)[ix].any_i32)
12206 #define POPLONG(ss,ix)  ((ss)[--(ix)].any_long)
12207 #define TOPLONG(ss,ix)  ((ss)[ix].any_long)
12208 #define POPIV(ss,ix)    ((ss)[--(ix)].any_iv)
12209 #define TOPIV(ss,ix)    ((ss)[ix].any_iv)
12210 #define POPUV(ss,ix)    ((ss)[--(ix)].any_uv)
12211 #define TOPUV(ss,ix)    ((ss)[ix].any_uv)
12212 #define POPBOOL(ss,ix)  ((ss)[--(ix)].any_bool)
12213 #define TOPBOOL(ss,ix)  ((ss)[ix].any_bool)
12214 #define POPPTR(ss,ix)   ((ss)[--(ix)].any_ptr)
12215 #define TOPPTR(ss,ix)   ((ss)[ix].any_ptr)
12216 #define POPDPTR(ss,ix)  ((ss)[--(ix)].any_dptr)
12217 #define TOPDPTR(ss,ix)  ((ss)[ix].any_dptr)
12218 #define POPDXPTR(ss,ix) ((ss)[--(ix)].any_dxptr)
12219 #define TOPDXPTR(ss,ix) ((ss)[ix].any_dxptr)
12220
12221 /* XXXXX todo */
12222 #define pv_dup_inc(p)   SAVEPV(p)
12223 #define pv_dup(p)       SAVEPV(p)
12224 #define svp_dup_inc(p,pp)       any_dup(p,pp)
12225
12226 /* map any object to the new equivent - either something in the
12227  * ptr table, or something in the interpreter structure
12228  */
12229
12230 void *
12231 Perl_any_dup(pTHX_ void *v, const PerlInterpreter *proto_perl)
12232 {
12233     void *ret;
12234
12235     PERL_ARGS_ASSERT_ANY_DUP;
12236
12237     if (!v)
12238         return (void*)NULL;
12239
12240     /* look for it in the table first */
12241     ret = ptr_table_fetch(PL_ptr_table, v);
12242     if (ret)
12243         return ret;
12244
12245     /* see if it is part of the interpreter structure */
12246     if (v >= (void*)proto_perl && v < (void*)(proto_perl+1))
12247         ret = (void*)(((char*)aTHX) + (((char*)v) - (char*)proto_perl));
12248     else {
12249         ret = v;
12250     }
12251
12252     return ret;
12253 }
12254
12255 /* duplicate the save stack */
12256
12257 ANY *
12258 Perl_ss_dup(pTHX_ PerlInterpreter *proto_perl, CLONE_PARAMS* param)
12259 {
12260     dVAR;
12261     ANY * const ss      = proto_perl->Isavestack;
12262     const I32 max       = proto_perl->Isavestack_max;
12263     I32 ix              = proto_perl->Isavestack_ix;
12264     ANY *nss;
12265     const SV *sv;
12266     const GV *gv;
12267     const AV *av;
12268     const HV *hv;
12269     void* ptr;
12270     int intval;
12271     long longval;
12272     GP *gp;
12273     IV iv;
12274     I32 i;
12275     char *c = NULL;
12276     void (*dptr) (void*);
12277     void (*dxptr) (pTHX_ void*);
12278
12279     PERL_ARGS_ASSERT_SS_DUP;
12280
12281     Newxz(nss, max, ANY);
12282
12283     while (ix > 0) {
12284         const UV uv = POPUV(ss,ix);
12285         const U8 type = (U8)uv & SAVE_MASK;
12286
12287         TOPUV(nss,ix) = uv;
12288         switch (type) {
12289         case SAVEt_CLEARSV:
12290             break;
12291         case SAVEt_HELEM:               /* hash element */
12292             sv = (const SV *)POPPTR(ss,ix);
12293             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
12294             /* fall through */
12295         case SAVEt_ITEM:                        /* normal string */
12296         case SAVEt_GVSV:                        /* scalar slot in GV */
12297         case SAVEt_SV:                          /* scalar reference */
12298             sv = (const SV *)POPPTR(ss,ix);
12299             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
12300             /* fall through */
12301         case SAVEt_FREESV:
12302         case SAVEt_MORTALIZESV:
12303             sv = (const SV *)POPPTR(ss,ix);
12304             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
12305             break;
12306         case SAVEt_SHARED_PVREF:                /* char* in shared space */
12307             c = (char*)POPPTR(ss,ix);
12308             TOPPTR(nss,ix) = savesharedpv(c);
12309             ptr = POPPTR(ss,ix);
12310             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
12311             break;
12312         case SAVEt_GENERIC_SVREF:               /* generic sv */
12313         case SAVEt_SVREF:                       /* scalar reference */
12314             sv = (const SV *)POPPTR(ss,ix);
12315             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
12316             ptr = POPPTR(ss,ix);
12317             TOPPTR(nss,ix) = svp_dup_inc((SV**)ptr, proto_perl);/* XXXXX */
12318             break;
12319         case SAVEt_HV:                          /* hash reference */
12320         case SAVEt_AV:                          /* array reference */
12321             sv = (const SV *) POPPTR(ss,ix);
12322             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
12323             /* fall through */
12324         case SAVEt_COMPPAD:
12325         case SAVEt_NSTAB:
12326             sv = (const SV *) POPPTR(ss,ix);
12327             TOPPTR(nss,ix) = sv_dup(sv, param);
12328             break;
12329         case SAVEt_INT:                         /* int reference */
12330             ptr = POPPTR(ss,ix);
12331             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
12332             intval = (int)POPINT(ss,ix);
12333             TOPINT(nss,ix) = intval;
12334             break;
12335         case SAVEt_LONG:                        /* long reference */
12336             ptr = POPPTR(ss,ix);
12337             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
12338             longval = (long)POPLONG(ss,ix);
12339             TOPLONG(nss,ix) = longval;
12340             break;
12341         case SAVEt_I32:                         /* I32 reference */
12342         case SAVEt_COP_ARYBASE:                 /* call CopARYBASE_set */
12343             ptr = POPPTR(ss,ix);
12344             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
12345             i = POPINT(ss,ix);
12346             TOPINT(nss,ix) = i;
12347             break;
12348         case SAVEt_IV:                          /* IV reference */
12349             ptr = POPPTR(ss,ix);
12350             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
12351             iv = POPIV(ss,ix);
12352             TOPIV(nss,ix) = iv;
12353             break;
12354         case SAVEt_HPTR:                        /* HV* reference */
12355         case SAVEt_APTR:                        /* AV* reference */
12356         case SAVEt_SPTR:                        /* SV* reference */
12357             ptr = POPPTR(ss,ix);
12358             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
12359             sv = (const SV *)POPPTR(ss,ix);
12360             TOPPTR(nss,ix) = sv_dup(sv, param);
12361             break;
12362         case SAVEt_VPTR:                        /* random* reference */
12363             ptr = POPPTR(ss,ix);
12364             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
12365             /* Fall through */
12366         case SAVEt_INT_SMALL:
12367         case SAVEt_I32_SMALL:
12368         case SAVEt_I16:                         /* I16 reference */
12369         case SAVEt_I8:                          /* I8 reference */
12370         case SAVEt_BOOL:
12371             ptr = POPPTR(ss,ix);
12372             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
12373             break;
12374         case SAVEt_GENERIC_PVREF:               /* generic char* */
12375         case SAVEt_PPTR:                        /* char* reference */
12376             ptr = POPPTR(ss,ix);
12377             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
12378             c = (char*)POPPTR(ss,ix);
12379             TOPPTR(nss,ix) = pv_dup(c);
12380             break;
12381         case SAVEt_GP:                          /* scalar reference */
12382             gp = (GP*)POPPTR(ss,ix);
12383             TOPPTR(nss,ix) = gp = gp_dup(gp, param);
12384             (void)GpREFCNT_inc(gp);
12385             gv = (const GV *)POPPTR(ss,ix);
12386             TOPPTR(nss,ix) = gv_dup_inc(gv, param);
12387             break;
12388         case SAVEt_FREEOP:
12389             ptr = POPPTR(ss,ix);
12390             if (ptr && (((OP*)ptr)->op_private & OPpREFCOUNTED)) {
12391                 /* these are assumed to be refcounted properly */
12392                 OP *o;
12393                 switch (((OP*)ptr)->op_type) {
12394                 case OP_LEAVESUB:
12395                 case OP_LEAVESUBLV:
12396                 case OP_LEAVEEVAL:
12397                 case OP_LEAVE:
12398                 case OP_SCOPE:
12399                 case OP_LEAVEWRITE:
12400                     TOPPTR(nss,ix) = ptr;
12401                     o = (OP*)ptr;
12402                     OP_REFCNT_LOCK;
12403                     (void) OpREFCNT_inc(o);
12404                     OP_REFCNT_UNLOCK;
12405                     break;
12406                 default:
12407                     TOPPTR(nss,ix) = NULL;
12408                     break;
12409                 }
12410             }
12411             else
12412                 TOPPTR(nss,ix) = NULL;
12413             break;
12414         case SAVEt_FREECOPHH:
12415             ptr = POPPTR(ss,ix);
12416             TOPPTR(nss,ix) = cophh_copy((COPHH *)ptr);
12417             break;
12418         case SAVEt_DELETE:
12419             hv = (const HV *)POPPTR(ss,ix);
12420             TOPPTR(nss,ix) = hv_dup_inc(hv, param);
12421             i = POPINT(ss,ix);
12422             TOPINT(nss,ix) = i;
12423             /* Fall through */
12424         case SAVEt_FREEPV:
12425             c = (char*)POPPTR(ss,ix);
12426             TOPPTR(nss,ix) = pv_dup_inc(c);
12427             break;
12428         case SAVEt_STACK_POS:           /* Position on Perl stack */
12429             i = POPINT(ss,ix);
12430             TOPINT(nss,ix) = i;
12431             break;
12432         case SAVEt_DESTRUCTOR:
12433             ptr = POPPTR(ss,ix);
12434             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
12435             dptr = POPDPTR(ss,ix);
12436             TOPDPTR(nss,ix) = DPTR2FPTR(void (*)(void*),
12437                                         any_dup(FPTR2DPTR(void *, dptr),
12438                                                 proto_perl));
12439             break;
12440         case SAVEt_DESTRUCTOR_X:
12441             ptr = POPPTR(ss,ix);
12442             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);  /* XXX quite arbitrary */
12443             dxptr = POPDXPTR(ss,ix);
12444             TOPDXPTR(nss,ix) = DPTR2FPTR(void (*)(pTHX_ void*),
12445                                          any_dup(FPTR2DPTR(void *, dxptr),
12446                                                  proto_perl));
12447             break;
12448         case SAVEt_REGCONTEXT:
12449         case SAVEt_ALLOC:
12450             ix -= uv >> SAVE_TIGHT_SHIFT;
12451             break;
12452         case SAVEt_AELEM:               /* array element */
12453             sv = (const SV *)POPPTR(ss,ix);
12454             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
12455             i = POPINT(ss,ix);
12456             TOPINT(nss,ix) = i;
12457             av = (const AV *)POPPTR(ss,ix);
12458             TOPPTR(nss,ix) = av_dup_inc(av, param);
12459             break;
12460         case SAVEt_OP:
12461             ptr = POPPTR(ss,ix);
12462             TOPPTR(nss,ix) = ptr;
12463             break;
12464         case SAVEt_HINTS:
12465             ptr = POPPTR(ss,ix);
12466             ptr = cophh_copy((COPHH*)ptr);
12467             TOPPTR(nss,ix) = ptr;
12468             i = POPINT(ss,ix);
12469             TOPINT(nss,ix) = i;
12470             if (i & HINT_LOCALIZE_HH) {
12471                 hv = (const HV *)POPPTR(ss,ix);
12472                 TOPPTR(nss,ix) = hv_dup_inc(hv, param);
12473             }
12474             break;
12475         case SAVEt_PADSV_AND_MORTALIZE:
12476             longval = (long)POPLONG(ss,ix);
12477             TOPLONG(nss,ix) = longval;
12478             ptr = POPPTR(ss,ix);
12479             TOPPTR(nss,ix) = any_dup(ptr, proto_perl);
12480             sv = (const SV *)POPPTR(ss,ix);
12481             TOPPTR(nss,ix) = sv_dup_inc(sv, param);
12482             break;
12483         case SAVEt_SET_SVFLAGS:
12484             i = POPINT(ss,ix);
12485             TOPINT(nss,ix) = i;
12486             i = POPINT(ss,ix);
12487             TOPINT(nss,ix) = i;
12488             sv = (const SV *)POPPTR(ss,ix);
12489             TOPPTR(nss,ix) = sv_dup(sv, param);
12490             break;
12491         case SAVEt_RE_STATE:
12492             {
12493                 const struct re_save_state *const old_state
12494                     = (struct re_save_state *)
12495                     (ss + ix - SAVESTACK_ALLOC_FOR_RE_SAVE_STATE);
12496                 struct re_save_state *const new_state
12497                     = (struct re_save_state *)
12498                     (nss + ix - SAVESTACK_ALLOC_FOR_RE_SAVE_STATE);
12499
12500                 Copy(old_state, new_state, 1, struct re_save_state);
12501                 ix -= SAVESTACK_ALLOC_FOR_RE_SAVE_STATE;
12502
12503                 new_state->re_state_bostr
12504                     = pv_dup(old_state->re_state_bostr);
12505                 new_state->re_state_reginput
12506                     = pv_dup(old_state->re_state_reginput);
12507                 new_state->re_state_regeol
12508                     = pv_dup(old_state->re_state_regeol);
12509                 new_state->re_state_regoffs
12510                     = (regexp_paren_pair*)
12511                         any_dup(old_state->re_state_regoffs, proto_perl);
12512                 new_state->re_state_reglastparen
12513                     = (U32*) any_dup(old_state->re_state_reglastparen, 
12514                               proto_perl);
12515                 new_state->re_state_reglastcloseparen
12516                     = (U32*)any_dup(old_state->re_state_reglastcloseparen,
12517                               proto_perl);
12518                 /* XXX This just has to be broken. The old save_re_context
12519                    code did SAVEGENERICPV(PL_reg_start_tmp);
12520                    PL_reg_start_tmp is char **.
12521                    Look above to what the dup code does for
12522                    SAVEt_GENERIC_PVREF
12523                    It can never have worked.
12524                    So this is merely a faithful copy of the exiting bug:  */
12525                 new_state->re_state_reg_start_tmp
12526                     = (char **) pv_dup((char *)
12527                                       old_state->re_state_reg_start_tmp);
12528                 /* I assume that it only ever "worked" because no-one called
12529                    (pseudo)fork while the regexp engine had re-entered itself.
12530                 */
12531 #ifdef PERL_OLD_COPY_ON_WRITE
12532                 new_state->re_state_nrs
12533                     = sv_dup(old_state->re_state_nrs, param);
12534 #endif
12535                 new_state->re_state_reg_magic
12536                     = (MAGIC*) any_dup(old_state->re_state_reg_magic, 
12537                                proto_perl);
12538                 new_state->re_state_reg_oldcurpm
12539                     = (PMOP*) any_dup(old_state->re_state_reg_oldcurpm, 
12540                               proto_perl);
12541                 new_state->re_state_reg_curpm
12542                     = (PMOP*)  any_dup(old_state->re_state_reg_curpm, 
12543                                proto_perl);
12544                 new_state->re_state_reg_oldsaved
12545                     = pv_dup(old_state->re_state_reg_oldsaved);
12546                 new_state->re_state_reg_poscache
12547                     = pv_dup(old_state->re_state_reg_poscache);
12548                 new_state->re_state_reg_starttry
12549                     = pv_dup(old_state->re_state_reg_starttry);
12550                 break;
12551             }
12552         case SAVEt_COMPILE_WARNINGS:
12553             ptr = POPPTR(ss,ix);
12554             TOPPTR(nss,ix) = DUP_WARNINGS((STRLEN*)ptr);
12555             break;
12556         case SAVEt_PARSER:
12557             ptr = POPPTR(ss,ix);
12558             TOPPTR(nss,ix) = parser_dup((const yy_parser*)ptr, param);
12559             break;
12560         default:
12561             Perl_croak(aTHX_
12562                        "panic: ss_dup inconsistency (%"IVdf")", (IV) type);
12563         }
12564     }
12565
12566     return nss;
12567 }
12568
12569
12570 /* if sv is a stash, call $class->CLONE_SKIP(), and set the SVphv_CLONEABLE
12571  * flag to the result. This is done for each stash before cloning starts,
12572  * so we know which stashes want their objects cloned */
12573
12574 static void
12575 do_mark_cloneable_stash(pTHX_ SV *const sv)
12576 {
12577     const HEK * const hvname = HvNAME_HEK((const HV *)sv);
12578     if (hvname) {
12579         GV* const cloner = gv_fetchmethod_autoload(MUTABLE_HV(sv), "CLONE_SKIP", 0);
12580         SvFLAGS(sv) |= SVphv_CLONEABLE; /* clone objects by default */
12581         if (cloner && GvCV(cloner)) {
12582             dSP;
12583             UV status;
12584
12585             ENTER;
12586             SAVETMPS;
12587             PUSHMARK(SP);
12588             mXPUSHs(newSVhek(hvname));
12589             PUTBACK;
12590             call_sv(MUTABLE_SV(GvCV(cloner)), G_SCALAR);
12591             SPAGAIN;
12592             status = POPu;
12593             PUTBACK;
12594             FREETMPS;
12595             LEAVE;
12596             if (status)
12597                 SvFLAGS(sv) &= ~SVphv_CLONEABLE;
12598         }
12599     }
12600 }
12601
12602
12603
12604 /*
12605 =for apidoc perl_clone
12606
12607 Create and return a new interpreter by cloning the current one.
12608
12609 perl_clone takes these flags as parameters:
12610
12611 CLONEf_COPY_STACKS - is used to, well, copy the stacks also,
12612 without it we only clone the data and zero the stacks,
12613 with it we copy the stacks and the new perl interpreter is
12614 ready to run at the exact same point as the previous one.
12615 The pseudo-fork code uses COPY_STACKS while the
12616 threads->create doesn't.
12617
12618 CLONEf_KEEP_PTR_TABLE
12619 perl_clone keeps a ptr_table with the pointer of the old
12620 variable as a key and the new variable as a value,
12621 this allows it to check if something has been cloned and not
12622 clone it again but rather just use the value and increase the
12623 refcount. If KEEP_PTR_TABLE is not set then perl_clone will kill
12624 the ptr_table using the function
12625 C<ptr_table_free(PL_ptr_table); PL_ptr_table = NULL;>,
12626 reason to keep it around is if you want to dup some of your own
12627 variable who are outside the graph perl scans, example of this
12628 code is in threads.xs create
12629
12630 CLONEf_CLONE_HOST
12631 This is a win32 thing, it is ignored on unix, it tells perls
12632 win32host code (which is c++) to clone itself, this is needed on
12633 win32 if you want to run two threads at the same time,
12634 if you just want to do some stuff in a separate perl interpreter
12635 and then throw it away and return to the original one,
12636 you don't need to do anything.
12637
12638 =cut
12639 */
12640
12641 /* XXX the above needs expanding by someone who actually understands it ! */
12642 EXTERN_C PerlInterpreter *
12643 perl_clone_host(PerlInterpreter* proto_perl, UV flags);
12644
12645 PerlInterpreter *
12646 perl_clone(PerlInterpreter *proto_perl, UV flags)
12647 {
12648    dVAR;
12649 #ifdef PERL_IMPLICIT_SYS
12650
12651     PERL_ARGS_ASSERT_PERL_CLONE;
12652
12653    /* perlhost.h so we need to call into it
12654    to clone the host, CPerlHost should have a c interface, sky */
12655
12656    if (flags & CLONEf_CLONE_HOST) {
12657        return perl_clone_host(proto_perl,flags);
12658    }
12659    return perl_clone_using(proto_perl, flags,
12660                             proto_perl->IMem,
12661                             proto_perl->IMemShared,
12662                             proto_perl->IMemParse,
12663                             proto_perl->IEnv,
12664                             proto_perl->IStdIO,
12665                             proto_perl->ILIO,
12666                             proto_perl->IDir,
12667                             proto_perl->ISock,
12668                             proto_perl->IProc);
12669 }
12670
12671 PerlInterpreter *
12672 perl_clone_using(PerlInterpreter *proto_perl, UV flags,
12673                  struct IPerlMem* ipM, struct IPerlMem* ipMS,
12674                  struct IPerlMem* ipMP, struct IPerlEnv* ipE,
12675                  struct IPerlStdIO* ipStd, struct IPerlLIO* ipLIO,
12676                  struct IPerlDir* ipD, struct IPerlSock* ipS,
12677                  struct IPerlProc* ipP)
12678 {
12679     /* XXX many of the string copies here can be optimized if they're
12680      * constants; they need to be allocated as common memory and just
12681      * their pointers copied. */
12682
12683     IV i;
12684     CLONE_PARAMS clone_params;
12685     CLONE_PARAMS* const param = &clone_params;
12686
12687     PerlInterpreter * const my_perl = (PerlInterpreter*)(*ipM->pMalloc)(ipM, sizeof(PerlInterpreter));
12688
12689     PERL_ARGS_ASSERT_PERL_CLONE_USING;
12690 #else           /* !PERL_IMPLICIT_SYS */
12691     IV i;
12692     CLONE_PARAMS clone_params;
12693     CLONE_PARAMS* param = &clone_params;
12694     PerlInterpreter * const my_perl = (PerlInterpreter*)PerlMem_malloc(sizeof(PerlInterpreter));
12695
12696     PERL_ARGS_ASSERT_PERL_CLONE;
12697 #endif          /* PERL_IMPLICIT_SYS */
12698
12699     /* for each stash, determine whether its objects should be cloned */
12700     S_visit(proto_perl, do_mark_cloneable_stash, SVt_PVHV, SVTYPEMASK);
12701     PERL_SET_THX(my_perl);
12702
12703 #ifdef DEBUGGING
12704     PoisonNew(my_perl, 1, PerlInterpreter);
12705     PL_op = NULL;
12706     PL_curcop = NULL;
12707     PL_defstash = NULL; /* may be used by perl malloc() */
12708     PL_markstack = 0;
12709     PL_scopestack = 0;
12710     PL_scopestack_name = 0;
12711     PL_savestack = 0;
12712     PL_savestack_ix = 0;
12713     PL_savestack_max = -1;
12714     PL_sig_pending = 0;
12715     PL_parser = NULL;
12716     Zero(&PL_debug_pad, 1, struct perl_debug_pad);
12717 #  ifdef DEBUG_LEAKING_SCALARS
12718     PL_sv_serial = (((UV)my_perl >> 2) & 0xfff) * 1000000;
12719 #  endif
12720 #else   /* !DEBUGGING */
12721     Zero(my_perl, 1, PerlInterpreter);
12722 #endif  /* DEBUGGING */
12723
12724 #ifdef PERL_IMPLICIT_SYS
12725     /* host pointers */
12726     PL_Mem              = ipM;
12727     PL_MemShared        = ipMS;
12728     PL_MemParse         = ipMP;
12729     PL_Env              = ipE;
12730     PL_StdIO            = ipStd;
12731     PL_LIO              = ipLIO;
12732     PL_Dir              = ipD;
12733     PL_Sock             = ipS;
12734     PL_Proc             = ipP;
12735 #endif          /* PERL_IMPLICIT_SYS */
12736
12737     param->flags = flags;
12738     /* Nothing in the core code uses this, but we make it available to
12739        extensions (using mg_dup).  */
12740     param->proto_perl = proto_perl;
12741     /* Likely nothing will use this, but it is initialised to be consistent
12742        with Perl_clone_params_new().  */
12743     param->new_perl = my_perl;
12744     param->unreferenced = NULL;
12745
12746     INIT_TRACK_MEMPOOL(my_perl->Imemory_debug_header, my_perl);
12747
12748     PL_body_arenas = NULL;
12749     Zero(&PL_body_roots, 1, PL_body_roots);
12750     
12751     PL_sv_count         = 0;
12752     PL_sv_objcount      = 0;
12753     PL_sv_root          = NULL;
12754     PL_sv_arenaroot     = NULL;
12755
12756     PL_debug            = proto_perl->Idebug;
12757
12758     PL_hash_seed        = proto_perl->Ihash_seed;
12759     PL_rehash_seed      = proto_perl->Irehash_seed;
12760
12761     SvANY(&PL_sv_undef)         = NULL;
12762     SvREFCNT(&PL_sv_undef)      = (~(U32)0)/2;
12763     SvFLAGS(&PL_sv_undef)       = SVf_READONLY|SVt_NULL;
12764     SvREFCNT(&PL_sv_no)         = (~(U32)0)/2;
12765     SvFLAGS(&PL_sv_no)          = SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
12766                                   |SVp_POK|SVf_POK|SVf_READONLY|SVt_PVNV;
12767
12768     SvANY(&PL_sv_yes)           = new_XPVNV();
12769     SvREFCNT(&PL_sv_yes)        = (~(U32)0)/2;
12770     SvFLAGS(&PL_sv_yes)         = SVp_IOK|SVf_IOK|SVp_NOK|SVf_NOK
12771                                   |SVp_POK|SVf_POK|SVf_READONLY|SVt_PVNV;
12772
12773     /* dbargs array probably holds garbage */
12774     PL_dbargs           = NULL;
12775
12776     PL_compiling = proto_perl->Icompiling;
12777
12778 #ifdef PERL_DEBUG_READONLY_OPS
12779     PL_slabs = NULL;
12780     PL_slab_count = 0;
12781 #endif
12782
12783     /* pseudo environmental stuff */
12784     PL_origargc         = proto_perl->Iorigargc;
12785     PL_origargv         = proto_perl->Iorigargv;
12786
12787     /* Set tainting stuff before PerlIO_debug can possibly get called */
12788     PL_tainting         = proto_perl->Itainting;
12789     PL_taint_warn       = proto_perl->Itaint_warn;
12790
12791     PL_minus_c          = proto_perl->Iminus_c;
12792
12793     PL_localpatches     = proto_perl->Ilocalpatches;
12794     PL_splitstr         = proto_perl->Isplitstr;
12795     PL_minus_n          = proto_perl->Iminus_n;
12796     PL_minus_p          = proto_perl->Iminus_p;
12797     PL_minus_l          = proto_perl->Iminus_l;
12798     PL_minus_a          = proto_perl->Iminus_a;
12799     PL_minus_E          = proto_perl->Iminus_E;
12800     PL_minus_F          = proto_perl->Iminus_F;
12801     PL_doswitches       = proto_perl->Idoswitches;
12802     PL_dowarn           = proto_perl->Idowarn;
12803     PL_sawampersand     = proto_perl->Isawampersand;
12804     PL_unsafe           = proto_perl->Iunsafe;
12805     PL_perldb           = proto_perl->Iperldb;
12806     PL_perl_destruct_level = proto_perl->Iperl_destruct_level;
12807     PL_exit_flags       = proto_perl->Iexit_flags;
12808
12809     /* XXX time(&PL_basetime) when asked for? */
12810     PL_basetime         = proto_perl->Ibasetime;
12811
12812     PL_maxsysfd         = proto_perl->Imaxsysfd;
12813     PL_statusvalue      = proto_perl->Istatusvalue;
12814 #ifdef VMS
12815     PL_statusvalue_vms  = proto_perl->Istatusvalue_vms;
12816 #else
12817     PL_statusvalue_posix = proto_perl->Istatusvalue_posix;
12818 #endif
12819
12820     /* RE engine related */
12821     Zero(&PL_reg_state, 1, struct re_save_state);
12822     PL_reginterp_cnt    = 0;
12823     PL_regmatch_slab    = NULL;
12824
12825     PL_sub_generation   = proto_perl->Isub_generation;
12826
12827     /* funky return mechanisms */
12828     PL_forkprocess      = proto_perl->Iforkprocess;
12829
12830     /* internal state */
12831     PL_maxo             = proto_perl->Imaxo;
12832
12833     PL_main_start       = proto_perl->Imain_start;
12834     PL_eval_root        = proto_perl->Ieval_root;
12835     PL_eval_start       = proto_perl->Ieval_start;
12836
12837     PL_filemode         = proto_perl->Ifilemode;
12838     PL_lastfd           = proto_perl->Ilastfd;
12839     PL_oldname          = proto_perl->Ioldname;         /* XXX not quite right */
12840     PL_Argv             = NULL;
12841     PL_Cmd              = NULL;
12842     PL_gensym           = proto_perl->Igensym;
12843
12844     PL_laststatval      = proto_perl->Ilaststatval;
12845     PL_laststype        = proto_perl->Ilaststype;
12846     PL_mess_sv          = NULL;
12847
12848     PL_profiledata      = NULL;
12849
12850     PL_generation       = proto_perl->Igeneration;
12851
12852     PL_in_clean_objs    = proto_perl->Iin_clean_objs;
12853     PL_in_clean_all     = proto_perl->Iin_clean_all;
12854
12855     PL_uid              = proto_perl->Iuid;
12856     PL_euid             = proto_perl->Ieuid;
12857     PL_gid              = proto_perl->Igid;
12858     PL_egid             = proto_perl->Iegid;
12859     PL_nomemok          = proto_perl->Inomemok;
12860     PL_an               = proto_perl->Ian;
12861     PL_evalseq          = proto_perl->Ievalseq;
12862     PL_origenviron      = proto_perl->Iorigenviron;     /* XXX not quite right */
12863     PL_origalen         = proto_perl->Iorigalen;
12864
12865     PL_sighandlerp      = proto_perl->Isighandlerp;
12866
12867     PL_runops           = proto_perl->Irunops;
12868
12869     PL_subline          = proto_perl->Isubline;
12870
12871 #ifdef FCRYPT
12872     PL_cryptseen        = proto_perl->Icryptseen;
12873 #endif
12874
12875     PL_hints            = proto_perl->Ihints;
12876
12877     PL_amagic_generation        = proto_perl->Iamagic_generation;
12878
12879 #ifdef USE_LOCALE_COLLATE
12880     PL_collation_ix     = proto_perl->Icollation_ix;
12881     PL_collation_standard       = proto_perl->Icollation_standard;
12882     PL_collxfrm_base    = proto_perl->Icollxfrm_base;
12883     PL_collxfrm_mult    = proto_perl->Icollxfrm_mult;
12884 #endif /* USE_LOCALE_COLLATE */
12885
12886 #ifdef USE_LOCALE_NUMERIC
12887     PL_numeric_standard = proto_perl->Inumeric_standard;
12888     PL_numeric_local    = proto_perl->Inumeric_local;
12889 #endif /* !USE_LOCALE_NUMERIC */
12890
12891     /* Did the locale setup indicate UTF-8? */
12892     PL_utf8locale       = proto_perl->Iutf8locale;
12893     /* Unicode features (see perlrun/-C) */
12894     PL_unicode          = proto_perl->Iunicode;
12895
12896     /* Pre-5.8 signals control */
12897     PL_signals          = proto_perl->Isignals;
12898
12899     /* times() ticks per second */
12900     PL_clocktick        = proto_perl->Iclocktick;
12901
12902     /* Recursion stopper for PerlIO_find_layer */
12903     PL_in_load_module   = proto_perl->Iin_load_module;
12904
12905     /* sort() routine */
12906     PL_sort_RealCmp     = proto_perl->Isort_RealCmp;
12907
12908     /* Not really needed/useful since the reenrant_retint is "volatile",
12909      * but do it for consistency's sake. */
12910     PL_reentrant_retint = proto_perl->Ireentrant_retint;
12911
12912     /* Hooks to shared SVs and locks. */
12913     PL_sharehook        = proto_perl->Isharehook;
12914     PL_lockhook         = proto_perl->Ilockhook;
12915     PL_unlockhook       = proto_perl->Iunlockhook;
12916     PL_threadhook       = proto_perl->Ithreadhook;
12917     PL_destroyhook      = proto_perl->Idestroyhook;
12918     PL_signalhook       = proto_perl->Isignalhook;
12919
12920 #ifdef THREADS_HAVE_PIDS
12921     PL_ppid             = proto_perl->Ippid;
12922 #endif
12923
12924     /* swatch cache */
12925     PL_last_swash_hv    = NULL; /* reinits on demand */
12926     PL_last_swash_klen  = 0;
12927     PL_last_swash_key[0]= '\0';
12928     PL_last_swash_tmps  = (U8*)NULL;
12929     PL_last_swash_slen  = 0;
12930
12931     PL_glob_index       = proto_perl->Iglob_index;
12932     PL_srand_called     = proto_perl->Isrand_called;
12933
12934     if (flags & CLONEf_COPY_STACKS) {
12935         /* next allocation will be PL_tmps_stack[PL_tmps_ix+1] */
12936         PL_tmps_ix              = proto_perl->Itmps_ix;
12937         PL_tmps_max             = proto_perl->Itmps_max;
12938         PL_tmps_floor           = proto_perl->Itmps_floor;
12939
12940         /* next push_scope()/ENTER sets PL_scopestack[PL_scopestack_ix]
12941          * NOTE: unlike the others! */
12942         PL_scopestack_ix        = proto_perl->Iscopestack_ix;
12943         PL_scopestack_max       = proto_perl->Iscopestack_max;
12944
12945         /* next SSPUSHFOO() sets PL_savestack[PL_savestack_ix]
12946          * NOTE: unlike the others! */
12947         PL_savestack_ix         = proto_perl->Isavestack_ix;
12948         PL_savestack_max        = proto_perl->Isavestack_max;
12949     }
12950
12951     PL_start_env        = proto_perl->Istart_env;       /* XXXXXX */
12952     PL_top_env          = &PL_start_env;
12953
12954     PL_op               = proto_perl->Iop;
12955
12956     PL_Sv               = NULL;
12957     PL_Xpv              = (XPV*)NULL;
12958     my_perl->Ina        = proto_perl->Ina;
12959
12960     PL_statbuf          = proto_perl->Istatbuf;
12961     PL_statcache        = proto_perl->Istatcache;
12962
12963 #ifdef HAS_TIMES
12964     PL_timesbuf         = proto_perl->Itimesbuf;
12965 #endif
12966
12967     PL_tainted          = proto_perl->Itainted;
12968     PL_curpm            = proto_perl->Icurpm;   /* XXX No PMOP ref count */
12969
12970     PL_chopset          = proto_perl->Ichopset; /* XXX never deallocated */
12971
12972     PL_restartjmpenv    = proto_perl->Irestartjmpenv;
12973     PL_restartop        = proto_perl->Irestartop;
12974     PL_in_eval          = proto_perl->Iin_eval;
12975     PL_delaymagic       = proto_perl->Idelaymagic;
12976     PL_phase            = proto_perl->Iphase;
12977     PL_localizing       = proto_perl->Ilocalizing;
12978
12979     PL_hv_fetch_ent_mh  = NULL;
12980     PL_modcount         = proto_perl->Imodcount;
12981     PL_lastgotoprobe    = NULL;
12982     PL_dumpindent       = proto_perl->Idumpindent;
12983
12984     PL_efloatbuf        = NULL;         /* reinits on demand */
12985     PL_efloatsize       = 0;                    /* reinits on demand */
12986
12987     /* regex stuff */
12988
12989     PL_regdummy         = proto_perl->Iregdummy;
12990     PL_colorset         = 0;            /* reinits PL_colors[] */
12991     /*PL_colors[6]      = {0,0,0,0,0,0};*/
12992
12993     /* Pluggable optimizer */
12994     PL_peepp            = proto_perl->Ipeepp;
12995     PL_rpeepp           = proto_perl->Irpeepp;
12996     /* op_free() hook */
12997     PL_opfreehook       = proto_perl->Iopfreehook;
12998
12999 #ifdef USE_REENTRANT_API
13000     /* XXX: things like -Dm will segfault here in perlio, but doing
13001      *  PERL_SET_CONTEXT(proto_perl);
13002      * breaks too many other things
13003      */
13004     Perl_reentrant_init(aTHX);
13005 #endif
13006
13007     /* create SV map for pointer relocation */
13008     PL_ptr_table = ptr_table_new();
13009
13010     /* initialize these special pointers as early as possible */
13011     ptr_table_store(PL_ptr_table, &proto_perl->Isv_undef, &PL_sv_undef);
13012
13013     SvANY(&PL_sv_no)            = new_XPVNV();
13014     SvPV_set(&PL_sv_no, savepvn(PL_No, 0));
13015     SvCUR_set(&PL_sv_no, 0);
13016     SvLEN_set(&PL_sv_no, 1);
13017     SvIV_set(&PL_sv_no, 0);
13018     SvNV_set(&PL_sv_no, 0);
13019     ptr_table_store(PL_ptr_table, &proto_perl->Isv_no, &PL_sv_no);
13020
13021     SvPV_set(&PL_sv_yes, savepvn(PL_Yes, 1));
13022     SvCUR_set(&PL_sv_yes, 1);
13023     SvLEN_set(&PL_sv_yes, 2);
13024     SvIV_set(&PL_sv_yes, 1);
13025     SvNV_set(&PL_sv_yes, 1);
13026     ptr_table_store(PL_ptr_table, &proto_perl->Isv_yes, &PL_sv_yes);
13027
13028     /* create (a non-shared!) shared string table */
13029     PL_strtab           = newHV();
13030     HvSHAREKEYS_off(PL_strtab);
13031     hv_ksplit(PL_strtab, HvTOTALKEYS(proto_perl->Istrtab));
13032     ptr_table_store(PL_ptr_table, proto_perl->Istrtab, PL_strtab);
13033
13034     /* These two PVs will be free'd special way so must set them same way op.c does */
13035     PL_compiling.cop_stashpv = savesharedpv(PL_compiling.cop_stashpv);
13036     ptr_table_store(PL_ptr_table, proto_perl->Icompiling.cop_stashpv, PL_compiling.cop_stashpv);
13037
13038     PL_compiling.cop_file    = savesharedpv(PL_compiling.cop_file);
13039     ptr_table_store(PL_ptr_table, proto_perl->Icompiling.cop_file, PL_compiling.cop_file);
13040
13041     ptr_table_store(PL_ptr_table, &proto_perl->Icompiling, &PL_compiling);
13042     PL_compiling.cop_warnings = DUP_WARNINGS(PL_compiling.cop_warnings);
13043     CopHINTHASH_set(&PL_compiling, cophh_copy(CopHINTHASH_get(&PL_compiling)));
13044     PL_curcop           = (COP*)any_dup(proto_perl->Icurcop, proto_perl);
13045
13046     param->stashes      = newAV();  /* Setup array of objects to call clone on */
13047     /* This makes no difference to the implementation, as it always pushes
13048        and shifts pointers to other SVs without changing their reference
13049        count, with the array becoming empty before it is freed. However, it
13050        makes it conceptually clear what is going on, and will avoid some
13051        work inside av.c, filling slots between AvFILL() and AvMAX() with
13052        &PL_sv_undef, and SvREFCNT_dec()ing those.  */
13053     AvREAL_off(param->stashes);
13054
13055     if (!(flags & CLONEf_COPY_STACKS)) {
13056         param->unreferenced = newAV();
13057     }
13058
13059 #ifdef PERLIO_LAYERS
13060     /* Clone PerlIO tables as soon as we can handle general xx_dup() */
13061     PerlIO_clone(aTHX_ proto_perl, param);
13062 #endif
13063
13064     PL_envgv            = gv_dup(proto_perl->Ienvgv, param);
13065     PL_incgv            = gv_dup(proto_perl->Iincgv, param);
13066     PL_hintgv           = gv_dup(proto_perl->Ihintgv, param);
13067     PL_origfilename     = SAVEPV(proto_perl->Iorigfilename);
13068     PL_diehook          = sv_dup_inc(proto_perl->Idiehook, param);
13069     PL_warnhook         = sv_dup_inc(proto_perl->Iwarnhook, param);
13070
13071     /* switches */
13072     PL_patchlevel       = sv_dup_inc(proto_perl->Ipatchlevel, param);
13073     PL_apiversion       = sv_dup_inc(proto_perl->Iapiversion, param);
13074     PL_inplace          = SAVEPV(proto_perl->Iinplace);
13075     PL_e_script         = sv_dup_inc(proto_perl->Ie_script, param);
13076
13077     /* magical thingies */
13078     PL_formfeed         = sv_dup(proto_perl->Iformfeed, param);
13079
13080     PL_encoding         = sv_dup(proto_perl->Iencoding, param);
13081
13082     sv_setpvs(PERL_DEBUG_PAD(0), "");   /* For regex debugging. */
13083     sv_setpvs(PERL_DEBUG_PAD(1), "");   /* ext/re needs these */
13084     sv_setpvs(PERL_DEBUG_PAD(2), "");   /* even without DEBUGGING. */
13085
13086    
13087     /* Clone the regex array */
13088     /* ORANGE FIXME for plugins, probably in the SV dup code.
13089        newSViv(PTR2IV(CALLREGDUPE(
13090        INT2PTR(REGEXP *, SvIVX(regex)), param))))
13091     */
13092     PL_regex_padav = av_dup_inc(proto_perl->Iregex_padav, param);
13093     PL_regex_pad = AvARRAY(PL_regex_padav);
13094
13095     /* shortcuts to various I/O objects */
13096     PL_ofsgv            = gv_dup_inc(proto_perl->Iofsgv, param);
13097     PL_stdingv          = gv_dup(proto_perl->Istdingv, param);
13098     PL_stderrgv         = gv_dup(proto_perl->Istderrgv, param);
13099     PL_defgv            = gv_dup(proto_perl->Idefgv, param);
13100     PL_argvgv           = gv_dup(proto_perl->Iargvgv, param);
13101     PL_argvoutgv        = gv_dup(proto_perl->Iargvoutgv, param);
13102     PL_argvout_stack    = av_dup_inc(proto_perl->Iargvout_stack, param);
13103
13104     /* shortcuts to regexp stuff */
13105     PL_replgv           = gv_dup(proto_perl->Ireplgv, param);
13106
13107     /* shortcuts to misc objects */
13108     PL_errgv            = gv_dup(proto_perl->Ierrgv, param);
13109
13110     /* shortcuts to debugging objects */
13111     PL_DBgv             = gv_dup(proto_perl->IDBgv, param);
13112     PL_DBline           = gv_dup(proto_perl->IDBline, param);
13113     PL_DBsub            = gv_dup(proto_perl->IDBsub, param);
13114     PL_DBsingle         = sv_dup(proto_perl->IDBsingle, param);
13115     PL_DBtrace          = sv_dup(proto_perl->IDBtrace, param);
13116     PL_DBsignal         = sv_dup(proto_perl->IDBsignal, param);
13117
13118     /* symbol tables */
13119     PL_defstash         = hv_dup_inc(proto_perl->Idefstash, param);
13120     PL_curstash         = hv_dup(proto_perl->Icurstash, param);
13121     PL_debstash         = hv_dup(proto_perl->Idebstash, param);
13122     PL_globalstash      = hv_dup(proto_perl->Iglobalstash, param);
13123     PL_curstname        = sv_dup_inc(proto_perl->Icurstname, param);
13124
13125     PL_beginav          = av_dup_inc(proto_perl->Ibeginav, param);
13126     PL_beginav_save     = av_dup_inc(proto_perl->Ibeginav_save, param);
13127     PL_checkav_save     = av_dup_inc(proto_perl->Icheckav_save, param);
13128     PL_unitcheckav      = av_dup_inc(proto_perl->Iunitcheckav, param);
13129     PL_unitcheckav_save = av_dup_inc(proto_perl->Iunitcheckav_save, param);
13130     PL_endav            = av_dup_inc(proto_perl->Iendav, param);
13131     PL_checkav          = av_dup_inc(proto_perl->Icheckav, param);
13132     PL_initav           = av_dup_inc(proto_perl->Iinitav, param);
13133
13134     PL_isarev           = hv_dup_inc(proto_perl->Iisarev, param);
13135
13136     /* subprocess state */
13137     PL_fdpid            = av_dup_inc(proto_perl->Ifdpid, param);
13138
13139     if (proto_perl->Iop_mask)
13140         PL_op_mask      = SAVEPVN(proto_perl->Iop_mask, PL_maxo);
13141     else
13142         PL_op_mask      = NULL;
13143     /* PL_asserting        = proto_perl->Iasserting; */
13144
13145     /* current interpreter roots */
13146     PL_main_cv          = cv_dup_inc(proto_perl->Imain_cv, param);
13147     OP_REFCNT_LOCK;
13148     PL_main_root        = OpREFCNT_inc(proto_perl->Imain_root);
13149     OP_REFCNT_UNLOCK;
13150
13151     /* runtime control stuff */
13152     PL_curcopdb         = (COP*)any_dup(proto_perl->Icurcopdb, proto_perl);
13153
13154     PL_preambleav       = av_dup_inc(proto_perl->Ipreambleav, param);
13155
13156     PL_ors_sv           = sv_dup_inc(proto_perl->Iors_sv, param);
13157
13158     /* interpreter atexit processing */
13159     PL_exitlistlen      = proto_perl->Iexitlistlen;
13160     if (PL_exitlistlen) {
13161         Newx(PL_exitlist, PL_exitlistlen, PerlExitListEntry);
13162         Copy(proto_perl->Iexitlist, PL_exitlist, PL_exitlistlen, PerlExitListEntry);
13163     }
13164     else
13165         PL_exitlist     = (PerlExitListEntry*)NULL;
13166
13167     PL_my_cxt_size = proto_perl->Imy_cxt_size;
13168     if (PL_my_cxt_size) {
13169         Newx(PL_my_cxt_list, PL_my_cxt_size, void *);
13170         Copy(proto_perl->Imy_cxt_list, PL_my_cxt_list, PL_my_cxt_size, void *);
13171 #ifdef PERL_GLOBAL_STRUCT_PRIVATE
13172         Newx(PL_my_cxt_keys, PL_my_cxt_size, const char *);
13173         Copy(proto_perl->Imy_cxt_keys, PL_my_cxt_keys, PL_my_cxt_size, char *);
13174 #endif
13175     }
13176     else {
13177         PL_my_cxt_list  = (void**)NULL;
13178 #ifdef PERL_GLOBAL_STRUCT_PRIVATE
13179         PL_my_cxt_keys  = (const char**)NULL;
13180 #endif
13181     }
13182     PL_modglobal        = hv_dup_inc(proto_perl->Imodglobal, param);
13183     PL_custom_op_names  = hv_dup_inc(proto_perl->Icustom_op_names,param);
13184     PL_custom_op_descs  = hv_dup_inc(proto_perl->Icustom_op_descs,param);
13185     PL_custom_ops       = hv_dup_inc(proto_perl->Icustom_ops, param);
13186
13187     PL_compcv                   = cv_dup(proto_perl->Icompcv, param);
13188
13189     PAD_CLONE_VARS(proto_perl, param);
13190
13191 #ifdef HAVE_INTERP_INTERN
13192     sys_intern_dup(&proto_perl->Isys_intern, &PL_sys_intern);
13193 #endif
13194
13195     PL_DBcv             = cv_dup(proto_perl->IDBcv, param);
13196
13197 #ifdef PERL_USES_PL_PIDSTATUS
13198     PL_pidstatus        = newHV();                      /* XXX flag for cloning? */
13199 #endif
13200     PL_osname           = SAVEPV(proto_perl->Iosname);
13201     PL_parser           = parser_dup(proto_perl->Iparser, param);
13202
13203     /* XXX this only works if the saved cop has already been cloned */
13204     if (proto_perl->Iparser) {
13205         PL_parser->saved_curcop = (COP*)any_dup(
13206                                     proto_perl->Iparser->saved_curcop,
13207                                     proto_perl);
13208     }
13209
13210     PL_subname          = sv_dup_inc(proto_perl->Isubname, param);
13211
13212 #ifdef USE_LOCALE_COLLATE
13213     PL_collation_name   = SAVEPV(proto_perl->Icollation_name);
13214 #endif /* USE_LOCALE_COLLATE */
13215
13216 #ifdef USE_LOCALE_NUMERIC
13217     PL_numeric_name     = SAVEPV(proto_perl->Inumeric_name);
13218     PL_numeric_radix_sv = sv_dup_inc(proto_perl->Inumeric_radix_sv, param);
13219 #endif /* !USE_LOCALE_NUMERIC */
13220
13221     /* utf8 character classes */
13222     PL_utf8_alnum       = sv_dup_inc(proto_perl->Iutf8_alnum, param);
13223     PL_utf8_ascii       = sv_dup_inc(proto_perl->Iutf8_ascii, param);
13224     PL_utf8_alpha       = sv_dup_inc(proto_perl->Iutf8_alpha, param);
13225     PL_utf8_space       = sv_dup_inc(proto_perl->Iutf8_space, param);
13226     PL_utf8_cntrl       = sv_dup_inc(proto_perl->Iutf8_cntrl, param);
13227     PL_utf8_graph       = sv_dup_inc(proto_perl->Iutf8_graph, param);
13228     PL_utf8_digit       = sv_dup_inc(proto_perl->Iutf8_digit, param);
13229     PL_utf8_upper       = sv_dup_inc(proto_perl->Iutf8_upper, param);
13230     PL_utf8_lower       = sv_dup_inc(proto_perl->Iutf8_lower, param);
13231     PL_utf8_print       = sv_dup_inc(proto_perl->Iutf8_print, param);
13232     PL_utf8_punct       = sv_dup_inc(proto_perl->Iutf8_punct, param);
13233     PL_utf8_xdigit      = sv_dup_inc(proto_perl->Iutf8_xdigit, param);
13234     PL_utf8_mark        = sv_dup_inc(proto_perl->Iutf8_mark, param);
13235     PL_utf8_X_begin     = sv_dup_inc(proto_perl->Iutf8_X_begin, param);
13236     PL_utf8_X_extend    = sv_dup_inc(proto_perl->Iutf8_X_extend, param);
13237     PL_utf8_X_prepend   = sv_dup_inc(proto_perl->Iutf8_X_prepend, param);
13238     PL_utf8_X_non_hangul        = sv_dup_inc(proto_perl->Iutf8_X_non_hangul, param);
13239     PL_utf8_X_L = sv_dup_inc(proto_perl->Iutf8_X_L, param);
13240     PL_utf8_X_LV        = sv_dup_inc(proto_perl->Iutf8_X_LV, param);
13241     PL_utf8_X_LVT       = sv_dup_inc(proto_perl->Iutf8_X_LVT, param);
13242     PL_utf8_X_T = sv_dup_inc(proto_perl->Iutf8_X_T, param);
13243     PL_utf8_X_V = sv_dup_inc(proto_perl->Iutf8_X_V, param);
13244     PL_utf8_X_LV_LVT_V  = sv_dup_inc(proto_perl->Iutf8_X_LV_LVT_V, param);
13245     PL_utf8_toupper     = sv_dup_inc(proto_perl->Iutf8_toupper, param);
13246     PL_utf8_totitle     = sv_dup_inc(proto_perl->Iutf8_totitle, param);
13247     PL_utf8_tolower     = sv_dup_inc(proto_perl->Iutf8_tolower, param);
13248     PL_utf8_tofold      = sv_dup_inc(proto_perl->Iutf8_tofold, param);
13249     PL_utf8_idstart     = sv_dup_inc(proto_perl->Iutf8_idstart, param);
13250     PL_utf8_xidstart    = sv_dup_inc(proto_perl->Iutf8_xidstart, param);
13251     PL_utf8_idcont      = sv_dup_inc(proto_perl->Iutf8_idcont, param);
13252     PL_utf8_xidcont     = sv_dup_inc(proto_perl->Iutf8_xidcont, param);
13253     PL_utf8_foldable    = sv_dup_inc(proto_perl->Iutf8_foldable, param);
13254
13255
13256     if (proto_perl->Ipsig_pend) {
13257         Newxz(PL_psig_pend, SIG_SIZE, int);
13258     }
13259     else {
13260         PL_psig_pend    = (int*)NULL;
13261     }
13262
13263     if (proto_perl->Ipsig_name) {
13264         Newx(PL_psig_name, 2 * SIG_SIZE, SV*);
13265         sv_dup_inc_multiple(proto_perl->Ipsig_name, PL_psig_name, 2 * SIG_SIZE,
13266                             param);
13267         PL_psig_ptr = PL_psig_name + SIG_SIZE;
13268     }
13269     else {
13270         PL_psig_ptr     = (SV**)NULL;
13271         PL_psig_name    = (SV**)NULL;
13272     }
13273
13274     if (flags & CLONEf_COPY_STACKS) {
13275         Newx(PL_tmps_stack, PL_tmps_max, SV*);
13276         sv_dup_inc_multiple(proto_perl->Itmps_stack, PL_tmps_stack,
13277                             PL_tmps_ix+1, param);
13278
13279         /* next PUSHMARK() sets *(PL_markstack_ptr+1) */
13280         i = proto_perl->Imarkstack_max - proto_perl->Imarkstack;
13281         Newxz(PL_markstack, i, I32);
13282         PL_markstack_max        = PL_markstack + (proto_perl->Imarkstack_max
13283                                                   - proto_perl->Imarkstack);
13284         PL_markstack_ptr        = PL_markstack + (proto_perl->Imarkstack_ptr
13285                                                   - proto_perl->Imarkstack);
13286         Copy(proto_perl->Imarkstack, PL_markstack,
13287              PL_markstack_ptr - PL_markstack + 1, I32);
13288
13289         /* next push_scope()/ENTER sets PL_scopestack[PL_scopestack_ix]
13290          * NOTE: unlike the others! */
13291         Newxz(PL_scopestack, PL_scopestack_max, I32);
13292         Copy(proto_perl->Iscopestack, PL_scopestack, PL_scopestack_ix, I32);
13293
13294 #ifdef DEBUGGING
13295         Newxz(PL_scopestack_name, PL_scopestack_max, const char *);
13296         Copy(proto_perl->Iscopestack_name, PL_scopestack_name, PL_scopestack_ix, const char *);
13297 #endif
13298         /* NOTE: si_dup() looks at PL_markstack */
13299         PL_curstackinfo         = si_dup(proto_perl->Icurstackinfo, param);
13300
13301         /* PL_curstack          = PL_curstackinfo->si_stack; */
13302         PL_curstack             = av_dup(proto_perl->Icurstack, param);
13303         PL_mainstack            = av_dup(proto_perl->Imainstack, param);
13304
13305         /* next PUSHs() etc. set *(PL_stack_sp+1) */
13306         PL_stack_base           = AvARRAY(PL_curstack);
13307         PL_stack_sp             = PL_stack_base + (proto_perl->Istack_sp
13308                                                    - proto_perl->Istack_base);
13309         PL_stack_max            = PL_stack_base + AvMAX(PL_curstack);
13310
13311         /*Newxz(PL_savestack, PL_savestack_max, ANY);*/
13312         PL_savestack            = ss_dup(proto_perl, param);
13313     }
13314     else {
13315         init_stacks();
13316         ENTER;                  /* perl_destruct() wants to LEAVE; */
13317     }
13318
13319     PL_statgv           = gv_dup(proto_perl->Istatgv, param);
13320     PL_statname         = sv_dup_inc(proto_perl->Istatname, param);
13321
13322     PL_rs               = sv_dup_inc(proto_perl->Irs, param);
13323     PL_last_in_gv       = gv_dup(proto_perl->Ilast_in_gv, param);
13324     PL_defoutgv         = gv_dup_inc(proto_perl->Idefoutgv, param);
13325     PL_toptarget        = sv_dup_inc(proto_perl->Itoptarget, param);
13326     PL_bodytarget       = sv_dup_inc(proto_perl->Ibodytarget, param);
13327     PL_formtarget       = sv_dup(proto_perl->Iformtarget, param);
13328
13329     PL_errors           = sv_dup_inc(proto_perl->Ierrors, param);
13330
13331     PL_sortcop          = (OP*)any_dup(proto_perl->Isortcop, proto_perl);
13332     PL_sortstash        = hv_dup(proto_perl->Isortstash, param);
13333     PL_firstgv          = gv_dup(proto_perl->Ifirstgv, param);
13334     PL_secondgv         = gv_dup(proto_perl->Isecondgv, param);
13335
13336     PL_stashcache       = newHV();
13337
13338     PL_watchaddr        = (char **) ptr_table_fetch(PL_ptr_table,
13339                                             proto_perl->Iwatchaddr);
13340     PL_watchok          = PL_watchaddr ? * PL_watchaddr : NULL;
13341     if (PL_debug && PL_watchaddr) {
13342         PerlIO_printf(Perl_debug_log,
13343           "WATCHING: %"UVxf" cloned as %"UVxf" with value %"UVxf"\n",
13344           PTR2UV(proto_perl->Iwatchaddr), PTR2UV(PL_watchaddr),
13345           PTR2UV(PL_watchok));
13346     }
13347
13348     PL_registered_mros  = hv_dup_inc(proto_perl->Iregistered_mros, param);
13349     PL_blockhooks       = av_dup_inc(proto_perl->Iblockhooks, param);
13350     PL_utf8_foldclosures = hv_dup_inc(proto_perl->Iutf8_foldclosures, param);
13351
13352     /* Call the ->CLONE method, if it exists, for each of the stashes
13353        identified by sv_dup() above.
13354     */
13355     while(av_len(param->stashes) != -1) {
13356         HV* const stash = MUTABLE_HV(av_shift(param->stashes));
13357         GV* const cloner = gv_fetchmethod_autoload(stash, "CLONE", 0);
13358         if (cloner && GvCV(cloner)) {
13359             dSP;
13360             ENTER;
13361             SAVETMPS;
13362             PUSHMARK(SP);
13363             mXPUSHs(newSVhek(HvNAME_HEK(stash)));
13364             PUTBACK;
13365             call_sv(MUTABLE_SV(GvCV(cloner)), G_DISCARD);
13366             FREETMPS;
13367             LEAVE;
13368         }
13369     }
13370
13371     if (!(flags & CLONEf_KEEP_PTR_TABLE)) {
13372         ptr_table_free(PL_ptr_table);
13373         PL_ptr_table = NULL;
13374     }
13375
13376     if (!(flags & CLONEf_COPY_STACKS)) {
13377         unreferenced_to_tmp_stack(param->unreferenced);
13378     }
13379
13380     SvREFCNT_dec(param->stashes);
13381
13382     /* orphaned? eg threads->new inside BEGIN or use */
13383     if (PL_compcv && ! SvREFCNT(PL_compcv)) {
13384         SvREFCNT_inc_simple_void(PL_compcv);
13385         SAVEFREESV(PL_compcv);
13386     }
13387
13388     return my_perl;
13389 }
13390
13391 static void
13392 S_unreferenced_to_tmp_stack(pTHX_ AV *const unreferenced)
13393 {
13394     PERL_ARGS_ASSERT_UNREFERENCED_TO_TMP_STACK;
13395     
13396     if (AvFILLp(unreferenced) > -1) {
13397         SV **svp = AvARRAY(unreferenced);
13398         SV **const last = svp + AvFILLp(unreferenced);
13399         SSize_t count = 0;
13400
13401         do {
13402             if (SvREFCNT(*svp) == 1)
13403                 ++count;
13404         } while (++svp <= last);
13405
13406         EXTEND_MORTAL(count);
13407         svp = AvARRAY(unreferenced);
13408
13409         do {
13410             if (SvREFCNT(*svp) == 1) {
13411                 /* Our reference is the only one to this SV. This means that
13412                    in this thread, the scalar effectively has a 0 reference.
13413                    That doesn't work (cleanup never happens), so donate our
13414                    reference to it onto the save stack. */
13415                 PL_tmps_stack[++PL_tmps_ix] = *svp;
13416             } else {
13417                 /* As an optimisation, because we are already walking the
13418                    entire array, instead of above doing either
13419                    SvREFCNT_inc(*svp) or *svp = &PL_sv_undef, we can instead
13420                    release our reference to the scalar, so that at the end of
13421                    the array owns zero references to the scalars it happens to
13422                    point to. We are effectively converting the array from
13423                    AvREAL() on to AvREAL() off. This saves the av_clear()
13424                    (triggered by the SvREFCNT_dec(unreferenced) below) from
13425                    walking the array a second time.  */
13426                 SvREFCNT_dec(*svp);
13427             }
13428
13429         } while (++svp <= last);
13430         AvREAL_off(unreferenced);
13431     }
13432     SvREFCNT_dec(unreferenced);
13433 }
13434
13435 void
13436 Perl_clone_params_del(CLONE_PARAMS *param)
13437 {
13438     /* This seemingly funky ordering keeps the build with PERL_GLOBAL_STRUCT
13439        happy: */
13440     PerlInterpreter *const to = param->new_perl;
13441     dTHXa(to);
13442     PerlInterpreter *const was = PERL_GET_THX;
13443
13444     PERL_ARGS_ASSERT_CLONE_PARAMS_DEL;
13445
13446     if (was != to) {
13447         PERL_SET_THX(to);
13448     }
13449
13450     SvREFCNT_dec(param->stashes);
13451     if (param->unreferenced)
13452         unreferenced_to_tmp_stack(param->unreferenced);
13453
13454     Safefree(param);
13455
13456     if (was != to) {
13457         PERL_SET_THX(was);
13458     }
13459 }
13460
13461 CLONE_PARAMS *
13462 Perl_clone_params_new(PerlInterpreter *const from, PerlInterpreter *const to)
13463 {
13464     dVAR;
13465     /* Need to play this game, as newAV() can call safesysmalloc(), and that
13466        does a dTHX; to get the context from thread local storage.
13467        FIXME - under PERL_CORE Newx(), Safefree() and friends should expand to
13468        a version that passes in my_perl.  */
13469     PerlInterpreter *const was = PERL_GET_THX;
13470     CLONE_PARAMS *param;
13471
13472     PERL_ARGS_ASSERT_CLONE_PARAMS_NEW;
13473
13474     if (was != to) {
13475         PERL_SET_THX(to);
13476     }
13477
13478     /* Given that we've set the context, we can do this unshared.  */
13479     Newx(param, 1, CLONE_PARAMS);
13480
13481     param->flags = 0;
13482     param->proto_perl = from;
13483     param->new_perl = to;
13484     param->stashes = (AV *)Perl_newSV_type(to, SVt_PVAV);
13485     AvREAL_off(param->stashes);
13486     param->unreferenced = (AV *)Perl_newSV_type(to, SVt_PVAV);
13487
13488     if (was != to) {
13489         PERL_SET_THX(was);
13490     }
13491     return param;
13492 }
13493
13494 #endif /* USE_ITHREADS */
13495
13496 /*
13497 =head1 Unicode Support
13498
13499 =for apidoc sv_recode_to_utf8
13500
13501 The encoding is assumed to be an Encode object, on entry the PV
13502 of the sv is assumed to be octets in that encoding, and the sv
13503 will be converted into Unicode (and UTF-8).
13504
13505 If the sv already is UTF-8 (or if it is not POK), or if the encoding
13506 is not a reference, nothing is done to the sv.  If the encoding is not
13507 an C<Encode::XS> Encoding object, bad things will happen.
13508 (See F<lib/encoding.pm> and L<Encode>).
13509
13510 The PV of the sv is returned.
13511
13512 =cut */
13513
13514 char *
13515 Perl_sv_recode_to_utf8(pTHX_ SV *sv, SV *encoding)
13516 {
13517     dVAR;
13518
13519     PERL_ARGS_ASSERT_SV_RECODE_TO_UTF8;
13520
13521     if (SvPOK(sv) && !SvUTF8(sv) && !IN_BYTES && SvROK(encoding)) {
13522         SV *uni;
13523         STRLEN len;
13524         const char *s;
13525         dSP;
13526         ENTER;
13527         SAVETMPS;
13528         save_re_context();
13529         PUSHMARK(sp);
13530         EXTEND(SP, 3);
13531         XPUSHs(encoding);
13532         XPUSHs(sv);
13533 /*
13534   NI-S 2002/07/09
13535   Passing sv_yes is wrong - it needs to be or'ed set of constants
13536   for Encode::XS, while UTf-8 decode (currently) assumes a true value means
13537   remove converted chars from source.
13538
13539   Both will default the value - let them.
13540
13541         XPUSHs(&PL_sv_yes);
13542 */
13543         PUTBACK;
13544         call_method("decode", G_SCALAR);
13545         SPAGAIN;
13546         uni = POPs;
13547         PUTBACK;
13548         s = SvPV_const(uni, len);
13549         if (s != SvPVX_const(sv)) {
13550             SvGROW(sv, len + 1);
13551             Move(s, SvPVX(sv), len + 1, char);
13552             SvCUR_set(sv, len);
13553         }
13554         FREETMPS;
13555         LEAVE;
13556         if (SvTYPE(sv) >= SVt_PVMG && SvMAGIC(sv)) {
13557             /* clear pos and any utf8 cache */
13558             MAGIC * mg = mg_find(sv, PERL_MAGIC_regex_global);
13559             if (mg)
13560                 mg->mg_len = -1;
13561             if ((mg = mg_find(sv, PERL_MAGIC_utf8)))
13562                 magic_setutf8(sv,mg); /* clear UTF8 cache */
13563         }
13564         SvUTF8_on(sv);
13565         return SvPVX(sv);
13566     }
13567     return SvPOKp(sv) ? SvPVX(sv) : NULL;
13568 }
13569
13570 /*
13571 =for apidoc sv_cat_decode
13572
13573 The encoding is assumed to be an Encode object, the PV of the ssv is
13574 assumed to be octets in that encoding and decoding the input starts
13575 from the position which (PV + *offset) pointed to.  The dsv will be
13576 concatenated the decoded UTF-8 string from ssv.  Decoding will terminate
13577 when the string tstr appears in decoding output or the input ends on
13578 the PV of the ssv. The value which the offset points will be modified
13579 to the last input position on the ssv.
13580
13581 Returns TRUE if the terminator was found, else returns FALSE.
13582
13583 =cut */
13584
13585 bool
13586 Perl_sv_cat_decode(pTHX_ SV *dsv, SV *encoding,
13587                    SV *ssv, int *offset, char *tstr, int tlen)
13588 {
13589     dVAR;
13590     bool ret = FALSE;
13591
13592     PERL_ARGS_ASSERT_SV_CAT_DECODE;
13593
13594     if (SvPOK(ssv) && SvPOK(dsv) && SvROK(encoding) && offset) {
13595         SV *offsv;
13596         dSP;
13597         ENTER;
13598         SAVETMPS;
13599         save_re_context();
13600         PUSHMARK(sp);
13601         EXTEND(SP, 6);
13602         XPUSHs(encoding);
13603         XPUSHs(dsv);
13604         XPUSHs(ssv);
13605         offsv = newSViv(*offset);
13606         mXPUSHs(offsv);
13607         mXPUSHp(tstr, tlen);
13608         PUTBACK;
13609         call_method("cat_decode", G_SCALAR);
13610         SPAGAIN;
13611         ret = SvTRUE(TOPs);
13612         *offset = SvIV(offsv);
13613         PUTBACK;
13614         FREETMPS;
13615         LEAVE;
13616     }
13617     else
13618         Perl_croak(aTHX_ "Invalid argument to sv_cat_decode");
13619     return ret;
13620
13621 }
13622
13623 /* ---------------------------------------------------------------------
13624  *
13625  * support functions for report_uninit()
13626  */
13627
13628 /* the maxiumum size of array or hash where we will scan looking
13629  * for the undefined element that triggered the warning */
13630
13631 #define FUV_MAX_SEARCH_SIZE 1000
13632
13633 /* Look for an entry in the hash whose value has the same SV as val;
13634  * If so, return a mortal copy of the key. */
13635
13636 STATIC SV*
13637 S_find_hash_subscript(pTHX_ const HV *const hv, const SV *const val)
13638 {
13639     dVAR;
13640     register HE **array;
13641     I32 i;
13642
13643     PERL_ARGS_ASSERT_FIND_HASH_SUBSCRIPT;
13644
13645     if (!hv || SvMAGICAL(hv) || !HvARRAY(hv) ||
13646                         (HvTOTALKEYS(hv) > FUV_MAX_SEARCH_SIZE))
13647         return NULL;
13648
13649     array = HvARRAY(hv);
13650
13651     for (i=HvMAX(hv); i>0; i--) {
13652         register HE *entry;
13653         for (entry = array[i]; entry; entry = HeNEXT(entry)) {
13654             if (HeVAL(entry) != val)
13655                 continue;
13656             if (    HeVAL(entry) == &PL_sv_undef ||
13657                     HeVAL(entry) == &PL_sv_placeholder)
13658                 continue;
13659             if (!HeKEY(entry))
13660                 return NULL;
13661             if (HeKLEN(entry) == HEf_SVKEY)
13662                 return sv_mortalcopy(HeKEY_sv(entry));
13663             return sv_2mortal(newSVhek(HeKEY_hek(entry)));
13664         }
13665     }
13666     return NULL;
13667 }
13668
13669 /* Look for an entry in the array whose value has the same SV as val;
13670  * If so, return the index, otherwise return -1. */
13671
13672 STATIC I32
13673 S_find_array_subscript(pTHX_ const AV *const av, const SV *const val)
13674 {
13675     dVAR;
13676
13677     PERL_ARGS_ASSERT_FIND_ARRAY_SUBSCRIPT;
13678
13679     if (!av || SvMAGICAL(av) || !AvARRAY(av) ||
13680                         (AvFILLp(av) > FUV_MAX_SEARCH_SIZE))
13681         return -1;
13682
13683     if (val != &PL_sv_undef) {
13684         SV ** const svp = AvARRAY(av);
13685         I32 i;
13686
13687         for (i=AvFILLp(av); i>=0; i--)
13688             if (svp[i] == val)
13689                 return i;
13690     }
13691     return -1;
13692 }
13693
13694 /* S_varname(): return the name of a variable, optionally with a subscript.
13695  * If gv is non-zero, use the name of that global, along with gvtype (one
13696  * of "$", "@", "%"); otherwise use the name of the lexical at pad offset
13697  * targ.  Depending on the value of the subscript_type flag, return:
13698  */
13699
13700 #define FUV_SUBSCRIPT_NONE      1       /* "@foo"          */
13701 #define FUV_SUBSCRIPT_ARRAY     2       /* "$foo[aindex]"  */
13702 #define FUV_SUBSCRIPT_HASH      3       /* "$foo{keyname}" */
13703 #define FUV_SUBSCRIPT_WITHIN    4       /* "within @foo"   */
13704
13705 STATIC SV*
13706 S_varname(pTHX_ const GV *const gv, const char gvtype, PADOFFSET targ,
13707         const SV *const keyname, I32 aindex, int subscript_type)
13708 {
13709
13710     SV * const name = sv_newmortal();
13711     if (gv) {
13712         char buffer[2];
13713         buffer[0] = gvtype;
13714         buffer[1] = 0;
13715
13716         /* as gv_fullname4(), but add literal '^' for $^FOO names  */
13717
13718         gv_fullname4(name, gv, buffer, 0);
13719
13720         if ((unsigned int)SvPVX(name)[1] <= 26) {
13721             buffer[0] = '^';
13722             buffer[1] = SvPVX(name)[1] + 'A' - 1;
13723
13724             /* Swap the 1 unprintable control character for the 2 byte pretty
13725                version - ie substr($name, 1, 1) = $buffer; */
13726             sv_insert(name, 1, 1, buffer, 2);
13727         }
13728     }
13729     else {
13730         CV * const cv = find_runcv(NULL);
13731         SV *sv;
13732         AV *av;
13733
13734         if (!cv || !CvPADLIST(cv))
13735             return NULL;
13736         av = MUTABLE_AV((*av_fetch(CvPADLIST(cv), 0, FALSE)));
13737         sv = *av_fetch(av, targ, FALSE);
13738         sv_setpvn(name, SvPV_nolen_const(sv), SvCUR(sv));
13739     }
13740
13741     if (subscript_type == FUV_SUBSCRIPT_HASH) {
13742         SV * const sv = newSV(0);
13743         *SvPVX(name) = '$';
13744         Perl_sv_catpvf(aTHX_ name, "{%s}",
13745             pv_display(sv,SvPVX_const(keyname), SvCUR(keyname), 0, 32));
13746         SvREFCNT_dec(sv);
13747     }
13748     else if (subscript_type == FUV_SUBSCRIPT_ARRAY) {
13749         *SvPVX(name) = '$';
13750         Perl_sv_catpvf(aTHX_ name, "[%"IVdf"]", (IV)aindex);
13751     }
13752     else if (subscript_type == FUV_SUBSCRIPT_WITHIN) {
13753         /* We know that name has no magic, so can use 0 instead of SV_GMAGIC */
13754         Perl_sv_insert_flags(aTHX_ name, 0, 0,  STR_WITH_LEN("within "), 0);
13755     }
13756
13757     return name;
13758 }
13759
13760
13761 /*
13762 =for apidoc find_uninit_var
13763
13764 Find the name of the undefined variable (if any) that caused the operator o
13765 to issue a "Use of uninitialized value" warning.
13766 If match is true, only return a name if it's value matches uninit_sv.
13767 So roughly speaking, if a unary operator (such as OP_COS) generates a
13768 warning, then following the direct child of the op may yield an
13769 OP_PADSV or OP_GV that gives the name of the undefined variable. On the
13770 other hand, with OP_ADD there are two branches to follow, so we only print
13771 the variable name if we get an exact match.
13772
13773 The name is returned as a mortal SV.
13774
13775 Assumes that PL_op is the op that originally triggered the error, and that
13776 PL_comppad/PL_curpad points to the currently executing pad.
13777
13778 =cut
13779 */
13780
13781 STATIC SV *
13782 S_find_uninit_var(pTHX_ const OP *const obase, const SV *const uninit_sv,
13783                   bool match)
13784 {
13785     dVAR;
13786     SV *sv;
13787     const GV *gv;
13788     const OP *o, *o2, *kid;
13789
13790     if (!obase || (match && (!uninit_sv || uninit_sv == &PL_sv_undef ||
13791                             uninit_sv == &PL_sv_placeholder)))
13792         return NULL;
13793
13794     switch (obase->op_type) {
13795
13796     case OP_RV2AV:
13797     case OP_RV2HV:
13798     case OP_PADAV:
13799     case OP_PADHV:
13800       {
13801         const bool pad  = (obase->op_type == OP_PADAV || obase->op_type == OP_PADHV);
13802         const bool hash = (obase->op_type == OP_PADHV || obase->op_type == OP_RV2HV);
13803         I32 index = 0;
13804         SV *keysv = NULL;
13805         int subscript_type = FUV_SUBSCRIPT_WITHIN;
13806
13807         if (pad) { /* @lex, %lex */
13808             sv = PAD_SVl(obase->op_targ);
13809             gv = NULL;
13810         }
13811         else {
13812             if (cUNOPx(obase)->op_first->op_type == OP_GV) {
13813             /* @global, %global */
13814                 gv = cGVOPx_gv(cUNOPx(obase)->op_first);
13815                 if (!gv)
13816                     break;
13817                 sv = hash ? MUTABLE_SV(GvHV(gv)): MUTABLE_SV(GvAV(gv));
13818             }
13819             else /* @{expr}, %{expr} */
13820                 return find_uninit_var(cUNOPx(obase)->op_first,
13821                                                     uninit_sv, match);
13822         }
13823
13824         /* attempt to find a match within the aggregate */
13825         if (hash) {
13826             keysv = find_hash_subscript((const HV*)sv, uninit_sv);
13827             if (keysv)
13828                 subscript_type = FUV_SUBSCRIPT_HASH;
13829         }
13830         else {
13831             index = find_array_subscript((const AV *)sv, uninit_sv);
13832             if (index >= 0)
13833                 subscript_type = FUV_SUBSCRIPT_ARRAY;
13834         }
13835
13836         if (match && subscript_type == FUV_SUBSCRIPT_WITHIN)
13837             break;
13838
13839         return varname(gv, hash ? '%' : '@', obase->op_targ,
13840                                     keysv, index, subscript_type);
13841       }
13842
13843     case OP_PADSV:
13844         if (match && PAD_SVl(obase->op_targ) != uninit_sv)
13845             break;
13846         return varname(NULL, '$', obase->op_targ,
13847                                     NULL, 0, FUV_SUBSCRIPT_NONE);
13848
13849     case OP_GVSV:
13850         gv = cGVOPx_gv(obase);
13851         if (!gv || (match && GvSV(gv) != uninit_sv) || !GvSTASH(gv))
13852             break;
13853         return varname(gv, '$', 0, NULL, 0, FUV_SUBSCRIPT_NONE);
13854
13855     case OP_AELEMFAST_LEX:
13856         if (match) {
13857             SV **svp;
13858             AV *av = MUTABLE_AV(PAD_SV(obase->op_targ));
13859             if (!av || SvRMAGICAL(av))
13860                 break;
13861             svp = av_fetch(av, (I32)obase->op_private, FALSE);
13862             if (!svp || *svp != uninit_sv)
13863                 break;
13864         }
13865         return varname(NULL, '$', obase->op_targ,
13866                        NULL, (I32)obase->op_private, FUV_SUBSCRIPT_ARRAY);
13867     case OP_AELEMFAST:
13868         {
13869             gv = cGVOPx_gv(obase);
13870             if (!gv)
13871                 break;
13872             if (match) {
13873                 SV **svp;
13874                 AV *const av = GvAV(gv);
13875                 if (!av || SvRMAGICAL(av))
13876                     break;
13877                 svp = av_fetch(av, (I32)obase->op_private, FALSE);
13878                 if (!svp || *svp != uninit_sv)
13879                     break;
13880             }
13881             return varname(gv, '$', 0,
13882                     NULL, (I32)obase->op_private, FUV_SUBSCRIPT_ARRAY);
13883         }
13884         break;
13885
13886     case OP_EXISTS:
13887         o = cUNOPx(obase)->op_first;
13888         if (!o || o->op_type != OP_NULL ||
13889                 ! (o->op_targ == OP_AELEM || o->op_targ == OP_HELEM))
13890             break;
13891         return find_uninit_var(cBINOPo->op_last, uninit_sv, match);
13892
13893     case OP_AELEM:
13894     case OP_HELEM:
13895         if (PL_op == obase)
13896             /* $a[uninit_expr] or $h{uninit_expr} */
13897             return find_uninit_var(cBINOPx(obase)->op_last, uninit_sv, match);
13898
13899         gv = NULL;
13900         o = cBINOPx(obase)->op_first;
13901         kid = cBINOPx(obase)->op_last;
13902
13903         /* get the av or hv, and optionally the gv */
13904         sv = NULL;
13905         if  (o->op_type == OP_PADAV || o->op_type == OP_PADHV) {
13906             sv = PAD_SV(o->op_targ);
13907         }
13908         else if ((o->op_type == OP_RV2AV || o->op_type == OP_RV2HV)
13909                 && cUNOPo->op_first->op_type == OP_GV)
13910         {
13911             gv = cGVOPx_gv(cUNOPo->op_first);
13912             if (!gv)
13913                 break;
13914             sv = o->op_type
13915                 == OP_RV2HV ? MUTABLE_SV(GvHV(gv)) : MUTABLE_SV(GvAV(gv));
13916         }
13917         if (!sv)
13918             break;
13919
13920         if (kid && kid->op_type == OP_CONST && SvOK(cSVOPx_sv(kid))) {
13921             /* index is constant */
13922             if (match) {
13923                 if (SvMAGICAL(sv))
13924                     break;
13925                 if (obase->op_type == OP_HELEM) {
13926                     HE* he = hv_fetch_ent(MUTABLE_HV(sv), cSVOPx_sv(kid), 0, 0);
13927                     if (!he || HeVAL(he) != uninit_sv)
13928                         break;
13929                 }
13930                 else {
13931                     SV * const * const svp = av_fetch(MUTABLE_AV(sv), SvIV(cSVOPx_sv(kid)), FALSE);
13932                     if (!svp || *svp != uninit_sv)
13933                         break;
13934                 }
13935             }
13936             if (obase->op_type == OP_HELEM)
13937                 return varname(gv, '%', o->op_targ,
13938                             cSVOPx_sv(kid), 0, FUV_SUBSCRIPT_HASH);
13939             else
13940                 return varname(gv, '@', o->op_targ, NULL,
13941                             SvIV(cSVOPx_sv(kid)), FUV_SUBSCRIPT_ARRAY);
13942         }
13943         else  {
13944             /* index is an expression;
13945              * attempt to find a match within the aggregate */
13946             if (obase->op_type == OP_HELEM) {
13947                 SV * const keysv = find_hash_subscript((const HV*)sv, uninit_sv);
13948                 if (keysv)
13949                     return varname(gv, '%', o->op_targ,
13950                                                 keysv, 0, FUV_SUBSCRIPT_HASH);
13951             }
13952             else {
13953                 const I32 index
13954                     = find_array_subscript((const AV *)sv, uninit_sv);
13955                 if (index >= 0)
13956                     return varname(gv, '@', o->op_targ,
13957                                         NULL, index, FUV_SUBSCRIPT_ARRAY);
13958             }
13959             if (match)
13960                 break;
13961             return varname(gv,
13962                 (o->op_type == OP_PADAV || o->op_type == OP_RV2AV)
13963                 ? '@' : '%',
13964                 o->op_targ, NULL, 0, FUV_SUBSCRIPT_WITHIN);
13965         }
13966         break;
13967
13968     case OP_AASSIGN:
13969         /* only examine RHS */
13970         return find_uninit_var(cBINOPx(obase)->op_first, uninit_sv, match);
13971
13972     case OP_OPEN:
13973         o = cUNOPx(obase)->op_first;
13974         if (o->op_type == OP_PUSHMARK)
13975             o = o->op_sibling;
13976
13977         if (!o->op_sibling) {
13978             /* one-arg version of open is highly magical */
13979
13980             if (o->op_type == OP_GV) { /* open FOO; */
13981                 gv = cGVOPx_gv(o);
13982                 if (match && GvSV(gv) != uninit_sv)
13983                     break;
13984                 return varname(gv, '$', 0,
13985                             NULL, 0, FUV_SUBSCRIPT_NONE);
13986             }
13987             /* other possibilities not handled are:
13988              * open $x; or open my $x;  should return '${*$x}'
13989              * open expr;               should return '$'.expr ideally
13990              */
13991              break;
13992         }
13993         goto do_op;
13994
13995     /* ops where $_ may be an implicit arg */
13996     case OP_TRANS:
13997     case OP_SUBST:
13998     case OP_MATCH:
13999         if ( !(obase->op_flags & OPf_STACKED)) {
14000             if (uninit_sv == ((obase->op_private & OPpTARGET_MY)
14001                                  ? PAD_SVl(obase->op_targ)
14002                                  : DEFSV))
14003             {
14004                 sv = sv_newmortal();
14005                 sv_setpvs(sv, "$_");
14006                 return sv;
14007             }
14008         }
14009         goto do_op;
14010
14011     case OP_PRTF:
14012     case OP_PRINT:
14013     case OP_SAY:
14014         match = 1; /* print etc can return undef on defined args */
14015         /* skip filehandle as it can't produce 'undef' warning  */
14016         o = cUNOPx(obase)->op_first;
14017         if ((obase->op_flags & OPf_STACKED) && o->op_type == OP_PUSHMARK)
14018             o = o->op_sibling->op_sibling;
14019         goto do_op2;
14020
14021
14022     case OP_ENTEREVAL: /* could be eval $undef or $x='$undef'; eval $x */
14023     case OP_RV2SV:
14024     case OP_CUSTOM: /* XS or custom code could trigger random warnings */
14025
14026         /* the following ops are capable of returning PL_sv_undef even for
14027          * defined arg(s) */
14028
14029     case OP_BACKTICK:
14030     case OP_PIPE_OP:
14031     case OP_FILENO:
14032     case OP_BINMODE:
14033     case OP_TIED:
14034     case OP_GETC:
14035     case OP_SYSREAD:
14036     case OP_SEND:
14037     case OP_IOCTL:
14038     case OP_SOCKET:
14039     case OP_SOCKPAIR:
14040     case OP_BIND:
14041     case OP_CONNECT:
14042     case OP_LISTEN:
14043     case OP_ACCEPT:
14044     case OP_SHUTDOWN:
14045     case OP_SSOCKOPT:
14046     case OP_GETPEERNAME:
14047     case OP_FTRREAD:
14048     case OP_FTRWRITE:
14049     case OP_FTREXEC:
14050     case OP_FTROWNED:
14051     case OP_FTEREAD:
14052     case OP_FTEWRITE:
14053     case OP_FTEEXEC:
14054     case OP_FTEOWNED:
14055     case OP_FTIS:
14056     case OP_FTZERO:
14057     case OP_FTSIZE:
14058     case OP_FTFILE:
14059     case OP_FTDIR:
14060     case OP_FTLINK:
14061     case OP_FTPIPE:
14062     case OP_FTSOCK:
14063     case OP_FTBLK:
14064     case OP_FTCHR:
14065     case OP_FTTTY:
14066     case OP_FTSUID:
14067     case OP_FTSGID:
14068     case OP_FTSVTX:
14069     case OP_FTTEXT:
14070     case OP_FTBINARY:
14071     case OP_FTMTIME:
14072     case OP_FTATIME:
14073     case OP_FTCTIME:
14074     case OP_READLINK:
14075     case OP_OPEN_DIR:
14076     case OP_READDIR:
14077     case OP_TELLDIR:
14078     case OP_SEEKDIR:
14079     case OP_REWINDDIR:
14080     case OP_CLOSEDIR:
14081     case OP_GMTIME:
14082     case OP_ALARM:
14083     case OP_SEMGET:
14084     case OP_GETLOGIN:
14085     case OP_UNDEF:
14086     case OP_SUBSTR:
14087     case OP_AEACH:
14088     case OP_EACH:
14089     case OP_SORT:
14090     case OP_CALLER:
14091     case OP_DOFILE:
14092     case OP_PROTOTYPE:
14093     case OP_NCMP:
14094     case OP_SMARTMATCH:
14095     case OP_UNPACK:
14096     case OP_SYSOPEN:
14097     case OP_SYSSEEK:
14098         match = 1;
14099         goto do_op;
14100
14101     case OP_ENTERSUB:
14102     case OP_GOTO:
14103         /* XXX tmp hack: these two may call an XS sub, and currently
14104           XS subs don't have a SUB entry on the context stack, so CV and
14105           pad determination goes wrong, and BAD things happen. So, just
14106           don't try to determine the value under those circumstances.
14107           Need a better fix at dome point. DAPM 11/2007 */
14108         break;
14109
14110     case OP_FLIP:
14111     case OP_FLOP:
14112     {
14113         GV * const gv = gv_fetchpvs(".", GV_NOTQUAL, SVt_PV);
14114         if (gv && GvSV(gv) == uninit_sv)
14115             return newSVpvs_flags("$.", SVs_TEMP);
14116         goto do_op;
14117     }
14118
14119     case OP_POS:
14120         /* def-ness of rval pos() is independent of the def-ness of its arg */
14121         if ( !(obase->op_flags & OPf_MOD))
14122             break;
14123
14124     case OP_SCHOMP:
14125     case OP_CHOMP:
14126         if (SvROK(PL_rs) && uninit_sv == SvRV(PL_rs))
14127             return newSVpvs_flags("${$/}", SVs_TEMP);
14128         /*FALLTHROUGH*/
14129
14130     default:
14131     do_op:
14132         if (!(obase->op_flags & OPf_KIDS))
14133             break;
14134         o = cUNOPx(obase)->op_first;
14135         
14136     do_op2:
14137         if (!o)
14138             break;
14139
14140         /* if all except one arg are constant, or have no side-effects,
14141          * or are optimized away, then it's unambiguous */
14142         o2 = NULL;
14143         for (kid=o; kid; kid = kid->op_sibling) {
14144             if (kid) {
14145                 const OPCODE type = kid->op_type;
14146                 if ( (type == OP_CONST && SvOK(cSVOPx_sv(kid)))
14147                   || (type == OP_NULL  && ! (kid->op_flags & OPf_KIDS))
14148                   || (type == OP_PUSHMARK)
14149                   || (
14150                       /* @$a and %$a, but not @a or %a */
14151                         (type == OP_RV2AV || type == OP_RV2HV)
14152                      && cUNOPx(kid)->op_first
14153                      && cUNOPx(kid)->op_first->op_type != OP_GV
14154                      )
14155                 )
14156                 continue;
14157             }
14158             if (o2) { /* more than one found */
14159                 o2 = NULL;
14160                 break;
14161             }
14162             o2 = kid;
14163         }
14164         if (o2)
14165             return find_uninit_var(o2, uninit_sv, match);
14166
14167         /* scan all args */
14168         while (o) {
14169             sv = find_uninit_var(o, uninit_sv, 1);
14170             if (sv)
14171                 return sv;
14172             o = o->op_sibling;
14173         }
14174         break;
14175     }
14176     return NULL;
14177 }
14178
14179
14180 /*
14181 =for apidoc report_uninit
14182
14183 Print appropriate "Use of uninitialized variable" warning
14184
14185 =cut
14186 */
14187
14188 void
14189 Perl_report_uninit(pTHX_ const SV *uninit_sv)
14190 {
14191     dVAR;
14192     if (PL_op) {
14193         SV* varname = NULL;
14194         if (uninit_sv) {
14195             varname = find_uninit_var(PL_op, uninit_sv,0);
14196             if (varname)
14197                 sv_insert(varname, 0, 0, " ", 1);
14198         }
14199         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit,
14200                 varname ? SvPV_nolen_const(varname) : "",
14201                 " in ", OP_DESC(PL_op));
14202     }
14203     else
14204         Perl_warner(aTHX_ packWARN(WARN_UNINITIALIZED), PL_warn_uninit,
14205                     "", "", "");
14206 }
14207
14208 /*
14209  * Local variables:
14210  * c-indentation-style: bsd
14211  * c-basic-offset: 4
14212  * indent-tabs-mode: t
14213  * End:
14214  *
14215  * ex: set ts=8 sts=4 sw=4 noet:
14216  */