ext/Devel-Peek/Peek.pm

   1 # Devel::Peek - A data debugging tool for the XS programmer
   2 # The documentation is after the __END__
   3
   4 package Devel::Peek;
   5
   6 $VERSION = '1.13';
   7 $XS_VERSION = $VERSION;
   8 $VERSION = eval $VERSION;
   9
  10 require Exporter;
  11 require XSLoader;
  12
  13 @ISA = qw(Exporter);
  14 @EXPORT = qw(Dump mstat DeadCode DumpArray DumpWithOP DumpProg
  15              fill_mstats mstats_fillhash mstats2hash runops_debug debug_flags);
  16 @EXPORT_OK = qw(SvREFCNT CvGV);
  17 %EXPORT_TAGS = ('ALL' => [@EXPORT, @EXPORT_OK]);
  18
  19 XSLoader::load();
  20
  21 sub import {
  22   my $c = shift;
  23   my $ops_rx = qr/^:opd(=[stP]*)?\b/;
  24   my @db = grep m/$ops_rx/, @_;
  25   @_ = grep !m/$ops_rx/, @_;
  26   if (@db) {
  27     die "Too many :opd options" if @db > 1;
  28     runops_debug(1);
  29     my $flags = ($db[0] =~ m/$ops_rx/ and $1);
  30     $flags = 'st' unless defined $flags;
  31     my $f = 0;
  32     $f |= 2  if $flags =~ /s/;
  33     $f |= 8  if $flags =~ /t/;
  34     $f |= 64 if $flags =~ /P/;
  35     $^D |= $f if $f;
  36   }
  37   unshift @_, $c;
  38   goto &Exporter::import;
  39 }
  40
  41 sub DumpWithOP ($;$) {
  42    local($Devel::Peek::dump_ops)=1;
  43    my $depth = @_ > 1 ? $_[1] : 4 ;
  44    Dump($_[0],$depth);
  45 }
  46
  47 $D_flags = 'psltocPmfrxuLHXDSTR';
  48
  49 sub debug_flags (;$) {
  50   my $out = "";
  51   for my $i (0 .. length($D_flags)-1) {
  52     $out .= substr $D_flags, $i, 1 if $^D & (1<<$i);
  53   }
  54   my $arg = shift;
  55   my $num = $arg;
  56   if (defined $arg and $arg =~ /\D/) {
  57     die "unknown flags in debug_flags()" if $arg =~ /[^-$D_flags]/;
  58     my ($on,$off) = split /-/, "$arg-";
  59     $num = $^D;
  60     $num |=  (1<<index($D_flags, $_)) for split //, $on;
  61     $num &= ~(1<<index($D_flags, $_)) for split //, $off;
  62   }
  63   $^D = $num if defined $arg;
  64   $out
  65 }
  66
  67 1;
  68 __END__
  69
  70 =head1 NAME
  71
  72 Devel::Peek - A data debugging tool for the XS programmer
  73
  74 =head1 SYNOPSIS
  75
  76         use Devel::Peek;
  77         Dump( $a );
  78         Dump( $a, 5 );
  79         Dump( @a );
  80         Dump( %h );
  81         DumpArray( 5, $a, $b, ... );
  82         mstat "Point 5";
  83
  84         use Devel::Peek ':opd=st';
  85
  86 =head1 DESCRIPTION
  87
  88 Devel::Peek contains functions which allows raw Perl datatypes to be
  89 manipulated from a Perl script.  This is used by those who do XS programming
  90 to check that the data they are sending from C to Perl looks as they think
  91 it should look.  The trick, then, is to know what the raw datatype is
  92 supposed to look like when it gets to Perl.  This document offers some tips
  93 and hints to describe good and bad raw data.
  94
  95 It is very possible that this document will fall far short of being useful
  96 to the casual reader.  The reader is expected to understand the material in
  97 the first few sections of L<perlguts>.
  98
  99 Devel::Peek supplies a C<Dump()> function which can dump a raw Perl
 100 datatype, and C<mstat("marker")> function to report on memory usage
 101 (if perl is compiled with corresponding option).  The function
 102 DeadCode() provides statistics on the data "frozen" into inactive
 103 C<CV>.  Devel::Peek also supplies C<SvREFCNT()> which can query reference
 104 counts on SVs.  This document will take a passive, and safe, approach
 105 to data debugging and for that it will describe only the C<Dump()>
 106 function.
 107
 108 The C<Dump()> function takes one or two arguments: something to dump, and
 109 an optional limit for recursion and array elements (default is 4).  The
 110 first argument is evaluted in rvalue scalar context, with exceptions for
 111 @array and %hash, which dump the array or hash itself.  So C<Dump @array>
 112 works, as does C<Dump $foo>.  And C<Dump pos> will call C<pos> in rvalue
 113 context, whereas C<Dump ${\pos}> will call it in lvalue context.
 114
 115 Function C<DumpArray()> allows dumping of multiple values (useful when you
 116 need to analyze returns of functions).
 117
 118 The global variable $Devel::Peek::pv_limit can be set to limit the
 119 number of character printed in various string values.  Setting it to 0
 120 means no limit.
 121
 122 If C<use Devel::Peek> directive has a C<:opd=FLAGS> argument,
 123 this switches on debugging of opcode dispatch.  C<FLAGS> should be a
 124 combination of C<s>, C<t>, and C<P> (see B<-D> flags in L<perlrun>).
 125 C<:opd> is a shortcut for C<:opd=st>.
 126
 127 =head2 Runtime debugging
 128
 129 C<CvGV($cv)> return one of the globs associated to a subroutine reference $cv.
 130
 131 debug_flags() returns a string representation of C<$^D> (similar to
 132 what is allowed for B<-D> flag).  When called with a numeric argument,
 133 sets $^D to the corresponding value.  When called with an argument of
 134 the form C<"flags-flags">, set on/off bits of C<$^D> corresponding to
 135 letters before/after C<->.  (The returned value is for C<$^D> before
 136 the modification.)
 137
 138 runops_debug() returns true if the current I<opcode dispatcher> is the
 139 debugging one.  When called with an argument, switches to debugging or
 140 non-debugging dispatcher depending on the argument (active for
 141 newly-entered subs/etc only).  (The returned value is for the dispatcher before the modification.)
 142
 143 =head2 Memory footprint debugging
 144
 145 When perl is compiled with support for memory footprint debugging
 146 (default with Perl's malloc()), Devel::Peek provides an access to this API.
 147
 148 Use mstat() function to emit a memory state statistic to the terminal.
 149 For more information on the format of output of mstat() see
 150 L<perldebguts/Using $ENV{PERL_DEBUG_MSTATS}>.
 151
 152 Three additional functions allow access to this statistic from Perl.
 153 First, use C<mstats_fillhash(%hash)> to get the information contained
 154 in the output of mstat() into %hash. The field of this hash are
 155
 156   minbucket nbuckets sbrk_good sbrk_slack sbrked_remains sbrks
 157   start_slack topbucket topbucket_ev topbucket_odd total total_chain
 158   total_sbrk totfree
 159
 160 Two additional fields C<free>, C<used> contain array references which
 161 provide per-bucket count of free and used chunks.  Two other fields
 162 C<mem_size>, C<available_size> contain array references which provide
 163 the information about the allocated size and usable size of chunks in
 164 each bucket.  Again, see L<perldebguts/Using $ENV{PERL_DEBUG_MSTATS}>
 165 for details.
 166
 167
 168 Keep in mind that only the first several "odd-numbered" buckets are
 169 used, so the information on size of the "odd-numbered" buckets which are
 170 not used is probably meaningless.
 171
 172 The information in
 173
 174  mem_size available_size minbucket nbuckets
 175
 176 is the property of a particular build of perl, and does not depend on
 177 the current process.  If you do not provide the optional argument to
 178 the functions mstats_fillhash(), fill_mstats(), mstats2hash(), then
 179 the information in fields C<mem_size>, C<available_size> is not
 180 updated.
 181
 182 C<fill_mstats($buf)> is a much cheaper call (both speedwise and
 183 memory-wise) which collects the statistic into $buf in
 184 machine-readable form.  At a later moment you may need to call
 185 C<mstats2hash($buf, %hash)> to use this information to fill %hash.
 186
 187 All three APIs C<fill_mstats($buf)>, C<mstats_fillhash(%hash)>, and
 188 C<mstats2hash($buf, %hash)> are designed to allocate no memory if used
 189 I<the second time> on the same $buf and/or %hash.
 190
 191 So, if you want to collect memory info in a cycle, you may call
 192
 193   $#buf = 999;
 194   fill_mstats($_) for @buf;
 195   mstats_fillhash(%report, 1);          # Static info too
 196
 197   foreach (@buf) {
 198     # Do something...
 199     fill_mstats $_;                     # Collect statistic
 200   }
 201   foreach (@buf) {
 202     mstats2hash($_, %report);           # Preserve static info
 203     # Do something with %report
 204   }
 205
 206 =head1 EXAMPLES
 207
 208 The following examples don't attempt to show everything as that would be a
 209 monumental task, and, frankly, we don't want this manpage to be an internals
 210 document for Perl.  The examples do demonstrate some basics of the raw Perl
 211 datatypes, and should suffice to get most determined people on their way.
 212 There are no guidewires or safety nets, nor blazed trails, so be prepared to
 213 travel alone from this point and on and, if at all possible, don't fall into
 214 the quicksand (it's bad for business).
 215
 216 Oh, one final bit of advice: take L<perlguts> with you.  When you return we
 217 expect to see it well-thumbed.
 218
 219 =head2 A simple scalar string
 220
 221 Let's begin by looking a simple scalar which is holding a string.
 222
 223         use Devel::Peek;
 224         $a = 42; $a = "hello";
 225         Dump $a;
 226
 227 The output:
 228
 229         SV = PVIV(0xbc288) at 0xbe9a8
 230           REFCNT = 1
 231           FLAGS = (POK,pPOK)
 232           IV = 42
 233           PV = 0xb2048 "hello"\0
 234           CUR = 5
 235           LEN = 8
 236
 237 This says C<$a> is an SV, a scalar.  The scalar type is a PVIV, which is
 238 capable of holding an integer (IV) and/or a string (PV) value. The scalar's
 239 head is allocated at address 0xbe9a8, while the body is at 0xbc288.
 240 Its reference count is 1.  It has the C<POK> flag set, meaning its
 241 current PV field is valid.  Because POK is set we look at the PV item
 242 to see what is in the scalar.  The \0 at the end indicate that this
 243 PV is properly NUL-terminated.
 244 Note that the IV field still contains its old numeric value, but because
 245 FLAGS doesn't have IOK set, we must ignore the IV item.
 246 CUR indicates the number of characters in the PV.  LEN indicates the
 247 number of bytes allocated for the PV (at least one more than CUR, because
 248 LEN includes an extra byte for the end-of-string marker, then usually
 249 rounded up to some efficient allocation unit).
 250
 251 =head2 A simple scalar number
 252
 253 If the scalar contains a number the raw SV will be leaner.
 254
 255         use Devel::Peek;
 256         $a = 42;
 257         Dump $a;
 258
 259 The output:
 260
 261         SV = IV(0xbc818) at 0xbe9a8
 262           REFCNT = 1
 263           FLAGS = (IOK,pIOK)
 264           IV = 42
 265
 266 This says C<$a> is an SV, a scalar.  The scalar is an IV, a number.  Its
 267 reference count is 1.  It has the C<IOK> flag set, meaning it is currently
 268 being evaluated as a number.  Because IOK is set we look at the IV item to
 269 see what is in the scalar.
 270
 271 =head2 A simple scalar with an extra reference
 272
 273 If the scalar from the previous example had an extra reference:
 274
 275         use Devel::Peek;
 276         $a = 42;
 277         $b = \$a;
 278         Dump $a;
 279
 280 The output:
 281
 282         SV = IV(0xbe860) at 0xbe9a8
 283           REFCNT = 2
 284           FLAGS = (IOK,pIOK)
 285           IV = 42
 286
 287 Notice that this example differs from the previous example only in its
 288 reference count.  Compare this to the next example, where we dump C<$b>
 289 instead of C<$a>.
 290
 291 =head2 A reference to a simple scalar
 292
 293 This shows what a reference looks like when it references a simple scalar.
 294
 295         use Devel::Peek;
 296         $a = 42;
 297         $b = \$a;
 298         Dump $b;
 299
 300 The output:
 301
 302         SV = IV(0xf041c) at 0xbe9a0
 303           REFCNT = 1
 304           FLAGS = (ROK)
 305           RV = 0xbab08
 306           SV = IV(0xbe860) at 0xbe9a8
 307             REFCNT = 2
 308             FLAGS = (IOK,pIOK)
 309             IV = 42
 310
 311 Starting from the top, this says C<$b> is an SV.  The scalar is an IV,
 312 which is capable of holding an integer or reference value.
 313 It has the C<ROK> flag set, meaning it is a reference (rather than an
 314 integer or string).  Notice that Dump
 315 follows the reference and shows us what C<$b> was referencing.  We see the
 316 same C<$a> that we found in the previous example.
 317
 318 Note that the value of C<RV> coincides with the numbers we see when we
 319 stringify $b. The addresses inside IV() are addresses of
 320 C<X***> structures which hold the current state of an C<SV>. This
 321 address may change during lifetime of an SV.
 322
 323 =head2 A reference to an array
 324
 325 This shows what a reference to an array looks like.
 326
 327         use Devel::Peek;
 328         $a = [42];
 329         Dump $a;
 330
 331 The output:
 332
 333         SV = IV(0xc85998) at 0xc859a8
 334           REFCNT = 1
 335           FLAGS = (ROK)
 336           RV = 0xc70de8
 337           SV = PVAV(0xc71e10) at 0xc70de8
 338             REFCNT = 1
 339             FLAGS = ()
 340             ARRAY = 0xc7e820
 341             FILL = 0
 342             MAX = 0
 343             ARYLEN = 0x0
 344             FLAGS = (REAL)
 345             Elt No. 0
 346             SV = IV(0xc70f88) at 0xc70f98
 347               REFCNT = 1
 348               FLAGS = (IOK,pIOK)
 349               IV = 42
 350
 351 This says C<$a> is a reference (ROK), which points to
 352 another SV which is a PVAV, an array.  The array has one element,
 353 element zero, which is another SV. The field C<FILL> above indicates
 354 the last element in the array, similar to C<$#$a>.
 355
 356 If C<$a> pointed to an array of two elements then we would see the
 357 following.
 358
 359         use Devel::Peek 'Dump';
 360         $a = [42,24];
 361         Dump $a;
 362
 363 The output:
 364
 365         SV = IV(0x158c998) at 0x158c9a8
 366           REFCNT = 1
 367           FLAGS = (ROK)
 368           RV = 0x1577de8
 369           SV = PVAV(0x1578e10) at 0x1577de8
 370             REFCNT = 1
 371             FLAGS = ()
 372             ARRAY = 0x1585820
 373             FILL = 1
 374             MAX = 1
 375             ARYLEN = 0x0
 376             FLAGS = (REAL)
 377             Elt No. 0
 378             SV = IV(0x1577f88) at 0x1577f98
 379               REFCNT = 1
 380               FLAGS = (IOK,pIOK)
 381               IV = 42
 382             Elt No. 1
 383             SV = IV(0x158be88) at 0x158be98
 384               REFCNT = 1
 385               FLAGS = (IOK,pIOK)
 386               IV = 24
 387
 388 Note that C<Dump> will not report I<all> the elements in the array,
 389 only several first (depending on how deep it already went into the
 390 report tree).
 391
 392 =head2 A reference to a hash
 393
 394 The following shows the raw form of a reference to a hash.
 395
 396         use Devel::Peek;
 397         $a = {hello=>42};
 398         Dump $a;
 399
 400 The output:
 401
 402         SV = IV(0x8177858) at 0x816a618
 403           REFCNT = 1
 404           FLAGS = (ROK)
 405           RV = 0x814fc10
 406           SV = PVHV(0x8167768) at 0x814fc10
 407             REFCNT = 1
 408             FLAGS = (SHAREKEYS)
 409             ARRAY = 0x816c5b8  (0:7, 1:1)
 410             hash quality = 100.0%
 411             KEYS = 1
 412             FILL = 1
 413             MAX = 7
 414             RITER = -1
 415             EITER = 0x0
 416             Elt "hello" HASH = 0xc8fd181b
 417             SV = IV(0x816c030) at 0x814fcf4
 418               REFCNT = 1
 419               FLAGS = (IOK,pIOK)
 420               IV = 42
 421
 422 This shows C<$a> is a reference pointing to an SV.  That SV is a PVHV, a
 423 hash. Fields RITER and EITER are used by C<L<perlfunc/each>>.
 424
 425 The "quality" of a hash is defined as the total number of comparisons needed
 426 to access every element once, relative to the expected number needed for a
 427 random hash. The value can go over 100%.
 428
 429 The total number of comparisons is equal to the sum of the squares of the
 430 number of entries in each bucket.  For a random hash of C<<n>> keys into
 431 C<<k>> buckets, the expected value is:
 432
 433                 n + n(n-1)/2k
 434
 435 =head2 Dumping a large array or hash
 436
 437 The C<Dump()> function, by default, dumps up to 4 elements from a
 438 toplevel array or hash.  This number can be increased by supplying a
 439 second argument to the function.
 440
 441         use Devel::Peek;
 442         $a = [10,11,12,13,14];
 443         Dump $a;
 444
 445 Notice that C<Dump()> prints only elements 10 through 13 in the above code.
 446 The following code will print all of the elements.
 447
 448         use Devel::Peek 'Dump';
 449         $a = [10,11,12,13,14];
 450         Dump $a, 5;
 451
 452 =head2 A reference to an SV which holds a C pointer
 453
 454 This is what you really need to know as an XS programmer, of course.  When
 455 an XSUB returns a pointer to a C structure that pointer is stored in an SV
 456 and a reference to that SV is placed on the XSUB stack.  So the output from
 457 an XSUB which uses something like the T_PTROBJ map might look something like
 458 this:
 459
 460         SV = IV(0xf381c) at 0xc859a8
 461           REFCNT = 1
 462           FLAGS = (ROK)
 463           RV = 0xb8ad8
 464           SV = PVMG(0xbb3c8) at 0xc859a0
 465             REFCNT = 1
 466             FLAGS = (OBJECT,IOK,pIOK)
 467             IV = 729160
 468             NV = 0
 469             PV = 0
 470             STASH = 0xc1d10       "CookBookB::Opaque"
 471
 472 This shows that we have an SV which is a reference, which points at another
 473 SV.  In this case that second SV is a PVMG, a blessed scalar.  Because it is
 474 blessed it has the C<OBJECT> flag set.  Note that an SV which holds a C
 475 pointer also has the C<IOK> flag set.  The C<STASH> is set to the package
 476 name which this SV was blessed into.
 477
 478 The output from an XSUB which uses something like the T_PTRREF map, which
 479 doesn't bless the object, might look something like this:
 480
 481         SV = IV(0xf381c) at 0xc859a8
 482           REFCNT = 1
 483           FLAGS = (ROK)
 484           RV = 0xb8ad8
 485           SV = PVMG(0xbb3c8) at 0xc859a0
 486             REFCNT = 1
 487             FLAGS = (IOK,pIOK)
 488             IV = 729160
 489             NV = 0
 490             PV = 0
 491
 492 =head2 A reference to a subroutine
 493
 494 Looks like this:
 495
 496         SV = IV(0x24d2dd8) at 0x24d2de8
 497           REFCNT = 1
 498           FLAGS = (TEMP,ROK)
 499           RV = 0x24e79d8
 500           SV = PVCV(0x24e5798) at 0x24e79d8
 501             REFCNT = 2
 502             FLAGS = ()
 503             COMP_STASH = 0x22c9c50      "main"
 504             START = 0x22eed60 ===> 0
 505             ROOT = 0x22ee490
 506             GVGV::GV = 0x22de9d8        "MY" :: "top_targets"
 507             FILE = "(eval 5)"
 508             DEPTH = 0
 509             FLAGS = 0x0
 510             OUTSIDE_SEQ = 93
 511             PADLIST = 0x22e9ed8
 512             PADNAME = 0x22e9ec0(0x22eed00) PAD = 0x22e9ea8(0x22eecd0)
 513             OUTSIDE = 0x22c9fb0 (MAIN)
 514
 515
 516 This shows that
 517
 518 =over 4
 519
 520 =item *
 521
 522 the subroutine is not an XSUB (since C<START> and C<ROOT> are
 523 non-zero, and C<XSUB> is not listed, and is thus null);
 524
 525 =item *
 526
 527 that it was compiled in the package C<main>;
 528
 529 =item *
 530
 531 under the name C<MY::top_targets>;
 532
 533 =item *
 534
 535 inside a 5th eval in the program;
 536
 537 =item *
 538
 539 it is not currently executed (see C<DEPTH>);
 540
 541 =item *
 542
 543 it has no prototype (C<PROTOTYPE> field is missing).
 544
 545 =back
 546
 547 =head1 EXPORTS
 548
 549 C<Dump>, C<mstat>, C<DeadCode>, C<DumpArray>, C<DumpWithOP> and
 550 C<DumpProg>, C<fill_mstats>, C<mstats_fillhash>, C<mstats2hash> by
 551 default. Additionally available C<SvREFCNT>, C<SvREFCNT_inc> and
 552 C<SvREFCNT_dec>.
 553
 554 =head1 BUGS
 555
 556 Readers have been known to skip important parts of L<perlguts>, causing much
 557 frustration for all.
 558
 559 =head1 AUTHOR
 560
 561 Ilya Zakharevich        ilya@math.ohio-state.edu
 562
 563 Copyright (c) 1995-98 Ilya Zakharevich. All rights reserved.
 564 This program is free software; you can redistribute it and/or
 565 modify it under the same terms as Perl itself.
 566
 567 Author of this software makes no claim whatsoever about suitability,
 568 reliability, edability, editability or usability of this product, and
 569 should not be kept liable for any damage resulting from the use of
 570 it. If you can use it, you are in luck, if not, I should not be kept
 571 responsible. Keep a handy copy of your backup tape at hand.
 572
 573 =head1 SEE ALSO
 574
 575 L<perlguts>, and L<perlguts>, again.
 576
 577 =cut