Exporter-5.72 is now on the CPAN
[perl.git] / pod / perlembed.pod
1 =head1 NAME
2
3 perlembed - how to embed perl in your C program
4
5 =head1 DESCRIPTION
6
7 =head2 PREAMBLE
8
9 Do you want to:
10
11 =over 5
12
13 =item B<Use C from Perl?>
14
15 Read L<perlxstut>, L<perlxs>, L<h2xs>, L<perlguts>, and L<perlapi>.
16
17 =item B<Use a Unix program from Perl?>
18
19 Read about back-quotes and about C<system> and C<exec> in L<perlfunc>.
20
21 =item B<Use Perl from Perl?>
22
23 Read about L<perlfunc/do> and L<perlfunc/eval> and L<perlfunc/require>
24 and L<perlfunc/use>.
25
26 =item B<Use C from C?>
27
28 Rethink your design.
29
30 =item B<Use Perl from C?>
31
32 Read on...
33
34 =back
35
36 =head2 ROADMAP
37
38 =over 5
39
40 =item *
41
42 Compiling your C program
43
44 =item *
45
46 Adding a Perl interpreter to your C program
47
48 =item *
49
50 Calling a Perl subroutine from your C program
51
52 =item *
53
54 Evaluating a Perl statement from your C program
55
56 =item *
57
58 Performing Perl pattern matches and substitutions from your C program
59
60 =item *
61
62 Fiddling with the Perl stack from your C program
63
64 =item *
65
66 Maintaining a persistent interpreter
67
68 =item *
69
70 Maintaining multiple interpreter instances
71
72 =item *
73
74 Using Perl modules, which themselves use C libraries, from your C program
75
76 =item *
77
78 Embedding Perl under Win32
79
80 =back
81
82 =head2 Compiling your C program
83
84 If you have trouble compiling the scripts in this documentation,
85 you're not alone.  The cardinal rule: COMPILE THE PROGRAMS IN EXACTLY
86 THE SAME WAY THAT YOUR PERL WAS COMPILED.  (Sorry for yelling.)
87
88 Also, every C program that uses Perl must link in the I<perl library>.
89 What's that, you ask?  Perl is itself written in C; the perl library
90 is the collection of compiled C programs that were used to create your
91 perl executable (I</usr/bin/perl> or equivalent).  (Corollary: you
92 can't use Perl from your C program unless Perl has been compiled on
93 your machine, or installed properly--that's why you shouldn't blithely
94 copy Perl executables from machine to machine without also copying the
95 I<lib> directory.)
96
97 When you use Perl from C, your C program will--usually--allocate,
98 "run", and deallocate a I<PerlInterpreter> object, which is defined by
99 the perl library.
100
101 If your copy of Perl is recent enough to contain this documentation
102 (version 5.002 or later), then the perl library (and I<EXTERN.h> and
103 I<perl.h>, which you'll also need) will reside in a directory
104 that looks like this:
105
106     /usr/local/lib/perl5/your_architecture_here/CORE
107
108 or perhaps just
109
110     /usr/local/lib/perl5/CORE
111
112 or maybe something like
113
114     /usr/opt/perl5/CORE
115
116 Execute this statement for a hint about where to find CORE:
117
118     perl -MConfig -e 'print $Config{archlib}'
119
120 Here's how you'd compile the example in the next section,
121 L<Adding a Perl interpreter to your C program>, on my Linux box:
122
123     % gcc -O2 -Dbool=char -DHAS_BOOL -I/usr/local/include
124     -I/usr/local/lib/perl5/i586-linux/5.003/CORE
125     -L/usr/local/lib/perl5/i586-linux/5.003/CORE
126     -o interp interp.c -lperl -lm
127
128 (That's all one line.)  On my DEC Alpha running old 5.003_05, the
129 incantation is a bit different:
130
131     % cc -O2 -Olimit 2900 -DSTANDARD_C -I/usr/local/include
132     -I/usr/local/lib/perl5/alpha-dec_osf/5.00305/CORE
133     -L/usr/local/lib/perl5/alpha-dec_osf/5.00305/CORE -L/usr/local/lib
134     -D__LANGUAGE_C__ -D_NO_PROTO -o interp interp.c -lperl -lm
135
136 How can you figure out what to add?  Assuming your Perl is post-5.001,
137 execute a C<perl -V> command and pay special attention to the "cc" and
138 "ccflags" information.
139
140 You'll have to choose the appropriate compiler (I<cc>, I<gcc>, et al.) for
141 your machine: C<perl -MConfig -e 'print $Config{cc}'> will tell you what
142 to use.
143
144 You'll also have to choose the appropriate library directory
145 (I</usr/local/lib/...>) for your machine.  If your compiler complains
146 that certain functions are undefined, or that it can't locate
147 I<-lperl>, then you need to change the path following the C<-L>.  If it
148 complains that it can't find I<EXTERN.h> and I<perl.h>, you need to
149 change the path following the C<-I>.
150
151 You may have to add extra libraries as well.  Which ones?
152 Perhaps those printed by
153
154    perl -MConfig -e 'print $Config{libs}'
155
156 Provided your perl binary was properly configured and installed the
157 B<ExtUtils::Embed> module will determine all of this information for
158 you:
159
160    % cc -o interp interp.c `perl -MExtUtils::Embed -e ccopts -e ldopts`
161
162 If the B<ExtUtils::Embed> module isn't part of your Perl distribution,
163 you can retrieve it from
164 http://www.perl.com/perl/CPAN/modules/by-module/ExtUtils/
165 (If this documentation came from your Perl distribution, then you're
166 running 5.004 or better and you already have it.)
167
168 The B<ExtUtils::Embed> kit on CPAN also contains all source code for
169 the examples in this document, tests, additional examples and other
170 information you may find useful.
171
172 =head2 Adding a Perl interpreter to your C program
173
174 In a sense, perl (the C program) is a good example of embedding Perl
175 (the language), so I'll demonstrate embedding with I<miniperlmain.c>,
176 included in the source distribution.  Here's a bastardized, non-portable
177 version of I<miniperlmain.c> containing the essentials of embedding:
178
179  #include <EXTERN.h>               /* from the Perl distribution     */
180  #include <perl.h>                 /* from the Perl distribution     */
181
182  static PerlInterpreter *my_perl;  /***    The Perl interpreter    ***/
183
184  int main(int argc, char **argv, char **env)
185  {
186         PERL_SYS_INIT3(&argc,&argv,&env);
187         my_perl = perl_alloc();
188         perl_construct(my_perl);
189         PL_exit_flags |= PERL_EXIT_DESTRUCT_END;
190         perl_parse(my_perl, NULL, argc, argv, (char **)NULL);
191         perl_run(my_perl);
192         perl_destruct(my_perl);
193         perl_free(my_perl);
194         PERL_SYS_TERM();
195  }
196
197 Notice that we don't use the C<env> pointer.  Normally handed to
198 C<perl_parse> as its final argument, C<env> here is replaced by
199 C<NULL>, which means that the current environment will be used.
200
201 The macros PERL_SYS_INIT3() and PERL_SYS_TERM() provide system-specific
202 tune up of the C runtime environment necessary to run Perl interpreters;
203 they should only be called once regardless of how many interpreters you
204 create or destroy. Call PERL_SYS_INIT3() before you create your first
205 interpreter, and PERL_SYS_TERM() after you free your last interpreter.
206
207 Since PERL_SYS_INIT3() may change C<env>, it may be more appropriate to
208 provide C<env> as an argument to perl_parse().
209
210 Also notice that no matter what arguments you pass to perl_parse(),
211 PERL_SYS_INIT3() must be invoked on the C main() argc, argv and env and
212 only once.
213
214 Now compile this program (I'll call it I<interp.c>) into an executable:
215
216     % cc -o interp interp.c `perl -MExtUtils::Embed -e ccopts -e ldopts`
217
218 After a successful compilation, you'll be able to use I<interp> just
219 like perl itself:
220
221     % interp
222     print "Pretty Good Perl \n";
223     print "10890 - 9801 is ", 10890 - 9801;
224     <CTRL-D>
225     Pretty Good Perl
226     10890 - 9801 is 1089
227
228 or
229
230     % interp -e 'printf("%x", 3735928559)'
231     deadbeef
232
233 You can also read and execute Perl statements from a file while in the
234 midst of your C program, by placing the filename in I<argv[1]> before
235 calling I<perl_run>.
236
237 =head2 Calling a Perl subroutine from your C program
238
239 To call individual Perl subroutines, you can use any of the B<call_*>
240 functions documented in L<perlcall>.
241 In this example we'll use C<call_argv>.
242
243 That's shown below, in a program I'll call I<showtime.c>.
244
245     #include <EXTERN.h>
246     #include <perl.h>
247
248     static PerlInterpreter *my_perl;
249
250     int main(int argc, char **argv, char **env)
251     {
252         char *args[] = { NULL };
253         PERL_SYS_INIT3(&argc,&argv,&env);
254         my_perl = perl_alloc();
255         perl_construct(my_perl);
256
257         perl_parse(my_perl, NULL, argc, argv, NULL);
258         PL_exit_flags |= PERL_EXIT_DESTRUCT_END;
259
260         /*** skipping perl_run() ***/
261
262         call_argv("showtime", G_DISCARD | G_NOARGS, args);
263
264         perl_destruct(my_perl);
265         perl_free(my_perl);
266         PERL_SYS_TERM();
267     }
268
269 where I<showtime> is a Perl subroutine that takes no arguments (that's the
270 I<G_NOARGS>) and for which I'll ignore the return value (that's the
271 I<G_DISCARD>).  Those flags, and others, are discussed in L<perlcall>.
272
273 I'll define the I<showtime> subroutine in a file called I<showtime.pl>:
274
275  print "I shan't be printed.";
276
277  sub showtime {
278      print time;
279  }
280
281 Simple enough. Now compile and run:
282
283  % cc -o showtime showtime.c \
284      `perl -MExtUtils::Embed -e ccopts -e ldopts`
285  % showtime showtime.pl
286  818284590
287
288 yielding the number of seconds that elapsed between January 1, 1970
289 (the beginning of the Unix epoch), and the moment I began writing this
290 sentence.
291
292 In this particular case we don't have to call I<perl_run>, as we set
293 the PL_exit_flag PERL_EXIT_DESTRUCT_END which executes END blocks in
294 perl_destruct.
295
296 If you want to pass arguments to the Perl subroutine, you can add
297 strings to the C<NULL>-terminated C<args> list passed to
298 I<call_argv>.  For other data types, or to examine return values,
299 you'll need to manipulate the Perl stack.  That's demonstrated in
300 L<Fiddling with the Perl stack from your C program>.
301
302 =head2 Evaluating a Perl statement from your C program
303
304 Perl provides two API functions to evaluate pieces of Perl code.
305 These are L<perlapi/eval_sv> and L<perlapi/eval_pv>.
306
307 Arguably, these are the only routines you'll ever need to execute
308 snippets of Perl code from within your C program.  Your code can be as
309 long as you wish; it can contain multiple statements; it can employ
310 L<perlfunc/use>, L<perlfunc/require>, and L<perlfunc/do> to
311 include external Perl files.
312
313 I<eval_pv> lets us evaluate individual Perl strings, and then
314 extract variables for coercion into C types.  The following program,
315 I<string.c>, executes three Perl strings, extracting an C<int> from
316 the first, a C<float> from the second, and a C<char *> from the third.
317
318  #include <EXTERN.h>
319  #include <perl.h>
320
321  static PerlInterpreter *my_perl;
322
323  main (int argc, char **argv, char **env)
324  {
325      char *embedding[] = { "", "-e", "0" };
326
327      PERL_SYS_INIT3(&argc,&argv,&env);
328      my_perl = perl_alloc();
329      perl_construct( my_perl );
330
331      perl_parse(my_perl, NULL, 3, embedding, NULL);
332      PL_exit_flags |= PERL_EXIT_DESTRUCT_END;
333      perl_run(my_perl);
334
335      /** Treat $a as an integer **/
336      eval_pv("$a = 3; $a **= 2", TRUE);
337      printf("a = %d\n", SvIV(get_sv("a", 0)));
338
339      /** Treat $a as a float **/
340      eval_pv("$a = 3.14; $a **= 2", TRUE);
341      printf("a = %f\n", SvNV(get_sv("a", 0)));
342
343      /** Treat $a as a string **/
344      eval_pv(
345        "$a = 'rekcaH lreP rehtonA tsuJ'; $a = reverse($a);", TRUE);
346      printf("a = %s\n", SvPV_nolen(get_sv("a", 0)));
347
348      perl_destruct(my_perl);
349      perl_free(my_perl);
350      PERL_SYS_TERM();
351  }
352
353 All of those strange functions with I<sv> in their names help convert Perl
354 scalars to C types.  They're described in L<perlguts> and L<perlapi>.
355
356 If you compile and run I<string.c>, you'll see the results of using
357 I<SvIV()> to create an C<int>, I<SvNV()> to create a C<float>, and
358 I<SvPV()> to create a string:
359
360    a = 9
361    a = 9.859600
362    a = Just Another Perl Hacker
363
364 In the example above, we've created a global variable to temporarily
365 store the computed value of our eval'ed expression.  It is also
366 possible and in most cases a better strategy to fetch the return value
367 from I<eval_pv()> instead.  Example:
368
369    ...
370    SV *val = eval_pv("reverse 'rekcaH lreP rehtonA tsuJ'", TRUE);
371    printf("%s\n", SvPV_nolen(val));
372    ...
373
374 This way, we avoid namespace pollution by not creating global
375 variables and we've simplified our code as well.
376
377 =head2 Performing Perl pattern matches and substitutions from your C program
378
379 The I<eval_sv()> function lets us evaluate strings of Perl code, so we can
380 define some functions that use it to "specialize" in matches and
381 substitutions: I<match()>, I<substitute()>, and I<matches()>.
382
383    I32 match(SV *string, char *pattern);
384
385 Given a string and a pattern (e.g., C<m/clasp/> or C</\b\w*\b/>, which
386 in your C program might appear as "/\\b\\w*\\b/"), match()
387 returns 1 if the string matches the pattern and 0 otherwise.
388
389    int substitute(SV **string, char *pattern);
390
391 Given a pointer to an C<SV> and an C<=~> operation (e.g.,
392 C<s/bob/robert/g> or C<tr[A-Z][a-z]>), substitute() modifies the string
393 within the C<SV> as according to the operation, returning the number of
394 substitutions made.
395
396    SSize_t matches(SV *string, char *pattern, AV **matches);
397
398 Given an C<SV>, a pattern, and a pointer to an empty C<AV>,
399 matches() evaluates C<$string =~ $pattern> in a list context, and
400 fills in I<matches> with the array elements, returning the number of matches
401 found.
402
403 Here's a sample program, I<match.c>, that uses all three (long lines have
404 been wrapped here):
405
406  #include <EXTERN.h>
407  #include <perl.h>
408
409  static PerlInterpreter *my_perl;
410
411  /** my_eval_sv(code, error_check)
412  ** kinda like eval_sv(),
413  ** but we pop the return value off the stack
414  **/
415  SV* my_eval_sv(SV *sv, I32 croak_on_error)
416  {
417      dSP;
418      SV* retval;
419
420
421      PUSHMARK(SP);
422      eval_sv(sv, G_SCALAR);
423
424      SPAGAIN;
425      retval = POPs;
426      PUTBACK;
427
428      if (croak_on_error && SvTRUE(ERRSV))
429         croak(SvPVx_nolen(ERRSV));
430
431      return retval;
432  }
433
434  /** match(string, pattern)
435  **
436  ** Used for matches in a scalar context.
437  **
438  ** Returns 1 if the match was successful; 0 otherwise.
439  **/
440
441  I32 match(SV *string, char *pattern)
442  {
443      SV *command = newSV(0), *retval;
444
445      sv_setpvf(command, "my $string = '%s'; $string =~ %s",
446               SvPV_nolen(string), pattern);
447
448      retval = my_eval_sv(command, TRUE);
449      SvREFCNT_dec(command);
450
451      return SvIV(retval);
452  }
453
454  /** substitute(string, pattern)
455  **
456  ** Used for =~ operations that
457  ** modify their left-hand side (s/// and tr///)
458  **
459  ** Returns the number of successful matches, and
460  ** modifies the input string if there were any.
461  **/
462
463  I32 substitute(SV **string, char *pattern)
464  {
465      SV *command = newSV(0), *retval;
466
467      sv_setpvf(command, "$string = '%s'; ($string =~ %s)",
468               SvPV_nolen(*string), pattern);
469
470      retval = my_eval_sv(command, TRUE);
471      SvREFCNT_dec(command);
472
473      *string = get_sv("string", 0);
474      return SvIV(retval);
475  }
476
477  /** matches(string, pattern, matches)
478  **
479  ** Used for matches in a list context.
480  **
481  ** Returns the number of matches,
482  ** and fills in **matches with the matching substrings
483  **/
484
485  SSize_t matches(SV *string, char *pattern, AV **match_list)
486  {
487      SV *command = newSV(0);
488      SSize_t num_matches;
489
490      sv_setpvf(command, "my $string = '%s'; @array = ($string =~ %s)",
491               SvPV_nolen(string), pattern);
492
493      my_eval_sv(command, TRUE);
494      SvREFCNT_dec(command);
495
496      *match_list = get_av("array", 0);
497      num_matches = av_top_index(*match_list) + 1;
498
499      return num_matches;
500  }
501
502  main (int argc, char **argv, char **env)
503  {
504      char *embedding[] = { "", "-e", "0" };
505      AV *match_list;
506      I32 num_matches, i;
507      SV *text;
508
509      PERL_SYS_INIT3(&argc,&argv,&env);
510      my_perl = perl_alloc();
511      perl_construct(my_perl);
512      perl_parse(my_perl, NULL, 3, embedding, NULL);
513      PL_exit_flags |= PERL_EXIT_DESTRUCT_END;
514
515      text = newSV(0);
516      sv_setpv(text, "When he is at a convenience store and the "
517         "bill comes to some amount like 76 cents, Maynard is "
518         "aware that there is something he *should* do, something "
519         "that will enable him to get back a quarter, but he has "
520         "no idea *what*.  He fumbles through his red squeezey "
521         "changepurse and gives the boy three extra pennies with "
522         "his dollar, hoping that he might luck into the correct "
523         "amount.  The boy gives him back two of his own pennies "
524         "and then the big shiny quarter that is his prize. "
525         "-RICHH");
526
527      if (match(text, "m/quarter/")) /** Does text contain 'quarter'? **/
528         printf("match: Text contains the word 'quarter'.\n\n");
529      else
530         printf("match: Text doesn't contain the word 'quarter'.\n\n");
531
532      if (match(text, "m/eighth/")) /** Does text contain 'eighth'? **/
533         printf("match: Text contains the word 'eighth'.\n\n");
534      else
535         printf("match: Text doesn't contain the word 'eighth'.\n\n");
536
537      /** Match all occurrences of /wi../ **/
538      num_matches = matches(text, "m/(wi..)/g", &match_list);
539      printf("matches: m/(wi..)/g found %d matches...\n", num_matches);
540
541      for (i = 0; i < num_matches; i++)
542          printf("match: %s\n",
543                   SvPV_nolen(*av_fetch(match_list, i, FALSE)));
544      printf("\n");
545
546      /** Remove all vowels from text **/
547      num_matches = substitute(&text, "s/[aeiou]//gi");
548      if (num_matches) {
549         printf("substitute: s/[aeiou]//gi...%lu substitutions made.\n",
550                (unsigned long)num_matches);
551         printf("Now text is: %s\n\n", SvPV_nolen(text));
552      }
553
554      /** Attempt a substitution **/
555      if (!substitute(&text, "s/Perl/C/")) {
556         printf("substitute: s/Perl/C...No substitution made.\n\n");
557      }
558
559      SvREFCNT_dec(text);
560      PL_perl_destruct_level = 1;
561      perl_destruct(my_perl);
562      perl_free(my_perl);
563      PERL_SYS_TERM();
564  }
565
566 which produces the output (again, long lines have been wrapped here)
567
568   match: Text contains the word 'quarter'.
569
570   match: Text doesn't contain the word 'eighth'.
571
572   matches: m/(wi..)/g found 2 matches...
573   match: will
574   match: with
575
576   substitute: s/[aeiou]//gi...139 substitutions made.
577   Now text is: Whn h s t  cnvnnc str nd th bll cms t sm mnt lk 76 cnts,
578   Mynrd s wr tht thr s smthng h *shld* d, smthng tht wll nbl hm t gt
579   bck qrtr, bt h hs n d *wht*.  H fmbls thrgh hs rd sqzy chngprs nd
580   gvs th by thr xtr pnns wth hs dllr, hpng tht h mght lck nt th crrct
581   mnt.  Th by gvs hm bck tw f hs wn pnns nd thn th bg shny qrtr tht s
582   hs prz. -RCHH
583
584   substitute: s/Perl/C...No substitution made.
585
586 =head2 Fiddling with the Perl stack from your C program
587
588 When trying to explain stacks, most computer science textbooks mumble
589 something about spring-loaded columns of cafeteria plates: the last
590 thing you pushed on the stack is the first thing you pop off.  That'll
591 do for our purposes: your C program will push some arguments onto "the Perl
592 stack", shut its eyes while some magic happens, and then pop the
593 results--the return value of your Perl subroutine--off the stack.
594
595 First you'll need to know how to convert between C types and Perl
596 types, with newSViv() and sv_setnv() and newAV() and all their
597 friends.  They're described in L<perlguts> and L<perlapi>.
598
599 Then you'll need to know how to manipulate the Perl stack.  That's
600 described in L<perlcall>.
601
602 Once you've understood those, embedding Perl in C is easy.
603
604 Because C has no builtin function for integer exponentiation, let's
605 make Perl's ** operator available to it (this is less useful than it
606 sounds, because Perl implements ** with C's I<pow()> function).  First
607 I'll create a stub exponentiation function in I<power.pl>:
608
609     sub expo {
610         my ($a, $b) = @_;
611         return $a ** $b;
612     }
613
614 Now I'll create a C program, I<power.c>, with a function
615 I<PerlPower()> that contains all the perlguts necessary to push the
616 two arguments into I<expo()> and to pop the return value out.  Take a
617 deep breath...
618
619  #include <EXTERN.h>
620  #include <perl.h>
621
622  static PerlInterpreter *my_perl;
623
624  static void
625  PerlPower(int a, int b)
626  {
627    dSP;                            /* initialize stack pointer      */
628    ENTER;                          /* everything created after here */
629    SAVETMPS;                       /* ...is a temporary variable.   */
630    PUSHMARK(SP);                   /* remember the stack pointer    */
631    XPUSHs(sv_2mortal(newSViv(a))); /* push the base onto the stack  */
632    XPUSHs(sv_2mortal(newSViv(b))); /* push the exponent onto stack  */
633    PUTBACK;                      /* make local stack pointer global */
634    call_pv("expo", G_SCALAR);      /* call the function             */
635    SPAGAIN;                        /* refresh stack pointer         */
636                                  /* pop the return value from stack */
637    printf ("%d to the %dth power is %d.\n", a, b, POPi);
638    PUTBACK;
639    FREETMPS;                       /* free that return value        */
640    LEAVE;                       /* ...and the XPUSHed "mortal" args.*/
641  }
642
643  int main (int argc, char **argv, char **env)
644  {
645    char *my_argv[] = { "", "power.pl" };
646
647    PERL_SYS_INIT3(&argc,&argv,&env);
648    my_perl = perl_alloc();
649    perl_construct( my_perl );
650
651    perl_parse(my_perl, NULL, 2, my_argv, (char **)NULL);
652    PL_exit_flags |= PERL_EXIT_DESTRUCT_END;
653    perl_run(my_perl);
654
655    PerlPower(3, 4);                      /*** Compute 3 ** 4 ***/
656
657    perl_destruct(my_perl);
658    perl_free(my_perl);
659    PERL_SYS_TERM();
660  }
661
662
663
664 Compile and run:
665
666     % cc -o power power.c `perl -MExtUtils::Embed -e ccopts -e ldopts`
667
668     % power
669     3 to the 4th power is 81.
670
671 =head2 Maintaining a persistent interpreter
672
673 When developing interactive and/or potentially long-running
674 applications, it's a good idea to maintain a persistent interpreter
675 rather than allocating and constructing a new interpreter multiple
676 times.  The major reason is speed: since Perl will only be loaded into
677 memory once.
678
679 However, you have to be more cautious with namespace and variable
680 scoping when using a persistent interpreter.  In previous examples
681 we've been using global variables in the default package C<main>.  We
682 knew exactly what code would be run, and assumed we could avoid
683 variable collisions and outrageous symbol table growth.
684
685 Let's say your application is a server that will occasionally run Perl
686 code from some arbitrary file.  Your server has no way of knowing what
687 code it's going to run.  Very dangerous.
688
689 If the file is pulled in by C<perl_parse()>, compiled into a newly
690 constructed interpreter, and subsequently cleaned out with
691 C<perl_destruct()> afterwards, you're shielded from most namespace
692 troubles.
693
694 One way to avoid namespace collisions in this scenario is to translate
695 the filename into a guaranteed-unique package name, and then compile
696 the code into that package using L<perlfunc/eval>.  In the example
697 below, each file will only be compiled once.  Or, the application
698 might choose to clean out the symbol table associated with the file
699 after it's no longer needed.  Using L<perlapi/call_argv>, We'll
700 call the subroutine C<Embed::Persistent::eval_file> which lives in the
701 file C<persistent.pl> and pass the filename and boolean cleanup/cache
702 flag as arguments.
703
704 Note that the process will continue to grow for each file that it
705 uses.  In addition, there might be C<AUTOLOAD>ed subroutines and other
706 conditions that cause Perl's symbol table to grow.  You might want to
707 add some logic that keeps track of the process size, or restarts
708 itself after a certain number of requests, to ensure that memory
709 consumption is minimized.  You'll also want to scope your variables
710 with L<perlfunc/my> whenever possible.
711
712
713  package Embed::Persistent;
714  #persistent.pl
715
716  use strict;
717  our %Cache;
718  use Symbol qw(delete_package);
719
720  sub valid_package_name {
721      my($string) = @_;
722      $string =~ s/([^A-Za-z0-9\/])/sprintf("_%2x",unpack("C",$1))/eg;
723      # second pass only for words starting with a digit
724      $string =~ s|/(\d)|sprintf("/_%2x",unpack("C",$1))|eg;
725
726      # Dress it up as a real package name
727      $string =~ s|/|::|g;
728      return "Embed" . $string;
729  }
730
731  sub eval_file {
732      my($filename, $delete) = @_;
733      my $package = valid_package_name($filename);
734      my $mtime = -M $filename;
735      if(defined $Cache{$package}{mtime}
736         &&
737         $Cache{$package}{mtime} <= $mtime)
738      {
739         # we have compiled this subroutine already,
740         # it has not been updated on disk, nothing left to do
741         print STDERR "already compiled $package->handler\n";
742      }
743      else {
744         local *FH;
745         open FH, $filename or die "open '$filename' $!";
746         local($/) = undef;
747         my $sub = <FH>;
748         close FH;
749
750         #wrap the code into a subroutine inside our unique package
751         my $eval = qq{package $package; sub handler { $sub; }};
752         {
753             # hide our variables within this block
754             my($filename,$mtime,$package,$sub);
755             eval $eval;
756         }
757         die $@ if $@;
758
759         #cache it unless we're cleaning out each time
760         $Cache{$package}{mtime} = $mtime unless $delete;
761      }
762
763      eval {$package->handler;};
764      die $@ if $@;
765
766      delete_package($package) if $delete;
767
768      #take a look if you want
769      #print Devel::Symdump->rnew($package)->as_string, $/;
770  }
771
772  1;
773
774  __END__
775
776  /* persistent.c */
777  #include <EXTERN.h>
778  #include <perl.h>
779
780  /* 1 = clean out filename's symbol table after each request,
781     0 = don't
782  */
783  #ifndef DO_CLEAN
784  #define DO_CLEAN 0
785  #endif
786
787  #define BUFFER_SIZE 1024
788
789  static PerlInterpreter *my_perl = NULL;
790
791  int
792  main(int argc, char **argv, char **env)
793  {
794      char *embedding[] = { "", "persistent.pl" };
795      char *args[] = { "", DO_CLEAN, NULL };
796      char filename[BUFFER_SIZE];
797      int exitstatus = 0;
798
799      PERL_SYS_INIT3(&argc,&argv,&env);
800      if((my_perl = perl_alloc()) == NULL) {
801         fprintf(stderr, "no memory!");
802         exit(1);
803      }
804      perl_construct(my_perl);
805
806      PL_origalen = 1; /* don't let $0 assignment update the
807                          proctitle or embedding[0] */
808      exitstatus = perl_parse(my_perl, NULL, 2, embedding, NULL);
809      PL_exit_flags |= PERL_EXIT_DESTRUCT_END;
810      if(!exitstatus) {
811         exitstatus = perl_run(my_perl);
812
813         while(printf("Enter file name: ") &&
814               fgets(filename, BUFFER_SIZE, stdin)) {
815
816             filename[strlen(filename)-1] = '\0'; /* strip \n */
817             /* call the subroutine,
818                      passing it the filename as an argument */
819             args[0] = filename;
820             call_argv("Embed::Persistent::eval_file",
821                            G_DISCARD | G_EVAL, args);
822
823             /* check $@ */
824             if(SvTRUE(ERRSV))
825                 fprintf(stderr, "eval error: %s\n", SvPV_nolen(ERRSV));
826         }
827      }
828
829      PL_perl_destruct_level = 0;
830      perl_destruct(my_perl);
831      perl_free(my_perl);
832      PERL_SYS_TERM();
833      exit(exitstatus);
834  }
835
836 Now compile:
837
838  % cc -o persistent persistent.c \
839         `perl -MExtUtils::Embed -e ccopts -e ldopts`
840
841 Here's an example script file:
842
843  #test.pl
844  my $string = "hello";
845  foo($string);
846
847  sub foo {
848      print "foo says: @_\n";
849  }
850
851 Now run:
852
853  % persistent
854  Enter file name: test.pl
855  foo says: hello
856  Enter file name: test.pl
857  already compiled Embed::test_2epl->handler
858  foo says: hello
859  Enter file name: ^C
860
861 =head2 Execution of END blocks
862
863 Traditionally END blocks have been executed at the end of the perl_run.
864 This causes problems for applications that never call perl_run. Since
865 perl 5.7.2 you can specify C<PL_exit_flags |= PERL_EXIT_DESTRUCT_END>
866 to get the new behaviour. This also enables the running of END blocks if
867 the perl_parse fails and C<perl_destruct> will return the exit value.
868
869 =head2 $0 assignments
870
871 When a perl script assigns a value to $0 then the perl runtime will
872 try to make this value show up as the program name reported by "ps" by
873 updating the memory pointed to by the argv passed to perl_parse() and
874 also calling API functions like setproctitle() where available.  This
875 behaviour might not be appropriate when embedding perl and can be
876 disabled by assigning the value C<1> to the variable C<PL_origalen>
877 before perl_parse() is called.
878
879 The F<persistent.c> example above is for instance likely to segfault
880 when $0 is assigned to if the C<PL_origalen = 1;> assignment is
881 removed.  This because perl will try to write to the read only memory
882 of the C<embedding[]> strings.
883
884 =head2 Maintaining multiple interpreter instances
885
886 Some rare applications will need to create more than one interpreter
887 during a session.  Such an application might sporadically decide to
888 release any resources associated with the interpreter.
889
890 The program must take care to ensure that this takes place I<before>
891 the next interpreter is constructed.  By default, when perl is not
892 built with any special options, the global variable
893 C<PL_perl_destruct_level> is set to C<0>, since extra cleaning isn't
894 usually needed when a program only ever creates a single interpreter
895 in its entire lifetime.
896
897 Setting C<PL_perl_destruct_level> to C<1> makes everything squeaky clean:
898
899  while(1) {
900      ...
901      /* reset global variables here with PL_perl_destruct_level = 1 */
902      PL_perl_destruct_level = 1;
903      perl_construct(my_perl);
904      ...
905      /* clean and reset _everything_ during perl_destruct */
906      PL_perl_destruct_level = 1;
907      perl_destruct(my_perl);
908      perl_free(my_perl);
909      ...
910      /* let's go do it again! */
911  }
912
913 When I<perl_destruct()> is called, the interpreter's syntax parse tree
914 and symbol tables are cleaned up, and global variables are reset.  The
915 second assignment to C<PL_perl_destruct_level> is needed because
916 perl_construct resets it to C<0>.
917
918 Now suppose we have more than one interpreter instance running at the
919 same time.  This is feasible, but only if you used the Configure option
920 C<-Dusemultiplicity> or the options C<-Dusethreads -Duseithreads> when
921 building perl.  By default, enabling one of these Configure options
922 sets the per-interpreter global variable C<PL_perl_destruct_level> to
923 C<1>, so that thorough cleaning is automatic and interpreter variables
924 are initialized correctly.  Even if you don't intend to run two or
925 more interpreters at the same time, but to run them sequentially, like
926 in the above example, it is recommended to build perl with the
927 C<-Dusemultiplicity> option otherwise some interpreter variables may
928 not be initialized correctly between consecutive runs and your
929 application may crash.
930
931 See also L<perlxs/Thread-aware system interfaces>.
932
933 Using C<-Dusethreads -Duseithreads> rather than C<-Dusemultiplicity>
934 is more appropriate if you intend to run multiple interpreters
935 concurrently in different threads, because it enables support for
936 linking in the thread libraries of your system with the interpreter.
937
938 Let's give it a try:
939
940
941  #include <EXTERN.h>
942  #include <perl.h>
943
944  /* we're going to embed two interpreters */
945
946  #define SAY_HELLO "-e", "print qq(Hi, I'm $^X\n)"
947
948  int main(int argc, char **argv, char **env)
949  {
950      PerlInterpreter *one_perl, *two_perl;
951      char *one_args[] = { "one_perl", SAY_HELLO };
952      char *two_args[] = { "two_perl", SAY_HELLO };
953
954      PERL_SYS_INIT3(&argc,&argv,&env);
955      one_perl = perl_alloc();
956      two_perl = perl_alloc();
957
958      PERL_SET_CONTEXT(one_perl);
959      perl_construct(one_perl);
960      PERL_SET_CONTEXT(two_perl);
961      perl_construct(two_perl);
962
963      PERL_SET_CONTEXT(one_perl);
964      perl_parse(one_perl, NULL, 3, one_args, (char **)NULL);
965      PERL_SET_CONTEXT(two_perl);
966      perl_parse(two_perl, NULL, 3, two_args, (char **)NULL);
967
968      PERL_SET_CONTEXT(one_perl);
969      perl_run(one_perl);
970      PERL_SET_CONTEXT(two_perl);
971      perl_run(two_perl);
972
973      PERL_SET_CONTEXT(one_perl);
974      perl_destruct(one_perl);
975      PERL_SET_CONTEXT(two_perl);
976      perl_destruct(two_perl);
977
978      PERL_SET_CONTEXT(one_perl);
979      perl_free(one_perl);
980      PERL_SET_CONTEXT(two_perl);
981      perl_free(two_perl);
982      PERL_SYS_TERM();
983  }
984
985 Note the calls to PERL_SET_CONTEXT().  These are necessary to initialize
986 the global state that tracks which interpreter is the "current" one on
987 the particular process or thread that may be running it.  It should
988 always be used if you have more than one interpreter and are making
989 perl API calls on both interpreters in an interleaved fashion.
990
991 PERL_SET_CONTEXT(interp) should also be called whenever C<interp> is
992 used by a thread that did not create it (using either perl_alloc(), or
993 the more esoteric perl_clone()).
994
995 Compile as usual:
996
997  % cc -o multiplicity multiplicity.c \
998   `perl -MExtUtils::Embed -e ccopts -e ldopts`
999
1000 Run it, Run it:
1001
1002  % multiplicity
1003  Hi, I'm one_perl
1004  Hi, I'm two_perl
1005
1006 =head2 Using Perl modules, which themselves use C libraries, from your C
1007 program
1008
1009 If you've played with the examples above and tried to embed a script
1010 that I<use()>s a Perl module (such as I<Socket>) which itself uses a C or C++
1011 library, this probably happened:
1012
1013
1014  Can't load module Socket, dynamic loading not available in this perl.
1015   (You may need to build a new perl executable which either supports
1016   dynamic loading or has the Socket module statically linked into it.)
1017
1018
1019 What's wrong?
1020
1021 Your interpreter doesn't know how to communicate with these extensions
1022 on its own.  A little glue will help.  Up until now you've been
1023 calling I<perl_parse()>, handing it NULL for the second argument:
1024
1025  perl_parse(my_perl, NULL, argc, my_argv, NULL);
1026
1027 That's where the glue code can be inserted to create the initial contact
1028 between Perl and linked C/C++ routines. Let's take a look some pieces of
1029 I<perlmain.c> to see how Perl does this:
1030
1031  static void xs_init (pTHX);
1032
1033  EXTERN_C void boot_DynaLoader (pTHX_ CV* cv);
1034  EXTERN_C void boot_Socket (pTHX_ CV* cv);
1035
1036
1037  EXTERN_C void
1038  xs_init(pTHX)
1039  {
1040         char *file = __FILE__;
1041         /* DynaLoader is a special case */
1042         newXS("DynaLoader::boot_DynaLoader", boot_DynaLoader, file);
1043         newXS("Socket::bootstrap", boot_Socket, file);
1044  }
1045
1046 Simply put: for each extension linked with your Perl executable
1047 (determined during its initial configuration on your
1048 computer or when adding a new extension),
1049 a Perl subroutine is created to incorporate the extension's
1050 routines.  Normally, that subroutine is named
1051 I<Module::bootstrap()> and is invoked when you say I<use Module>.  In
1052 turn, this hooks into an XSUB, I<boot_Module>, which creates a Perl
1053 counterpart for each of the extension's XSUBs.  Don't worry about this
1054 part; leave that to the I<xsubpp> and extension authors.  If your
1055 extension is dynamically loaded, DynaLoader creates I<Module::bootstrap()>
1056 for you on the fly.  In fact, if you have a working DynaLoader then there
1057 is rarely any need to link in any other extensions statically.
1058
1059
1060 Once you have this code, slap it into the second argument of I<perl_parse()>:
1061
1062
1063  perl_parse(my_perl, xs_init, argc, my_argv, NULL);
1064
1065
1066 Then compile:
1067
1068  % cc -o interp interp.c `perl -MExtUtils::Embed -e ccopts -e ldopts`
1069
1070  % interp
1071    use Socket;
1072    use SomeDynamicallyLoadedModule;
1073
1074    print "Now I can use extensions!\n"'
1075
1076 B<ExtUtils::Embed> can also automate writing the I<xs_init> glue code.
1077
1078  % perl -MExtUtils::Embed -e xsinit -- -o perlxsi.c
1079  % cc -c perlxsi.c `perl -MExtUtils::Embed -e ccopts`
1080  % cc -c interp.c  `perl -MExtUtils::Embed -e ccopts`
1081  % cc -o interp perlxsi.o interp.o `perl -MExtUtils::Embed -e ldopts`
1082
1083 Consult L<perlxs>, L<perlguts>, and L<perlapi> for more details.
1084
1085 =head2 Using embedded Perl with POSIX locales
1086
1087 (See L<perllocale> for information about these.)
1088 When a Perl interpreter normally starts up, it tells the system it wants
1089 to use the system's default locale.  This is often, but not necessarily,
1090 the "C" or "POSIX" locale.  Absent a S<C<"use locale">> within the perl
1091 code, this mostly has no effect (but see L<perllocale/Not within the
1092 scope of "use locale">).  Also, there is not a problem if the
1093 locale you want to use in your embedded Perl is the same as the system
1094 default.  However, this doesn't work if you have set up and want to use
1095 a locale that isn't the system default one.  Starting in Perl v5.20, you
1096 can tell the embedded Perl interpreter that the locale is already
1097 properly set up, and to skip doing its own normal initialization.  It
1098 skips if the environment variable C<PERL_SKIP_LOCALE_INIT> is set (even
1099 if set to 0 or C<"">).  A Perl that has this capability will define the
1100 C pre-processor symbol C<HAS_SKIP_LOCALE_INIT>.  This allows code that
1101 has to work with multiple Perl versions to do some sort of work-around
1102 when confronted with an earlier Perl.
1103
1104 =head1 Hiding Perl_
1105
1106 If you completely hide the short forms of the Perl public API,
1107 add -DPERL_NO_SHORT_NAMES to the compilation flags.  This means that
1108 for example instead of writing
1109
1110     warn("%d bottles of beer on the wall", bottlecount);
1111
1112 you will have to write the explicit full form
1113
1114     Perl_warn(aTHX_ "%d bottles of beer on the wall", bottlecount);
1115
1116 (See L<perlguts/"Background and PERL_IMPLICIT_CONTEXT"> for the explanation
1117 of the C<aTHX_>. )  Hiding the short forms is very useful for avoiding
1118 all sorts of nasty (C preprocessor or otherwise) conflicts with other
1119 software packages (Perl defines about 2400 APIs with these short names,
1120 take or leave few hundred, so there certainly is room for conflict.)
1121
1122 =head1 MORAL
1123
1124 You can sometimes I<write faster code> in C, but
1125 you can always I<write code faster> in Perl.  Because you can use
1126 each from the other, combine them as you wish.
1127
1128
1129 =head1 AUTHOR
1130
1131 Jon Orwant <F<orwant@media.mit.edu>> and Doug MacEachern
1132 <F<dougm@covalent.net>>, with small contributions from Tim Bunce, Tom
1133 Christiansen, Guy Decoux, Hallvard Furuseth, Dov Grobgeld, and Ilya
1134 Zakharevich.
1135
1136 Doug MacEachern has an article on embedding in Volume 1, Issue 4 of
1137 The Perl Journal ( http://www.tpj.com/ ).  Doug is also the developer of the
1138 most widely-used Perl embedding: the mod_perl system
1139 (perl.apache.org), which embeds Perl in the Apache web server.
1140 Oracle, Binary Evolution, ActiveState, and Ben Sugars's nsapi_perl
1141 have used this model for Oracle, Netscape and Internet Information
1142 Server Perl plugins.
1143
1144 =head1 COPYRIGHT
1145
1146 Copyright (C) 1995, 1996, 1997, 1998 Doug MacEachern and Jon Orwant.  All
1147 Rights Reserved.
1148
1149 This document may be distributed under the same terms as Perl itself.