This is a live mirror of the Perl 5 development currently hosted at https://github.com/perl/perl5
70f8e0d38b3665687d01f51d76bbff7ed782352b
[perl5.git] / pod / perlembed.pod
1 =head1 NAME
2
3 perlembed - how to embed perl in your C program
4
5 =head1 DESCRIPTION
6
7 =head2 PREAMBLE
8
9 Do you want to:
10
11 =over 5
12
13 =item B<Use C from Perl?>
14
15 Read L<perlxstut>, L<perlxs>, L<h2xs>, L<perlguts>, and L<perlapi>.
16
17 =item B<Use a Unix program from Perl?>
18
19 Read about back-quotes and about C<system> and C<exec> in L<perlfunc>.
20
21 =item B<Use Perl from Perl?>
22
23 Read about L<perlfunc/do> and L<perlfunc/eval> and L<perlfunc/require>
24 and L<perlfunc/use>.
25
26 =item B<Use C from C?>
27
28 Rethink your design.
29
30 =item B<Use Perl from C?>
31
32 Read on...
33
34 =back
35
36 =head2 ROADMAP
37
38 =over 5
39
40 =item *
41
42 Compiling your C program
43
44 =item *
45
46 Adding a Perl interpreter to your C program
47
48 =item *
49
50 Calling a Perl subroutine from your C program
51
52 =item *
53
54 Evaluating a Perl statement from your C program
55
56 =item *
57
58 Performing Perl pattern matches and substitutions from your C program
59
60 =item *
61
62 Fiddling with the Perl stack from your C program
63
64 =item *
65
66 Maintaining a persistent interpreter
67
68 =item *
69
70 Maintaining multiple interpreter instances
71
72 =item *
73
74 Using Perl modules, which themselves use C libraries, from your C program
75
76 =item *
77
78 Embedding Perl under Win32
79
80 =back
81
82 =head2 Compiling your C program
83
84 If you have trouble compiling the scripts in this documentation,
85 you're not alone.  The cardinal rule: COMPILE THE PROGRAMS IN EXACTLY
86 THE SAME WAY THAT YOUR PERL WAS COMPILED.  (Sorry for yelling.)
87
88 Also, every C program that uses Perl must link in the I<perl library>.
89 What's that, you ask?  Perl is itself written in C; the perl library
90 is the collection of compiled C programs that were used to create your
91 perl executable (I</usr/bin/perl> or equivalent).  (Corollary: you
92 can't use Perl from your C program unless Perl has been compiled on
93 your machine, or installed properly--that's why you shouldn't blithely
94 copy Perl executables from machine to machine without also copying the
95 I<lib> directory.)
96
97 When you use Perl from C, your C program will--usually--allocate,
98 "run", and deallocate a I<PerlInterpreter> object, which is defined by
99 the perl library.
100
101 If your copy of Perl is recent enough to contain this documentation
102 (version 5.002 or later), then the perl library (and I<EXTERN.h> and
103 I<perl.h>, which you'll also need) will reside in a directory
104 that looks like this:
105
106     /usr/local/lib/perl5/your_architecture_here/CORE
107
108 or perhaps just
109
110     /usr/local/lib/perl5/CORE
111
112 or maybe something like
113
114     /usr/opt/perl5/CORE
115
116 Execute this statement for a hint about where to find CORE:
117
118     perl -MConfig -e 'print $Config{archlib}'
119
120 Here's how you'd compile the example in the next section,
121 L</Adding a Perl interpreter to your C program>, on my Linux box:
122
123     % gcc -O2 -Dbool=char -DHAS_BOOL -I/usr/local/include
124     -I/usr/local/lib/perl5/i586-linux/5.003/CORE
125     -L/usr/local/lib/perl5/i586-linux/5.003/CORE
126     -o interp interp.c -lperl -lm
127
128 (That's all one line.)  On my DEC Alpha running old 5.003_05, the
129 incantation is a bit different:
130
131     % cc -O2 -Olimit 2900 -DSTANDARD_C -I/usr/local/include
132     -I/usr/local/lib/perl5/alpha-dec_osf/5.00305/CORE
133     -L/usr/local/lib/perl5/alpha-dec_osf/5.00305/CORE -L/usr/local/lib
134     -D__LANGUAGE_C__ -D_NO_PROTO -o interp interp.c -lperl -lm
135
136 How can you figure out what to add?  Assuming your Perl is post-5.001,
137 execute a C<perl -V> command and pay special attention to the "cc" and
138 "ccflags" information.
139
140 You'll have to choose the appropriate compiler (I<cc>, I<gcc>, et al.) for
141 your machine: C<perl -MConfig -e 'print $Config{cc}'> will tell you what
142 to use.
143
144 You'll also have to choose the appropriate library directory
145 (I</usr/local/lib/...>) for your machine.  If your compiler complains
146 that certain functions are undefined, or that it can't locate
147 I<-lperl>, then you need to change the path following the C<-L>.  If it
148 complains that it can't find I<EXTERN.h> and I<perl.h>, you need to
149 change the path following the C<-I>.
150
151 You may have to add extra libraries as well.  Which ones?
152 Perhaps those printed by
153
154    perl -MConfig -e 'print $Config{libs}'
155
156 Provided your perl binary was properly configured and installed the
157 B<ExtUtils::Embed> module will determine all of this information for
158 you:
159
160    % cc -o interp interp.c `perl -MExtUtils::Embed -e ccopts -e ldopts`
161
162 If the B<ExtUtils::Embed> module isn't part of your Perl distribution,
163 you can retrieve it from
164 L<http://www.perl.com/perl/CPAN/modules/by-module/ExtUtils/>
165 (If this documentation came from your Perl distribution, then you're
166 running 5.004 or better and you already have it.)
167
168 The B<ExtUtils::Embed> kit on CPAN also contains all source code for
169 the examples in this document, tests, additional examples and other
170 information you may find useful.
171
172 =head2 Adding a Perl interpreter to your C program
173
174 In a sense, perl (the C program) is a good example of embedding Perl
175 (the language), so I'll demonstrate embedding with I<miniperlmain.c>,
176 included in the source distribution.  Here's a bastardized, non-portable
177 version of I<miniperlmain.c> containing the essentials of embedding:
178
179  #include <EXTERN.h>               /* from the Perl distribution     */
180  #include <perl.h>                 /* from the Perl distribution     */
181
182  static PerlInterpreter *my_perl;  /***    The Perl interpreter    ***/
183
184  int main(int argc, char **argv, char **env)
185  {
186         PERL_SYS_INIT3(&argc,&argv,&env);
187         my_perl = perl_alloc();
188         perl_construct(my_perl);
189         PL_exit_flags |= PERL_EXIT_DESTRUCT_END;
190         perl_parse(my_perl, NULL, argc, argv, (char **)NULL);
191         perl_run(my_perl);
192         perl_destruct(my_perl);
193         perl_free(my_perl);
194         PERL_SYS_TERM();
195  }
196
197 Notice that we don't use the C<env> pointer.  Normally handed to
198 C<perl_parse> as its final argument, C<env> here is replaced by
199 C<NULL>, which means that the current environment will be used.
200
201 The macros PERL_SYS_INIT3() and PERL_SYS_TERM() provide system-specific
202 tune up of the C runtime environment necessary to run Perl interpreters;
203 they should only be called once regardless of how many interpreters you
204 create or destroy. Call PERL_SYS_INIT3() before you create your first
205 interpreter, and PERL_SYS_TERM() after you free your last interpreter.
206
207 Since PERL_SYS_INIT3() may change C<env>, it may be more appropriate to
208 provide C<env> as an argument to perl_parse().
209
210 Also notice that no matter what arguments you pass to perl_parse(),
211 PERL_SYS_INIT3() must be invoked on the C main() argc, argv and env and
212 only once.
213
214 Mind that argv[argc] must be NULL, same as those passed to a main
215 function in C.
216
217 Now compile this program (I'll call it I<interp.c>) into an executable:
218
219     % cc -o interp interp.c `perl -MExtUtils::Embed -e ccopts -e ldopts`
220
221 After a successful compilation, you'll be able to use I<interp> just
222 like perl itself:
223
224     % interp
225     print "Pretty Good Perl \n";
226     print "10890 - 9801 is ", 10890 - 9801;
227     <CTRL-D>
228     Pretty Good Perl
229     10890 - 9801 is 1089
230
231 or
232
233     % interp -e 'printf("%x", 3735928559)'
234     deadbeef
235
236 You can also read and execute Perl statements from a file while in the
237 midst of your C program, by placing the filename in I<argv[1]> before
238 calling I<perl_run>.
239
240 =head2 Calling a Perl subroutine from your C program
241
242 To call individual Perl subroutines, you can use any of the B<call_*>
243 functions documented in L<perlcall>.
244 In this example we'll use C<call_argv>.
245
246 That's shown below, in a program I'll call I<showtime.c>.
247
248     #include <EXTERN.h>
249     #include <perl.h>
250
251     static PerlInterpreter *my_perl;
252
253     int main(int argc, char **argv, char **env)
254     {
255         char *args[] = { NULL };
256         PERL_SYS_INIT3(&argc,&argv,&env);
257         my_perl = perl_alloc();
258         perl_construct(my_perl);
259
260         perl_parse(my_perl, NULL, argc, argv, NULL);
261         PL_exit_flags |= PERL_EXIT_DESTRUCT_END;
262
263         /*** skipping perl_run() ***/
264
265         call_argv("showtime", G_DISCARD | G_NOARGS, args);
266
267         perl_destruct(my_perl);
268         perl_free(my_perl);
269         PERL_SYS_TERM();
270     }
271
272 where I<showtime> is a Perl subroutine that takes no arguments (that's the
273 I<G_NOARGS>) and for which I'll ignore the return value (that's the
274 I<G_DISCARD>).  Those flags, and others, are discussed in L<perlcall>.
275
276 I'll define the I<showtime> subroutine in a file called I<showtime.pl>:
277
278  print "I shan't be printed.";
279
280  sub showtime {
281      print time;
282  }
283
284 Simple enough. Now compile and run:
285
286  % cc -o showtime showtime.c \
287      `perl -MExtUtils::Embed -e ccopts -e ldopts`
288  % showtime showtime.pl
289  818284590
290
291 yielding the number of seconds that elapsed between January 1, 1970
292 (the beginning of the Unix epoch), and the moment I began writing this
293 sentence.
294
295 In this particular case we don't have to call I<perl_run>, as we set
296 the PL_exit_flag PERL_EXIT_DESTRUCT_END which executes END blocks in
297 perl_destruct.
298
299 If you want to pass arguments to the Perl subroutine, you can add
300 strings to the C<NULL>-terminated C<args> list passed to
301 I<call_argv>.  For other data types, or to examine return values,
302 you'll need to manipulate the Perl stack.  That's demonstrated in
303 L</Fiddling with the Perl stack from your C program>.
304
305 =head2 Evaluating a Perl statement from your C program
306
307 Perl provides two API functions to evaluate pieces of Perl code.
308 These are L<perlapi/eval_sv> and L<perlapi/eval_pv>.
309
310 Arguably, these are the only routines you'll ever need to execute
311 snippets of Perl code from within your C program.  Your code can be as
312 long as you wish; it can contain multiple statements; it can employ
313 L<perlfunc/use>, L<perlfunc/require>, and L<perlfunc/do> to
314 include external Perl files.
315
316 I<eval_pv> lets us evaluate individual Perl strings, and then
317 extract variables for coercion into C types.  The following program,
318 I<string.c>, executes three Perl strings, extracting an C<int> from
319 the first, a C<float> from the second, and a C<char *> from the third.
320
321  #include <EXTERN.h>
322  #include <perl.h>
323
324  static PerlInterpreter *my_perl;
325
326  main (int argc, char **argv, char **env)
327  {
328      char *embedding[] = { "", "-e", "0" };
329
330      PERL_SYS_INIT3(&argc,&argv,&env);
331      my_perl = perl_alloc();
332      perl_construct( my_perl );
333
334      perl_parse(my_perl, NULL, 3, embedding, NULL);
335      PL_exit_flags |= PERL_EXIT_DESTRUCT_END;
336      perl_run(my_perl);
337
338      /** Treat $a as an integer **/
339      eval_pv("$a = 3; $a **= 2", TRUE);
340      printf("a = %d\n", SvIV(get_sv("a", 0)));
341
342      /** Treat $a as a float **/
343      eval_pv("$a = 3.14; $a **= 2", TRUE);
344      printf("a = %f\n", SvNV(get_sv("a", 0)));
345
346      /** Treat $a as a string **/
347      eval_pv(
348        "$a = 'rekcaH lreP rehtonA tsuJ'; $a = reverse($a);", TRUE);
349      printf("a = %s\n", SvPV_nolen(get_sv("a", 0)));
350
351      perl_destruct(my_perl);
352      perl_free(my_perl);
353      PERL_SYS_TERM();
354  }
355
356 All of those strange functions with I<sv> in their names help convert Perl
357 scalars to C types.  They're described in L<perlguts> and L<perlapi>.
358
359 If you compile and run I<string.c>, you'll see the results of using
360 I<SvIV()> to create an C<int>, I<SvNV()> to create a C<float>, and
361 I<SvPV()> to create a string:
362
363    a = 9
364    a = 9.859600
365    a = Just Another Perl Hacker
366
367 In the example above, we've created a global variable to temporarily
368 store the computed value of our eval'ed expression.  It is also
369 possible and in most cases a better strategy to fetch the return value
370 from I<eval_pv()> instead.  Example:
371
372    ...
373    SV *val = eval_pv("reverse 'rekcaH lreP rehtonA tsuJ'", TRUE);
374    printf("%s\n", SvPV_nolen(val));
375    ...
376
377 This way, we avoid namespace pollution by not creating global
378 variables and we've simplified our code as well.
379
380 =head2 Performing Perl pattern matches and substitutions from your C program
381
382 The I<eval_sv()> function lets us evaluate strings of Perl code, so we can
383 define some functions that use it to "specialize" in matches and
384 substitutions: I<match()>, I<substitute()>, and I<matches()>.
385
386    I32 match(SV *string, char *pattern);
387
388 Given a string and a pattern (e.g., C<m/clasp/> or C</\b\w*\b/>, which
389 in your C program might appear as "/\\b\\w*\\b/"), match()
390 returns 1 if the string matches the pattern and 0 otherwise.
391
392    int substitute(SV **string, char *pattern);
393
394 Given a pointer to an C<SV> and an C<=~> operation (e.g.,
395 C<s/bob/robert/g> or C<tr[A-Z][a-z]>), substitute() modifies the string
396 within the C<SV> as according to the operation, returning the number of
397 substitutions made.
398
399    SSize_t matches(SV *string, char *pattern, AV **matches);
400
401 Given an C<SV>, a pattern, and a pointer to an empty C<AV>,
402 matches() evaluates C<$string =~ $pattern> in a list context, and
403 fills in I<matches> with the array elements, returning the number of matches
404 found.
405
406 Here's a sample program, I<match.c>, that uses all three (long lines have
407 been wrapped here):
408
409  #include <EXTERN.h>
410  #include <perl.h>
411
412  static PerlInterpreter *my_perl;
413
414  /** my_eval_sv(code, error_check)
415  ** kinda like eval_sv(),
416  ** but we pop the return value off the stack
417  **/
418  SV* my_eval_sv(SV *sv, I32 croak_on_error)
419  {
420      dSP;
421      SV* retval;
422
423
424      PUSHMARK(SP);
425      eval_sv(sv, G_SCALAR);
426
427      SPAGAIN;
428      retval = POPs;
429      PUTBACK;
430
431      if (croak_on_error && SvTRUE(ERRSV))
432         croak(SvPVx_nolen(ERRSV));
433
434      return retval;
435  }
436
437  /** match(string, pattern)
438  **
439  ** Used for matches in a scalar context.
440  **
441  ** Returns 1 if the match was successful; 0 otherwise.
442  **/
443
444  I32 match(SV *string, char *pattern)
445  {
446      SV *command = newSV(0), *retval;
447
448      sv_setpvf(command, "my $string = '%s'; $string =~ %s",
449               SvPV_nolen(string), pattern);
450
451      retval = my_eval_sv(command, TRUE);
452      SvREFCNT_dec(command);
453
454      return SvIV(retval);
455  }
456
457  /** substitute(string, pattern)
458  **
459  ** Used for =~ operations that
460  ** modify their left-hand side (s/// and tr///)
461  **
462  ** Returns the number of successful matches, and
463  ** modifies the input string if there were any.
464  **/
465
466  I32 substitute(SV **string, char *pattern)
467  {
468      SV *command = newSV(0), *retval;
469
470      sv_setpvf(command, "$string = '%s'; ($string =~ %s)",
471               SvPV_nolen(*string), pattern);
472
473      retval = my_eval_sv(command, TRUE);
474      SvREFCNT_dec(command);
475
476      *string = get_sv("string", 0);
477      return SvIV(retval);
478  }
479
480  /** matches(string, pattern, matches)
481  **
482  ** Used for matches in a list context.
483  **
484  ** Returns the number of matches,
485  ** and fills in **matches with the matching substrings
486  **/
487
488  SSize_t matches(SV *string, char *pattern, AV **match_list)
489  {
490      SV *command = newSV(0);
491      SSize_t num_matches;
492
493      sv_setpvf(command, "my $string = '%s'; @array = ($string =~ %s)",
494               SvPV_nolen(string), pattern);
495
496      my_eval_sv(command, TRUE);
497      SvREFCNT_dec(command);
498
499      *match_list = get_av("array", 0);
500      num_matches = av_top_index(*match_list) + 1;
501
502      return num_matches;
503  }
504
505  main (int argc, char **argv, char **env)
506  {
507      char *embedding[] = { "", "-e", "0" };
508      AV *match_list;
509      I32 num_matches, i;
510      SV *text;
511
512      PERL_SYS_INIT3(&argc,&argv,&env);
513      my_perl = perl_alloc();
514      perl_construct(my_perl);
515      perl_parse(my_perl, NULL, 3, embedding, NULL);
516      PL_exit_flags |= PERL_EXIT_DESTRUCT_END;
517
518      text = newSV(0);
519      sv_setpv(text, "When he is at a convenience store and the "
520         "bill comes to some amount like 76 cents, Maynard is "
521         "aware that there is something he *should* do, something "
522         "that will enable him to get back a quarter, but he has "
523         "no idea *what*.  He fumbles through his red squeezey "
524         "changepurse and gives the boy three extra pennies with "
525         "his dollar, hoping that he might luck into the correct "
526         "amount.  The boy gives him back two of his own pennies "
527         "and then the big shiny quarter that is his prize. "
528         "-RICHH");
529
530      if (match(text, "m/quarter/")) /** Does text contain 'quarter'? **/
531         printf("match: Text contains the word 'quarter'.\n\n");
532      else
533         printf("match: Text doesn't contain the word 'quarter'.\n\n");
534
535      if (match(text, "m/eighth/")) /** Does text contain 'eighth'? **/
536         printf("match: Text contains the word 'eighth'.\n\n");
537      else
538         printf("match: Text doesn't contain the word 'eighth'.\n\n");
539
540      /** Match all occurrences of /wi../ **/
541      num_matches = matches(text, "m/(wi..)/g", &match_list);
542      printf("matches: m/(wi..)/g found %d matches...\n", num_matches);
543
544      for (i = 0; i < num_matches; i++)
545          printf("match: %s\n",
546                   SvPV_nolen(*av_fetch(match_list, i, FALSE)));
547      printf("\n");
548
549      /** Remove all vowels from text **/
550      num_matches = substitute(&text, "s/[aeiou]//gi");
551      if (num_matches) {
552         printf("substitute: s/[aeiou]//gi...%lu substitutions made.\n",
553                (unsigned long)num_matches);
554         printf("Now text is: %s\n\n", SvPV_nolen(text));
555      }
556
557      /** Attempt a substitution **/
558      if (!substitute(&text, "s/Perl/C/")) {
559         printf("substitute: s/Perl/C...No substitution made.\n\n");
560      }
561
562      SvREFCNT_dec(text);
563      PL_perl_destruct_level = 1;
564      perl_destruct(my_perl);
565      perl_free(my_perl);
566      PERL_SYS_TERM();
567  }
568
569 which produces the output (again, long lines have been wrapped here)
570
571   match: Text contains the word 'quarter'.
572
573   match: Text doesn't contain the word 'eighth'.
574
575   matches: m/(wi..)/g found 2 matches...
576   match: will
577   match: with
578
579   substitute: s/[aeiou]//gi...139 substitutions made.
580   Now text is: Whn h s t  cnvnnc str nd th bll cms t sm mnt lk 76 cnts,
581   Mynrd s wr tht thr s smthng h *shld* d, smthng tht wll nbl hm t gt
582   bck qrtr, bt h hs n d *wht*.  H fmbls thrgh hs rd sqzy chngprs nd
583   gvs th by thr xtr pnns wth hs dllr, hpng tht h mght lck nt th crrct
584   mnt.  Th by gvs hm bck tw f hs wn pnns nd thn th bg shny qrtr tht s
585   hs prz. -RCHH
586
587   substitute: s/Perl/C...No substitution made.
588
589 =head2 Fiddling with the Perl stack from your C program
590
591 When trying to explain stacks, most computer science textbooks mumble
592 something about spring-loaded columns of cafeteria plates: the last
593 thing you pushed on the stack is the first thing you pop off.  That'll
594 do for our purposes: your C program will push some arguments onto "the Perl
595 stack", shut its eyes while some magic happens, and then pop the
596 results--the return value of your Perl subroutine--off the stack.
597
598 First you'll need to know how to convert between C types and Perl
599 types, with newSViv() and sv_setnv() and newAV() and all their
600 friends.  They're described in L<perlguts> and L<perlapi>.
601
602 Then you'll need to know how to manipulate the Perl stack.  That's
603 described in L<perlcall>.
604
605 Once you've understood those, embedding Perl in C is easy.
606
607 Because C has no builtin function for integer exponentiation, let's
608 make Perl's ** operator available to it (this is less useful than it
609 sounds, because Perl implements ** with C's I<pow()> function).  First
610 I'll create a stub exponentiation function in I<power.pl>:
611
612     sub expo {
613         my ($a, $b) = @_;
614         return $a ** $b;
615     }
616
617 Now I'll create a C program, I<power.c>, with a function
618 I<PerlPower()> that contains all the perlguts necessary to push the
619 two arguments into I<expo()> and to pop the return value out.  Take a
620 deep breath...
621
622  #include <EXTERN.h>
623  #include <perl.h>
624
625  static PerlInterpreter *my_perl;
626
627  static void
628  PerlPower(int a, int b)
629  {
630    dSP;                            /* initialize stack pointer      */
631    ENTER;                          /* everything created after here */
632    SAVETMPS;                       /* ...is a temporary variable.   */
633    PUSHMARK(SP);                   /* remember the stack pointer    */
634    XPUSHs(sv_2mortal(newSViv(a))); /* push the base onto the stack  */
635    XPUSHs(sv_2mortal(newSViv(b))); /* push the exponent onto stack  */
636    PUTBACK;                      /* make local stack pointer global */
637    call_pv("expo", G_SCALAR);      /* call the function             */
638    SPAGAIN;                        /* refresh stack pointer         */
639                                  /* pop the return value from stack */
640    printf ("%d to the %dth power is %d.\n", a, b, POPi);
641    PUTBACK;
642    FREETMPS;                       /* free that return value        */
643    LEAVE;                       /* ...and the XPUSHed "mortal" args.*/
644  }
645
646  int main (int argc, char **argv, char **env)
647  {
648    char *my_argv[] = { "", "power.pl" };
649
650    PERL_SYS_INIT3(&argc,&argv,&env);
651    my_perl = perl_alloc();
652    perl_construct( my_perl );
653
654    perl_parse(my_perl, NULL, 2, my_argv, (char **)NULL);
655    PL_exit_flags |= PERL_EXIT_DESTRUCT_END;
656    perl_run(my_perl);
657
658    PerlPower(3, 4);                      /*** Compute 3 ** 4 ***/
659
660    perl_destruct(my_perl);
661    perl_free(my_perl);
662    PERL_SYS_TERM();
663  }
664
665
666
667 Compile and run:
668
669     % cc -o power power.c `perl -MExtUtils::Embed -e ccopts -e ldopts`
670
671     % power
672     3 to the 4th power is 81.
673
674 =head2 Maintaining a persistent interpreter
675
676 When developing interactive and/or potentially long-running
677 applications, it's a good idea to maintain a persistent interpreter
678 rather than allocating and constructing a new interpreter multiple
679 times.  The major reason is speed: since Perl will only be loaded into
680 memory once.
681
682 However, you have to be more cautious with namespace and variable
683 scoping when using a persistent interpreter.  In previous examples
684 we've been using global variables in the default package C<main>.  We
685 knew exactly what code would be run, and assumed we could avoid
686 variable collisions and outrageous symbol table growth.
687
688 Let's say your application is a server that will occasionally run Perl
689 code from some arbitrary file.  Your server has no way of knowing what
690 code it's going to run.  Very dangerous.
691
692 If the file is pulled in by C<perl_parse()>, compiled into a newly
693 constructed interpreter, and subsequently cleaned out with
694 C<perl_destruct()> afterwards, you're shielded from most namespace
695 troubles.
696
697 One way to avoid namespace collisions in this scenario is to translate
698 the filename into a guaranteed-unique package name, and then compile
699 the code into that package using L<perlfunc/eval>.  In the example
700 below, each file will only be compiled once.  Or, the application
701 might choose to clean out the symbol table associated with the file
702 after it's no longer needed.  Using L<perlapi/call_argv>, We'll
703 call the subroutine C<Embed::Persistent::eval_file> which lives in the
704 file C<persistent.pl> and pass the filename and boolean cleanup/cache
705 flag as arguments.
706
707 Note that the process will continue to grow for each file that it
708 uses.  In addition, there might be C<AUTOLOAD>ed subroutines and other
709 conditions that cause Perl's symbol table to grow.  You might want to
710 add some logic that keeps track of the process size, or restarts
711 itself after a certain number of requests, to ensure that memory
712 consumption is minimized.  You'll also want to scope your variables
713 with L<perlfunc/my> whenever possible.
714
715
716  package Embed::Persistent;
717  #persistent.pl
718
719  use strict;
720  our %Cache;
721  use Symbol qw(delete_package);
722
723  sub valid_package_name {
724      my($string) = @_;
725      $string =~ s/([^A-Za-z0-9\/])/sprintf("_%2x",unpack("C",$1))/eg;
726      # second pass only for words starting with a digit
727      $string =~ s|/(\d)|sprintf("/_%2x",unpack("C",$1))|eg;
728
729      # Dress it up as a real package name
730      $string =~ s|/|::|g;
731      return "Embed" . $string;
732  }
733
734  sub eval_file {
735      my($filename, $delete) = @_;
736      my $package = valid_package_name($filename);
737      my $mtime = -M $filename;
738      if(defined $Cache{$package}{mtime}
739         &&
740         $Cache{$package}{mtime} <= $mtime)
741      {
742         # we have compiled this subroutine already,
743         # it has not been updated on disk, nothing left to do
744         print STDERR "already compiled $package->handler\n";
745      }
746      else {
747         local *FH;
748         open FH, $filename or die "open '$filename' $!";
749         local($/) = undef;
750         my $sub = <FH>;
751         close FH;
752
753         #wrap the code into a subroutine inside our unique package
754         my $eval = qq{package $package; sub handler { $sub; }};
755         {
756             # hide our variables within this block
757             my($filename,$mtime,$package,$sub);
758             eval $eval;
759         }
760         die $@ if $@;
761
762         #cache it unless we're cleaning out each time
763         $Cache{$package}{mtime} = $mtime unless $delete;
764      }
765
766      eval {$package->handler;};
767      die $@ if $@;
768
769      delete_package($package) if $delete;
770
771      #take a look if you want
772      #print Devel::Symdump->rnew($package)->as_string, $/;
773  }
774
775  1;
776
777  __END__
778
779  /* persistent.c */
780  #include <EXTERN.h>
781  #include <perl.h>
782
783  /* 1 = clean out filename's symbol table after each request,
784     0 = don't
785  */
786  #ifndef DO_CLEAN
787  #define DO_CLEAN 0
788  #endif
789
790  #define BUFFER_SIZE 1024
791
792  static PerlInterpreter *my_perl = NULL;
793
794  int
795  main(int argc, char **argv, char **env)
796  {
797      char *embedding[] = { "", "persistent.pl" };
798      char *args[] = { "", DO_CLEAN, NULL };
799      char filename[BUFFER_SIZE];
800      int exitstatus = 0;
801
802      PERL_SYS_INIT3(&argc,&argv,&env);
803      if((my_perl = perl_alloc()) == NULL) {
804         fprintf(stderr, "no memory!");
805         exit(1);
806      }
807      perl_construct(my_perl);
808
809      PL_origalen = 1; /* don't let $0 assignment update the
810                          proctitle or embedding[0] */
811      exitstatus = perl_parse(my_perl, NULL, 2, embedding, NULL);
812      PL_exit_flags |= PERL_EXIT_DESTRUCT_END;
813      if(!exitstatus) {
814         exitstatus = perl_run(my_perl);
815
816         while(printf("Enter file name: ") &&
817               fgets(filename, BUFFER_SIZE, stdin)) {
818
819             filename[strlen(filename)-1] = '\0'; /* strip \n */
820             /* call the subroutine,
821                      passing it the filename as an argument */
822             args[0] = filename;
823             call_argv("Embed::Persistent::eval_file",
824                            G_DISCARD | G_EVAL, args);
825
826             /* check $@ */
827             if(SvTRUE(ERRSV))
828                 fprintf(stderr, "eval error: %s\n", SvPV_nolen(ERRSV));
829         }
830      }
831
832      PL_perl_destruct_level = 0;
833      perl_destruct(my_perl);
834      perl_free(my_perl);
835      PERL_SYS_TERM();
836      exit(exitstatus);
837  }
838
839 Now compile:
840
841  % cc -o persistent persistent.c \
842         `perl -MExtUtils::Embed -e ccopts -e ldopts`
843
844 Here's an example script file:
845
846  #test.pl
847  my $string = "hello";
848  foo($string);
849
850  sub foo {
851      print "foo says: @_\n";
852  }
853
854 Now run:
855
856  % persistent
857  Enter file name: test.pl
858  foo says: hello
859  Enter file name: test.pl
860  already compiled Embed::test_2epl->handler
861  foo says: hello
862  Enter file name: ^C
863
864 =head2 Execution of END blocks
865
866 Traditionally END blocks have been executed at the end of the perl_run.
867 This causes problems for applications that never call perl_run. Since
868 perl 5.7.2 you can specify C<PL_exit_flags |= PERL_EXIT_DESTRUCT_END>
869 to get the new behaviour. This also enables the running of END blocks if
870 the perl_parse fails and C<perl_destruct> will return the exit value.
871
872 =head2 $0 assignments
873
874 When a perl script assigns a value to $0 then the perl runtime will
875 try to make this value show up as the program name reported by "ps" by
876 updating the memory pointed to by the argv passed to perl_parse() and
877 also calling API functions like setproctitle() where available.  This
878 behaviour might not be appropriate when embedding perl and can be
879 disabled by assigning the value C<1> to the variable C<PL_origalen>
880 before perl_parse() is called.
881
882 The F<persistent.c> example above is for instance likely to segfault
883 when $0 is assigned to if the C<PL_origalen = 1;> assignment is
884 removed.  This because perl will try to write to the read only memory
885 of the C<embedding[]> strings.
886
887 =head2 Maintaining multiple interpreter instances
888
889 Some rare applications will need to create more than one interpreter
890 during a session.  Such an application might sporadically decide to
891 release any resources associated with the interpreter.
892
893 The program must take care to ensure that this takes place I<before>
894 the next interpreter is constructed.  By default, when perl is not
895 built with any special options, the global variable
896 C<PL_perl_destruct_level> is set to C<0>, since extra cleaning isn't
897 usually needed when a program only ever creates a single interpreter
898 in its entire lifetime.
899
900 Setting C<PL_perl_destruct_level> to C<1> makes everything squeaky clean:
901
902  while(1) {
903      ...
904      /* reset global variables here with PL_perl_destruct_level = 1 */
905      PL_perl_destruct_level = 1;
906      perl_construct(my_perl);
907      ...
908      /* clean and reset _everything_ during perl_destruct */
909      PL_perl_destruct_level = 1;
910      perl_destruct(my_perl);
911      perl_free(my_perl);
912      ...
913      /* let's go do it again! */
914  }
915
916 When I<perl_destruct()> is called, the interpreter's syntax parse tree
917 and symbol tables are cleaned up, and global variables are reset.  The
918 second assignment to C<PL_perl_destruct_level> is needed because
919 perl_construct resets it to C<0>.
920
921 Now suppose we have more than one interpreter instance running at the
922 same time.  This is feasible, but only if you used the Configure option
923 C<-Dusemultiplicity> or the options C<-Dusethreads -Duseithreads> when
924 building perl.  By default, enabling one of these Configure options
925 sets the per-interpreter global variable C<PL_perl_destruct_level> to
926 C<1>, so that thorough cleaning is automatic and interpreter variables
927 are initialized correctly.  Even if you don't intend to run two or
928 more interpreters at the same time, but to run them sequentially, like
929 in the above example, it is recommended to build perl with the
930 C<-Dusemultiplicity> option otherwise some interpreter variables may
931 not be initialized correctly between consecutive runs and your
932 application may crash.
933
934 See also L<perlxs/Thread-aware system interfaces>.
935
936 Using C<-Dusethreads -Duseithreads> rather than C<-Dusemultiplicity>
937 is more appropriate if you intend to run multiple interpreters
938 concurrently in different threads, because it enables support for
939 linking in the thread libraries of your system with the interpreter.
940
941 Let's give it a try:
942
943
944  #include <EXTERN.h>
945  #include <perl.h>
946
947  /* we're going to embed two interpreters */
948
949  #define SAY_HELLO "-e", "print qq(Hi, I'm $^X\n)"
950
951  int main(int argc, char **argv, char **env)
952  {
953      PerlInterpreter *one_perl, *two_perl;
954      char *one_args[] = { "one_perl", SAY_HELLO };
955      char *two_args[] = { "two_perl", SAY_HELLO };
956
957      PERL_SYS_INIT3(&argc,&argv,&env);
958      one_perl = perl_alloc();
959      two_perl = perl_alloc();
960
961      PERL_SET_CONTEXT(one_perl);
962      perl_construct(one_perl);
963      PERL_SET_CONTEXT(two_perl);
964      perl_construct(two_perl);
965
966      PERL_SET_CONTEXT(one_perl);
967      perl_parse(one_perl, NULL, 3, one_args, (char **)NULL);
968      PERL_SET_CONTEXT(two_perl);
969      perl_parse(two_perl, NULL, 3, two_args, (char **)NULL);
970
971      PERL_SET_CONTEXT(one_perl);
972      perl_run(one_perl);
973      PERL_SET_CONTEXT(two_perl);
974      perl_run(two_perl);
975
976      PERL_SET_CONTEXT(one_perl);
977      perl_destruct(one_perl);
978      PERL_SET_CONTEXT(two_perl);
979      perl_destruct(two_perl);
980
981      PERL_SET_CONTEXT(one_perl);
982      perl_free(one_perl);
983      PERL_SET_CONTEXT(two_perl);
984      perl_free(two_perl);
985      PERL_SYS_TERM();
986  }
987
988 Note the calls to PERL_SET_CONTEXT().  These are necessary to initialize
989 the global state that tracks which interpreter is the "current" one on
990 the particular process or thread that may be running it.  It should
991 always be used if you have more than one interpreter and are making
992 perl API calls on both interpreters in an interleaved fashion.
993
994 PERL_SET_CONTEXT(interp) should also be called whenever C<interp> is
995 used by a thread that did not create it (using either perl_alloc(), or
996 the more esoteric perl_clone()).
997
998 Compile as usual:
999
1000  % cc -o multiplicity multiplicity.c \
1001   `perl -MExtUtils::Embed -e ccopts -e ldopts`
1002
1003 Run it, Run it:
1004
1005  % multiplicity
1006  Hi, I'm one_perl
1007  Hi, I'm two_perl
1008
1009 =head2 Using Perl modules, which themselves use C libraries, from your C
1010 program
1011
1012 If you've played with the examples above and tried to embed a script
1013 that I<use()>s a Perl module (such as I<Socket>) which itself uses a C or C++
1014 library, this probably happened:
1015
1016
1017  Can't load module Socket, dynamic loading not available in this perl.
1018   (You may need to build a new perl executable which either supports
1019   dynamic loading or has the Socket module statically linked into it.)
1020
1021
1022 What's wrong?
1023
1024 Your interpreter doesn't know how to communicate with these extensions
1025 on its own.  A little glue will help.  Up until now you've been
1026 calling I<perl_parse()>, handing it NULL for the second argument:
1027
1028  perl_parse(my_perl, NULL, argc, my_argv, NULL);
1029
1030 That's where the glue code can be inserted to create the initial contact
1031 between Perl and linked C/C++ routines. Let's take a look some pieces of
1032 I<perlmain.c> to see how Perl does this:
1033
1034  static void xs_init (pTHX);
1035
1036  EXTERN_C void boot_DynaLoader (pTHX_ CV* cv);
1037  EXTERN_C void boot_Socket (pTHX_ CV* cv);
1038
1039
1040  EXTERN_C void
1041  xs_init(pTHX)
1042  {
1043         char *file = __FILE__;
1044         /* DynaLoader is a special case */
1045         newXS("DynaLoader::boot_DynaLoader", boot_DynaLoader, file);
1046         newXS("Socket::bootstrap", boot_Socket, file);
1047  }
1048
1049 Simply put: for each extension linked with your Perl executable
1050 (determined during its initial configuration on your
1051 computer or when adding a new extension),
1052 a Perl subroutine is created to incorporate the extension's
1053 routines.  Normally, that subroutine is named
1054 I<Module::bootstrap()> and is invoked when you say I<use Module>.  In
1055 turn, this hooks into an XSUB, I<boot_Module>, which creates a Perl
1056 counterpart for each of the extension's XSUBs.  Don't worry about this
1057 part; leave that to the I<xsubpp> and extension authors.  If your
1058 extension is dynamically loaded, DynaLoader creates I<Module::bootstrap()>
1059 for you on the fly.  In fact, if you have a working DynaLoader then there
1060 is rarely any need to link in any other extensions statically.
1061
1062
1063 Once you have this code, slap it into the second argument of I<perl_parse()>:
1064
1065
1066  perl_parse(my_perl, xs_init, argc, my_argv, NULL);
1067
1068
1069 Then compile:
1070
1071  % cc -o interp interp.c `perl -MExtUtils::Embed -e ccopts -e ldopts`
1072
1073  % interp
1074    use Socket;
1075    use SomeDynamicallyLoadedModule;
1076
1077    print "Now I can use extensions!\n"'
1078
1079 B<ExtUtils::Embed> can also automate writing the I<xs_init> glue code.
1080
1081  % perl -MExtUtils::Embed -e xsinit -- -o perlxsi.c
1082  % cc -c perlxsi.c `perl -MExtUtils::Embed -e ccopts`
1083  % cc -c interp.c  `perl -MExtUtils::Embed -e ccopts`
1084  % cc -o interp perlxsi.o interp.o `perl -MExtUtils::Embed -e ldopts`
1085
1086 Consult L<perlxs>, L<perlguts>, and L<perlapi> for more details.
1087
1088 =head2 Using embedded Perl with POSIX locales
1089
1090 (See L<perllocale> for information about these.)
1091 When a Perl interpreter normally starts up, it tells the system it wants
1092 to use the system's default locale.  This is often, but not necessarily,
1093 the "C" or "POSIX" locale.  Absent a S<C<"use locale">> within the perl
1094 code, this mostly has no effect (but see L<perllocale/Not within the
1095 scope of "use locale">).  Also, there is not a problem if the
1096 locale you want to use in your embedded Perl is the same as the system
1097 default.  However, this doesn't work if you have set up and want to use
1098 a locale that isn't the system default one.  Starting in Perl v5.20, you
1099 can tell the embedded Perl interpreter that the locale is already
1100 properly set up, and to skip doing its own normal initialization.  It
1101 skips if the environment variable C<PERL_SKIP_LOCALE_INIT> is set (even
1102 if set to 0 or C<"">).  A Perl that has this capability will define the
1103 C pre-processor symbol C<HAS_SKIP_LOCALE_INIT>.  This allows code that
1104 has to work with multiple Perl versions to do some sort of work-around
1105 when confronted with an earlier Perl.
1106
1107 =head1 Hiding Perl_
1108
1109 If you completely hide the short forms of the Perl public API,
1110 add -DPERL_NO_SHORT_NAMES to the compilation flags.  This means that
1111 for example instead of writing
1112
1113     warn("%d bottles of beer on the wall", bottlecount);
1114
1115 you will have to write the explicit full form
1116
1117     Perl_warn(aTHX_ "%d bottles of beer on the wall", bottlecount);
1118
1119 (See L<perlguts/"Background and PERL_IMPLICIT_CONTEXT"> for the explanation
1120 of the C<aTHX_>. )  Hiding the short forms is very useful for avoiding
1121 all sorts of nasty (C preprocessor or otherwise) conflicts with other
1122 software packages (Perl defines about 2400 APIs with these short names,
1123 take or leave few hundred, so there certainly is room for conflict.)
1124
1125 =head1 MORAL
1126
1127 You can sometimes I<write faster code> in C, but
1128 you can always I<write code faster> in Perl.  Because you can use
1129 each from the other, combine them as you wish.
1130
1131
1132 =head1 AUTHOR
1133
1134 Jon Orwant <F<orwant@media.mit.edu>> and Doug MacEachern
1135 <F<dougm@covalent.net>>, with small contributions from Tim Bunce, Tom
1136 Christiansen, Guy Decoux, Hallvard Furuseth, Dov Grobgeld, and Ilya
1137 Zakharevich.
1138
1139 Doug MacEachern has an article on embedding in Volume 1, Issue 4 of
1140 The Perl Journal ( L<http://www.tpj.com/> ).  Doug is also the developer of the
1141 most widely-used Perl embedding: the mod_perl system
1142 (perl.apache.org), which embeds Perl in the Apache web server.
1143 Oracle, Binary Evolution, ActiveState, and Ben Sugars's nsapi_perl
1144 have used this model for Oracle, Netscape and Internet Information
1145 Server Perl plugins.
1146
1147 =head1 COPYRIGHT
1148
1149 Copyright (C) 1995, 1996, 1997, 1998 Doug MacEachern and Jon Orwant.  All
1150 Rights Reserved.
1151
1152 This document may be distributed under the same terms as Perl itself.