Locale::Maketext external cache support
[perl.git] / dist / Locale-Maketext / lib / Locale / Maketext.pm
1 package Locale::Maketext;
2 use strict;
3 use vars qw( @ISA $VERSION $MATCH_SUPERS $USING_LANGUAGE_TAGS
4 $USE_LITERALS $MATCH_SUPERS_TIGHTLY);
5 use Carp ();
6 use I18N::LangTags 0.30 ();
7
8 #--------------------------------------------------------------------------
9
10 BEGIN { unless(defined &DEBUG) { *DEBUG = sub () {0} } }
11 # define the constant 'DEBUG' at compile-time
12
13 $VERSION = '1.15';
14 @ISA = ();
15
16 $MATCH_SUPERS = 1;
17 $MATCH_SUPERS_TIGHTLY = 1;
18 $USING_LANGUAGE_TAGS  = 1;
19 # Turning this off is somewhat of a security risk in that little or no
20 # checking will be done on the legality of tokens passed to the
21 # eval("use $module_name") in _try_use.  If you turn this off, you have
22 # to do your own taint checking.
23
24 $USE_LITERALS = 1 unless defined $USE_LITERALS;
25 # a hint for compiling bracket-notation things.
26
27 my %isa_scan = ();
28
29 ###########################################################################
30
31 sub quant {
32     my($handle, $num, @forms) = @_;
33
34     return $num if @forms == 0; # what should this mean?
35     return $forms[2] if @forms > 2 and $num == 0; # special zeroth case
36
37     # Normal case:
38     # Note that the formatting of $num is preserved.
39     return( $handle->numf($num) . ' ' . $handle->numerate($num, @forms) );
40     # Most human languages put the number phrase before the qualified phrase.
41 }
42
43
44 sub numerate {
45     # return this lexical item in a form appropriate to this number
46     my($handle, $num, @forms) = @_;
47     my $s = ($num == 1);
48
49     return '' unless @forms;
50     if(@forms == 1) { # only the headword form specified
51         return $s ? $forms[0] : ($forms[0] . 's'); # very cheap hack.
52     }
53     else { # sing and plural were specified
54         return $s ? $forms[0] : $forms[1];
55     }
56 }
57
58 #--------------------------------------------------------------------------
59
60 sub numf {
61     my($handle, $num) = @_[0,1];
62     if($num < 10_000_000_000 and $num > -10_000_000_000 and $num == int($num)) {
63         $num += 0;  # Just use normal integer stringification.
64         # Specifically, don't let %G turn ten million into 1E+007
65     }
66     else {
67         $num = CORE::sprintf('%G', $num);
68         # "CORE::" is there to avoid confusion with the above sub sprintf.
69     }
70     while( $num =~ s/^([-+]?\d+)(\d{3})/$1,$2/s ) {1}  # right from perlfaq5
71     # The initial \d+ gobbles as many digits as it can, and then we
72     #  backtrack so it un-eats the rightmost three, and then we
73     #  insert the comma there.
74
75     $num =~ tr<.,><,.> if ref($handle) and $handle->{'numf_comma'};
76     # This is just a lame hack instead of using Number::Format
77     return $num;
78 }
79
80 sub sprintf {
81     no integer;
82     my($handle, $format, @params) = @_;
83     return CORE::sprintf($format, @params);
84     # "CORE::" is there to avoid confusion with myself!
85 }
86
87 #=#=#=#=#=#=#=#=#=#=#=#=#=#=#=#=#=#=#=#=#=#=#=#=#=#=#=#=#=#=#=#=#=#=#=#=#=#
88
89 use integer; # vroom vroom... applies to the whole rest of the module
90
91 sub language_tag {
92     my $it = ref($_[0]) || $_[0];
93     return undef unless $it =~ m/([^':]+)(?:::)?$/s;
94     $it = lc($1);
95     $it =~ tr<_><->;
96     return $it;
97 }
98
99 sub encoding {
100     my $it = $_[0];
101     return(
102         (ref($it) && $it->{'encoding'})
103         || 'iso-8859-1'   # Latin-1
104     );
105 }
106
107 #--------------------------------------------------------------------------
108
109 sub fallback_languages { return('i-default', 'en', 'en-US') }
110
111 sub fallback_language_classes { return () }
112
113 #--------------------------------------------------------------------------
114
115 sub fail_with { # an actual attribute method!
116     my($handle, @params) = @_;
117     return unless ref($handle);
118     $handle->{'fail'} = $params[0] if @params;
119     return $handle->{'fail'};
120 }
121
122 #--------------------------------------------------------------------------
123
124 sub failure_handler_auto {
125     # Meant to be used like:
126     #  $handle->fail_with('failure_handler_auto')
127
128     my $handle = shift;
129     my $phrase = shift;
130
131     $handle->{'failure_lex'} ||= {};
132     my $lex = $handle->{'failure_lex'};
133
134     my $value;
135     $lex->{$phrase} ||= ($value = $handle->_compile($phrase));
136
137     # Dumbly copied from sub maketext:
138     return ${$value} if ref($value) eq 'SCALAR';
139     return $value    if ref($value) ne 'CODE';
140     {
141         local $SIG{'__DIE__'};
142         eval { $value = &$value($handle, @_) };
143     }
144     # If we make it here, there was an exception thrown in the
145     #  call to $value, and so scream:
146     if($@) {
147         my $err = $@;
148         # pretty up the error message
149         $err =~ s{\s+at\s+\(eval\s+\d+\)\s+line\s+(\d+)\.?\n?}
150                  {\n in bracket code [compiled line $1],}s;
151         #$err =~ s/\n?$/\n/s;
152         Carp::croak "Error in maketexting \"$phrase\":\n$err as used";
153         # Rather unexpected, but suppose that the sub tried calling
154         # a method that didn't exist.
155     }
156     else {
157         return $value;
158     }
159 }
160
161 #==========================================================================
162
163 sub new {
164     # Nothing fancy!
165     my $class = ref($_[0]) || $_[0];
166     my $handle = bless {}, $class;
167     $handle->init;
168     return $handle;
169 }
170
171 sub init { return } # no-op
172
173 ###########################################################################
174
175 sub maketext {
176     # Remember, this can fail.  Failure is controllable many ways.
177     Carp::croak 'maketext requires at least one parameter' unless @_ > 1;
178
179     my($handle, $phrase) = splice(@_,0,2);
180     Carp::confess('No handle/phrase') unless (defined($handle) && defined($phrase));
181
182
183     # Don't interefere with $@ in case that's being interpolated into the msg.
184     local $@;
185
186     # Look up the value:
187
188     my $value;
189     if (exists $handle->{'_external_lex_cache'}{$phrase}) {
190         DEBUG and warn "* Using external lex cache version of \"$phrase\"\n";
191         $value = $handle->{'_external_lex_cache'}{$phrase};
192     }
193     else {
194         foreach my $h_r (
195             @{  $isa_scan{ref($handle) || $handle} || $handle->_lex_refs  }
196         ) {
197             DEBUG and warn "* Looking up \"$phrase\" in $h_r\n";
198             if(exists $h_r->{$phrase}) {
199                 DEBUG and warn "  Found \"$phrase\" in $h_r\n";
200                 unless(ref($value = $h_r->{$phrase})) {
201                     # Nonref means it's not yet compiled.  Compile and replace.
202                     if ($handle->{'use_external_lex_cache'}) {
203                         $value = $handle->{'_external_lex_cache'}{$phrase} = $handle->_compile($value);
204                     }
205                     else {
206                         $value = $h_r->{$phrase} = $handle->_compile($value);
207                     }
208                 }
209                 last;
210             }
211             # extending packages need to be able to localize _AUTO and if readonly can't "local $h_r->{'_AUTO'} = 1;"
212             # but they can "local $handle->{'_external_lex_cache'}{'_AUTO'} = 1;"
213             elsif($phrase !~ m/^_/s and ($handle->{'use_external_lex_cache'} ? ( exists $handle->{'_external_lex_cache'}{'_AUTO'} ? $handle->{'_external_lex_cache'}{'_AUTO'} : $h_r->{'_AUTO'} ) : $h_r->{'_AUTO'})) {
214                 # it's an auto lex, and this is an autoable key!
215                 DEBUG and warn "  Automaking \"$phrase\" into $h_r\n";
216                 if ($handle->{'use_external_lex_cache'}) {
217                     $value = $handle->{'_external_lex_cache'}{$phrase} = $handle->_compile($phrase);
218                 }
219                 else {
220                     $value = $h_r->{$phrase} = $handle->_compile($phrase);
221                 }
222                 last;
223             }
224             DEBUG>1 and print "  Not found in $h_r, nor automakable\n";
225             # else keep looking
226         }
227     }
228
229     unless(defined($value)) {
230         DEBUG and warn "! Lookup of \"$phrase\" in/under ", ref($handle) || $handle, " fails.\n";
231         if(ref($handle) and $handle->{'fail'}) {
232             DEBUG and warn "WARNING0: maketext fails looking for <$phrase>\n";
233             my $fail;
234             if(ref($fail = $handle->{'fail'}) eq 'CODE') { # it's a sub reference
235                 return &{$fail}($handle, $phrase, @_);
236                 # If it ever returns, it should return a good value.
237             }
238             else { # It's a method name
239                 return $handle->$fail($phrase, @_);
240                 # If it ever returns, it should return a good value.
241             }
242         }
243         else {
244             # All we know how to do is this;
245             Carp::croak("maketext doesn't know how to say:\n$phrase\nas needed");
246         }
247     }
248
249     return $$value if ref($value) eq 'SCALAR';
250     return $value unless ref($value) eq 'CODE';
251
252     {
253         local $SIG{'__DIE__'};
254         eval { $value = &$value($handle, @_) };
255     }
256     # If we make it here, there was an exception thrown in the
257     #  call to $value, and so scream:
258     if ($@) {
259         my $err = $@;
260         # pretty up the error message
261         $err =~ s{\s+at\s+\(eval\s+\d+\)\s+line\s+(\d+)\.?\n?}
262                  {\n in bracket code [compiled line $1],}s;
263         #$err =~ s/\n?$/\n/s;
264         Carp::croak "Error in maketexting \"$phrase\":\n$err as used";
265         # Rather unexpected, but suppose that the sub tried calling
266         # a method that didn't exist.
267     }
268     else {
269         return $value;
270     }
271 }
272
273 ###########################################################################
274
275 sub get_handle {  # This is a constructor and, yes, it CAN FAIL.
276     # Its class argument has to be the base class for the current
277     # application's l10n files.
278
279     my($base_class, @languages) = @_;
280     $base_class = ref($base_class) || $base_class;
281     # Complain if they use __PACKAGE__ as a project base class?
282
283     if( @languages ) {
284         DEBUG and warn 'Lgs@', __LINE__, ': ', map("<$_>", @languages), "\n";
285         if($USING_LANGUAGE_TAGS) {   # An explicit language-list was given!
286             @languages =
287             map {; $_, I18N::LangTags::alternate_language_tags($_) }
288             # Catch alternation
289             map I18N::LangTags::locale2language_tag($_),
290             # If it's a lg tag, fine, pass thru (untainted)
291             # If it's a locale ID, try converting to a lg tag (untainted),
292             # otherwise nix it.
293             @languages;
294             DEBUG and warn 'Lgs@', __LINE__, ': ', map("<$_>", @languages), "\n";
295         }
296     }
297     else {
298         @languages = $base_class->_ambient_langprefs;
299     }
300
301     @languages = $base_class->_langtag_munging(@languages);
302
303     my %seen;
304     foreach my $module_name ( map { $base_class . '::' . $_ }  @languages ) {
305         next unless length $module_name; # sanity
306         next if $seen{$module_name}++        # Already been here, and it was no-go
307         || !&_try_use($module_name); # Try to use() it, but can't it.
308         return($module_name->new); # Make it!
309     }
310
311     return undef; # Fail!
312 }
313
314 ###########################################################################
315
316 sub _langtag_munging {
317     my($base_class, @languages) = @_;
318
319     # We have all these DEBUG statements because otherwise it's hard as hell
320     # to diagnose ifwhen something goes wrong.
321
322     DEBUG and warn 'Lgs1: ', map("<$_>", @languages), "\n";
323
324     if($USING_LANGUAGE_TAGS) {
325         DEBUG and warn 'Lgs@', __LINE__, ': ', map("<$_>", @languages), "\n";
326         @languages     = $base_class->_add_supers( @languages );
327
328         push @languages, I18N::LangTags::panic_languages(@languages);
329         DEBUG and warn "After adding panic languages:\n",
330         ' Lgs@', __LINE__, ': ', map("<$_>", @languages), "\n";
331
332         push @languages, $base_class->fallback_languages;
333         # You are free to override fallback_languages to return empty-list!
334         DEBUG and warn 'Lgs@', __LINE__, ': ', map("<$_>", @languages), "\n";
335
336         @languages =  # final bit of processing to turn them into classname things
337         map {
338             my $it = $_;  # copy
339             $it =~ tr<-A-Z><_a-z>; # lc, and turn - to _
340             $it =~ tr<_a-z0-9><>cd;  # remove all but a-z0-9_
341             $it;
342         } @languages
343         ;
344         DEBUG and warn "Nearing end of munging:\n",
345         ' Lgs@', __LINE__, ': ', map("<$_>", @languages), "\n";
346     }
347     else {
348         DEBUG and warn "Bypassing language-tags.\n",
349         ' Lgs@', __LINE__, ': ', map("<$_>", @languages), "\n";
350     }
351
352     DEBUG and warn "Before adding fallback classes:\n",
353     ' Lgs@', __LINE__, ': ', map("<$_>", @languages), "\n";
354
355     push @languages, $base_class->fallback_language_classes;
356     # You are free to override that to return whatever.
357
358     DEBUG and warn "Finally:\n",
359     ' Lgs@', __LINE__, ': ', map("<$_>", @languages), "\n";
360
361     return @languages;
362 }
363
364 ###########################################################################
365
366 sub _ambient_langprefs {
367     require I18N::LangTags::Detect;
368     return  I18N::LangTags::Detect::detect();
369 }
370
371 ###########################################################################
372
373 sub _add_supers {
374     my($base_class, @languages) = @_;
375
376     if (!$MATCH_SUPERS) {
377         # Nothing
378         DEBUG and warn "Bypassing any super-matching.\n",
379         ' Lgs@', __LINE__, ': ', map("<$_>", @languages), "\n";
380
381     }
382     elsif( $MATCH_SUPERS_TIGHTLY ) {
383         DEBUG and warn "Before adding new supers tightly:\n",
384         ' Lgs@', __LINE__, ': ', map("<$_>", @languages), "\n";
385         @languages = I18N::LangTags::implicate_supers( @languages );
386         DEBUG and warn "After adding new supers tightly:\n",
387         ' Lgs@', __LINE__, ': ', map("<$_>", @languages), "\n";
388
389     }
390     else {
391         DEBUG and warn "Before adding supers to end:\n",
392         ' Lgs@', __LINE__, ': ', map("<$_>", @languages), "\n";
393         @languages = I18N::LangTags::implicate_supers_strictly( @languages );
394         DEBUG and warn "After adding supers to end:\n",
395         ' Lgs@', __LINE__, ': ', map("<$_>", @languages), "\n";
396     }
397
398     return @languages;
399 }
400
401 ###########################################################################
402 #
403 # This is where most people should stop reading.
404 #
405 ###########################################################################
406
407 use Locale::Maketext::GutsLoader;
408
409 ###########################################################################
410
411 my %tried = ();
412 # memoization of whether we've used this module, or found it unusable.
413
414 sub _try_use {   # Basically a wrapper around "require Modulename"
415     # "Many men have tried..."  "They tried and failed?"  "They tried and died."
416     return $tried{$_[0]} if exists $tried{$_[0]};  # memoization
417
418     my $module = $_[0];   # ASSUME sane module name!
419     { no strict 'refs';
420         return($tried{$module} = 1)
421         if %{$module . '::Lexicon'} or @{$module . '::ISA'};
422         # weird case: we never use'd it, but there it is!
423     }
424
425     DEBUG and warn " About to use $module ...\n";
426     {
427         local $SIG{'__DIE__'};
428         eval "require $module"; # used to be "use $module", but no point in that.
429     }
430     if($@) {
431         DEBUG and warn "Error using $module \: $@\n";
432         return $tried{$module} = 0;
433     }
434     else {
435         DEBUG and warn " OK, $module is used\n";
436         return $tried{$module} = 1;
437     }
438 }
439
440 #--------------------------------------------------------------------------
441
442 sub _lex_refs {  # report the lexicon references for this handle's class
443     # returns an arrayREF!
444     no strict 'refs';
445     no warnings 'once';
446     my $class = ref($_[0]) || $_[0];
447     DEBUG and warn "Lex refs lookup on $class\n";
448     return $isa_scan{$class} if exists $isa_scan{$class};  # memoization!
449
450     my @lex_refs;
451     my $seen_r = ref($_[1]) ? $_[1] : {};
452
453     if( defined( *{$class . '::Lexicon'}{'HASH'} )) {
454         push @lex_refs, *{$class . '::Lexicon'}{'HASH'};
455         DEBUG and warn '%' . $class . '::Lexicon contains ',
456             scalar(keys %{$class . '::Lexicon'}), " entries\n";
457     }
458
459     # Implements depth(height?)-first recursive searching of superclasses.
460     # In hindsight, I suppose I could have just used Class::ISA!
461     foreach my $superclass (@{$class . '::ISA'}) {
462         DEBUG and warn " Super-class search into $superclass\n";
463         next if $seen_r->{$superclass}++;
464         push @lex_refs, @{&_lex_refs($superclass, $seen_r)};  # call myself
465     }
466
467     $isa_scan{$class} = \@lex_refs; # save for next time
468     return \@lex_refs;
469 }
470
471 sub clear_isa_scan { %isa_scan = (); return; } # end on a note of simplicity!
472
473 1;