Sort magic and magic vtable names in files generated by mg_vtable.pl
[perl.git] / regen / mg_vtable.pl
1 #!/usr/bin/perl -w
2 #
3 # Regenerate (overwriting only if changed):
4 #
5 #    mg_vtable.h
6 #
7 # from information stored in this file.
8 #
9 # Accepts the standard regen_lib -q and -v args.
10 #
11 # This script is normally invoked from regen.pl.
12
13 use strict;
14 require 5.004;
15
16 BEGIN {
17     # Get function prototypes
18     require 'regen/regen_lib.pl';
19 }
20
21 my %mg =
22     (
23      sv => { char => '\0', vtable => 'sv', readonly_acceptable => 1,
24              desc => 'Special scalar variable' },
25      overload => { char => 'A', vtable => 'amagic', desc => '%OVERLOAD hash' },
26      overload_elem => { char => 'a', vtable => 'amagicelem',
27                         desc => '%OVERLOAD hash element' },
28      overload_table => { char => 'c', vtable => 'ovrld',
29                          desc => 'Holds overload table (AMT) on stash' },
30      bm => { char => 'B', vtable => 'regexp', value_magic => 1,
31              readonly_acceptable => 1,
32              desc => 'Boyer-Moore (fast string search)' },
33      regdata => { char => 'D', vtable => 'regdata',
34                   desc => "Regex match position data\n(\@+ and \@- vars)" },
35      regdatum => { char => 'd', vtable => 'regdatum',
36                    desc => 'Regex match position data element' },
37      env => { char => 'E', vtable => 'env', desc => '%ENV hash' },
38      envelem => { char => 'e', vtable => 'envelem',
39                   desc => '%ENV hash element' },
40      fm => { char => 'f', vtable => 'regdata', value_magic => 1,
41              readonly_acceptable => 1, desc => "Formline ('compiled' format)" },
42      regex_global => { char => 'g', vtable => 'mglob', value_magic => 1,
43                        readonly_acceptable => 1,
44                        desc => 'm//g target / study()ed string' },
45      hints => { char => 'H', vtable => 'hints', desc => '%^H hash' },
46      hintselem => { char => 'h', vtable => 'hintselem',
47                     desc => '%^H hash element' },
48      isa => { char => 'I', vtable => 'isa', desc => '@ISA array' },
49      isaelem => { char => 'i', vtable => 'isaelem',
50                   desc => '@ISA array element' },
51      nkeys => { char => 'k', vtable => 'nkeys', value_magic => 1,
52                 desc => 'scalar(keys()) lvalue' },
53      dbfile => { char => 'L', vtable => 'dbline',
54                  desc => 'Debugger %_<filename' },
55      dbline => { char => 'l', desc => 'Debugger %_<filename element' },
56      shared => { char => 'N', desc => 'Shared between threads',
57                  unknown_to_sv_magic => 1 },
58      shared_scalar => { char => 'n', desc => 'Shared between threads',
59                         unknown_to_sv_magic => 1 },
60      collxfrm => { char => 'o', vtable => 'collxfrm', value_magic => 1,
61                    desc => 'Locale transformation' },
62      tied => { char => 'P', vtable => 'pack',
63                value_magic => 1, # treat as value, so 'local @tied' isn't tied
64                desc => 'Tied array or hash' },
65      tiedelem => { char => 'p', vtable => 'packelem',
66                    desc => 'Tied array or hash element' },
67      tiedscalar => { char => 'q', vtable => 'packelem',
68                      desc => 'Tied scalar or handle' },
69      qr => { char => 'r', vtable => 'regexp', value_magic => 1, 
70              desc => 'precompiled qr// regex' },
71      sig => { char => 'S', desc => '%SIG hash' },
72      sigelem => { char => 's', vtable => 'sigelem',
73                   desc => '%SIG hash element' },
74      taint => { char => 't', vtable => 'taint', value_magic => 1,
75                 desc => 'Taintedness' },
76      uvar => { char => 'U', vtable => 'uvar',
77                desc => 'Available for use by extensions' },
78      uvar_elem => { char => 'u', desc => 'Reserved for use by extensions',
79                     unknown_to_sv_magic => 1 },
80      vec => { char => 'v', vtable => 'vec', value_magic => 1,
81               desc => 'vec() lvalue' },
82      vstring => { char => 'V', value_magic => 1,
83                   desc => 'SV was vstring literal' },
84      utf8 => { char => 'w', vtable => 'utf8', value_magic => 1,
85                desc => 'Cached UTF-8 information' },
86      substr => { char => 'x', vtable => 'substr',  value_magic => 1,
87                  desc => 'substr() lvalue' },
88      defelem => { char => 'y', vtable => 'defelem', value_magic => 1,
89                   desc => "Shadow \"foreach\" iterator variable /\nsmart parameter vivification" },
90      arylen => { char => '#', vtable => 'arylen', value_magic => 1,
91                  desc => 'Array length ($#ary)' },
92      pos => { char => '.', vtable => 'pos', value_magic => 1,
93               desc => 'pos() lvalue' },
94      backref => { char => '<', vtable => 'backref', value_magic => 1,
95                   readonly_acceptable => 1, desc => 'for weak ref data' },
96      symtab => { char => ':', value_magic => 1,
97                  desc => 'extra data for symbol tables' },
98      rhash => { char => '%', value_magic => 1,
99                 desc => 'extra data for restricted hashes' },
100      arylen_p => { char => '@', value_magic => 1,
101                    desc => 'to move arylen out of XPVAV' },
102      ext => { char => '~', desc => 'Available for use by extensions' },
103      checkcall => { char => ']', value_magic => 1,
104                     desc => 'inlining/mutation of call to this CV'},
105 );
106
107 # These have a subtly different "namespace" from the magic types.
108 my %sig =
109     (
110      'sv' => {get => 'get', set => 'set', len => 'len'},
111      'env' => {set => 'set_all_env', clear => 'clear_all_env'},
112      'envelem' => {set => 'setenv', clear => 'clearenv'},
113      'sigelem' => {get => 'getsig', set => 'setsig', clear => 'clearsig',
114                    cond => '#ifndef PERL_MICRO'},
115      'pack' => {len => 'sizepack', clear => 'wipepack'},
116      'packelem' => {get => 'getpack', set => 'setpack', clear => 'clearpack'},
117      'dbline' => {set => 'setdbline'},
118      'isa' => {set => 'setisa', clear => 'clearisa'},
119      'isaelem' => {set => 'setisa'},
120      'arylen' => {get => 'getarylen', set => 'setarylen', const => 1},
121      'arylen_p' => {free => 'freearylen_p'},
122      'mglob' => {set => 'setmglob'},
123      'nkeys' => {get => 'getnkeys', set => 'setnkeys'},
124      'taint' => {get => 'gettaint', set => 'settaint'},
125      'substr' => {get => 'getsubstr', set => 'setsubstr'},
126      'vec' => {get => 'getvec', set => 'setvec'},
127      'pos' => {get => 'getpos', set => 'setpos'},
128      'uvar' => {get => 'getuvar', set => 'setuvar'},
129      'defelem' => {get => 'getdefelem', set => 'setdefelem'},
130      'regexp' => {set => 'setregexp', alias => [qw(bm fm)]},
131      'regdata' => {len => 'regdata_cnt'},
132      'regdatum' => {get => 'regdatum_get', set => 'regdatum_set'},
133      'amagic' => {set => 'setamagic', free => 'setamagic'},
134      'amagicelem' => {set => 'setamagic', free => 'setamagic'},
135      'backref' => {free => 'killbackrefs'},
136      'ovrld' => {free => 'freeovrld'},
137      'utf8' => {set => 'setutf8'},
138      'collxfrm' => {set => 'setcollxfrm',
139                     cond => '#ifdef USE_LOCALE_COLLATE'},
140      'hintselem' => {set => 'sethint', clear => 'clearhint'},
141      'hints' => {clear => 'clearhints'},
142 );
143
144 my ($vt, $raw, $names) = map {
145     open_new($_, '>',
146              { by => 'regen/mg_vtable.pl', file => $_, style => '*' });
147 } 'mg_vtable.h', 'mg_raw.h', 'mg_names.c';
148
149 print $vt <<'EOH';
150 /* These constants should be used in preference to raw characters
151  * when using magic. Note that some perl guts still assume
152  * certain character properties of these constants, namely that
153  * isUPPER() and toLOWER() may do useful mappings.
154  */
155
156 EOH
157
158 my $longest = 0;
159 foreach (keys %mg) {
160     $longest = length $_ if length $_ > $longest;
161 }
162
163 # Of course, it would be *much* easier if we could output this table directly
164 # here and now. However, for our sins, we try to support EBCDIC, which wouldn't
165 # be *so* bad, except that there are (at least) 3 EBCDIC charset variants, and
166 # they don't agree on the code point for '~'. Which we use. Great.
167 # So we have to get the local build runtime to sort our table in character order
168 # (And of course, just to be helpful, in POSIX BC '~' is \xFF, so we can't even
169 # simplify the C code by assuming that the last element of the array is
170 # predictable)
171
172 {
173     my $longest_p1 = $longest + 1;
174
175     my %mg_order;
176     while (my ($name, $data) = each %mg) {
177         my $byte = eval qq{"$data->{char}"};
178         $data->{byte} = $byte;
179         $mg_order{(uc $byte) . $byte} = $name;
180     }
181     foreach (sort keys %mg_order) {
182         my $name = $mg_order{$_};
183         my $data = $mg{$name};
184         my $i = ord $data->{byte};
185         unless ($data->{unknown_to_sv_magic}) {
186             my $value = $data->{vtable}
187                 ? "want_vtbl_$data->{vtable}" : 'magic_vtable_max';
188             $value .= ' | PERL_MAGIC_READONLY_ACCEPTABLE'
189                 if $data->{readonly_acceptable};
190             $value .= ' | PERL_MAGIC_VALUE_MAGIC' if $data->{value_magic};
191             my $comment = "/* $name '$data->{char}' $data->{desc} */";
192             $comment =~ s/([\\"])/\\$1/g;
193             $comment =~ tr/\n/ /;
194             print $raw qq{    { '$data->{char}', "$value",\n      "$comment" },\n};
195         }
196
197         my $comment = $data->{desc};
198         my $leader = ' ' x ($longest + 27);
199         $comment =~ s/\n/\n$leader/s;
200         printf $vt "#define PERL_MAGIC_%-${longest}s '%s' /* %s */\n",
201             $name, $data->{char}, $comment;
202
203         my $char = $data->{char};
204         $char =~ s/([\\"])/\\$1/g;
205         printf $names qq[\t{ PERL_MAGIC_%-${longest_p1}s "%s(%s)" },\n],
206             "$name,", $name, $char;
207     }
208 }
209
210 my @names = sort keys %sig;
211 {
212     my $want = join ",\n    ", (map {"want_vtbl_$_"} @names), 'magic_vtable_max';
213     my $names = join qq{",\n    "}, @names;
214
215     print $vt <<"EOH";
216
217 enum {          /* pass one of these to get_vtbl */
218     $want
219 };
220
221 #ifdef DOINIT
222 EXTCONST char *PL_magic_vtable_names[magic_vtable_max] = {
223     "$names"
224 };
225 #else
226 EXTCONST char *PL_magic_vtable_names[magic_vtable_max];
227 #endif
228
229 EOH
230 }
231
232 print $vt <<'EOH';
233 /* These all need to be 0, not NULL, as NULL can be (void*)0, which is a
234  * pointer to data, whereas we're assigning pointers to functions, which are
235  * not the same beast. ANSI doesn't allow the assignment from one to the other.
236  * (although most, but not all, compilers are prepared to do it)
237  */
238
239 /* order is:
240     get
241     set
242     len
243     clear
244     free
245     copy
246     dup
247     local
248 */
249
250 #ifdef DOINIT
251 EXT_MGVTBL PL_magic_vtables[magic_vtable_max] = {
252 EOH
253
254 my @vtable_names;
255 my @aliases;
256
257 while (my $name = shift @names) {
258     my $data = $sig{$name};
259     push @vtable_names, $name;
260     my @funcs = map {
261         $data->{$_} ? "Perl_magic_$data->{$_}" : 0;
262     } qw(get set len clear free copy dup local);
263
264     $funcs[0] = "(int (*)(pTHX_ SV *, MAGIC *))" . $funcs[0] if $data->{const};
265     my $funcs = join ", ", @funcs;
266
267     # Because we can't have a , after the last {...}
268     my $comma = @names ? ',' : '';
269
270     print $vt "$data->{cond}\n" if $data->{cond};
271     print $vt "  { $funcs }$comma\n";
272     print $vt <<"EOH" if $data->{cond};
273 #else
274   { 0, 0, 0, 0, 0, 0, 0, 0 }$comma
275 #endif
276 EOH
277     foreach(@{$data->{alias}}) {
278         push @aliases, "#define want_vtbl_$_ want_vtbl_$name\n";
279         push @vtable_names, $_;
280     }
281 }
282
283 print $vt <<'EOH';
284 };
285 #else
286 EXT_MGVTBL PL_magic_vtables[magic_vtable_max];
287 #endif
288
289 EOH
290
291 print $vt (sort @aliases), "\n";
292
293 print $vt "#define PL_vtbl_$_ PL_magic_vtables[want_vtbl_$_]\n"
294     foreach sort @vtable_names;
295
296 # 63, not 64, As we rely on the last possible value to mean "NULL vtable"
297 die "Too many vtable names" if @vtable_names > 63;
298
299 read_only_bottom_close_and_rename($_) foreach $vt, $raw, $names;