(perl #131746) avoid undefined behaviour in Copy() etc
[perl.git] / parser.h
1 /*    parser.h
2  *
3  *    Copyright (c) 2006, 2007, 2009, 2010, 2011 Larry Wall and others
4  *
5  *    You may distribute under the terms of either the GNU General Public
6  *    License or the Artistic License, as specified in the README file.
7  * 
8  * This file defines the layout of the parser object used by the parser
9  * and lexer (perly.c, toke.c).
10  */
11
12 #define YYEMPTY         (-2)
13
14 typedef struct {
15     YYSTYPE val;    /* semantic value */
16     short   state;
17     I32     savestack_ix;       /* size of savestack at this state */
18     CV      *compcv; /* value of PL_compcv when this value was created */
19 #ifdef DEBUGGING
20     const char  *name; /* token/rule name for -Dpv */
21 #endif
22 } yy_stack_frame;
23
24 /* Fields that need to be shared with (i.e., visible to) inner lex-
25    ing scopes. */
26 typedef struct yy_lexshared {
27     struct yy_lexshared *ls_prev;
28     SV                  *ls_linestr;    /* mirrors PL_parser->linestr */
29     char                *ls_bufptr;     /* mirrors PL_parser->bufptr */
30     char                *re_eval_start; /* start of "(?{..." text */
31     SV                  *re_eval_str;   /* "(?{...})" text */
32 } LEXSHARED;
33
34 typedef struct yy_parser {
35
36     /* parser state */
37
38     struct yy_parser *old_parser; /* previous value of PL_parser */
39     YYSTYPE         yylval;     /* value of lookahead symbol, set by yylex() */
40     int             yychar;     /* The lookahead symbol.  */
41
42     /* Number of tokens to shift before error messages enabled.  */
43     int             yyerrstatus;
44
45     int             yylen;      /* length of active reduction */
46     yy_stack_frame  *stack;     /* base of stack */
47     yy_stack_frame  *stack_max1;/* (top-1)th element of allocated stack */
48     yy_stack_frame  *ps;        /* current stack frame */
49
50     /* lexer state */
51
52     I32         lex_brackets;   /* square and curly bracket count */
53     I32         lex_casemods;   /* casemod count */
54     char        *lex_brackstack;/* what kind of brackets to pop */
55     char        *lex_casestack; /* what kind of case mods in effect */
56     U8          lex_defer;      /* state after determined token */
57     U8          lex_dojoin;     /* doing an array interpolation
58                                    1 = @{...}  2 = ->@ */
59     U8          expect;         /* how to interpret ambiguous tokens */
60     bool        preambled;
61     I32         lex_formbrack;  /* bracket count at outer format level */
62     OP          *lex_inpat;     /* in pattern $) and $| are special */
63     OP          *lex_op;        /* extra info to pass back on op */
64     SV          *lex_repl;      /* runtime replacement from s/// */
65     U16         lex_inwhat;     /* what kind of quoting are we in */
66     OPCODE      last_lop_op;    /* last named list or unary operator */
67     I32         lex_starts;     /* how many interps done on level */
68     SV          *lex_stuff;     /* runtime pattern from m// or s/// */
69     I32         multi_start;    /* 1st line of multi-line string */
70     I32         multi_end;      /* last line of multi-line string */
71     UV          multi_open;     /* delimiter of said string */
72     UV          multi_close;    /* delimiter of said string */
73     bool        lex_re_reparsing; /* we're doing G_RE_REPARSING */
74     U8          lex_super_state;/* lexer state to save */
75     U16         lex_sub_inwhat; /* "lex_inwhat" to use in sublex_push */
76     I32         lex_allbrackets;/* (), [], {}, ?: bracket count */
77     OP          *lex_sub_op;    /* current op in y/// or pattern */
78     SV          *lex_sub_repl;  /* repl of s/// used in sublex_push */
79     LEXSHARED   *lex_shared;
80     SV          *linestr;       /* current chunk of src text */
81     char        *bufptr;        /* carries the cursor (current parsing
82                                    position) from one invocation of yylex
83                                    to the next */
84     char        *oldbufptr;     /* in yylex, beginning of current token */
85     char        *oldoldbufptr;  /* in yylex, beginning of previous token */
86     char        *bufend;        
87     char        *linestart;     /* beginning of most recently read line */
88     char        *last_uni;      /* position of last named-unary op */
89     char        *last_lop;      /* position of last list operator */
90     /* copline is used to pass a specific line number to newSTATEOP.  It
91        is a one-time line number, as newSTATEOP invalidates it (sets it to
92        NOLINE) after using it.  The purpose of this is to report line num-
93        bers in multiline constructs using the number of the first line. */
94     line_t      copline;
95     U16         in_my;          /* we're compiling a "my"/"our" declaration */
96     U8          lex_state;      /* next token is determined */
97     U8          error_count;    /* how many compile errors so far, max 10 */
98     HV          *in_my_stash;   /* declared class of this "my" declaration */
99     PerlIO      *rsfp;          /* current source file pointer */
100     AV          *rsfp_filters;  /* holds chain of active source filters */
101
102     YYSTYPE     nextval[5];     /* value of next token, if any */
103     I32         nexttype[5];    /* type of next token */
104     U8          nexttoke;
105     U8          form_lex_state; /* remember lex_state when parsing fmt */
106     U8          lex_fakeeof;    /* precedence at which to fake EOF */
107     U8          lex_flags;
108     COP         *saved_curcop;  /* the previous PL_curcop */
109     char        tokenbuf[256];
110     line_t      herelines;      /* number of lines in here-doc */
111     line_t      preambling;     /* line # when processing $ENV{PERL5DB} */
112
113     /* these are valid while parsing a subroutine signature */
114     IV          sig_elems;      /* number of signature elements seen so far */
115     IV          sig_optelems;   /* number of optional signature elems seen */
116     char        sig_slurpy;     /* the sigil of the slurpy var (or null) */
117
118     bool        recheck_utf8_validity;
119
120     PERL_BITFIELD16     in_pod:1;      /* lexer is within a =pod section */
121     PERL_BITFIELD16     filtered:1;    /* source filters in evalbytes */
122     PERL_BITFIELD16     saw_infix_sigil:1; /* saw & or * or % operator */
123     PERL_BITFIELD16     parsed_sub:1;  /* last thing parsed was a sub */
124 } yy_parser;
125
126 /* flags for lexer API */
127 #define LEX_STUFF_UTF8          0x00000001
128 #define LEX_KEEP_PREVIOUS       0x00000002
129
130 #ifdef PERL_CORE
131 # define LEX_START_SAME_FILTER  0x00000001
132 # define LEX_IGNORE_UTF8_HINTS  0x00000002
133 # define LEX_EVALBYTES          0x00000004
134 # define LEX_START_COPIED       0x00000008
135 # define LEX_DONT_CLOSE_RSFP    0x00000010
136 # define LEX_START_FLAGS \
137         (LEX_START_SAME_FILTER|LEX_START_COPIED \
138         |LEX_IGNORE_UTF8_HINTS|LEX_EVALBYTES|LEX_DONT_CLOSE_RSFP)
139 #endif
140
141 /* flags for parser API */
142 #define PARSE_OPTIONAL          0x00000001
143
144 /* values for lex_fakeeof */
145 enum {
146     LEX_FAKEEOF_NEVER,      /* don't fake EOF */
147     LEX_FAKEEOF_CLOSING,    /* fake EOF at unmatched closing punctuation */
148     LEX_FAKEEOF_NONEXPR,    /* ... and at token that can't be in expression */
149     LEX_FAKEEOF_LOWLOGIC,   /* ... and at low-precedence logic operator */
150     LEX_FAKEEOF_COMMA,      /* ... and at comma */
151     LEX_FAKEEOF_ASSIGN,     /* ... and at assignment operator */
152     LEX_FAKEEOF_IFELSE,     /* ... and at ?: operator */
153     LEX_FAKEEOF_RANGE,      /* ... and at range operator */
154     LEX_FAKEEOF_LOGIC,      /* ... and at logic operator */
155     LEX_FAKEEOF_BITWISE,    /* ... and at bitwise operator */
156     LEX_FAKEEOF_COMPARE,    /* ... and at comparison operator */
157     LEX_FAKEEOF_MAX
158 };
159
160 /*
161  * ex: set ts=8 sts=4 sw=4 et:
162  */