Initial 3-way merge from (5.001m, thr1m, 5.003) plus fixups.
[perl.git] / toke.c
1 /*    toke.c
2  *
3  *    Copyright (c) 1991-1994, Larry Wall
4  *
5  *    You may distribute under the terms of either the GNU General Public
6  *    License or the Artistic License, as specified in the README file.
7  *
8  */
9
10 /*
11  *   "It all comes from here, the stench and the peril."  --Frodo
12  */
13
14 #include "EXTERN.h"
15 #include "perl.h"
16
17 static void check_uni _((void));
18 static void  force_next _((I32 type));
19 static char *force_word _((char *start, int token, int check_keyword, int allow_pack, int allow_tick));
20 static SV *q _((SV *sv));
21 static char *scan_const _((char *start));
22 static char *scan_formline _((char *s));
23 static char *scan_heredoc _((char *s));
24 static char *scan_ident _((char *s, char *send, char *dest, I32 ck_uni));
25 static char *scan_inputsymbol _((char *start));
26 static char *scan_pat _((char *start));
27 static char *scan_str _((char *start));
28 static char *scan_subst _((char *start));
29 static char *scan_trans _((char *start));
30 static char *scan_word _((char *s, char *dest, int allow_package, STRLEN *slp));
31 static char *skipspace _((char *s));
32 static void checkcomma _((char *s, char *name, char *what));
33 static void force_ident _((char *s, int kind));
34 static void incline _((char *s));
35 static int intuit_method _((char *s, GV *gv));
36 static int intuit_more _((char *s));
37 static I32 lop _((I32 f, expectation x, char *s));
38 static void missingterm _((char *s));
39 static void no_op _((char *what, char *s));
40 static void set_csh _((void));
41 static I32 sublex_done _((void));
42 static I32 sublex_start _((void));
43 #ifdef CRIPPLED_CC
44 static int uni _((I32 f, char *s));
45 #endif
46 static char * filter_gets _((SV *sv, FILE *fp));
47 static void restore_rsfp _((void *f));
48
49 /* The following are arranged oddly so that the guard on the switch statement
50  * can get by with a single comparison (if the compiler is smart enough).
51  */
52
53 #define LEX_NORMAL              9
54 #define LEX_INTERPNORMAL        8
55 #define LEX_INTERPCASEMOD       7
56 #define LEX_INTERPSTART         6
57 #define LEX_INTERPEND           5
58 #define LEX_INTERPENDMAYBE      4
59 #define LEX_INTERPCONCAT        3
60 #define LEX_INTERPCONST         2
61 #define LEX_FORMLINE            1
62 #define LEX_KNOWNEXT            0
63
64 #ifdef I_FCNTL
65 #include <fcntl.h>
66 #endif
67 #ifdef I_SYS_FILE
68 #include <sys/file.h>
69 #endif
70
71 #ifdef ff_next
72 #undef ff_next
73 #endif
74
75 #include "keywords.h"
76
77 #ifdef CLINE
78 #undef CLINE
79 #endif
80 #define CLINE (copline = (curcop->cop_line < copline ? curcop->cop_line : copline))
81
82 #define TOKEN(retval) return (bufptr = s,(int)retval)
83 #define OPERATOR(retval) return (expect = XTERM,bufptr = s,(int)retval)
84 #define AOPERATOR(retval) return ao((expect = XTERM,bufptr = s,(int)retval))
85 #define PREBLOCK(retval) return (expect = XBLOCK,bufptr = s,(int)retval)
86 #define PRETERMBLOCK(retval) return (expect = XTERMBLOCK,bufptr = s,(int)retval)
87 #define PREREF(retval) return (expect = XREF,bufptr = s,(int)retval)
88 #define TERM(retval) return (CLINE, expect = XOPERATOR,bufptr = s,(int)retval)
89 #define LOOPX(f) return(yylval.ival=f,expect = XTERM,bufptr = s,(int)LOOPEX)
90 #define FTST(f) return(yylval.ival=f,expect = XTERM,bufptr = s,(int)UNIOP)
91 #define FUN0(f) return(yylval.ival = f,expect = XOPERATOR,bufptr = s,(int)FUNC0)
92 #define FUN1(f) return(yylval.ival = f,expect = XOPERATOR,bufptr = s,(int)FUNC1)
93 #define BOop(f) return ao((yylval.ival=f,expect = XTERM,bufptr = s,(int)BITOROP))
94 #define BAop(f) return ao((yylval.ival=f,expect = XTERM,bufptr = s,(int)BITANDOP))
95 #define SHop(f) return ao((yylval.ival=f,expect = XTERM,bufptr = s,(int)SHIFTOP))
96 #define PWop(f) return ao((yylval.ival=f,expect = XTERM,bufptr = s,(int)POWOP))
97 #define PMop(f) return(yylval.ival=f,expect = XTERM,bufptr = s,(int)MATCHOP)
98 #define Aop(f) return ao((yylval.ival=f,expect = XTERM,bufptr = s,(int)ADDOP))
99 #define Mop(f) return ao((yylval.ival=f,expect = XTERM,bufptr = s,(int)MULOP))
100 #define Eop(f) return(yylval.ival=f,expect = XTERM,bufptr = s,(int)EQOP)
101 #define Rop(f) return(yylval.ival=f,expect = XTERM,bufptr = s,(int)RELOP)
102
103 /* This bit of chicanery makes a unary function followed by
104  * a parenthesis into a function with one argument, highest precedence.
105  */
106 #define UNI(f) return(yylval.ival = f, \
107         expect = XTERM, \
108         bufptr = s, \
109         last_uni = oldbufptr, \
110         last_lop_op = f, \
111         (*s == '(' || (s = skipspace(s), *s == '(') ? (int)FUNC1 : (int)UNIOP) )
112
113 #define UNIBRACK(f) return(yylval.ival = f, \
114         bufptr = s, \
115         last_uni = oldbufptr, \
116         (*s == '(' || (s = skipspace(s), *s == '(') ? (int)FUNC1 : (int)UNIOP) )
117
118 /* grandfather return to old style */
119 #define OLDLOP(f) return(yylval.ival=f,expect = XTERM,bufptr = s,(int)LSTOP)
120
121 static int
122 ao(toketype)
123 int toketype;
124 {
125     if (*bufptr == '=') {
126         bufptr++;
127         if (toketype == ANDAND)
128             yylval.ival = OP_ANDASSIGN;
129         else if (toketype == OROR)
130             yylval.ival = OP_ORASSIGN;
131         toketype = ASSIGNOP;
132     }
133     return toketype;
134 }
135
136 static void
137 no_op(what, s)
138 char *what;
139 char *s;
140 {
141     char tmpbuf[128];
142     char *oldbp = bufptr;
143     bool is_first = (oldbufptr == SvPVX(linestr));
144     bufptr = s;
145     sprintf(tmpbuf, "%s found where operator expected", what);
146     yywarn(tmpbuf);
147     if (is_first)
148         warn("\t(Missing semicolon on previous line?)\n");
149     else if (oldoldbufptr && isIDFIRST(*oldoldbufptr)) {
150         char *t;
151         for (t = oldoldbufptr; *t && (isALNUM(*t) || *t == ':'); t++) ;
152         if (t < bufptr && isSPACE(*t))
153             warn("\t(Do you need to predeclare %.*s?)\n",
154                 t - oldoldbufptr, oldoldbufptr);
155
156     }
157     else
158         warn("\t(Missing operator before %.*s?)\n", s - oldbp, oldbp);
159     bufptr = oldbp;
160 }
161
162 static void
163 missingterm(s)
164 char *s;
165 {
166     char tmpbuf[3];
167     char q;
168     if (s) {
169         char *nl = strrchr(s,'\n');
170         if (nl)
171             *nl = '\0';
172     }
173     else if (multi_close < 32 || multi_close == 127) {
174         *tmpbuf = '^';
175         tmpbuf[1] = multi_close ^ 64;
176         s = "\\n";
177         tmpbuf[2] = '\0';
178         s = tmpbuf;
179     }
180     else {
181         *tmpbuf = multi_close;
182         tmpbuf[1] = '\0';
183         s = tmpbuf;
184     }
185     q = strchr(s,'"') ? '\'' : '"';
186     croak("Can't find string terminator %c%s%c anywhere before EOF",q,s,q);
187 }
188
189 void
190 deprecate(s)
191 char *s;
192 {
193     if (dowarn)
194         warn("Use of %s is deprecated", s);
195 }
196
197 static void
198 depcom()
199 {
200     deprecate("comma-less variable list");
201 }
202
203 void
204 lex_start(line)
205 SV *line;
206 {
207     char *s;
208     STRLEN len;
209
210     SAVEINT(lex_dojoin);
211     SAVEINT(lex_brackets);
212     SAVEINT(lex_fakebrack);
213     SAVEINT(lex_casemods);
214     SAVEINT(lex_starts);
215     SAVEINT(lex_state);
216     SAVESPTR(lex_inpat);
217     SAVEINT(lex_inwhat);
218     SAVEINT(curcop->cop_line);
219     SAVEPPTR(bufptr);
220     SAVEPPTR(bufend);
221     SAVEPPTR(oldbufptr);
222     SAVEPPTR(oldoldbufptr);
223     SAVESPTR(linestr);
224     SAVEPPTR(lex_brackstack);
225     SAVEPPTR(lex_casestack);
226     SAVEDESTRUCTOR(restore_rsfp, rsfp);
227
228     lex_state = LEX_NORMAL;
229     lex_defer = 0;
230     expect = XSTATE;
231     lex_brackets = 0;
232     lex_fakebrack = 0;
233     New(899, lex_brackstack, 120, char);
234     New(899, lex_casestack, 12, char);
235     SAVEFREEPV(lex_brackstack);
236     SAVEFREEPV(lex_casestack);
237     lex_casemods = 0;
238     *lex_casestack = '\0';
239     lex_dojoin = 0;
240     lex_starts = 0;
241     if (lex_stuff)
242         SvREFCNT_dec(lex_stuff);
243     lex_stuff = Nullsv;
244     if (lex_repl)
245         SvREFCNT_dec(lex_repl);
246     lex_repl = Nullsv;
247     lex_inpat = 0;
248     lex_inwhat = 0;
249     linestr = line;
250     if (SvREADONLY(linestr))
251         linestr = sv_2mortal(newSVsv(linestr));
252     s = SvPV(linestr, len);
253     if (len && s[len-1] != ';') {
254         if (!(SvFLAGS(linestr) & SVs_TEMP))
255             linestr = sv_2mortal(newSVsv(linestr));
256         sv_catpvn(linestr, "\n;", 2);
257     }
258     SvTEMP_off(linestr);
259     oldoldbufptr = oldbufptr = bufptr = SvPVX(linestr);
260     bufend = bufptr + SvCUR(linestr);
261     SvREFCNT_dec(rs);
262     rs = newSVpv("\n", 1);
263     rsfp = 0;
264 }
265
266 void
267 lex_end()
268 {
269 }
270
271 static void
272 restore_rsfp(f)
273 void *f;
274 {
275     FILE *fp = (FILE*)f;
276
277     if (rsfp == stdin)
278         clearerr(rsfp);
279     else if (rsfp && (rsfp != fp))
280         fclose(rsfp);
281     rsfp = fp;
282 }
283
284 static void
285 incline(s)
286 char *s;
287 {
288     char *t;
289     char *n;
290     char ch;
291     int sawline = 0;
292
293     curcop->cop_line++;
294     if (*s++ != '#')
295         return;
296     while (*s == ' ' || *s == '\t') s++;
297     if (strnEQ(s, "line ", 5)) {
298         s += 5;
299         sawline = 1;
300     }
301     if (!isDIGIT(*s))
302         return;
303     n = s;
304     while (isDIGIT(*s))
305         s++;
306     while (*s == ' ' || *s == '\t')
307         s++;
308     if (*s == '"' && (t = strchr(s+1, '"')))
309         s++;
310     else {
311         if (!sawline)
312             return;             /* false alarm */
313         for (t = s; !isSPACE(*t); t++) ;
314     }
315     ch = *t;
316     *t = '\0';
317     if (t - s > 0)
318         curcop->cop_filegv = gv_fetchfile(s);
319     else
320         curcop->cop_filegv = gv_fetchfile(origfilename);
321     *t = ch;
322     curcop->cop_line = atoi(n)-1;
323 }
324
325 static char *
326 skipspace(s)
327 register char *s;
328 {
329     dTHR;
330     if (lex_formbrack && lex_brackets <= lex_formbrack) {
331         while (s < bufend && (*s == ' ' || *s == '\t'))
332             s++;
333         return s;
334     }
335     for (;;) {
336         while (s < bufend && isSPACE(*s))
337             s++;
338         if (s < bufend && *s == '#') {
339             while (s < bufend && *s != '\n')
340                 s++;
341             if (s < bufend)
342                 s++;
343         }
344         if (s < bufend || !rsfp || lex_state != LEX_NORMAL)
345             return s;
346         if ((s = filter_gets(linestr, rsfp)) == Nullch) {
347             if (minus_n || minus_p) {
348                 sv_setpv(linestr,minus_p ? ";}continue{print" : "");
349                 sv_catpv(linestr,";}");
350                 minus_n = minus_p = 0;
351             }
352             else
353                 sv_setpv(linestr,";");
354             oldoldbufptr = oldbufptr = bufptr = s = SvPVX(linestr);
355             bufend = SvPVX(linestr) + SvCUR(linestr);
356             if (preprocess && !in_eval)
357                 (void)my_pclose(rsfp);
358             else if ((FILE*)rsfp == stdin)
359                 clearerr(stdin);
360             else
361                 (void)fclose(rsfp);
362             rsfp = Nullfp;
363             return s;
364         }
365         oldoldbufptr = oldbufptr = bufptr = s;
366         bufend = bufptr + SvCUR(linestr);
367         incline(s);
368         if (perldb && curstash != debstash) {
369             SV *sv = NEWSV(85,0);
370
371             sv_upgrade(sv, SVt_PVMG);
372             sv_setsv(sv,linestr);
373             av_store(GvAV(curcop->cop_filegv),(I32)curcop->cop_line,sv);
374         }
375     }
376 }
377
378 static void
379 check_uni() {
380     char *s;
381     char ch;
382     char *t;
383
384     if (oldoldbufptr != last_uni)
385         return;
386     while (isSPACE(*last_uni))
387         last_uni++;
388     for (s = last_uni; isALNUM(*s) || *s == '-'; s++) ;
389     if ((t = strchr(s, '(')) && t < bufptr)
390         return;
391     ch = *s;
392     *s = '\0';
393     warn("Warning: Use of \"%s\" without parens is ambiguous", last_uni);
394     *s = ch;
395 }
396
397 #ifdef CRIPPLED_CC
398
399 #undef UNI
400 #define UNI(f) return uni(f,s)
401
402 static int
403 uni(f,s)
404 I32 f;
405 char *s;
406 {
407     yylval.ival = f;
408     expect = XTERM;
409     bufptr = s;
410     last_uni = oldbufptr;
411     last_lop_op = f;
412     if (*s == '(')
413         return FUNC1;
414     s = skipspace(s);
415     if (*s == '(')
416         return FUNC1;
417     else
418         return UNIOP;
419 }
420
421 #endif /* CRIPPLED_CC */
422
423 #define LOP(f,x) return lop(f,x,s)
424
425 static I32
426 lop(f,x,s)
427 I32 f;
428 expectation x;
429 char *s;
430 {
431     yylval.ival = f;
432     CLINE;
433     expect = x;
434     bufptr = s;
435     last_lop = oldbufptr;
436     last_lop_op = f;
437     if (nexttoke)
438         return LSTOP;
439     if (*s == '(')
440         return FUNC;
441     s = skipspace(s);
442     if (*s == '(')
443         return FUNC;
444     else
445         return LSTOP;
446 }
447
448 static void 
449 force_next(type)
450 I32 type;
451 {
452     nexttype[nexttoke] = type;
453     nexttoke++;
454     if (lex_state != LEX_KNOWNEXT) {
455         lex_defer = lex_state;
456         lex_expect = expect;
457         lex_state = LEX_KNOWNEXT;
458     }
459 }
460
461 static char *
462 force_word(start,token,check_keyword,allow_pack,allow_tick)
463 register char *start;
464 int token;
465 int check_keyword;
466 int allow_pack;
467 int allow_tick;
468 {
469     register char *s;
470     STRLEN len;
471     
472     start = skipspace(start);
473     s = start;
474     if (isIDFIRST(*s) ||
475         (allow_pack && *s == ':') ||
476         (allow_tick && *s == '\'') )
477     {
478         s = scan_word(s, tokenbuf, allow_pack, &len);
479         if (check_keyword && keyword(tokenbuf, len))
480             return start;
481         if (token == METHOD) {
482             s = skipspace(s);
483             if (*s == '(')
484                 expect = XTERM;
485             else {
486                 expect = XOPERATOR;
487                 force_next(')');
488                 force_next('(');
489             }
490         }
491         nextval[nexttoke].opval = (OP*)newSVOP(OP_CONST,0, newSVpv(tokenbuf,0));
492         nextval[nexttoke].opval->op_private |= OPpCONST_BARE;
493         force_next(token);
494     }
495     return s;
496 }
497
498 static void
499 force_ident(s, kind)
500 register char *s;
501 int kind;
502 {
503     if (s && *s) {
504         OP* o = (OP*)newSVOP(OP_CONST, 0, newSVpv(s,0));
505         nextval[nexttoke].opval = o;
506         force_next(WORD);
507         if (kind) {
508             o->op_private = OPpCONST_ENTERED;
509             gv_fetchpv(s, TRUE,
510                 kind == '$' ? SVt_PV :
511                 kind == '@' ? SVt_PVAV :
512                 kind == '%' ? SVt_PVHV :
513                               SVt_PVGV
514                 );
515         }
516     }
517 }
518
519 static SV *
520 q(sv)
521 SV *sv;
522 {
523     register char *s;
524     register char *send;
525     register char *d;
526     STRLEN len;
527
528     if (!SvLEN(sv))
529         return sv;
530
531     s = SvPV_force(sv, len);
532     if (SvIVX(sv) == -1)
533         return sv;
534     send = s + len;
535     while (s < send && *s != '\\')
536         s++;
537     if (s == send)
538         return sv;
539     d = s;
540     while (s < send) {
541         if (*s == '\\') {
542             if (s + 1 < send && (s[1] == '\\'))
543                 s++;            /* all that, just for this */
544         }
545         *d++ = *s++;
546     }
547     *d = '\0';
548     SvCUR_set(sv, d - SvPVX(sv));
549
550     return sv;
551 }
552
553 static I32
554 sublex_start()
555 {
556     register I32 op_type = yylval.ival;
557
558     if (op_type == OP_NULL) {
559         yylval.opval = lex_op;
560         lex_op = Nullop;
561         return THING;
562     }
563     if (op_type == OP_CONST || op_type == OP_READLINE) {
564         yylval.opval = (OP*)newSVOP(op_type, 0, q(lex_stuff));
565         lex_stuff = Nullsv;
566         return THING;
567     }
568
569     push_scope();
570     SAVEINT(lex_dojoin);
571     SAVEINT(lex_brackets);
572     SAVEINT(lex_fakebrack);
573     SAVEINT(lex_casemods);
574     SAVEINT(lex_starts);
575     SAVEINT(lex_state);
576     SAVESPTR(lex_inpat);
577     SAVEINT(lex_inwhat);
578     SAVEINT(curcop->cop_line);
579     SAVEPPTR(bufptr);
580     SAVEPPTR(oldbufptr);
581     SAVEPPTR(oldoldbufptr);
582     SAVESPTR(linestr);
583     SAVEPPTR(lex_brackstack);
584     SAVEPPTR(lex_casestack);
585
586     linestr = lex_stuff;
587     lex_stuff = Nullsv;
588
589     bufend = bufptr = oldbufptr = oldoldbufptr = SvPVX(linestr);
590     bufend += SvCUR(linestr);
591     SAVEFREESV(linestr);
592
593     lex_dojoin = FALSE;
594     lex_brackets = 0;
595     lex_fakebrack = 0;
596     New(899, lex_brackstack, 120, char);
597     New(899, lex_casestack, 12, char);
598     SAVEFREEPV(lex_brackstack);
599     SAVEFREEPV(lex_casestack);
600     lex_casemods = 0;
601     *lex_casestack = '\0';
602     lex_starts = 0;
603     lex_state = LEX_INTERPCONCAT;
604     curcop->cop_line = multi_start;
605
606     lex_inwhat = op_type;
607     if (op_type == OP_MATCH || op_type == OP_SUBST)
608         lex_inpat = lex_op;
609     else
610         lex_inpat = 0;
611
612     expect = XTERM;
613     force_next('(');
614     if (lex_op) {
615         yylval.opval = lex_op;
616         lex_op = Nullop;
617         return PMFUNC;
618     }
619     else
620         return FUNC;
621 }
622
623 static I32
624 sublex_done()
625 {
626     if (!lex_starts++) {
627         expect = XOPERATOR;
628         yylval.opval = (OP*)newSVOP(OP_CONST, 0, newSVpv("",0));
629         return THING;
630     }
631
632     if (lex_casemods) {         /* oops, we've got some unbalanced parens */
633         lex_state = LEX_INTERPCASEMOD;
634         return yylex();
635     }
636
637     /* Is there a right-hand side to take care of? */
638     if (lex_repl && (lex_inwhat == OP_SUBST || lex_inwhat == OP_TRANS)) {
639         linestr = lex_repl;
640         lex_inpat = 0;
641         bufend = bufptr = oldbufptr = oldoldbufptr = SvPVX(linestr);
642         bufend += SvCUR(linestr);
643         SAVEFREESV(linestr);
644         lex_dojoin = FALSE;
645         lex_brackets = 0;
646         lex_fakebrack = 0;
647         lex_casemods = 0;
648         *lex_casestack = '\0';
649         lex_starts = 0;
650         if (SvCOMPILED(lex_repl)) {
651             lex_state = LEX_INTERPNORMAL;
652             lex_starts++;
653         }
654         else
655             lex_state = LEX_INTERPCONCAT;
656         lex_repl = Nullsv;
657         return ',';
658     }
659     else {
660         pop_scope();
661         bufend = SvPVX(linestr);
662         bufend += SvCUR(linestr);
663         expect = XOPERATOR;
664         return ')';
665     }
666 }
667
668 static char *
669 scan_const(start)
670 char *start;
671 {
672     register char *send = bufend;
673     SV *sv = NEWSV(93, send - start);
674     register char *s = start;
675     register char *d = SvPVX(sv);
676     bool dorange = FALSE;
677     I32 len;
678     char *leave =
679         lex_inpat
680             ? "\\.^$@AGZdDwWsSbB+*?|()-nrtfeaxc0123456789[{]} \t\n\r\f\v#"
681             : (lex_inwhat & OP_TRANS)
682                 ? ""
683                 : "";
684
685     while (s < send || dorange) {
686         if (lex_inwhat == OP_TRANS) {
687             if (dorange) {
688                 I32 i;
689                 I32 max;
690                 i = d - SvPVX(sv);
691                 SvGROW(sv, SvLEN(sv) + 256);
692                 d = SvPVX(sv) + i;
693                 d -= 2;
694                 max = (U8)d[1];
695                 for (i = (U8)*d; i <= max; i++)
696                     *d++ = i;
697                 dorange = FALSE;
698                 continue;
699             }
700             else if (*s == '-' && s+1 < send  && s != start) {
701                 dorange = TRUE;
702                 s++;
703             }
704         }
705         else if (*s == '(' && lex_inpat && s[1] == '?' && s[2] == '#') {
706             while (s < send && *s != ')')
707                 *d++ = *s++;
708         }
709         else if (*s == '#' && lex_inpat &&
710           ((PMOP*)lex_inpat)->op_pmflags & PMf_EXTENDED) {
711             while (s+1 < send && *s != '\n')
712                 *d++ = *s++;
713         }
714         else if (*s == '@' && s[1] && (isALNUM(s[1]) || strchr(":'{$", s[1])))
715             break;
716         else if (*s == '$') {
717             if (!lex_inpat)     /* not a regexp, so $ must be var */
718                 break;
719             if (s + 1 < send && !strchr(")| \n\t", s[1]))
720                 break;          /* in regexp, $ might be tail anchor */
721         }
722         if (*s == '\\' && s+1 < send) {
723             s++;
724             if (*s && strchr(leave, *s)) {
725                 *d++ = '\\';
726                 *d++ = *s++;
727                 continue;
728             }
729             if (lex_inwhat == OP_SUBST && !lex_inpat &&
730                 isDIGIT(*s) && *s != '0' && !isDIGIT(s[1]))
731             {
732                 if (dowarn)
733                     warn("\\%c better written as $%c", *s, *s);
734                 *--s = '$';
735                 break;
736             }
737             if (lex_inwhat != OP_TRANS && *s && strchr("lLuUEQ", *s)) {
738                 --s;
739                 break;
740             }
741             switch (*s) {
742             case '-':
743                 if (lex_inwhat == OP_TRANS) {
744                     *d++ = *s++;
745                     continue;
746                 }
747                 /* FALL THROUGH */
748             default:
749                 *d++ = *s++;
750                 continue;
751             case '0': case '1': case '2': case '3':
752             case '4': case '5': case '6': case '7':
753                 *d++ = scan_oct(s, 3, &len);
754                 s += len;
755                 continue;
756             case 'x':
757                 *d++ = scan_hex(++s, 2, &len);
758                 s += len;
759                 continue;
760             case 'c':
761                 s++;
762                 *d = *s++;
763                 if (isLOWER(*d))
764                     *d = toUPPER(*d);
765                 *d++ ^= 64;
766                 continue;
767             case 'b':
768                 *d++ = '\b';
769                 break;
770             case 'n':
771                 *d++ = '\n';
772                 break;
773             case 'r':
774                 *d++ = '\r';
775                 break;
776             case 'f':
777                 *d++ = '\f';
778                 break;
779             case 't':
780                 *d++ = '\t';
781                 break;
782             case 'e':
783                 *d++ = '\033';
784                 break;
785             case 'a':
786                 *d++ = '\007';
787                 break;
788             }
789             s++;
790             continue;
791         }
792         *d++ = *s++;
793     }
794     *d = '\0';
795     SvCUR_set(sv, d - SvPVX(sv));
796     SvPOK_on(sv);
797
798     if (SvCUR(sv) + 5 < SvLEN(sv)) {
799         SvLEN_set(sv, SvCUR(sv) + 1);
800         Renew(SvPVX(sv), SvLEN(sv), char);
801     }
802     if (s > bufptr)
803         yylval.opval = (OP*)newSVOP(OP_CONST, 0, sv);
804     else
805         SvREFCNT_dec(sv);
806     return s;
807 }
808
809 /* This is the one truly awful dwimmer necessary to conflate C and sed. */
810 static int
811 intuit_more(s)
812 register char *s;
813 {
814     if (lex_brackets)
815         return TRUE;
816     if (*s == '-' && s[1] == '>' && (s[2] == '[' || s[2] == '{'))
817         return TRUE;
818     if (*s != '{' && *s != '[')
819         return FALSE;
820     if (!lex_inpat)
821         return TRUE;
822
823     /* In a pattern, so maybe we have {n,m}. */
824     if (*s == '{') {
825         s++;
826         if (!isDIGIT(*s))
827             return TRUE;
828         while (isDIGIT(*s))
829             s++;
830         if (*s == ',')
831             s++;
832         while (isDIGIT(*s))
833             s++;
834         if (*s == '}')
835             return FALSE;
836         return TRUE;
837         
838     }
839
840     /* On the other hand, maybe we have a character class */
841
842     s++;
843     if (*s == ']' || *s == '^')
844         return FALSE;
845     else {
846         int weight = 2;         /* let's weigh the evidence */
847         char seen[256];
848         unsigned char un_char = 0, last_un_char;
849         char *send = strchr(s,']');
850         char tmpbuf[512];
851
852         if (!send)              /* has to be an expression */
853             return TRUE;
854
855         Zero(seen,256,char);
856         if (*s == '$')
857             weight -= 3;
858         else if (isDIGIT(*s)) {
859             if (s[1] != ']') {
860                 if (isDIGIT(s[1]) && s[2] == ']')
861                     weight -= 10;
862             }
863             else
864                 weight -= 100;
865         }
866         for (; s < send; s++) {
867             last_un_char = un_char;
868             un_char = (unsigned char)*s;
869             switch (*s) {
870             case '@':
871             case '&':
872             case '$':
873                 weight -= seen[un_char] * 10;
874                 if (isALNUM(s[1])) {
875                     scan_ident(s,send,tmpbuf,FALSE);
876                     if ((int)strlen(tmpbuf) > 1 && gv_fetchpv(tmpbuf,FALSE, SVt_PV))
877                         weight -= 100;
878                     else
879                         weight -= 10;
880                 }
881                 else if (*s == '$' && s[1] &&
882                   strchr("[#!%*<>()-=",s[1])) {
883                     if (/*{*/ strchr("])} =",s[2]))
884                         weight -= 10;
885                     else
886                         weight -= 1;
887                 }
888                 break;
889             case '\\':
890                 un_char = 254;
891                 if (s[1]) {
892                     if (strchr("wds]",s[1]))
893                         weight += 100;
894                     else if (seen['\''] || seen['"'])
895                         weight += 1;
896                     else if (strchr("rnftbxcav",s[1]))
897                         weight += 40;
898                     else if (isDIGIT(s[1])) {
899                         weight += 40;
900                         while (s[1] && isDIGIT(s[1]))
901                             s++;
902                     }
903                 }
904                 else
905                     weight += 100;
906                 break;
907             case '-':
908                 if (s[1] == '\\')
909                     weight += 50;
910                 if (strchr("aA01! ",last_un_char))
911                     weight += 30;
912                 if (strchr("zZ79~",s[1]))
913                     weight += 30;
914                 break;
915             default:
916                 if (!isALNUM(last_un_char) && !strchr("$@&",last_un_char) &&
917                         isALPHA(*s) && s[1] && isALPHA(s[1])) {
918                     char *d = tmpbuf;
919                     while (isALPHA(*s))
920                         *d++ = *s++;
921                     *d = '\0';
922                     if (keyword(tmpbuf, d - tmpbuf))
923                         weight -= 150;
924                 }
925                 if (un_char == last_un_char + 1)
926                     weight += 5;
927                 weight -= seen[un_char];
928                 break;
929             }
930             seen[un_char]++;
931         }
932         if (weight >= 0)        /* probably a character class */
933             return FALSE;
934     }
935
936     return TRUE;
937 }
938
939 static int
940 intuit_method(start,gv)
941 char *start;
942 GV *gv;
943 {
944     char *s = start + (*start == '$');
945     char tmpbuf[1024];
946     STRLEN len;
947     GV* indirgv;
948
949     if (gv) {
950         if (GvIO(gv))
951             return 0;
952         if (!GvCV(gv))
953             gv = 0;
954     }
955     s = scan_word(s, tmpbuf, TRUE, &len);
956     if (*start == '$') {
957         if (gv || last_lop_op == OP_PRINT || isUPPER(*tokenbuf))
958             return 0;
959         s = skipspace(s);
960         bufptr = start;
961         expect = XREF;
962         return *s == '(' ? FUNCMETH : METHOD;
963     }
964     if (!keyword(tmpbuf, len)) {
965         indirgv = gv_fetchpv(tmpbuf,FALSE, SVt_PVCV);
966         if (indirgv && GvCV(indirgv))
967             return 0;
968         /* filehandle or package name makes it a method */
969         if (!gv || GvIO(indirgv) || gv_stashpv(tmpbuf, FALSE)) {
970             s = skipspace(s);
971             nextval[nexttoke].opval =
972                 (OP*)newSVOP(OP_CONST, 0,
973                             newSVpv(tmpbuf,0));
974             nextval[nexttoke].opval->op_private =
975                 OPpCONST_BARE;
976             expect = XTERM;
977             force_next(WORD);
978             bufptr = s;
979             return *s == '(' ? FUNCMETH : METHOD;
980         }
981     }
982     return 0;
983 }
984
985 static char*
986 incl_perldb()
987 {
988     if (perldb) {
989         char *pdb = getenv("PERL5DB");
990
991         if (pdb)
992             return pdb;
993         return "BEGIN { require 'perl5db.pl' }";
994     }
995     return "";
996 }
997
998
999 /* Encoded script support. filter_add() effectively inserts a
1000  * 'pre-processing' function into the current source input stream. 
1001  * Note that the filter function only applies to the current source file
1002  * (e.g., it will not affect files 'require'd or 'use'd by this one).
1003  *
1004  * The datasv parameter (which may be NULL) can be used to pass
1005  * private data to this instance of the filter. The filter function
1006  * can recover the SV using the FILTER_DATA macro and use it to
1007  * store private buffers and state information.
1008  *
1009  * The supplied datasv parameter is upgraded to a PVIO type
1010  * and the IoDIRP field is used to store the function pointer.
1011  * Note that IoTOP_NAME, IoFMT_NAME, IoBOTTOM_NAME, if set for
1012  * private use must be set using malloc'd pointers.
1013  */
1014 static int filter_debug = 0;
1015
1016 SV *
1017 filter_add(funcp, datasv)
1018     filter_t funcp;
1019     SV *datasv;
1020 {
1021     if (!funcp){ /* temporary handy debugging hack to be deleted */
1022         filter_debug = atoi((char*)datasv);
1023         return NULL;
1024     }
1025     if (!rsfp_filters)
1026         rsfp_filters = newAV();
1027     if (!datasv)
1028         datasv = newSV(0);
1029     if (!SvUPGRADE(datasv, SVt_PVIO))
1030         die("Can't upgrade filter_add data to SVt_PVIO");
1031     IoDIRP(datasv) = (DIR*)funcp; /* stash funcp into spare field */
1032     if (filter_debug)
1033         warn("filter_add func %lx (%s)", funcp, SvPV(datasv,na));
1034     av_unshift(rsfp_filters, 1);
1035     av_store(rsfp_filters, 0, datasv) ;
1036     return(datasv);
1037 }
1038  
1039
1040 /* Delete most recently added instance of this filter function. */
1041 void
1042 filter_del(funcp)
1043     filter_t funcp;
1044 {
1045     if (filter_debug)
1046         warn("filter_del func %lx", funcp);
1047     if (!rsfp_filters || AvFILL(rsfp_filters)<0)
1048         return;
1049     /* if filter is on top of stack (usual case) just pop it off */
1050     if (IoDIRP(FILTER_DATA(0)) == (void*)funcp){
1051         /* sv_free(av_pop(rsfp_filters)); */
1052         sv_free(av_shift(rsfp_filters));
1053
1054         return;
1055     }
1056     /* we need to search for the correct entry and clear it     */
1057     die("filter_del can only delete in reverse order (currently)");
1058 }
1059
1060
1061 /* Invoke the n'th filter function for the current rsfp.         */
1062 I32
1063 filter_read(idx, buf_sv, maxlen)
1064     int idx;
1065     SV *buf_sv;
1066     int maxlen;         /* 0 = read one text line */
1067 {
1068     filter_t funcp;
1069     SV *datasv = NULL;
1070
1071     if (!rsfp_filters)
1072         return -1;
1073     if (idx > AvFILL(rsfp_filters)){       /* Any more filters? */
1074         /* Provide a default input filter to make life easy.    */
1075         /* Note that we append to the line. This is handy.      */
1076         if (filter_debug)
1077             warn("filter_read %d: from rsfp\n", idx);
1078         if (maxlen) { 
1079             /* Want a block */
1080             int len ;
1081             int old_len = SvCUR(buf_sv) ;
1082
1083             /* ensure buf_sv is large enough */
1084             SvGROW(buf_sv, old_len + maxlen) ;
1085             if ((len = fread(SvPVX(buf_sv) + old_len, 1, maxlen, rsfp)) <= 0){
1086                 if (ferror(rsfp))
1087                     return -1;          /* error */
1088                 else
1089                     return 0 ;          /* end of file */
1090             }
1091             SvCUR_set(buf_sv, old_len + len) ;
1092         } else {
1093             /* Want a line */
1094             if (sv_gets(buf_sv, rsfp, SvCUR(buf_sv)) == NULL) {
1095                 if (ferror(rsfp))
1096                     return -1;          /* error */
1097                 else
1098                     return 0 ;          /* end of file */
1099             }
1100         }
1101         return SvCUR(buf_sv);
1102     }
1103     /* Skip this filter slot if filter has been deleted */
1104     if ( (datasv = FILTER_DATA(idx)) == &sv_undef){
1105         if (filter_debug)
1106             warn("filter_read %d: skipped (filter deleted)\n", idx);
1107         return FILTER_READ(idx+1, buf_sv, maxlen); /* recurse */
1108     }
1109     /* Get function pointer hidden within datasv        */
1110     funcp = (filter_t)IoDIRP(datasv);
1111     if (filter_debug)
1112         warn("filter_read %d: via function %lx (%s)\n",
1113                 idx, funcp, SvPV(datasv,na));
1114     /* Call function. The function is expected to       */
1115     /* call "FILTER_READ(idx+1, buf_sv)" first.         */
1116     /* Return: <0:error, =0:eof, >0:not eof             */
1117     return (*funcp)(idx, buf_sv, maxlen);
1118 }
1119
1120 static char *
1121 filter_gets(sv,fp)
1122 register SV *sv;
1123 register FILE *fp;
1124 {
1125     if (rsfp_filters) {
1126
1127         SvCUR_set(sv, 0);       /* start with empty line        */
1128         if (FILTER_READ(0, sv, 0) > 0)
1129             return ( SvPVX(sv) ) ;
1130         else
1131             return Nullch ;
1132     }
1133     else 
1134         return (sv_gets(sv, fp, 0)) ;
1135     
1136 }
1137
1138
1139 #ifdef DEBUGGING
1140     static char* exp_name[] =
1141         { "OPERATOR", "TERM", "REF", "STATE", "BLOCK", "TERMBLOCK" };
1142 #endif
1143
1144 extern int yychar;              /* last token */
1145
1146 int
1147 yylex()
1148 {
1149     dTHR;
1150     register char *s;
1151     register char *d;
1152     register I32 tmp;
1153     STRLEN len;
1154
1155     switch (lex_state) {
1156 #ifdef COMMENTARY
1157     case LEX_NORMAL:            /* Some compilers will produce faster */
1158     case LEX_INTERPNORMAL:      /* code if we comment these out. */
1159         break;
1160 #endif
1161
1162     case LEX_KNOWNEXT:
1163         nexttoke--;
1164         yylval = nextval[nexttoke];
1165         if (!nexttoke) {
1166             lex_state = lex_defer;
1167             expect = lex_expect;
1168             lex_defer = LEX_NORMAL;
1169         }
1170         return(nexttype[nexttoke]);
1171
1172     case LEX_INTERPCASEMOD:
1173 #ifdef DEBUGGING
1174         if (bufptr != bufend && *bufptr != '\\')
1175             croak("panic: INTERPCASEMOD");
1176 #endif
1177         if (bufptr == bufend || bufptr[1] == 'E') {
1178             char oldmod;
1179             if (lex_casemods) {
1180                 oldmod = lex_casestack[--lex_casemods];
1181                 lex_casestack[lex_casemods] = '\0';
1182                 if (bufptr != bufend && strchr("LUQ", oldmod)) {
1183                     bufptr += 2;
1184                     lex_state = LEX_INTERPCONCAT;
1185                 }
1186                 return ')';
1187             }
1188             if (bufptr != bufend)
1189                 bufptr += 2;
1190             lex_state = LEX_INTERPCONCAT;
1191             return yylex();
1192         }
1193         else {
1194             s = bufptr + 1;
1195             if (strnEQ(s, "L\\u", 3) || strnEQ(s, "U\\l", 3))
1196                 tmp = *s, *s = s[2], s[2] = tmp;        /* misordered... */
1197             if (strchr("LU", *s) &&
1198                 (strchr(lex_casestack, 'L') || strchr(lex_casestack, 'U')))
1199             {
1200                 lex_casestack[--lex_casemods] = '\0';
1201                 return ')';
1202             }
1203             if (lex_casemods > 10) {
1204                 char* newlb = (char*)realloc(lex_casestack, lex_casemods + 2);
1205                 if (newlb != lex_casestack) {
1206                     SAVEFREEPV(newlb);
1207                     lex_casestack = newlb;
1208                 }
1209             }
1210             lex_casestack[lex_casemods++] = *s;
1211             lex_casestack[lex_casemods] = '\0';
1212             lex_state = LEX_INTERPCONCAT;
1213             nextval[nexttoke].ival = 0;
1214             force_next('(');
1215             if (*s == 'l')
1216                 nextval[nexttoke].ival = OP_LCFIRST;
1217             else if (*s == 'u')
1218                 nextval[nexttoke].ival = OP_UCFIRST;
1219             else if (*s == 'L')
1220                 nextval[nexttoke].ival = OP_LC;
1221             else if (*s == 'U')
1222                 nextval[nexttoke].ival = OP_UC;
1223             else if (*s == 'Q')
1224                 nextval[nexttoke].ival = OP_QUOTEMETA;
1225             else
1226                 croak("panic: yylex");
1227             bufptr = s + 1;
1228             force_next(FUNC);
1229             if (lex_starts) {
1230                 s = bufptr;
1231                 lex_starts = 0;
1232                 Aop(OP_CONCAT);
1233             }
1234             else
1235                 return yylex();
1236         }
1237
1238     case LEX_INTERPSTART:
1239         if (bufptr == bufend)
1240             return sublex_done();
1241         expect = XTERM;
1242         lex_dojoin = (*bufptr == '@');
1243         lex_state = LEX_INTERPNORMAL;
1244         if (lex_dojoin) {
1245             nextval[nexttoke].ival = 0;
1246             force_next(',');
1247             force_ident("\"", '$');
1248             nextval[nexttoke].ival = 0;
1249             force_next('$');
1250             nextval[nexttoke].ival = 0;
1251             force_next('(');
1252             nextval[nexttoke].ival = OP_JOIN;   /* emulate join($", ...) */
1253             force_next(FUNC);
1254         }
1255         if (lex_starts++) {
1256             s = bufptr;
1257             Aop(OP_CONCAT);
1258         }
1259         else
1260             return yylex();
1261         break;
1262
1263     case LEX_INTERPENDMAYBE:
1264         if (intuit_more(bufptr)) {
1265             lex_state = LEX_INTERPNORMAL;       /* false alarm, more expr */
1266             break;
1267         }
1268         /* FALL THROUGH */
1269
1270     case LEX_INTERPEND:
1271         if (lex_dojoin) {
1272             lex_dojoin = FALSE;
1273             lex_state = LEX_INTERPCONCAT;
1274             return ')';
1275         }
1276         /* FALLTHROUGH */
1277     case LEX_INTERPCONCAT:
1278 #ifdef DEBUGGING
1279         if (lex_brackets)
1280             croak("panic: INTERPCONCAT");
1281 #endif
1282         if (bufptr == bufend)
1283             return sublex_done();
1284
1285         if (SvIVX(linestr) == '\'') {
1286             SV *sv = newSVsv(linestr);
1287             if (!lex_inpat)
1288                 sv = q(sv);
1289             yylval.opval = (OP*)newSVOP(OP_CONST, 0, sv);
1290             s = bufend;
1291         }
1292         else {
1293             s = scan_const(bufptr);
1294             if (*s == '\\')
1295                 lex_state = LEX_INTERPCASEMOD;
1296             else
1297                 lex_state = LEX_INTERPSTART;
1298         }
1299
1300         if (s != bufptr) {
1301             nextval[nexttoke] = yylval;
1302             expect = XTERM;
1303             force_next(THING);
1304             if (lex_starts++)
1305                 Aop(OP_CONCAT);
1306             else {
1307                 bufptr = s;
1308                 return yylex();
1309             }
1310         }
1311
1312         return yylex();
1313     case LEX_FORMLINE:
1314         lex_state = LEX_NORMAL;
1315         s = scan_formline(bufptr);
1316         if (!lex_formbrack)
1317             goto rightbracket;
1318         OPERATOR(';');
1319     }
1320
1321     s = bufptr;
1322     oldoldbufptr = oldbufptr;
1323     oldbufptr = s;
1324     DEBUG_p( {
1325         fprintf(stderr,"### Tokener expecting %s at %s\n", exp_name[expect], s);
1326     } )
1327
1328   retry:
1329     switch (*s) {
1330     default:
1331         warn("Unrecognized character \\%03o ignored", *s++ & 255);
1332         goto retry;
1333     case 4:
1334     case 26:
1335         goto fake_eof;                  /* emulate EOF on ^D or ^Z */
1336     case 0:
1337         if (!rsfp) {
1338             if (lex_brackets)
1339                 yyerror("Missing right bracket");
1340             TOKEN(0);
1341         }
1342         if (s++ < bufend)
1343             goto retry;                 /* ignore stray nulls */
1344         last_uni = 0;
1345         last_lop = 0;
1346         if (!in_eval && !preambled) {
1347             preambled = TRUE;
1348             sv_setpv(linestr,incl_perldb());
1349             if (SvCUR(linestr))
1350                 sv_catpv(linestr,";");
1351             if (preambleav){
1352                 while(AvFILL(preambleav) >= 0) {
1353                     SV *tmpsv = av_shift(preambleav);
1354                     sv_catsv(linestr, tmpsv);
1355                     sv_catpv(linestr, ";");
1356                     sv_free(tmpsv);
1357                 }
1358                 sv_free((SV*)preambleav);
1359                 preambleav = NULL;
1360             }
1361             if (minus_n || minus_p) {
1362                 sv_catpv(linestr, "LINE: while (<>) {");
1363                 if (minus_l)
1364                     sv_catpv(linestr,"chomp;");
1365                 if (minus_a){
1366                     if (minus_F){
1367                       char tmpbuf1[50];
1368                       if ( splitstr[0] == '/' || 
1369                            splitstr[0] == '\'' || 
1370                            splitstr[0] == '"' )
1371                             sprintf( tmpbuf1, "@F=split(%s);", splitstr );
1372                         else
1373                             sprintf( tmpbuf1, "@F=split('%s');", splitstr );
1374                         sv_catpv(linestr,tmpbuf1);
1375                     }
1376                     else
1377                         sv_catpv(linestr,"@F=split(' ');");
1378                 }
1379             }
1380             sv_catpv(linestr, "\n");
1381             oldoldbufptr = oldbufptr = s = SvPVX(linestr);
1382             bufend = SvPVX(linestr) + SvCUR(linestr);
1383             if (perldb && curstash != debstash) {
1384                 SV *sv = NEWSV(85,0);
1385
1386                 sv_upgrade(sv, SVt_PVMG);
1387                 sv_setsv(sv,linestr);
1388                 av_store(GvAV(curcop->cop_filegv),(I32)curcop->cop_line,sv);
1389             }
1390             goto retry;
1391         }
1392         do {
1393             if ((s = filter_gets(linestr, rsfp)) == Nullch) {
1394               fake_eof:
1395                 if (rsfp) {
1396                     if (preprocess && !in_eval)
1397                         (void)my_pclose(rsfp);
1398                     else if ((FILE*)rsfp == stdin)
1399                         clearerr(stdin);
1400                     else
1401                         (void)fclose(rsfp);
1402                     rsfp = Nullfp;
1403                 }
1404                 if (!in_eval && (minus_n || minus_p)) {
1405                     sv_setpv(linestr,minus_p ? ";}continue{print" : "");
1406                     sv_catpv(linestr,";}");
1407                     oldoldbufptr = oldbufptr = s = SvPVX(linestr);
1408                     bufend = SvPVX(linestr) + SvCUR(linestr);
1409                     minus_n = minus_p = 0;
1410                     goto retry;
1411                 }
1412                 oldoldbufptr = oldbufptr = s = SvPVX(linestr);
1413                 sv_setpv(linestr,"");
1414                 TOKEN(';');     /* not infinite loop because rsfp is NULL now */
1415             }
1416             if (doextract) {
1417                 if (*s == '#' && s[1] == '!' && instr(s,"perl"))
1418                     doextract = FALSE;
1419
1420                 /* Incest with pod. */
1421                 if (*s == '=' && strnEQ(s, "=cut", 4)) {
1422                     sv_setpv(linestr, "");
1423                     oldoldbufptr = oldbufptr = s = SvPVX(linestr);
1424                     bufend = SvPVX(linestr) + SvCUR(linestr);
1425                     doextract = FALSE;
1426                 }
1427             }
1428             incline(s);
1429         } while (doextract);
1430         oldoldbufptr = oldbufptr = bufptr = s;
1431         if (perldb && curstash != debstash) {
1432             SV *sv = NEWSV(85,0);
1433
1434             sv_upgrade(sv, SVt_PVMG);
1435             sv_setsv(sv,linestr);
1436             av_store(GvAV(curcop->cop_filegv),(I32)curcop->cop_line,sv);
1437         }
1438         bufend = SvPVX(linestr) + SvCUR(linestr);
1439         if (curcop->cop_line == 1) {
1440             while (s < bufend && isSPACE(*s))
1441                 s++;
1442             if (*s == ':' && s[1] != ':') /* for csh execing sh scripts */
1443                 s++;
1444             if (!in_eval && *s == '#' && s[1] == '!') {
1445                 d = instr(s,"perl -");
1446                 if (!d)
1447                     d = instr(s,"perl");
1448                 if (!d &&
1449                     !minus_c &&
1450                     !instr(s,"indir") &&
1451                     instr(origargv[0],"perl"))
1452                 {
1453                     char **newargv;
1454                     char *cmd;
1455
1456                     s += 2;
1457                     if (*s == ' ')
1458                         s++;
1459                     cmd = s;
1460                     while (s < bufend && !isSPACE(*s))
1461                         s++;
1462                     *s++ = '\0';
1463                     while (s < bufend && isSPACE(*s))
1464                         s++;
1465                     if (s < bufend) {
1466                         Newz(899,newargv,origargc+3,char*);
1467                         newargv[1] = s;
1468                         while (s < bufend && !isSPACE(*s))
1469                             s++;
1470                         *s = '\0';
1471                         Copy(origargv+1, newargv+2, origargc+1, char*);
1472                     }
1473                     else
1474                         newargv = origargv;
1475                     newargv[0] = cmd;
1476                     execv(cmd,newargv);
1477                     croak("Can't exec %s", cmd);
1478                 }
1479                 if (d) {
1480                     int oldpdb = perldb;
1481                     int oldn = minus_n;
1482                     int oldp = minus_p;
1483
1484                     while (*d && !isSPACE(*d)) d++;
1485                     while (*d == ' ') d++;
1486
1487                     if (*d++ == '-') {
1488                         while (d = moreswitches(d)) ;
1489                         if (perldb && !oldpdb ||
1490                             ( minus_n || minus_p ) && !(oldn || oldp) )
1491                               /* if we have already added "LINE: while (<>) {",
1492                                  we must not do it again */
1493                         {
1494                             sv_setpv(linestr, "");
1495                             oldoldbufptr = oldbufptr = s = SvPVX(linestr);
1496                             bufend = SvPVX(linestr) + SvCUR(linestr);
1497                             preambled = FALSE;
1498                             if (perldb)
1499                                 (void)gv_fetchfile(origfilename);
1500                             goto retry;
1501                         }
1502                     }
1503                 }
1504             }
1505         }
1506         if (lex_formbrack && lex_brackets <= lex_formbrack) {
1507             bufptr = s;
1508             lex_state = LEX_FORMLINE;
1509             return yylex();
1510         }
1511         goto retry;
1512     case ' ': case '\t': case '\f': case '\r': case 013:
1513         s++;
1514         goto retry;
1515     case '#':
1516     case '\n':
1517         if (lex_state != LEX_NORMAL || (in_eval && !rsfp)) {
1518             d = bufend;
1519             while (s < d && *s != '\n')
1520                 s++;
1521             if (s < d)
1522                 s++;
1523             incline(s);
1524             if (lex_formbrack && lex_brackets <= lex_formbrack) {
1525                 bufptr = s;
1526                 lex_state = LEX_FORMLINE;
1527                 return yylex();
1528             }
1529         }
1530         else {
1531             *s = '\0';
1532             bufend = s;
1533         }
1534         goto retry;
1535     case '-':
1536         if (s[1] && isALPHA(s[1]) && !isALNUM(s[2])) {
1537             s++;
1538             bufptr = s;
1539             tmp = *s++;
1540
1541             while (s < bufend && (*s == ' ' || *s == '\t'))
1542                 s++;
1543
1544             if (strnEQ(s,"=>",2)) {
1545                 if (dowarn)
1546                     warn("Ambiguous use of -%c => resolved to \"-%c\" =>",
1547                         tmp, tmp);
1548                 s = force_word(bufptr,WORD,FALSE,FALSE,FALSE);
1549                 OPERATOR('-');          /* unary minus */
1550             }
1551             last_uni = oldbufptr;
1552             last_lop_op = OP_FTEREAD;   /* good enough */
1553             switch (tmp) {
1554             case 'r': FTST(OP_FTEREAD);
1555             case 'w': FTST(OP_FTEWRITE);
1556             case 'x': FTST(OP_FTEEXEC);
1557             case 'o': FTST(OP_FTEOWNED);
1558             case 'R': FTST(OP_FTRREAD);
1559             case 'W': FTST(OP_FTRWRITE);
1560             case 'X': FTST(OP_FTREXEC);
1561             case 'O': FTST(OP_FTROWNED);
1562             case 'e': FTST(OP_FTIS);
1563             case 'z': FTST(OP_FTZERO);
1564             case 's': FTST(OP_FTSIZE);
1565             case 'f': FTST(OP_FTFILE);
1566             case 'd': FTST(OP_FTDIR);
1567             case 'l': FTST(OP_FTLINK);
1568             case 'p': FTST(OP_FTPIPE);
1569             case 'S': FTST(OP_FTSOCK);
1570             case 'u': FTST(OP_FTSUID);
1571             case 'g': FTST(OP_FTSGID);
1572             case 'k': FTST(OP_FTSVTX);
1573             case 'b': FTST(OP_FTBLK);
1574             case 'c': FTST(OP_FTCHR);
1575             case 't': FTST(OP_FTTTY);
1576             case 'T': FTST(OP_FTTEXT);
1577             case 'B': FTST(OP_FTBINARY);
1578             case 'M': gv_fetchpv("\024",TRUE, SVt_PV); FTST(OP_FTMTIME);
1579             case 'A': gv_fetchpv("\024",TRUE, SVt_PV); FTST(OP_FTATIME);
1580             case 'C': gv_fetchpv("\024",TRUE, SVt_PV); FTST(OP_FTCTIME);
1581             default:
1582                 croak("Unrecognized file test: -%c", tmp);
1583                 break;
1584             }
1585         }
1586         tmp = *s++;
1587         if (*s == tmp) {
1588             s++;
1589             if (expect == XOPERATOR)
1590                 TERM(POSTDEC);
1591             else
1592                 OPERATOR(PREDEC);
1593         }
1594         else if (*s == '>') {
1595             s++;
1596             s = skipspace(s);
1597             if (isIDFIRST(*s)) {
1598                 s = force_word(s,METHOD,FALSE,TRUE,FALSE);
1599                 TOKEN(ARROW);
1600             }
1601             else if (*s == '$')
1602                 OPERATOR(ARROW);
1603             else
1604                 TERM(ARROW);
1605         }
1606         if (expect == XOPERATOR)
1607             Aop(OP_SUBTRACT);
1608         else {
1609             if (isSPACE(*s) || !isSPACE(*bufptr))
1610                 check_uni();
1611             OPERATOR('-');              /* unary minus */
1612         }
1613
1614     case '+':
1615         tmp = *s++;
1616         if (*s == tmp) {
1617             s++;
1618             if (expect == XOPERATOR)
1619                 TERM(POSTINC);
1620             else
1621                 OPERATOR(PREINC);
1622         }
1623         if (expect == XOPERATOR)
1624             Aop(OP_ADD);
1625         else {
1626             if (isSPACE(*s) || !isSPACE(*bufptr))
1627                 check_uni();
1628             OPERATOR('+');
1629         }
1630
1631     case '*':
1632         if (expect != XOPERATOR) {
1633             s = scan_ident(s, bufend, tokenbuf, TRUE);
1634             expect = XOPERATOR;
1635             force_ident(tokenbuf, '*');
1636             if (!*tokenbuf)
1637                 PREREF('*');
1638             TERM('*');
1639         }
1640         s++;
1641         if (*s == '*') {
1642             s++;
1643             PWop(OP_POW);
1644         }
1645         Mop(OP_MULTIPLY);
1646
1647     case '%':
1648         if (expect != XOPERATOR) {
1649             s = scan_ident(s, bufend, tokenbuf + 1, TRUE);
1650             if (tokenbuf[1]) {
1651                 expect = XOPERATOR;
1652                 tokenbuf[0] = '%';
1653                 if (in_my) {
1654                     if (strchr(tokenbuf,':'))
1655                         croak(no_myglob,tokenbuf);
1656                     nextval[nexttoke].opval = newOP(OP_PADANY, 0);
1657                     nextval[nexttoke].opval->op_targ = pad_allocmy(tokenbuf);
1658                     force_next(PRIVATEREF);
1659                     TERM('%');
1660                 }
1661                 if (!strchr(tokenbuf,':')) {
1662                     if ((tmp = pad_findmy(tokenbuf)) != NOT_IN_PAD) {
1663                         nextval[nexttoke].opval = newOP(OP_PADANY, 0);
1664                         nextval[nexttoke].opval->op_targ = tmp;
1665                         force_next(PRIVATEREF);
1666                         TERM('%');
1667                     }
1668                 }
1669                 force_ident(tokenbuf + 1, *tokenbuf);
1670             }
1671             else
1672                 PREREF('%');
1673             TERM('%');
1674         }
1675         ++s;
1676         Mop(OP_MODULO);
1677
1678     case '^':
1679         s++;
1680         BOop(OP_BIT_XOR);
1681     case '[':
1682         lex_brackets++;
1683         /* FALL THROUGH */
1684     case '~':
1685     case ',':
1686         tmp = *s++;
1687         OPERATOR(tmp);
1688     case ':':
1689         if (s[1] == ':') {
1690             len = 0;
1691             goto just_a_word;
1692         }
1693         s++;
1694         OPERATOR(':');
1695     case '(':
1696         s++;
1697         if (last_lop == oldoldbufptr || last_uni == oldoldbufptr)
1698             oldbufptr = oldoldbufptr;           /* allow print(STDOUT 123) */
1699         else
1700             expect = XTERM;
1701         TOKEN('(');
1702     case ';':
1703         if (curcop->cop_line < copline)
1704             copline = curcop->cop_line;
1705         tmp = *s++;
1706         OPERATOR(tmp);
1707     case ')':
1708         tmp = *s++;
1709         s = skipspace(s);
1710         if (*s == '{')
1711             PREBLOCK(tmp);
1712         TERM(tmp);
1713     case ']':
1714         s++;
1715         if (lex_brackets <= 0)
1716             yyerror("Unmatched right bracket");
1717         else
1718             --lex_brackets;
1719         if (lex_state == LEX_INTERPNORMAL) {
1720             if (lex_brackets == 0) {
1721                 if (*s != '[' && *s != '{' && (*s != '-' || s[1] != '>'))
1722                     lex_state = LEX_INTERPEND;
1723             }
1724         }
1725         TERM(']');
1726     case '{':
1727       leftbracket:
1728         s++;
1729         if (lex_brackets > 100) {
1730             char* newlb = (char*)realloc(lex_brackstack, lex_brackets + 1);
1731             if (newlb != lex_brackstack) {
1732                 SAVEFREEPV(newlb);
1733                 lex_brackstack = newlb;
1734             }
1735         }
1736         switch (expect) {
1737         case XTERM:
1738             if (lex_formbrack) {
1739                 s--;
1740                 PRETERMBLOCK(DO);
1741             }
1742             if (oldoldbufptr == last_lop)
1743                 lex_brackstack[lex_brackets++] = XTERM;
1744             else
1745                 lex_brackstack[lex_brackets++] = XOPERATOR;
1746             OPERATOR(HASHBRACK);
1747             break;
1748         case XOPERATOR:
1749             while (s < bufend && (*s == ' ' || *s == '\t'))
1750                 s++;
1751             if (s < bufend && isALPHA(*s)) {
1752                 d = scan_word(s, tokenbuf, FALSE, &len);
1753                 while (d < bufend && (*d == ' ' || *d == '\t'))
1754                     d++;
1755                 if (*d == '}') {
1756                     if (dowarn &&
1757                       (keyword(tokenbuf, len) ||
1758                        perl_get_cv(tokenbuf, FALSE) ))
1759                         warn("Ambiguous use of {%s} resolved to {\"%s\"}",
1760                             tokenbuf, tokenbuf);
1761                     s = force_word(s,WORD,FALSE,TRUE,FALSE);
1762                 }
1763             }
1764             /* FALL THROUGH */
1765         case XBLOCK:
1766             lex_brackstack[lex_brackets++] = XSTATE;
1767             expect = XSTATE;
1768             break;
1769         case XTERMBLOCK:
1770             lex_brackstack[lex_brackets++] = XOPERATOR;
1771             expect = XSTATE;
1772             break;
1773         default: {
1774                 char *t;
1775                 if (oldoldbufptr == last_lop)
1776                     lex_brackstack[lex_brackets++] = XTERM;
1777                 else
1778                     lex_brackstack[lex_brackets++] = XOPERATOR;
1779                 s = skipspace(s);
1780                 if (*s == '}')
1781                     OPERATOR(HASHBRACK);
1782                 if (isALPHA(*s)) {
1783                     for (t = s; t < bufend && isALNUM(*t); t++) ;
1784                 }
1785                 else if (*s == '\'' || *s == '"') {
1786                     t = strchr(s+1,*s);
1787                     if (!t++)
1788                         t = s;
1789                 }
1790                 else
1791                     t = s;
1792                 while (t < bufend && isSPACE(*t))
1793                     t++;
1794                 if ((*t == ',' && !isLOWER(*s)) || (*t == '=' && t[1] == '>'))
1795                     OPERATOR(HASHBRACK);
1796                 if (expect == XREF)
1797                     expect = XTERM;
1798                 else {
1799                     lex_brackstack[lex_brackets-1] = XSTATE;
1800                     expect = XSTATE;
1801                 }
1802             }
1803             break;
1804         }
1805         yylval.ival = curcop->cop_line;
1806         if (isSPACE(*s) || *s == '#')
1807             copline = NOLINE;   /* invalidate current command line number */
1808         TOKEN('{');
1809     case '}':
1810       rightbracket:
1811         s++;
1812         if (lex_brackets <= 0)
1813             yyerror("Unmatched right bracket");
1814         else
1815             expect = (expectation)lex_brackstack[--lex_brackets];
1816         if (lex_brackets < lex_formbrack)
1817             lex_formbrack = 0;
1818         if (lex_state == LEX_INTERPNORMAL) {
1819             if (lex_brackets == 0) {
1820                 if (lex_fakebrack) {
1821                     lex_state = LEX_INTERPEND;
1822                     bufptr = s;
1823                     return yylex();             /* ignore fake brackets */
1824                 }
1825                 if (*s != '[' && *s != '{' && (*s != '-' || s[1] != '>'))
1826                     lex_state = LEX_INTERPEND;
1827             }
1828         }
1829         if (lex_brackets < lex_fakebrack) {
1830             bufptr = s;
1831             lex_fakebrack = 0;
1832             return yylex();             /* ignore fake brackets */
1833         }
1834         force_next('}');
1835         TOKEN(';');
1836     case '&':
1837         s++;
1838         tmp = *s++;
1839         if (tmp == '&')
1840             AOPERATOR(ANDAND);
1841         s--;
1842         if (expect == XOPERATOR) {
1843             if (dowarn && isALPHA(*s) && bufptr == SvPVX(linestr)) {
1844                 curcop->cop_line--;
1845                 warn(warn_nosemi);
1846                 curcop->cop_line++;
1847             }
1848             BAop(OP_BIT_AND);
1849         }
1850
1851         s = scan_ident(s-1, bufend, tokenbuf, TRUE);
1852         if (*tokenbuf) {
1853             expect = XOPERATOR;
1854             force_ident(tokenbuf, '&');
1855         }
1856         else
1857             PREREF('&');
1858         yylval.ival = (OPpENTERSUB_AMPER<<8);
1859         TERM('&');
1860
1861     case '|':
1862         s++;
1863         tmp = *s++;
1864         if (tmp == '|')
1865             AOPERATOR(OROR);
1866         s--;
1867         BOop(OP_BIT_OR);
1868     case '=':
1869         s++;
1870         tmp = *s++;
1871         if (tmp == '=')
1872             Eop(OP_EQ);
1873         if (tmp == '>')
1874             OPERATOR(',');
1875         if (tmp == '~')
1876             PMop(OP_MATCH);
1877         if (dowarn && tmp && isSPACE(*s) && strchr("+-*/%.^&|<",tmp))
1878             warn("Reversed %c= operator",tmp);
1879         s--;
1880         if (expect == XSTATE && isALPHA(tmp) &&
1881                 (s == SvPVX(linestr)+1 || s[-2] == '\n') )
1882         {
1883             if (in_eval && !rsfp) {
1884                 d = bufend;
1885                 while (s < d) {
1886                     if (*s++ == '\n') {
1887                         incline(s);
1888                         if (strnEQ(s,"=cut",4)) {
1889                             s = strchr(s,'\n');
1890                             if (s)
1891                                 s++;
1892                             else
1893                                 s = d;
1894                             incline(s);
1895                             goto retry;
1896                         }
1897                     }
1898                 }
1899                 goto retry;
1900             }
1901             s = bufend;
1902             doextract = TRUE;
1903             goto retry;
1904         }
1905         if (lex_brackets < lex_formbrack) {
1906             char *t;
1907             for (t = s; *t == ' ' || *t == '\t'; t++) ;
1908             if (*t == '\n' || *t == '#') {
1909                 s--;
1910                 expect = XBLOCK;
1911                 goto leftbracket;
1912             }
1913         }
1914         yylval.ival = 0;
1915         OPERATOR(ASSIGNOP);
1916     case '!':
1917         s++;
1918         tmp = *s++;
1919         if (tmp == '=')
1920             Eop(OP_NE);
1921         if (tmp == '~')
1922             PMop(OP_NOT);
1923         s--;
1924         OPERATOR('!');
1925     case '<':
1926         if (expect != XOPERATOR) {
1927             if (s[1] != '<' && !strchr(s,'>'))
1928                 check_uni();
1929             if (s[1] == '<')
1930                 s = scan_heredoc(s);
1931             else
1932                 s = scan_inputsymbol(s);
1933             TERM(sublex_start());
1934         }
1935         s++;
1936         tmp = *s++;
1937         if (tmp == '<')
1938             SHop(OP_LEFT_SHIFT);
1939         if (tmp == '=') {
1940             tmp = *s++;
1941             if (tmp == '>')
1942                 Eop(OP_NCMP);
1943             s--;
1944             Rop(OP_LE);
1945         }
1946         s--;
1947         Rop(OP_LT);
1948     case '>':
1949         s++;
1950         tmp = *s++;
1951         if (tmp == '>')
1952             SHop(OP_RIGHT_SHIFT);
1953         if (tmp == '=')
1954             Rop(OP_GE);
1955         s--;
1956         Rop(OP_GT);
1957
1958     case '$':
1959         if (s[1] == '#'  && (isALPHA(s[2]) || strchr("_{$:", s[2]))) {
1960             s = scan_ident(s+1, bufend, tokenbuf+1, FALSE);
1961             if (expect == XOPERATOR) {
1962                 if (lex_formbrack && lex_brackets == lex_formbrack) {
1963                     expect = XTERM;
1964                     depcom();
1965                     return ','; /* grandfather non-comma-format format */
1966                 }
1967                 else
1968                     no_op("Array length",s);
1969             }
1970             else if (!tokenbuf[1])
1971                 PREREF(DOLSHARP);
1972             if (!strchr(tokenbuf+1,':')) {
1973                 tokenbuf[0] = '@';
1974                 if ((tmp = pad_findmy(tokenbuf)) != NOT_IN_PAD) {
1975                     nextval[nexttoke].opval = newOP(OP_PADANY, 0);
1976                     nextval[nexttoke].opval->op_targ = tmp;
1977                     expect = XOPERATOR;
1978                     force_next(PRIVATEREF);
1979                     TOKEN(DOLSHARP);
1980                 }
1981             }
1982             expect = XOPERATOR;
1983             force_ident(tokenbuf+1, *tokenbuf);
1984             TOKEN(DOLSHARP);
1985         }
1986         s = scan_ident(s, bufend, tokenbuf+1, FALSE);
1987         if (expect == XOPERATOR) {
1988             if (lex_formbrack && lex_brackets == lex_formbrack) {
1989                 expect = XTERM;
1990                 depcom();
1991                 return ',';     /* grandfather non-comma-format format */
1992             }
1993             else
1994                 no_op("Scalar",s);
1995         }
1996         if (tokenbuf[1]) {
1997             expectation oldexpect = expect;
1998
1999             /* This kludge not intended to be bulletproof. */
2000             if (tokenbuf[1] == '[' && !tokenbuf[2]) {
2001                 yylval.opval = newSVOP(OP_CONST, 0,
2002                                         newSViv((IV)compiling.cop_arybase));
2003                 yylval.opval->op_private = OPpCONST_ARYBASE;
2004                 TERM(THING);
2005             }
2006             tokenbuf[0] = '$';
2007             if (dowarn) {
2008                 char *t;
2009                 if (*s == '[' && oldexpect != XREF) {
2010                     for (t = s+1; isSPACE(*t) || isALNUM(*t) || *t == '$'; t++) ;
2011                     if (*t++ == ',') {
2012                         bufptr = skipspace(bufptr);
2013                         while (t < bufend && *t != ']') t++;
2014                         warn("Multidimensional syntax %.*s not supported",
2015                             t-bufptr+1, bufptr);
2016                     }
2017                 }
2018                 if (*s == '{' && strEQ(tokenbuf, "$SIG") &&
2019                   (t = strchr(s,'}')) && (t = strchr(t,'='))) {
2020                     char tmpbuf[1024];
2021                     STRLEN len;
2022                     for (t++; isSPACE(*t); t++) ;
2023                     if (isIDFIRST(*t)) {
2024                         t = scan_word(t, tmpbuf, TRUE, &len);
2025                         if (*t != '(' && perl_get_cv(tmpbuf, FALSE))
2026                             warn("You need to quote \"%s\"", tmpbuf);
2027                     }
2028                 }
2029             }
2030             expect = XOPERATOR;
2031             if (lex_state == LEX_NORMAL && isSPACE(*s)) {
2032                 bool islop = (last_lop == oldoldbufptr);
2033                 s = skipspace(s);
2034                 if (!islop || last_lop_op == OP_GREPSTART)
2035                     expect = XOPERATOR;
2036                 else if (strchr("$@\"'`q", *s))
2037                     expect = XTERM;             /* e.g. print $fh "foo" */
2038                 else if (strchr("&*<%", *s) && isIDFIRST(s[1]))
2039                     expect = XTERM;             /* e.g. print $fh &sub */
2040                 else if (isDIGIT(*s))
2041                     expect = XTERM;             /* e.g. print $fh 3 */
2042                 else if (*s == '.' && isDIGIT(s[1]))
2043                     expect = XTERM;             /* e.g. print $fh .3 */
2044                 else if (strchr("/?-+", *s) && !isSPACE(s[1]))
2045                     expect = XTERM;             /* e.g. print $fh -1 */
2046                 else if (*s == '<' && s[1] == '<' && !isSPACE(s[2]))
2047                     expect = XTERM;             /* print $fh <<"EOF" */
2048             }
2049             if (in_my) {
2050                 if (strchr(tokenbuf,':'))
2051                     croak(no_myglob,tokenbuf);
2052                 nextval[nexttoke].opval = newOP(OP_PADANY, 0);
2053                 nextval[nexttoke].opval->op_targ = pad_allocmy(tokenbuf);
2054                 force_next(PRIVATEREF);
2055             }
2056             else if (!strchr(tokenbuf,':')) {
2057                 if (oldexpect != XREF || oldoldbufptr == last_lop) {
2058                     if (intuit_more(s)) {
2059                         if (*s == '[')
2060                             tokenbuf[0] = '@';
2061                         else if (*s == '{')
2062                             tokenbuf[0] = '%';
2063                     }
2064                 }
2065                 if ((tmp = pad_findmy(tokenbuf)) != NOT_IN_PAD) {
2066                     if (!tokenbuf[2] && *tokenbuf =='$' &&
2067                         tokenbuf[1] <= 'b' && tokenbuf[1] >= 'a')
2068                     {
2069                         for (d = in_eval ? oldoldbufptr : SvPVX(linestr);
2070                             d < bufend && *d != '\n';
2071                             d++)
2072                         {
2073                             if (strnEQ(d,"<=>",3) || strnEQ(d,"cmp",3)) {
2074                                 croak("Can't use \"my %s\" in sort comparison",
2075                                     tokenbuf);
2076                             }
2077                         }
2078                     }
2079                     nextval[nexttoke].opval = newOP(OP_PADANY, 0);
2080                     nextval[nexttoke].opval->op_targ = tmp;
2081                     force_next(PRIVATEREF);
2082                 }
2083                 else
2084                     force_ident(tokenbuf+1, *tokenbuf);
2085             }
2086             else
2087                 force_ident(tokenbuf+1, *tokenbuf);
2088         }
2089         else {
2090             if (s == bufend)
2091                 yyerror("Final $ should be \\$ or $name");
2092             PREREF('$');
2093         }
2094         TOKEN('$');
2095
2096     case '@':
2097         s = scan_ident(s, bufend, tokenbuf+1, FALSE);
2098         if (expect == XOPERATOR)
2099             no_op("Array",s);
2100         if (tokenbuf[1]) {
2101             GV* gv;
2102
2103             tokenbuf[0] = '@';
2104             expect = XOPERATOR;
2105             if (in_my) {
2106                 if (strchr(tokenbuf,':'))
2107                     croak(no_myglob,tokenbuf);
2108                 nextval[nexttoke].opval = newOP(OP_PADANY, 0);
2109                 nextval[nexttoke].opval->op_targ = pad_allocmy(tokenbuf);
2110                 force_next(PRIVATEREF);
2111                 TERM('@');
2112             }
2113             else if (!strchr(tokenbuf,':')) {
2114                 if (intuit_more(s)) {
2115                     if (*s == '{')
2116                         tokenbuf[0] = '%';
2117                 }
2118                 if (tmp = pad_findmy(tokenbuf) != NOT_IN_PAD) {
2119                     nextval[nexttoke].opval = newOP(OP_PADANY, 0);
2120                     nextval[nexttoke].opval->op_targ = tmp;
2121                     force_next(PRIVATEREF);
2122                     TERM('@');
2123                 }
2124             }
2125
2126             /* Force them to make up their mind on "@foo". */
2127             if (lex_state != LEX_NORMAL && !lex_brackets &&
2128                     ( !(gv = gv_fetchpv(tokenbuf+1, FALSE, SVt_PVAV)) ||
2129                       (*tokenbuf == '@'
2130                         ? !GvAV(gv)
2131                         : !GvHV(gv) )))
2132             {
2133                 char tmpbuf[1024];
2134                 sprintf(tmpbuf, "Literal @%s now requires backslash",tokenbuf+1);
2135                 yyerror(tmpbuf);
2136             }
2137
2138             /* Warn about @ where they meant $. */
2139             if (dowarn) {
2140                 if (*s == '[' || *s == '{') {
2141                     char *t = s + 1;
2142                     while (*t && (isALNUM(*t) || strchr(" \t$#+-'\"", *t)))
2143                         t++;
2144                     if (*t == '}' || *t == ']') {
2145                         t++;
2146                         bufptr = skipspace(bufptr);
2147                         warn("Scalar value %.*s better written as $%.*s",
2148                             t-bufptr, bufptr, t-bufptr-1, bufptr+1);
2149                     }
2150                 }
2151             }
2152             force_ident(tokenbuf+1, *tokenbuf);
2153         }
2154         else {
2155             if (s == bufend)
2156                 yyerror("Final @ should be \\@ or @name");
2157             PREREF('@');
2158         }
2159         TERM('@');
2160
2161     case '/':                   /* may either be division or pattern */
2162     case '?':                   /* may either be conditional or pattern */
2163         if (expect != XOPERATOR) {
2164             check_uni();
2165             s = scan_pat(s);
2166             TERM(sublex_start());
2167         }
2168         tmp = *s++;
2169         if (tmp == '/')
2170             Mop(OP_DIVIDE);
2171         OPERATOR(tmp);
2172
2173     case '.':
2174         if (lex_formbrack && lex_brackets == lex_formbrack && s[1] == '\n' &&
2175                 (s == SvPVX(linestr) || s[-1] == '\n') ) {
2176             lex_formbrack = 0;
2177             expect = XSTATE;
2178             goto rightbracket;
2179         }
2180         if (expect == XOPERATOR || !isDIGIT(s[1])) {
2181             tmp = *s++;
2182             if (*s == tmp) {
2183                 s++;
2184                 if (*s == tmp) {
2185                     s++;
2186                     yylval.ival = OPf_SPECIAL;
2187                 }
2188                 else
2189                     yylval.ival = 0;
2190                 OPERATOR(DOTDOT);
2191             }
2192             if (expect != XOPERATOR)
2193                 check_uni();
2194             Aop(OP_CONCAT);
2195         }
2196         /* FALL THROUGH */
2197     case '0': case '1': case '2': case '3': case '4':
2198     case '5': case '6': case '7': case '8': case '9':
2199         s = scan_num(s);
2200         if (expect == XOPERATOR)
2201             no_op("Number",s);
2202         TERM(THING);
2203
2204     case '\'':
2205         s = scan_str(s);
2206         if (expect == XOPERATOR) {
2207             if (lex_formbrack && lex_brackets == lex_formbrack) {
2208                 expect = XTERM;
2209                 depcom();
2210                 return ',';     /* grandfather non-comma-format format */
2211             }
2212             else
2213                 no_op("String",s);
2214         }
2215         if (!s)
2216             missingterm((char*)0);
2217         yylval.ival = OP_CONST;
2218         TERM(sublex_start());
2219
2220     case '"':
2221         s = scan_str(s);
2222         if (expect == XOPERATOR) {
2223             if (lex_formbrack && lex_brackets == lex_formbrack) {
2224                 expect = XTERM;
2225                 depcom();
2226                 return ',';     /* grandfather non-comma-format format */
2227             }
2228             else
2229                 no_op("String",s);
2230         }
2231         if (!s)
2232             missingterm((char*)0);
2233         yylval.ival = OP_CONST;
2234         for (d = SvPV(lex_stuff, len); len; len--, d++) {
2235             if (*d == '$' || *d == '@' || *d == '\\') {
2236                 yylval.ival = OP_STRINGIFY;
2237                 break;
2238             }
2239         }
2240         TERM(sublex_start());
2241
2242     case '`':
2243         s = scan_str(s);
2244         if (expect == XOPERATOR)
2245             no_op("Backticks",s);
2246         if (!s)
2247             missingterm((char*)0);
2248         yylval.ival = OP_BACKTICK;
2249         set_csh();
2250         TERM(sublex_start());
2251
2252     case '\\':
2253         s++;
2254         if (dowarn && lex_inwhat && isDIGIT(*s))
2255             warn("Can't use \\%c to mean $%c in expression", *s, *s);
2256         if (expect == XOPERATOR)
2257             no_op("Backslash",s);
2258         OPERATOR(REFGEN);
2259
2260     case 'x':
2261         if (isDIGIT(s[1]) && expect == XOPERATOR) {
2262             s++;
2263             Mop(OP_REPEAT);
2264         }
2265         goto keylookup;
2266
2267     case '_':
2268     case 'a': case 'A':
2269     case 'b': case 'B':
2270     case 'c': case 'C':
2271     case 'd': case 'D':
2272     case 'e': case 'E':
2273     case 'f': case 'F':
2274     case 'g': case 'G':
2275     case 'h': case 'H':
2276     case 'i': case 'I':
2277     case 'j': case 'J':
2278     case 'k': case 'K':
2279     case 'l': case 'L':
2280     case 'm': case 'M':
2281     case 'n': case 'N':
2282     case 'o': case 'O':
2283     case 'p': case 'P':
2284     case 'q': case 'Q':
2285     case 'r': case 'R':
2286     case 's': case 'S':
2287     case 't': case 'T':
2288     case 'u': case 'U':
2289     case 'v': case 'V':
2290     case 'w': case 'W':
2291               case 'X':
2292     case 'y': case 'Y':
2293     case 'z': case 'Z':
2294
2295       keylookup:
2296         bufptr = s;
2297         s = scan_word(s, tokenbuf, FALSE, &len);
2298         
2299         if (*s == ':' && s[1] == ':' && strNE(tokenbuf, "CORE"))
2300             goto just_a_word;
2301
2302         tmp = keyword(tokenbuf, len);
2303
2304         /* Is this a word before a => operator? */
2305         d = s;
2306         while (d < bufend && (*d == ' ' || *d == '\t'))
2307                 d++;    /* no comments skipped here, or s### is misparsed */
2308         if (strnEQ(d,"=>",2)) {
2309             CLINE;
2310             if (dowarn && (tmp || perl_get_cv(tokenbuf, FALSE)))
2311                 warn("Ambiguous use of %s => resolved to \"%s\" =>",
2312                         tokenbuf, tokenbuf);
2313             yylval.opval = (OP*)newSVOP(OP_CONST, 0, newSVpv(tokenbuf,0));
2314             yylval.opval->op_private = OPpCONST_BARE;
2315             TERM(WORD);
2316         }
2317
2318         if (tmp < 0) {                  /* second-class keyword? */
2319             GV* gv;
2320             if (expect != XOPERATOR &&
2321                 (*s != ':' || s[1] != ':') &&
2322                 (gv = gv_fetchpv(tokenbuf, FALSE, SVt_PVCV)) &&
2323                 GvIMPORTED_CV(gv))
2324             {
2325                 tmp = 0;
2326             }
2327             else
2328                 tmp = -tmp;
2329         }
2330
2331       reserved_word:
2332         switch (tmp) {
2333
2334         default:                        /* not a keyword */
2335           just_a_word: {
2336                 GV *gv;
2337                 char lastchar = (bufptr == oldoldbufptr ? 0 : bufptr[-1]);
2338
2339                 /* Get the rest if it looks like a package qualifier */
2340
2341                 if (*s == '\'' || *s == ':' && s[1] == ':') {
2342                     s = scan_word(s, tokenbuf + len, TRUE, &len);
2343                     if (!len)
2344                         croak("Bad name after %s::", tokenbuf);
2345                 }
2346
2347                 /* Do special processing at start of statement. */
2348
2349                 if (expect == XSTATE) {
2350                     while (isSPACE(*s)) s++;
2351                     if (*s == ':') {    /* It's a label. */
2352                         yylval.pval = savepv(tokenbuf);
2353                         s++;
2354                         CLINE;
2355                         TOKEN(LABEL);
2356                     }
2357                 }
2358                 else if (expect == XOPERATOR) {
2359                     if (bufptr == SvPVX(linestr)) {
2360                         curcop->cop_line--;
2361                         warn(warn_nosemi);
2362                         curcop->cop_line++;
2363                     }
2364                     else
2365                         no_op("Bare word",s);
2366                 }
2367
2368                 /* Look for a subroutine with this name in current package. */
2369
2370                 gv = gv_fetchpv(tokenbuf,FALSE, SVt_PVCV);
2371
2372                 /* Presume this is going to be a bareword of some sort. */
2373
2374                 CLINE;
2375                 yylval.opval = (OP*)newSVOP(OP_CONST, 0, newSVpv(tokenbuf,0));
2376                 yylval.opval->op_private = OPpCONST_BARE;
2377
2378                 /* See if it's the indirect object for a list operator. */
2379
2380                 if (oldoldbufptr &&
2381                     oldoldbufptr < bufptr &&
2382                     (oldoldbufptr == last_lop || oldoldbufptr == last_uni) &&
2383                     /* NO SKIPSPACE BEFORE HERE! */
2384                     (expect == XREF ||
2385                      (opargs[last_lop_op] >> OASHIFT & 7) == OA_FILEREF) )
2386                 {
2387                     bool immediate_paren = *s == '(';
2388
2389                     /* (Now we can afford to cross potential line boundary.) */
2390                     s = skipspace(s);
2391
2392                     /* Two barewords in a row may indicate method call. */
2393
2394                     if ((isALPHA(*s) || *s == '$') && (tmp=intuit_method(s,gv)))
2395                         return tmp;
2396
2397                     /* If not a declared subroutine, it's an indirect object. */
2398                     /* (But it's an indir obj regardless for sort.) */
2399
2400                     if ((last_lop_op == OP_SORT ||
2401                          (!immediate_paren && (!gv || !GvCV(gv))) ) &&
2402                         (last_lop_op != OP_MAPSTART && last_lop_op != OP_GREPSTART)){
2403                         expect = (last_lop == oldoldbufptr) ? XTERM : XOPERATOR;
2404                         goto bareword;
2405                     }
2406                 }
2407
2408                 /* If followed by a paren, it's certainly a subroutine. */
2409
2410                 expect = XOPERATOR;
2411                 s = skipspace(s);
2412                 if (*s == '(') {
2413                     CLINE;
2414                     nextval[nexttoke].opval = yylval.opval;
2415                     expect = XOPERATOR;
2416                     force_next(WORD);
2417                     yylval.ival = 0;
2418                     TOKEN('&');
2419                 }
2420
2421                 /* If followed by var or block, call it a method (unless sub) */
2422
2423                 if ((*s == '$' || *s == '{') && (!gv || !GvCV(gv))) {
2424                     last_lop = oldbufptr;
2425                     last_lop_op = OP_METHOD;
2426                     PREBLOCK(METHOD);
2427                 }
2428
2429                 /* If followed by a bareword, see if it looks like indir obj. */
2430
2431                 if ((isALPHA(*s) || *s == '$') && (tmp = intuit_method(s,gv)))
2432                     return tmp;
2433
2434                 /* Not a method, so call it a subroutine (if defined) */
2435
2436                 if (gv && GvCV(gv)) {
2437                     CV* cv = GvCV(gv);
2438                     if (*s == '(') {
2439                         nextval[nexttoke].opval = yylval.opval;
2440                         expect = XTERM;
2441                         force_next(WORD);
2442                         yylval.ival = 0;
2443                         TOKEN('&');
2444                     }
2445                     if (lastchar == '-')
2446                         warn("Ambiguous use of -%s resolved as -&%s()",
2447                                 tokenbuf, tokenbuf);
2448                     last_lop = oldbufptr;
2449                     last_lop_op = OP_ENTERSUB;
2450                     /* Resolve to GV now. */
2451                     op_free(yylval.opval);
2452                     yylval.opval = newCVREF(0, newGVOP(OP_GV, 0, gv));
2453                     /* Is there a prototype? */
2454                     if (SvPOK(cv)) {
2455                         STRLEN len;
2456                         char *proto = SvPV((SV*)cv, len);
2457                         if (!len)
2458                             TERM(FUNC0SUB);
2459                         if (strEQ(proto, "$"))
2460                             OPERATOR(UNIOPSUB);
2461                         if (*proto == '&' && *s == '{') {
2462                             sv_setpv(subname,"__ANON__");
2463                             PREBLOCK(LSTOPSUB);
2464                         }
2465                     }
2466                     nextval[nexttoke].opval = yylval.opval;
2467                     expect = XTERM;
2468                     force_next(WORD);
2469                     TOKEN(NOAMP);
2470                 }
2471
2472                 if (hints & HINT_STRICT_SUBS &&
2473                     lastchar != '-' &&
2474                     strnNE(s,"->",2) &&
2475                     last_lop_op != OP_ACCEPT &&
2476                     last_lop_op != OP_PIPE_OP &&
2477                     last_lop_op != OP_SOCKPAIR)
2478                 {
2479                     warn(
2480                      "Bareword \"%s\" not allowed while \"strict subs\" in use",
2481                         tokenbuf);
2482                     ++error_count;
2483                 }
2484
2485                 /* Call it a bare word */
2486
2487             bareword:
2488                 if (dowarn) {
2489                     if (lastchar != '-') {
2490                         for (d = tokenbuf; *d && isLOWER(*d); d++) ;
2491                         if (!*d)
2492                             warn(warn_reserved, tokenbuf);
2493                     }
2494                 }
2495                 if (lastchar && strchr("*%&", lastchar)) {
2496                     warn("Operator or semicolon missing before %c%s",
2497                         lastchar, tokenbuf);
2498                     warn("Ambiguous use of %c resolved as operator %c",
2499                         lastchar, lastchar);
2500                 }
2501                 TOKEN(WORD);
2502             }
2503
2504         case KEY___LINE__:
2505         case KEY___FILE__: {
2506             if (tokenbuf[2] == 'L')
2507                 (void)sprintf(tokenbuf,"%ld",(long)curcop->cop_line);
2508             else
2509                 strcpy(tokenbuf, SvPVX(GvSV(curcop->cop_filegv)));
2510             yylval.opval = (OP*)newSVOP(OP_CONST, 0, newSVpv(tokenbuf,0));
2511             TERM(THING);
2512         }
2513
2514         case KEY___DATA__:
2515         case KEY___END__: {
2516             GV *gv;
2517
2518             /*SUPPRESS 560*/
2519             if (rsfp && (!in_eval || tokenbuf[2] == 'D')) {
2520                 char dname[256];
2521                 char *pname = "main";
2522                 if (tokenbuf[2] == 'D')
2523                     pname = HvNAME(curstash ? curstash : defstash);
2524                 sprintf(dname,"%s::DATA", pname);
2525                 gv = gv_fetchpv(dname,TRUE, SVt_PVIO);
2526                 GvMULTI_on(gv);
2527                 if (!GvIO(gv))
2528                     GvIOp(gv) = newIO();
2529                 IoIFP(GvIOp(gv)) = rsfp;
2530 #if defined(HAS_FCNTL) && defined(F_SETFD)
2531                 {
2532                     int fd = fileno(rsfp);
2533                     fcntl(fd,F_SETFD,fd >= 3);
2534                 }
2535 #endif
2536                 if (preprocess)
2537                     IoTYPE(GvIOp(gv)) = '|';
2538                 else if ((FILE*)rsfp == stdin)
2539                     IoTYPE(GvIOp(gv)) = '-';
2540                 else
2541                     IoTYPE(GvIOp(gv)) = '<';
2542                 rsfp = Nullfp;
2543             }
2544             goto fake_eof;
2545         }
2546
2547         case KEY_AUTOLOAD:
2548         case KEY_DESTROY:
2549         case KEY_BEGIN:
2550         case KEY_END:
2551             if (expect == XSTATE) {
2552                 s = bufptr;
2553                 goto really_sub;
2554             }
2555             goto just_a_word;
2556
2557         case KEY_CORE:
2558             if (*s == ':' && s[1] == ':') {
2559                 s += 2;
2560                 d = s;
2561                 s = scan_word(s, tokenbuf, FALSE, &len);
2562                 tmp = keyword(tokenbuf, len);
2563                 if (tmp < 0)
2564                     tmp = -tmp;
2565                 goto reserved_word;
2566             }
2567             goto just_a_word;
2568
2569         case KEY_abs:
2570             UNI(OP_ABS);
2571
2572         case KEY_alarm:
2573             UNI(OP_ALARM);
2574
2575         case KEY_accept:
2576             LOP(OP_ACCEPT,XTERM);
2577
2578         case KEY_and:
2579             OPERATOR(ANDOP);
2580
2581         case KEY_atan2:
2582             LOP(OP_ATAN2,XTERM);
2583
2584         case KEY_bind:
2585             LOP(OP_BIND,XTERM);
2586
2587         case KEY_binmode:
2588             UNI(OP_BINMODE);
2589
2590         case KEY_bless:
2591             LOP(OP_BLESS,XTERM);
2592
2593         case KEY_chop:
2594             UNI(OP_CHOP);
2595
2596         case KEY_continue:
2597             PREBLOCK(CONTINUE);
2598
2599         case KEY_chdir:
2600             (void)gv_fetchpv("ENV",TRUE, SVt_PVHV);     /* may use HOME */
2601             UNI(OP_CHDIR);
2602
2603         case KEY_close:
2604             UNI(OP_CLOSE);
2605
2606         case KEY_closedir:
2607             UNI(OP_CLOSEDIR);
2608
2609         case KEY_cmp:
2610             Eop(OP_SCMP);
2611
2612         case KEY_caller:
2613             UNI(OP_CALLER);
2614
2615         case KEY_crypt:
2616 #ifdef FCRYPT
2617             if (!cryptseen++)
2618                 init_des();
2619 #endif
2620             LOP(OP_CRYPT,XTERM);
2621
2622         case KEY_chmod:
2623             if (dowarn) {
2624                 for (d = s; d < bufend && (isSPACE(*d) || *d == '('); d++) ;
2625                 if (*d != '0' && isDIGIT(*d))
2626                     yywarn("chmod: mode argument is missing initial 0");
2627             }
2628             LOP(OP_CHMOD,XTERM);
2629
2630         case KEY_chown:
2631             LOP(OP_CHOWN,XTERM);
2632
2633         case KEY_connect:
2634             LOP(OP_CONNECT,XTERM);
2635
2636         case KEY_chr:
2637             UNI(OP_CHR);
2638
2639         case KEY_cos:
2640             UNI(OP_COS);
2641
2642         case KEY_chroot:
2643             UNI(OP_CHROOT);
2644
2645         case KEY_do:
2646             s = skipspace(s);
2647             if (*s == '{')
2648                 PRETERMBLOCK(DO);
2649             if (*s != '\'')
2650                 s = force_word(s,WORD,FALSE,TRUE,FALSE);
2651             OPERATOR(DO);
2652
2653         case KEY_die:
2654             hints |= HINT_BLOCK_SCOPE;
2655             LOP(OP_DIE,XTERM);
2656
2657         case KEY_defined:
2658             UNI(OP_DEFINED);
2659
2660         case KEY_delete:
2661             UNI(OP_DELETE);
2662
2663         case KEY_dbmopen:
2664             gv_fetchpv("AnyDBM_File::ISA", GV_ADDMULTI, SVt_PVAV);
2665             LOP(OP_DBMOPEN,XTERM);
2666
2667         case KEY_dbmclose:
2668             UNI(OP_DBMCLOSE);
2669
2670         case KEY_dump:
2671             s = force_word(s,WORD,TRUE,FALSE,FALSE);
2672             LOOPX(OP_DUMP);
2673
2674         case KEY_else:
2675             PREBLOCK(ELSE);
2676
2677         case KEY_elsif:
2678             yylval.ival = curcop->cop_line;
2679             OPERATOR(ELSIF);
2680
2681         case KEY_eq:
2682             Eop(OP_SEQ);
2683
2684         case KEY_exists:
2685             UNI(OP_EXISTS);
2686             
2687         case KEY_exit:
2688             UNI(OP_EXIT);
2689
2690         case KEY_eval:
2691             s = skipspace(s);
2692             expect = (*s == '{') ? XTERMBLOCK : XTERM;
2693             UNIBRACK(OP_ENTEREVAL);
2694
2695         case KEY_eof:
2696             UNI(OP_EOF);
2697
2698         case KEY_exp:
2699             UNI(OP_EXP);
2700
2701         case KEY_each:
2702             UNI(OP_EACH);
2703
2704         case KEY_exec:
2705             set_csh();
2706             LOP(OP_EXEC,XREF);
2707
2708         case KEY_endhostent:
2709             FUN0(OP_EHOSTENT);
2710
2711         case KEY_endnetent:
2712             FUN0(OP_ENETENT);
2713
2714         case KEY_endservent:
2715             FUN0(OP_ESERVENT);
2716
2717         case KEY_endprotoent:
2718             FUN0(OP_EPROTOENT);
2719
2720         case KEY_endpwent:
2721             FUN0(OP_EPWENT);
2722
2723         case KEY_endgrent:
2724             FUN0(OP_EGRENT);
2725
2726         case KEY_for:
2727         case KEY_foreach:
2728             yylval.ival = curcop->cop_line;
2729             while (s < bufend && isSPACE(*s))
2730                 s++;
2731             if (isIDFIRST(*s))
2732                 croak("Missing $ on loop variable");
2733             OPERATOR(FOR);
2734
2735         case KEY_formline:
2736             LOP(OP_FORMLINE,XTERM);
2737
2738         case KEY_fork:
2739             FUN0(OP_FORK);
2740
2741         case KEY_fcntl:
2742             LOP(OP_FCNTL,XTERM);
2743
2744         case KEY_fileno:
2745             UNI(OP_FILENO);
2746
2747         case KEY_flock:
2748             LOP(OP_FLOCK,XTERM);
2749
2750         case KEY_gt:
2751             Rop(OP_SGT);
2752
2753         case KEY_ge:
2754             Rop(OP_SGE);
2755
2756         case KEY_grep:
2757             LOP(OP_GREPSTART, *s == '(' ? XTERM : XREF);
2758
2759         case KEY_goto:
2760             s = force_word(s,WORD,TRUE,FALSE,FALSE);
2761             LOOPX(OP_GOTO);
2762
2763         case KEY_gmtime:
2764             UNI(OP_GMTIME);
2765
2766         case KEY_getc:
2767             UNI(OP_GETC);
2768
2769         case KEY_getppid:
2770             FUN0(OP_GETPPID);
2771
2772         case KEY_getpgrp:
2773             UNI(OP_GETPGRP);
2774
2775         case KEY_getpriority:
2776             LOP(OP_GETPRIORITY,XTERM);
2777
2778         case KEY_getprotobyname:
2779             UNI(OP_GPBYNAME);
2780
2781         case KEY_getprotobynumber:
2782             LOP(OP_GPBYNUMBER,XTERM);
2783
2784         case KEY_getprotoent:
2785             FUN0(OP_GPROTOENT);
2786
2787         case KEY_getpwent:
2788             FUN0(OP_GPWENT);
2789
2790         case KEY_getpwnam:
2791             FUN1(OP_GPWNAM);
2792
2793         case KEY_getpwuid:
2794             FUN1(OP_GPWUID);
2795
2796         case KEY_getpeername:
2797             UNI(OP_GETPEERNAME);
2798
2799         case KEY_gethostbyname:
2800             UNI(OP_GHBYNAME);
2801
2802         case KEY_gethostbyaddr:
2803             LOP(OP_GHBYADDR,XTERM);
2804
2805         case KEY_gethostent:
2806             FUN0(OP_GHOSTENT);
2807
2808         case KEY_getnetbyname:
2809             UNI(OP_GNBYNAME);
2810
2811         case KEY_getnetbyaddr:
2812             LOP(OP_GNBYADDR,XTERM);
2813
2814         case KEY_getnetent:
2815             FUN0(OP_GNETENT);
2816
2817         case KEY_getservbyname:
2818             LOP(OP_GSBYNAME,XTERM);
2819
2820         case KEY_getservbyport:
2821             LOP(OP_GSBYPORT,XTERM);
2822
2823         case KEY_getservent:
2824             FUN0(OP_GSERVENT);
2825
2826         case KEY_getsockname:
2827             UNI(OP_GETSOCKNAME);
2828
2829         case KEY_getsockopt:
2830             LOP(OP_GSOCKOPT,XTERM);
2831
2832         case KEY_getgrent:
2833             FUN0(OP_GGRENT);
2834
2835         case KEY_getgrnam:
2836             FUN1(OP_GGRNAM);
2837
2838         case KEY_getgrgid:
2839             FUN1(OP_GGRGID);
2840
2841         case KEY_getlogin:
2842             FUN0(OP_GETLOGIN);
2843
2844         case KEY_glob:
2845             set_csh();
2846             LOP(OP_GLOB,XTERM);
2847
2848         case KEY_hex:
2849             UNI(OP_HEX);
2850
2851         case KEY_if:
2852             yylval.ival = curcop->cop_line;
2853             OPERATOR(IF);
2854
2855         case KEY_index:
2856             LOP(OP_INDEX,XTERM);
2857
2858         case KEY_int:
2859             UNI(OP_INT);
2860
2861         case KEY_ioctl:
2862             LOP(OP_IOCTL,XTERM);
2863
2864         case KEY_join:
2865             LOP(OP_JOIN,XTERM);
2866
2867         case KEY_keys:
2868             UNI(OP_KEYS);
2869
2870         case KEY_kill:
2871             LOP(OP_KILL,XTERM);
2872
2873         case KEY_last:
2874             s = force_word(s,WORD,TRUE,FALSE,FALSE);
2875             LOOPX(OP_LAST);
2876             
2877         case KEY_lc:
2878             UNI(OP_LC);
2879
2880         case KEY_lcfirst:
2881             UNI(OP_LCFIRST);
2882
2883         case KEY_local:
2884             yylval.ival = 0;
2885             OPERATOR(LOCAL);
2886
2887         case KEY_length:
2888             UNI(OP_LENGTH);
2889
2890         case KEY_lt:
2891             Rop(OP_SLT);
2892
2893         case KEY_le:
2894             Rop(OP_SLE);
2895
2896         case KEY_localtime:
2897             UNI(OP_LOCALTIME);
2898
2899         case KEY_log:
2900             UNI(OP_LOG);
2901
2902         case KEY_link:
2903             LOP(OP_LINK,XTERM);
2904
2905         case KEY_listen:
2906             LOP(OP_LISTEN,XTERM);
2907
2908         case KEY_lstat:
2909             UNI(OP_LSTAT);
2910
2911         case KEY_m:
2912             s = scan_pat(s);
2913             TERM(sublex_start());
2914
2915         case KEY_map:
2916             LOP(OP_MAPSTART,XREF);
2917             
2918         case KEY_mkdir:
2919             LOP(OP_MKDIR,XTERM);
2920
2921         case KEY_msgctl:
2922             LOP(OP_MSGCTL,XTERM);
2923
2924         case KEY_msgget:
2925             LOP(OP_MSGGET,XTERM);
2926
2927         case KEY_msgrcv:
2928             LOP(OP_MSGRCV,XTERM);
2929
2930         case KEY_msgsnd:
2931             LOP(OP_MSGSND,XTERM);
2932
2933         case KEY_my:
2934             in_my = TRUE;
2935             yylval.ival = 1;
2936             OPERATOR(LOCAL);
2937
2938         case KEY_next:
2939             s = force_word(s,WORD,TRUE,FALSE,FALSE);
2940             LOOPX(OP_NEXT);
2941
2942         case KEY_ne:
2943             Eop(OP_SNE);
2944
2945         case KEY_no:
2946             if (expect != XSTATE)
2947                 yyerror("\"no\" not allowed in expression");
2948             s = force_word(s,WORD,FALSE,TRUE,FALSE);
2949             yylval.ival = 0;
2950             OPERATOR(USE);
2951
2952         case KEY_not:
2953             OPERATOR(NOTOP);
2954
2955         case KEY_open:
2956             s = skipspace(s);
2957             if (isIDFIRST(*s)) {
2958                 char *t;
2959                 for (d = s; isALNUM(*d); d++) ;
2960                 t = skipspace(d);
2961                 if (strchr("|&*+-=!?:.", *t))
2962                     warn("Precedence problem: open %.*s should be open(%.*s)",
2963                         d-s,s, d-s,s);
2964             }
2965             LOP(OP_OPEN,XTERM);
2966
2967         case KEY_or:
2968             yylval.ival = OP_OR;
2969             OPERATOR(OROP);
2970
2971         case KEY_ord:
2972             UNI(OP_ORD);
2973
2974         case KEY_oct:
2975             UNI(OP_OCT);
2976
2977         case KEY_opendir:
2978             LOP(OP_OPEN_DIR,XTERM);
2979
2980         case KEY_print:
2981             checkcomma(s,tokenbuf,"filehandle");
2982             LOP(OP_PRINT,XREF);
2983
2984         case KEY_printf:
2985             checkcomma(s,tokenbuf,"filehandle");
2986             LOP(OP_PRTF,XREF);
2987
2988         case KEY_prototype:
2989             UNI(OP_PROTOTYPE);
2990
2991         case KEY_push:
2992             LOP(OP_PUSH,XTERM);
2993
2994         case KEY_pop:
2995             UNI(OP_POP);
2996
2997         case KEY_pos:
2998             UNI(OP_POS);
2999             
3000         case KEY_pack:
3001             LOP(OP_PACK,XTERM);
3002
3003         case KEY_package:
3004             s = force_word(s,WORD,FALSE,TRUE,FALSE);
3005             OPERATOR(PACKAGE);
3006
3007         case KEY_pipe:
3008             LOP(OP_PIPE_OP,XTERM);
3009
3010         case KEY_q:
3011             s = scan_str(s);
3012             if (!s)
3013                 missingterm((char*)0);
3014             yylval.ival = OP_CONST;
3015             TERM(sublex_start());
3016
3017         case KEY_quotemeta:
3018             UNI(OP_QUOTEMETA);
3019
3020         case KEY_qw:
3021             s = scan_str(s);
3022             if (!s)
3023                 missingterm((char*)0);
3024             force_next(')');
3025             nextval[nexttoke].opval = (OP*)newSVOP(OP_CONST, 0, q(lex_stuff));
3026             lex_stuff = Nullsv;
3027             force_next(THING);
3028             force_next(',');
3029             nextval[nexttoke].opval = (OP*)newSVOP(OP_CONST, 0, newSVpv(" ",1));
3030             force_next(THING);
3031             force_next('(');
3032             yylval.ival = OP_SPLIT;
3033             CLINE;
3034             expect = XTERM;
3035             bufptr = s;
3036             last_lop = oldbufptr;
3037             last_lop_op = OP_SPLIT;
3038             return FUNC;
3039
3040         case KEY_qq:
3041             s = scan_str(s);
3042             if (!s)
3043                 missingterm((char*)0);
3044             yylval.ival = OP_STRINGIFY;
3045             if (SvIVX(lex_stuff) == '\'')
3046                 SvIVX(lex_stuff) = 0;   /* qq'$foo' should intepolate */
3047             TERM(sublex_start());
3048
3049         case KEY_qx:
3050             s = scan_str(s);
3051             if (!s)
3052                 missingterm((char*)0);
3053             yylval.ival = OP_BACKTICK;
3054             set_csh();
3055             TERM(sublex_start());
3056
3057         case KEY_return:
3058             OLDLOP(OP_RETURN);
3059
3060         case KEY_require:
3061             *tokenbuf = '\0';
3062             s = force_word(s,WORD,TRUE,TRUE,FALSE);
3063             if (isIDFIRST(*tokenbuf))
3064                 gv_stashpv(tokenbuf, TRUE);
3065             else if (*s == '<')
3066                 yyerror("<> should be quotes");
3067             UNI(OP_REQUIRE);
3068
3069         case KEY_reset:
3070             UNI(OP_RESET);
3071
3072         case KEY_redo:
3073             s = force_word(s,WORD,TRUE,FALSE,FALSE);
3074             LOOPX(OP_REDO);
3075
3076         case KEY_rename:
3077             LOP(OP_RENAME,XTERM);
3078
3079         case KEY_rand:
3080             UNI(OP_RAND);
3081
3082         case KEY_rmdir:
3083             UNI(OP_RMDIR);
3084
3085         case KEY_rindex:
3086             LOP(OP_RINDEX,XTERM);
3087
3088         case KEY_read:
3089             LOP(OP_READ,XTERM);
3090
3091         case KEY_readdir:
3092             UNI(OP_READDIR);
3093
3094         case KEY_readline:
3095             set_csh();
3096             UNI(OP_READLINE);
3097
3098         case KEY_readpipe:
3099             set_csh();
3100             UNI(OP_BACKTICK);
3101
3102         case KEY_rewinddir:
3103             UNI(OP_REWINDDIR);
3104
3105         case KEY_recv:
3106             LOP(OP_RECV,XTERM);
3107
3108         case KEY_reverse:
3109             LOP(OP_REVERSE,XTERM);
3110
3111         case KEY_readlink:
3112             UNI(OP_READLINK);
3113
3114         case KEY_ref:
3115             UNI(OP_REF);
3116
3117         case KEY_s:
3118             s = scan_subst(s);
3119             if (yylval.opval)
3120                 TERM(sublex_start());
3121             else
3122                 TOKEN(1);       /* force error */
3123
3124         case KEY_chomp:
3125             UNI(OP_CHOMP);
3126             
3127         case KEY_scalar:
3128             UNI(OP_SCALAR);
3129
3130         case KEY_select:
3131             LOP(OP_SELECT,XTERM);
3132
3133         case KEY_seek:
3134             LOP(OP_SEEK,XTERM);
3135
3136         case KEY_semctl:
3137             LOP(OP_SEMCTL,XTERM);
3138
3139         case KEY_semget:
3140             LOP(OP_SEMGET,XTERM);
3141
3142         case KEY_semop:
3143             LOP(OP_SEMOP,XTERM);
3144
3145         case KEY_send:
3146             LOP(OP_SEND,XTERM);
3147
3148         case KEY_setpgrp:
3149             LOP(OP_SETPGRP,XTERM);
3150
3151         case KEY_setpriority:
3152             LOP(OP_SETPRIORITY,XTERM);
3153
3154         case KEY_sethostent:
3155             FUN1(OP_SHOSTENT);
3156
3157         case KEY_setnetent:
3158             FUN1(OP_SNETENT);
3159
3160         case KEY_setservent:
3161             FUN1(OP_SSERVENT);
3162
3163         case KEY_setprotoent:
3164             FUN1(OP_SPROTOENT);
3165
3166         case KEY_setpwent:
3167             FUN0(OP_SPWENT);
3168
3169         case KEY_setgrent:
3170             FUN0(OP_SGRENT);
3171
3172         case KEY_seekdir:
3173             LOP(OP_SEEKDIR,XTERM);
3174
3175         case KEY_setsockopt:
3176             LOP(OP_SSOCKOPT,XTERM);
3177
3178         case KEY_shift:
3179             UNI(OP_SHIFT);
3180
3181         case KEY_shmctl:
3182             LOP(OP_SHMCTL,XTERM);
3183
3184         case KEY_shmget:
3185             LOP(OP_SHMGET,XTERM);
3186
3187         case KEY_shmread:
3188             LOP(OP_SHMREAD,XTERM);
3189
3190         case KEY_shmwrite:
3191             LOP(OP_SHMWRITE,XTERM);
3192
3193         case KEY_shutdown:
3194             LOP(OP_SHUTDOWN,XTERM);
3195
3196         case KEY_sin:
3197             UNI(OP_SIN);
3198
3199         case KEY_sleep:
3200             UNI(OP_SLEEP);
3201
3202         case KEY_socket:
3203             LOP(OP_SOCKET,XTERM);
3204
3205         case KEY_socketpair:
3206             LOP(OP_SOCKPAIR,XTERM);
3207
3208         case KEY_sort:
3209             checkcomma(s,tokenbuf,"subroutine name");
3210             s = skipspace(s);
3211             if (*s == ';' || *s == ')')         /* probably a close */
3212                 croak("sort is now a reserved word");
3213             expect = XTERM;
3214             s = force_word(s,WORD,TRUE,TRUE,TRUE);
3215             LOP(OP_SORT,XREF);
3216
3217         case KEY_split:
3218             LOP(OP_SPLIT,XTERM);
3219
3220         case KEY_sprintf:
3221             LOP(OP_SPRINTF,XTERM);
3222
3223         case KEY_splice:
3224             LOP(OP_SPLICE,XTERM);
3225
3226         case KEY_sqrt:
3227             UNI(OP_SQRT);
3228
3229         case KEY_srand:
3230             UNI(OP_SRAND);
3231
3232         case KEY_stat:
3233             UNI(OP_STAT);
3234
3235         case KEY_study:
3236             sawstudy++;
3237             UNI(OP_STUDY);
3238
3239         case KEY_substr:
3240             LOP(OP_SUBSTR,XTERM);
3241
3242         case KEY_format:
3243         case KEY_sub:
3244           really_sub:
3245             s = skipspace(s);
3246
3247             if (isIDFIRST(*s) || *s == '\'' || *s == ':') {
3248                 char tmpbuf[128];
3249                 expect = XBLOCK;
3250                 d = scan_word(s, tmpbuf, TRUE, &len);
3251                 if (strchr(tmpbuf, ':'))
3252                     sv_setpv(subname, tmpbuf);
3253                 else {
3254                     sv_setsv(subname,curstname);
3255                     sv_catpvn(subname,"::",2);
3256                     sv_catpvn(subname,tmpbuf,len);
3257                 }
3258                 s = force_word(s,WORD,FALSE,TRUE,TRUE);
3259                 s = skipspace(s);
3260             }
3261             else {
3262                 expect = XTERMBLOCK;
3263                 sv_setpv(subname,"?");
3264             }
3265
3266             if (tmp == KEY_format) {
3267                 s = skipspace(s);
3268                 if (*s == '=')
3269                     lex_formbrack = lex_brackets + 1;
3270                 OPERATOR(FORMAT);
3271             }
3272
3273             /* Look for a prototype */
3274             if (*s == '(') {
3275                 s = scan_str(s);
3276                 if (!s) {
3277                     if (lex_stuff)
3278                         SvREFCNT_dec(lex_stuff);
3279                     lex_stuff = Nullsv;
3280                     croak("Prototype not terminated");
3281                 }
3282                 nexttoke++;
3283                 nextval[1] = nextval[0];
3284                 nexttype[1] = nexttype[0];
3285                 nextval[0].opval = (OP*)newSVOP(OP_CONST, 0, lex_stuff);
3286                 nexttype[0] = THING;
3287                 if (nexttoke == 1) {
3288                     lex_defer = lex_state;
3289                     lex_expect = expect;
3290                     lex_state = LEX_KNOWNEXT;
3291                 }
3292                 lex_stuff = Nullsv;
3293             }
3294
3295             if (*SvPV(subname,na) == '?') {
3296                 sv_setpv(subname,"__ANON__");
3297                 TOKEN(ANONSUB);
3298             }
3299             PREBLOCK(SUB);
3300
3301         case KEY_system:
3302             set_csh();
3303             LOP(OP_SYSTEM,XREF);
3304
3305         case KEY_symlink:
3306             LOP(OP_SYMLINK,XTERM);
3307
3308         case KEY_syscall:
3309             LOP(OP_SYSCALL,XTERM);
3310
3311         case KEY_sysopen:
3312             LOP(OP_SYSOPEN,XTERM);
3313
3314         case KEY_sysread:
3315             LOP(OP_SYSREAD,XTERM);
3316
3317         case KEY_syswrite:
3318             LOP(OP_SYSWRITE,XTERM);
3319
3320         case KEY_tr:
3321             s = scan_trans(s);
3322             TERM(sublex_start());
3323
3324         case KEY_tell:
3325             UNI(OP_TELL);
3326
3327         case KEY_telldir:
3328             UNI(OP_TELLDIR);
3329
3330         case KEY_tie:
3331             LOP(OP_TIE,XTERM);
3332
3333         case KEY_tied:
3334             UNI(OP_TIED);
3335
3336         case KEY_time:
3337             FUN0(OP_TIME);
3338
3339         case KEY_times:
3340             FUN0(OP_TMS);
3341
3342         case KEY_truncate:
3343             LOP(OP_TRUNCATE,XTERM);
3344
3345         case KEY_uc:
3346             UNI(OP_UC);
3347
3348         case KEY_ucfirst:
3349             UNI(OP_UCFIRST);
3350
3351         case KEY_untie:
3352             UNI(OP_UNTIE);
3353
3354         case KEY_until:
3355             yylval.ival = curcop->cop_line;
3356             OPERATOR(UNTIL);
3357
3358         case KEY_unless:
3359             yylval.ival = curcop->cop_line;
3360             OPERATOR(UNLESS);
3361
3362         case KEY_unlink:
3363             LOP(OP_UNLINK,XTERM);
3364
3365         case KEY_undef:
3366             UNI(OP_UNDEF);
3367
3368         case KEY_unpack:
3369             LOP(OP_UNPACK,XTERM);
3370
3371         case KEY_utime:
3372             LOP(OP_UTIME,XTERM);
3373
3374         case KEY_umask:
3375             if (dowarn) {
3376                 for (d = s; d < bufend && (isSPACE(*d) || *d == '('); d++) ;
3377                 if (*d != '0' && isDIGIT(*d))
3378                     yywarn("umask: argument is missing initial 0");
3379             }
3380             UNI(OP_UMASK);
3381
3382         case KEY_unshift:
3383             LOP(OP_UNSHIFT,XTERM);
3384
3385         case KEY_use:
3386             if (expect != XSTATE)
3387                 yyerror("\"use\" not allowed in expression");
3388             s = force_word(s,WORD,FALSE,TRUE,FALSE);
3389             yylval.ival = 1;
3390             OPERATOR(USE);
3391
3392         case KEY_values:
3393             UNI(OP_VALUES);
3394
3395         case KEY_vec:
3396             sawvec = TRUE;
3397             LOP(OP_VEC,XTERM);
3398
3399         case KEY_while:
3400             yylval.ival = curcop->cop_line;
3401             OPERATOR(WHILE);
3402
3403         case KEY_warn:
3404             hints |= HINT_BLOCK_SCOPE;
3405             LOP(OP_WARN,XTERM);
3406
3407         case KEY_wait:
3408             FUN0(OP_WAIT);
3409
3410         case KEY_waitpid:
3411             LOP(OP_WAITPID,XTERM);
3412
3413         case KEY_wantarray:
3414             FUN0(OP_WANTARRAY);
3415
3416         case KEY_write:
3417             gv_fetchpv("\f",TRUE, SVt_PV);      /* Make sure $^L is defined */
3418             UNI(OP_ENTERWRITE);
3419
3420         case KEY_x:
3421             if (expect == XOPERATOR)
3422                 Mop(OP_REPEAT);
3423             check_uni();
3424             goto just_a_word;
3425
3426         case KEY_xor:
3427             yylval.ival = OP_XOR;
3428             OPERATOR(OROP);
3429
3430         case KEY_y:
3431             s = scan_trans(s);
3432             TERM(sublex_start());
3433         }
3434     }
3435 }
3436
3437 I32
3438 keyword(d, len)
3439 register char *d;
3440 I32 len;
3441 {
3442     switch (*d) {
3443     case '_':
3444         if (d[1] == '_') {
3445             if (strEQ(d,"__LINE__"))            return -KEY___LINE__;
3446             if (strEQ(d,"__FILE__"))            return -KEY___FILE__;
3447             if (strEQ(d,"__DATA__"))            return KEY___DATA__;
3448             if (strEQ(d,"__END__"))             return KEY___END__;
3449         }
3450         break;
3451     case 'A':
3452         if (strEQ(d,"AUTOLOAD"))                return KEY_AUTOLOAD;
3453         break;
3454     case 'a':
3455         switch (len) {
3456         case 3:
3457             if (strEQ(d,"and"))                 return -KEY_and;
3458             if (strEQ(d,"abs"))                 return -KEY_abs;
3459             break;
3460         case 5:
3461             if (strEQ(d,"alarm"))               return -KEY_alarm;
3462             if (strEQ(d,"atan2"))               return -KEY_atan2;
3463             break;
3464         case 6:
3465             if (strEQ(d,"accept"))              return -KEY_accept;
3466             break;
3467         }
3468         break;
3469     case 'B':
3470         if (strEQ(d,"BEGIN"))                   return KEY_BEGIN;
3471         break;
3472     case 'b':
3473         if (strEQ(d,"bless"))                   return -KEY_bless;
3474         if (strEQ(d,"bind"))                    return -KEY_bind;
3475         if (strEQ(d,"binmode"))                 return -KEY_binmode;
3476         break;
3477     case 'C':
3478         if (strEQ(d,"CORE"))                    return -KEY_CORE;
3479         break;
3480     case 'c':
3481         switch (len) {
3482         case 3:
3483             if (strEQ(d,"cmp"))                 return -KEY_cmp;
3484             if (strEQ(d,"chr"))                 return -KEY_chr;
3485             if (strEQ(d,"cos"))                 return -KEY_cos;
3486             break;
3487         case 4:
3488             if (strEQ(d,"chop"))                return KEY_chop;
3489             break;
3490         case 5:
3491             if (strEQ(d,"close"))               return -KEY_close;
3492             if (strEQ(d,"chdir"))               return -KEY_chdir;
3493             if (strEQ(d,"chomp"))               return KEY_chomp;
3494             if (strEQ(d,"chmod"))               return -KEY_chmod;
3495             if (strEQ(d,"chown"))               return -KEY_chown;
3496             if (strEQ(d,"crypt"))               return -KEY_crypt;
3497             break;
3498         case 6:
3499             if (strEQ(d,"chroot"))              return -KEY_chroot;
3500             if (strEQ(d,"caller"))              return -KEY_caller;
3501             break;
3502         case 7:
3503             if (strEQ(d,"connect"))             return -KEY_connect;
3504             break;
3505         case 8:
3506             if (strEQ(d,"closedir"))            return -KEY_closedir;
3507             if (strEQ(d,"continue"))            return -KEY_continue;
3508             break;
3509         }
3510         break;
3511     case 'D':
3512         if (strEQ(d,"DESTROY"))                 return KEY_DESTROY;
3513         break;
3514     case 'd':
3515         switch (len) {
3516         case 2:
3517             if (strEQ(d,"do"))                  return KEY_do;
3518             break;
3519         case 3:
3520             if (strEQ(d,"die"))                 return -KEY_die;
3521             break;
3522         case 4:
3523             if (strEQ(d,"dump"))                return -KEY_dump;
3524             break;
3525         case 6:
3526             if (strEQ(d,"delete"))              return KEY_delete;
3527             break;
3528         case 7:
3529             if (strEQ(d,"defined"))             return KEY_defined;
3530             if (strEQ(d,"dbmopen"))             return -KEY_dbmopen;
3531             break;
3532         case 8:
3533             if (strEQ(d,"dbmclose"))            return -KEY_dbmclose;
3534             break;
3535         }
3536         break;
3537     case 'E':
3538         if (strEQ(d,"EQ")) { deprecate(d);      return -KEY_eq;}
3539         if (strEQ(d,"END"))                     return KEY_END;
3540         break;
3541     case 'e':
3542         switch (len) {
3543         case 2:
3544             if (strEQ(d,"eq"))                  return -KEY_eq;
3545             break;
3546         case 3:
3547             if (strEQ(d,"eof"))                 return -KEY_eof;
3548             if (strEQ(d,"exp"))                 return -KEY_exp;
3549             break;
3550         case 4:
3551             if (strEQ(d,"else"))                return KEY_else;
3552             if (strEQ(d,"exit"))                return -KEY_exit;
3553             if (strEQ(d,"eval"))                return KEY_eval;
3554             if (strEQ(d,"exec"))                return -KEY_exec;
3555             if (strEQ(d,"each"))                return KEY_each;
3556             break;
3557         case 5:
3558             if (strEQ(d,"elsif"))               return KEY_elsif;
3559             break;
3560         case 6:
3561             if (strEQ(d,"exists"))              return KEY_exists;
3562             if (strEQ(d,"elseif")) warn("elseif should be elsif");
3563             break;
3564         case 8:
3565             if (strEQ(d,"endgrent"))            return -KEY_endgrent;
3566             if (strEQ(d,"endpwent"))            return -KEY_endpwent;
3567             break;
3568         case 9:
3569             if (strEQ(d,"endnetent"))           return -KEY_endnetent;
3570             break;
3571         case 10:
3572             if (strEQ(d,"endhostent"))          return -KEY_endhostent;
3573             if (strEQ(d,"endservent"))          return -KEY_endservent;
3574             break;
3575         case 11:
3576             if (strEQ(d,"endprotoent"))         return -KEY_endprotoent;
3577             break;
3578         }
3579         break;
3580     case 'f':
3581         switch (len) {
3582         case 3:
3583             if (strEQ(d,"for"))                 return KEY_for;
3584             break;
3585         case 4:
3586             if (strEQ(d,"fork"))                return -KEY_fork;
3587             break;
3588         case 5:
3589             if (strEQ(d,"fcntl"))               return -KEY_fcntl;
3590             if (strEQ(d,"flock"))               return -KEY_flock;
3591             break;
3592         case 6:
3593             if (strEQ(d,"format"))              return KEY_format;
3594             if (strEQ(d,"fileno"))              return -KEY_fileno;
3595             break;
3596         case 7:
3597             if (strEQ(d,"foreach"))             return KEY_foreach;
3598             break;
3599         case 8:
3600             if (strEQ(d,"formline"))            return -KEY_formline;
3601             break;
3602         }
3603         break;
3604     case 'G':
3605         if (len == 2) {
3606             if (strEQ(d,"GT")) { deprecate(d);  return -KEY_gt;}
3607             if (strEQ(d,"GE")) { deprecate(d);  return -KEY_ge;}
3608         }
3609         break;
3610     case 'g':
3611         if (strnEQ(d,"get",3)) {
3612             d += 3;
3613             if (*d == 'p') {
3614                 switch (len) {
3615                 case 7:
3616                     if (strEQ(d,"ppid"))        return -KEY_getppid;
3617                     if (strEQ(d,"pgrp"))        return -KEY_getpgrp;
3618                     break;
3619                 case 8:
3620                     if (strEQ(d,"pwent"))       return -KEY_getpwent;
3621                     if (strEQ(d,"pwnam"))       return -KEY_getpwnam;
3622                     if (strEQ(d,"pwuid"))       return -KEY_getpwuid;
3623                     break;
3624                 case 11:
3625                     if (strEQ(d,"peername"))    return -KEY_getpeername;
3626                     if (strEQ(d,"protoent"))    return -KEY_getprotoent;
3627                     if (strEQ(d,"priority"))    return -KEY_getpriority;
3628                     break;
3629                 case 14:
3630                     if (strEQ(d,"protobyname")) return -KEY_getprotobyname;
3631                     break;
3632                 case 16:
3633                     if (strEQ(d,"protobynumber"))return -KEY_getprotobynumber;
3634                     break;
3635                 }
3636             }
3637             else if (*d == 'h') {
3638                 if (strEQ(d,"hostbyname"))      return -KEY_gethostbyname;
3639                 if (strEQ(d,"hostbyaddr"))      return -KEY_gethostbyaddr;
3640                 if (strEQ(d,"hostent"))         return -KEY_gethostent;
3641             }
3642             else if (*d == 'n') {
3643                 if (strEQ(d,"netbyname"))       return -KEY_getnetbyname;
3644                 if (strEQ(d,"netbyaddr"))       return -KEY_getnetbyaddr;
3645                 if (strEQ(d,"netent"))          return -KEY_getnetent;
3646             }
3647             else if (*d == 's') {
3648                 if (strEQ(d,"servbyname"))      return -KEY_getservbyname;
3649                 if (strEQ(d,"servbyport"))      return -KEY_getservbyport;
3650                 if (strEQ(d,"servent"))         return -KEY_getservent;
3651                 if (strEQ(d,"sockname"))        return -KEY_getsockname;
3652                 if (strEQ(d,"sockopt"))         return -KEY_getsockopt;
3653             }
3654             else if (*d == 'g') {
3655                 if (strEQ(d,"grent"))           return -KEY_getgrent;
3656                 if (strEQ(d,"grnam"))           return -KEY_getgrnam;
3657                 if (strEQ(d,"grgid"))           return -KEY_getgrgid;
3658             }
3659             else if (*d == 'l') {
3660                 if (strEQ(d,"login"))           return -KEY_getlogin;
3661             }
3662             else if (strEQ(d,"c"))              return -KEY_getc;
3663             break;
3664         }
3665         switch (len) {
3666         case 2:
3667             if (strEQ(d,"gt"))                  return -KEY_gt;
3668             if (strEQ(d,"ge"))                  return -KEY_ge;
3669             break;
3670         case 4:
3671             if (strEQ(d,"grep"))                return KEY_grep;
3672             if (strEQ(d,"goto"))                return KEY_goto;
3673             if (strEQ(d,"glob"))                return -KEY_glob;
3674             break;
3675         case 6:
3676             if (strEQ(d,"gmtime"))              return -KEY_gmtime;
3677             break;
3678         }
3679         break;
3680     case 'h':
3681         if (strEQ(d,"hex"))                     return -KEY_hex;
3682         break;
3683     case 'i':
3684         switch (len) {
3685         case 2:
3686             if (strEQ(d,"if"))                  return KEY_if;
3687             break;
3688         case 3:
3689             if (strEQ(d,"int"))                 return -KEY_int;
3690             break;
3691         case 5:
3692             if (strEQ(d,"index"))               return -KEY_index;
3693             if (strEQ(d,"ioctl"))               return -KEY_ioctl;
3694             break;
3695         }
3696         break;
3697     case 'j':
3698         if (strEQ(d,"join"))                    return -KEY_join;
3699         break;
3700     case 'k':
3701         if (len == 4) {
3702             if (strEQ(d,"keys"))                return KEY_keys;
3703             if (strEQ(d,"kill"))                return -KEY_kill;
3704         }
3705         break;
3706     case 'L':
3707         if (len == 2) {
3708             if (strEQ(d,"LT")) { deprecate(d);  return -KEY_lt;}
3709             if (strEQ(d,"LE")) { deprecate(d);  return -KEY_le;}
3710         }
3711         break;
3712     case 'l':
3713         switch (len) {
3714         case 2:
3715             if (strEQ(d,"lt"))                  return -KEY_lt;
3716             if (strEQ(d,"le"))                  return -KEY_le;
3717             if (strEQ(d,"lc"))                  return -KEY_lc;
3718             break;
3719         case 3:
3720             if (strEQ(d,"log"))                 return -KEY_log;
3721             break;
3722         case 4:
3723             if (strEQ(d,"last"))                return KEY_last;
3724             if (strEQ(d,"link"))                return -KEY_link;
3725             break;
3726         case 5:
3727             if (strEQ(d,"local"))               return KEY_local;
3728             if (strEQ(d,"lstat"))               return -KEY_lstat;
3729             break;
3730         case 6:
3731             if (strEQ(d,"length"))              return -KEY_length;
3732             if (strEQ(d,"listen"))              return -KEY_listen;
3733             break;
3734         case 7:
3735             if (strEQ(d,"lcfirst"))             return -KEY_lcfirst;
3736             break;
3737         case 9:
3738             if (strEQ(d,"localtime"))           return -KEY_localtime;
3739             break;
3740         }
3741         break;
3742     case 'm':
3743         switch (len) {
3744         case 1:                                 return KEY_m;
3745         case 2:
3746             if (strEQ(d,"my"))                  return KEY_my;
3747             break;
3748         case 3:
3749             if (strEQ(d,"map"))                 return KEY_map;
3750             break;
3751         case 5:
3752             if (strEQ(d,"mkdir"))               return -KEY_mkdir;
3753             break;
3754         case 6:
3755             if (strEQ(d,"msgctl"))              return -KEY_msgctl;
3756             if (strEQ(d,"msgget"))              return -KEY_msgget;
3757             if (strEQ(d,"msgrcv"))              return -KEY_msgrcv;
3758             if (strEQ(d,"msgsnd"))              return -KEY_msgsnd;
3759             break;
3760         }
3761         break;
3762     case 'N':
3763         if (strEQ(d,"NE")) { deprecate(d);      return -KEY_ne;}
3764         break;
3765     case 'n':
3766         if (strEQ(d,"next"))                    return KEY_next;
3767         if (strEQ(d,"ne"))                      return -KEY_ne;
3768         if (strEQ(d,"not"))                     return -KEY_not;
3769         if (strEQ(d,"no"))                      return KEY_no;
3770         break;
3771     case 'o':
3772         switch (len) {
3773         case 2:
3774             if (strEQ(d,"or"))                  return -KEY_or;
3775             break;
3776         case 3:
3777             if (strEQ(d,"ord"))                 return -KEY_ord;
3778             if (strEQ(d,"oct"))                 return -KEY_oct;
3779             break;
3780         case 4:
3781             if (strEQ(d,"open"))                return -KEY_open;
3782             break;
3783         case 7:
3784             if (strEQ(d,"opendir"))             return -KEY_opendir;
3785             break;
3786         }
3787         break;
3788     case 'p':
3789         switch (len) {
3790         case 3:
3791             if (strEQ(d,"pop"))                 return KEY_pop;
3792             if (strEQ(d,"pos"))                 return KEY_pos;
3793             break;
3794         case 4:
3795             if (strEQ(d,"push"))                return KEY_push;
3796             if (strEQ(d,"pack"))                return -KEY_pack;
3797             if (strEQ(d,"pipe"))                return -KEY_pipe;
3798             break;
3799         case 5:
3800             if (strEQ(d,"print"))               return KEY_print;
3801             break;
3802         case 6:
3803             if (strEQ(d,"printf"))              return KEY_printf;
3804             break;
3805         case 7:
3806             if (strEQ(d,"package"))             return KEY_package;
3807             break;
3808         case 9:
3809             if (strEQ(d,"prototype"))           return KEY_prototype;
3810         }
3811         break;
3812     case 'q':
3813         if (len <= 2) {
3814             if (strEQ(d,"q"))                   return KEY_q;
3815             if (strEQ(d,"qq"))                  return KEY_qq;
3816             if (strEQ(d,"qw"))                  return KEY_qw;
3817             if (strEQ(d,"qx"))                  return KEY_qx;
3818         }
3819         else if (strEQ(d,"quotemeta"))          return -KEY_quotemeta;
3820         break;
3821     case 'r':
3822         switch (len) {
3823         case 3:
3824             if (strEQ(d,"ref"))                 return -KEY_ref;
3825             break;
3826         case 4:
3827             if (strEQ(d,"read"))                return -KEY_read;
3828             if (strEQ(d,"rand"))                return -KEY_rand;
3829             if (strEQ(d,"recv"))                return -KEY_recv;
3830             if (strEQ(d,"redo"))                return KEY_redo;
3831             break;
3832         case 5:
3833             if (strEQ(d,"rmdir"))               return -KEY_rmdir;
3834             if (strEQ(d,"reset"))               return -KEY_reset;
3835             break;
3836         case 6:
3837             if (strEQ(d,"return"))              return KEY_return;
3838             if (strEQ(d,"rename"))              return -KEY_rename;
3839             if (strEQ(d,"rindex"))              return -KEY_rindex;
3840             break;
3841         case 7:
3842             if (strEQ(d,"require"))             return -KEY_require;
3843             if (strEQ(d,"reverse"))             return -KEY_reverse;
3844             if (strEQ(d,"readdir"))             return -KEY_readdir;
3845             break;
3846         case 8:
3847             if (strEQ(d,"readlink"))            return -KEY_readlink;
3848             if (strEQ(d,"readline"))            return -KEY_readline;
3849             if (strEQ(d,"readpipe"))            return -KEY_readpipe;
3850             break;
3851         case 9:
3852             if (strEQ(d,"rewinddir"))           return -KEY_rewinddir;
3853             break;
3854         }
3855         break;
3856     case 's':
3857         switch (d[1]) {
3858         case 0:                                 return KEY_s;
3859         case 'c':
3860             if (strEQ(d,"scalar"))              return KEY_scalar;
3861             break;
3862         case 'e':
3863             switch (len) {
3864             case 4:
3865                 if (strEQ(d,"seek"))            return -KEY_seek;
3866                 if (strEQ(d,"send"))            return -KEY_send;
3867                 break;
3868             case 5:
3869                 if (strEQ(d,"semop"))           return -KEY_semop;
3870                 break;
3871             case 6:
3872                 if (strEQ(d,"select"))          return -KEY_select;
3873                 if (strEQ(d,"semctl"))          return -KEY_semctl;
3874                 if (strEQ(d,"semget"))          return -KEY_semget;
3875                 break;
3876             case 7:
3877                 if (strEQ(d,"setpgrp"))         return -KEY_setpgrp;
3878                 if (strEQ(d,"seekdir"))         return -KEY_seekdir;
3879                 break;
3880             case 8:
3881                 if (strEQ(d,"setpwent"))        return -KEY_setpwent;
3882                 if (strEQ(d,"setgrent"))        return -KEY_setgrent;
3883                 break;
3884             case 9:
3885                 if (strEQ(d,"setnetent"))       return -KEY_setnetent;
3886                 break;
3887             case 10:
3888                 if (strEQ(d,"setsockopt"))      return -KEY_setsockopt;
3889                 if (strEQ(d,"sethostent"))      return -KEY_sethostent;
3890                 if (strEQ(d,"setservent"))      return -KEY_setservent;
3891                 break;
3892             case 11:
3893                 if (strEQ(d,"setpriority"))     return -KEY_setpriority;
3894                 if (strEQ(d,"setprotoent"))     return -KEY_setprotoent;
3895                 break;
3896             }
3897             break;
3898         case 'h':
3899             switch (len) {
3900             case 5:
3901                 if (strEQ(d,"shift"))           return KEY_shift;
3902                 break;
3903             case 6:
3904                 if (strEQ(d,"shmctl"))          return -KEY_shmctl;
3905                 if (strEQ(d,"shmget"))          return -KEY_shmget;
3906                 break;
3907             case 7:
3908                 if (strEQ(d,"shmread"))         return -KEY_shmread;
3909                 break;
3910             case 8:
3911                 if (strEQ(d,"shmwrite"))        return -KEY_shmwrite;
3912                 if (strEQ(d,"shutdown"))        return -KEY_shutdown;
3913                 break;
3914             }
3915             break;
3916         case 'i':
3917             if (strEQ(d,"sin"))                 return -KEY_sin;
3918             break;
3919         case 'l':
3920             if (strEQ(d,"sleep"))               return -KEY_sleep;
3921             break;
3922         case 'o':
3923             if (strEQ(d,"sort"))                return KEY_sort;
3924             if (strEQ(d,"socket"))              return -KEY_socket;
3925             if (strEQ(d,"socketpair"))          return -KEY_socketpair;
3926             break;
3927         case 'p':
3928             if (strEQ(d,"split"))               return KEY_split;
3929             if (strEQ(d,"sprintf"))             return -KEY_sprintf;
3930             if (strEQ(d,"splice"))              return KEY_splice;
3931             break;
3932         case 'q':
3933             if (strEQ(d,"sqrt"))                return -KEY_sqrt;
3934             break;
3935         case 'r':
3936             if (strEQ(d,"srand"))               return -KEY_srand;
3937             break;
3938         case 't':
3939             if (strEQ(d,"stat"))                return -KEY_stat;
3940             if (strEQ(d,"study"))               return KEY_study;
3941             break;
3942         case 'u':
3943             if (strEQ(d,"substr"))              return -KEY_substr;
3944             if (strEQ(d,"sub"))                 return KEY_sub;
3945             break;
3946         case 'y':
3947             switch (len) {
3948             case 6:
3949                 if (strEQ(d,"system"))          return -KEY_system;
3950                 break;
3951             case 7:
3952                 if (strEQ(d,"sysopen"))         return -KEY_sysopen;
3953                 if (strEQ(d,"sysread"))         return -KEY_sysread;
3954                 if (strEQ(d,"symlink"))         return -KEY_symlink;
3955                 if (strEQ(d,"syscall"))         return -KEY_syscall;
3956                 break;
3957             case 8:
3958                 if (strEQ(d,"syswrite"))        return -KEY_syswrite;
3959                 break;
3960             }
3961             break;
3962         }
3963         break;
3964     case 't':
3965         switch (len) {
3966         case 2:
3967             if (strEQ(d,"tr"))                  return KEY_tr;
3968             break;
3969         case 3:
3970             if (strEQ(d,"tie"))                 return KEY_tie;
3971             break;
3972         case 4:
3973             if (strEQ(d,"tell"))                return -KEY_tell;
3974             if (strEQ(d,"tied"))                return KEY_tied;
3975             if (strEQ(d,"time"))                return -KEY_time;
3976             break;
3977         case 5:
3978             if (strEQ(d,"times"))               return -KEY_times;
3979             break;
3980         case 7:
3981             if (strEQ(d,"telldir"))             return -KEY_telldir;
3982             break;
3983         case 8:
3984             if (strEQ(d,"truncate"))            return -KEY_truncate;
3985             break;
3986         }
3987         break;
3988     case 'u':
3989         switch (len) {
3990         case 2:
3991             if (strEQ(d,"uc"))                  return -KEY_uc;
3992             break;
3993         case 3:
3994             if (strEQ(d,"use"))                 return KEY_use;
3995             break;
3996         case 5:
3997             if (strEQ(d,"undef"))               return KEY_undef;
3998             if (strEQ(d,"until"))               return KEY_until;
3999             if (strEQ(d,"untie"))               return KEY_untie;
4000             if (strEQ(d,"utime"))               return -KEY_utime;
4001             if (strEQ(d,"umask"))               return -KEY_umask;
4002             break;
4003         case 6:
4004             if (strEQ(d,"unless"))              return KEY_unless;
4005             if (strEQ(d,"unpack"))              return -KEY_unpack;
4006             if (strEQ(d,"unlink"))              return -KEY_unlink;
4007             break;
4008         case 7:
4009             if (strEQ(d,"unshift"))             return KEY_unshift;
4010             if (strEQ(d,"ucfirst"))             return -KEY_ucfirst;
4011             break;
4012         }
4013         break;
4014     case 'v':
4015         if (strEQ(d,"values"))                  return -KEY_values;
4016         if (strEQ(d,"vec"))                     return -KEY_vec;
4017         break;
4018     case 'w':
4019         switch (len) {
4020         case 4:
4021             if (strEQ(d,"warn"))                return -KEY_warn;
4022             if (strEQ(d,"wait"))                return -KEY_wait;
4023             break;
4024         case 5:
4025             if (strEQ(d,"while"))               return KEY_while;
4026             if (strEQ(d,"write"))               return -KEY_write;
4027             break;
4028         case 7:
4029             if (strEQ(d,"waitpid"))             return -KEY_waitpid;
4030             break;
4031         case 9:
4032             if (strEQ(d,"wantarray"))           return -KEY_wantarray;
4033             break;
4034         }
4035         break;
4036     case 'x':
4037         if (len == 1)                           return -KEY_x;
4038         if (strEQ(d,"xor"))                     return -KEY_xor;
4039         break;
4040     case 'y':
4041         if (len == 1)                           return KEY_y;
4042         break;
4043     case 'z':
4044         break;
4045     }
4046     return 0;
4047 }
4048
4049 static void
4050 checkcomma(s,name,what)
4051 register char *s;
4052 char *name;
4053 char *what;
4054 {
4055     char *w;
4056
4057     if (dowarn && *s == ' ' && s[1] == '(') {   /* XXX gotta be a better way */
4058         int level = 1;
4059         for (w = s+2; *w && level; w++) {
4060             if (*w == '(')
4061                 ++level;
4062             else if (*w == ')')
4063                 --level;
4064         }
4065         if (*w)
4066             for (; *w && isSPACE(*w); w++) ;
4067         if (!*w || !strchr(";|})]oa!=", *w))    /* an advisory hack only... */
4068             warn("%s (...) interpreted as function",name);
4069     }
4070     while (s < bufend && isSPACE(*s))
4071         s++;
4072     if (*s == '(')
4073         s++;
4074     while (s < bufend && isSPACE(*s))
4075         s++;
4076     if (isIDFIRST(*s)) {
4077         w = s++;
4078         while (isALNUM(*s))
4079             s++;
4080         while (s < bufend && isSPACE(*s))
4081             s++;
4082         if (*s == ',') {
4083             int kw;
4084             *s = '\0';
4085             kw = keyword(w, s - w) || perl_get_cv(w, FALSE) != 0;
4086             *s = ',';
4087             if (kw)
4088                 return;
4089             croak("No comma allowed after %s", what);
4090         }
4091     }
4092 }
4093
4094 static char *
4095 scan_word(s, dest, allow_package, slp)
4096 register char *s;
4097 char *dest;
4098 int allow_package;
4099 STRLEN *slp;
4100 {
4101     register char *d = dest;
4102     for (;;) {
4103         if (isALNUM(*s))
4104             *d++ = *s++;
4105         else if (*s == '\'' && allow_package && isIDFIRST(s[1])) {
4106             *d++ = ':';
4107             *d++ = ':';
4108             s++;
4109         }
4110         else if (*s == ':' && s[1] == ':' && allow_package && isIDFIRST(s[2])) {
4111             *d++ = *s++;
4112             *d++ = *s++;
4113         }
4114         else {
4115             *d = '\0';
4116             *slp = d - dest;
4117             return s;
4118         }
4119     }
4120 }
4121
4122 static char *
4123 scan_ident(s,send,dest,ck_uni)
4124 register char *s;
4125 register char *send;
4126 char *dest;
4127 I32 ck_uni;
4128 {
4129     register char *d;
4130     char *bracket = 0;
4131     char funny = *s++;
4132
4133     if (lex_brackets == 0)
4134         lex_fakebrack = 0;
4135     if (isSPACE(*s))
4136         s = skipspace(s);
4137     d = dest;
4138     if (isDIGIT(*s)) {
4139         while (isDIGIT(*s))
4140             *d++ = *s++;
4141     }
4142     else {
4143         for (;;) {
4144             if (isALNUM(*s))
4145                 *d++ = *s++;
4146             else if (*s == '\'' && isIDFIRST(s[1])) {
4147                 *d++ = ':';
4148                 *d++ = ':';
4149                 s++;
4150             }
4151             else if (*s == ':' && s[1] == ':') {
4152                 *d++ = *s++;
4153                 *d++ = *s++;
4154             }
4155             else
4156                 break;
4157         }
4158     }
4159     *d = '\0';
4160     d = dest;
4161     if (*d) {
4162         if (lex_state != LEX_NORMAL)
4163             lex_state = LEX_INTERPENDMAYBE;
4164         return s;
4165     }
4166     if (*s == '$' && s[1] &&
4167       (isALPHA(s[1]) || strchr("$_{", s[1]) || strnEQ(s+1,"::",2)) )
4168         return s;
4169     if (*s == '{') {
4170         bracket = s;
4171         s++;
4172     }
4173     else if (ck_uni)
4174         check_uni();
4175     if (s < send)
4176         *d = *s++;
4177     d[1] = '\0';
4178     if (*d == '^' && *s && (isUPPER(*s) || strchr("[\\]^_?", *s))) {
4179         *d = *s++ ^ 64;
4180     }
4181     if (bracket) {
4182         if (isSPACE(s[-1])) {
4183             while (s < send && (*s == ' ' || *s == '\t')) s++;
4184             *d = *s;
4185         }
4186         if (isALPHA(*d) || *d == '_') {
4187             d++;
4188             while (isALNUM(*s) || *s == ':')
4189                 *d++ = *s++;
4190             *d = '\0';
4191             while (s < send && (*s == ' ' || *s == '\t')) s++;
4192             if ((*s == '[' || *s == '{')) {
4193                 if (dowarn && keyword(dest, d - dest)) {
4194                     char *brack = *s == '[' ? "[...]" : "{...}";
4195                     warn("Ambiguous use of %c{%s%s} resolved to %c%s%s",
4196                         funny, dest, brack, funny, dest, brack);
4197                 }
4198                 lex_fakebrack = lex_brackets+1;
4199                 bracket++;
4200                 lex_brackstack[lex_brackets++] = XOPERATOR;
4201                 return s;
4202             }
4203         }
4204         if (*s == '}') {
4205             s++;
4206             if (lex_state == LEX_INTERPNORMAL && !lex_brackets)
4207                 lex_state = LEX_INTERPEND;
4208             if (funny == '#')
4209                 funny = '@';
4210             if (dowarn &&
4211               (keyword(dest, d - dest) || perl_get_cv(dest, FALSE)))
4212                 warn("Ambiguous use of %c{%s} resolved to %c%s",
4213                     funny, dest, funny, dest);
4214         }
4215         else {
4216             s = bracket;                /* let the parser handle it */
4217             *dest = '\0';
4218         }
4219     }
4220     else if (lex_state == LEX_INTERPNORMAL && !lex_brackets && !intuit_more(s))
4221         lex_state = LEX_INTERPEND;
4222     return s;
4223 }
4224
4225 void pmflag(pmfl,ch)
4226 U16* pmfl;
4227 int ch;
4228 {
4229     if (ch == 'i') {
4230         sawi = TRUE;
4231         *pmfl |= PMf_FOLD;
4232     }
4233     else if (ch == 'g')
4234         *pmfl |= PMf_GLOBAL;
4235     else if (ch == 'o')
4236         *pmfl |= PMf_KEEP;
4237     else if (ch == 'm')
4238         *pmfl |= PMf_MULTILINE;
4239     else if (ch == 's')
4240         *pmfl |= PMf_SINGLELINE;
4241     else if (ch == 'x')
4242         *pmfl |= PMf_EXTENDED;
4243 }
4244
4245 static char *
4246 scan_pat(start)
4247 char *start;
4248 {
4249     PMOP *pm;
4250     char *s;
4251
4252     s = scan_str(start);
4253     if (!s) {
4254         if (lex_stuff)
4255             SvREFCNT_dec(lex_stuff);
4256         lex_stuff = Nullsv;
4257         croak("Search pattern not terminated");
4258     }
4259     pm = (PMOP*)newPMOP(OP_MATCH, 0);
4260     if (multi_open == '?')
4261         pm->op_pmflags |= PMf_ONCE;
4262
4263     while (*s && strchr("iogmsx", *s))
4264         pmflag(&pm->op_pmflags,*s++);
4265
4266     pm->op_pmpermflags = pm->op_pmflags;
4267     lex_op = (OP*)pm;
4268     yylval.ival = OP_MATCH;
4269     return s;
4270 }
4271
4272 static char *
4273 scan_subst(start)
4274 char *start;
4275 {
4276     register char *s;
4277     register PMOP *pm;
4278     I32 es = 0;
4279
4280     yylval.ival = OP_NULL;
4281
4282     s = scan_str(start);
4283
4284     if (!s) {
4285         if (lex_stuff)
4286             SvREFCNT_dec(lex_stuff);
4287         lex_stuff = Nullsv;
4288         croak("Substitution pattern not terminated");
4289     }
4290
4291     if (s[-1] == multi_open)
4292         s--;
4293
4294     s = scan_str(s);
4295     if (!s) {
4296         if (lex_stuff)
4297             SvREFCNT_dec(lex_stuff);
4298         lex_stuff = Nullsv;
4299         if (lex_repl)
4300             SvREFCNT_dec(lex_repl);
4301         lex_repl = Nullsv;
4302         croak("Substitution replacement not terminated");
4303     }
4304
4305     pm = (PMOP*)newPMOP(OP_SUBST, 0);
4306     while (*s && strchr("iogmsex", *s)) {
4307         if (*s == 'e') {
4308             s++;
4309             es++;
4310         }
4311         else
4312             pmflag(&pm->op_pmflags,*s++);
4313     }
4314
4315     if (es) {
4316         SV *repl;
4317         pm->op_pmflags |= PMf_EVAL;
4318         repl = newSVpv("",0);
4319         while (es-- > 0)
4320             sv_catpv(repl, es ? "eval " : "do ");
4321         sv_catpvn(repl, "{ ", 2);
4322         sv_catsv(repl, lex_repl);
4323         sv_catpvn(repl, " };", 2);
4324         SvCOMPILED_on(repl);
4325         SvREFCNT_dec(lex_repl);
4326         lex_repl = repl;
4327     }
4328
4329     pm->op_pmpermflags = pm->op_pmflags;
4330     lex_op = (OP*)pm;
4331     yylval.ival = OP_SUBST;
4332     return s;
4333 }
4334
4335 void
4336 hoistmust(pm)
4337 register PMOP *pm;
4338 {
4339     dTHR;
4340     if (!pm->op_pmshort && pm->op_pmregexp->regstart &&
4341         (!pm->op_pmregexp->regmust || pm->op_pmregexp->reganch & ROPT_ANCH)
4342        ) {
4343         if (!(pm->op_pmregexp->reganch & ROPT_ANCH))
4344             pm->op_pmflags |= PMf_SCANFIRST;
4345         else if (pm->op_pmflags & PMf_FOLD)
4346             return;
4347         pm->op_pmshort = SvREFCNT_inc(pm->op_pmregexp->regstart);
4348         pm->op_pmslen = SvCUR(pm->op_pmshort);
4349     }
4350     else if (pm->op_pmregexp->regmust) {/* is there a better short-circuit? */
4351         if (pm->op_pmshort &&
4352           sv_eq(pm->op_pmshort,pm->op_pmregexp->regmust))
4353         {
4354             if (pm->op_pmflags & PMf_SCANFIRST) {
4355                 SvREFCNT_dec(pm->op_pmshort);
4356                 pm->op_pmshort = Nullsv;
4357             }
4358             else {
4359                 SvREFCNT_dec(pm->op_pmregexp->regmust);
4360                 pm->op_pmregexp->regmust = Nullsv;
4361                 return;
4362             }
4363         }
4364         if (!pm->op_pmshort ||  /* promote the better string */
4365           ((pm->op_pmflags & PMf_SCANFIRST) &&
4366            (SvCUR(pm->op_pmshort) < SvCUR(pm->op_pmregexp->regmust)) )){
4367             SvREFCNT_dec(pm->op_pmshort);               /* ok if null */
4368             pm->op_pmshort = pm->op_pmregexp->regmust;
4369             pm->op_pmslen = SvCUR(pm->op_pmshort);
4370             pm->op_pmregexp->regmust = Nullsv;
4371             pm->op_pmflags |= PMf_SCANFIRST;
4372         }
4373     }
4374 }
4375
4376 static char *
4377 scan_trans(start)
4378 char *start;
4379 {
4380     register char* s;
4381     OP *o;
4382     short *tbl;
4383     I32 squash;
4384     I32 delete;
4385     I32 complement;
4386
4387     yylval.ival = OP_NULL;
4388
4389     s = scan_str(start);
4390     if (!s) {
4391         if (lex_stuff)
4392             SvREFCNT_dec(lex_stuff);
4393         lex_stuff = Nullsv;
4394         croak("Translation pattern not terminated");
4395     }
4396     if (s[-1] == multi_open)
4397         s--;
4398
4399     s = scan_str(s);
4400     if (!s) {
4401         if (lex_stuff)
4402             SvREFCNT_dec(lex_stuff);
4403         lex_stuff = Nullsv;
4404         if (lex_repl)
4405             SvREFCNT_dec(lex_repl);
4406         lex_repl = Nullsv;
4407         croak("Translation replacement not terminated");
4408     }
4409
4410     New(803,tbl,256,short);
4411     o = newPVOP(OP_TRANS, 0, (char*)tbl);
4412
4413     complement = delete = squash = 0;
4414     while (*s == 'c' || *s == 'd' || *s == 's') {
4415         if (*s == 'c')
4416             complement = OPpTRANS_COMPLEMENT;
4417         else if (*s == 'd')
4418             delete = OPpTRANS_DELETE;
4419         else
4420             squash = OPpTRANS_SQUASH;
4421         s++;
4422     }
4423     o->op_private = delete|squash|complement;
4424
4425     lex_op = o;
4426     yylval.ival = OP_TRANS;
4427     return s;
4428 }
4429
4430 static char *
4431 scan_heredoc(s)
4432 register char *s;
4433 {
4434     dTHR;
4435     SV *herewas;
4436     I32 op_type = OP_SCALAR;
4437     I32 len;
4438     SV *tmpstr;
4439     char term;
4440     register char *d;
4441     char *peek;
4442
4443     s += 2;
4444     d = tokenbuf;
4445     if (!rsfp)
4446         *d++ = '\n';
4447     for (peek = s; *peek == ' ' || *peek == '\t'; peek++) ;
4448     if (*peek && strchr("`'\"",*peek)) {
4449         s = peek;
4450         term = *s++;
4451         s = cpytill(d,s,bufend,term,&len);
4452         if (s < bufend)
4453             s++;
4454         d += len;
4455     }
4456     else {
4457         if (*s == '\\')
4458             s++, term = '\'';
4459         else
4460             term = '"';
4461         if (!isALNUM(*s))
4462             deprecate("bare << to mean <<\"\"");
4463         while (isALNUM(*s))
4464             *d++ = *s++;
4465     }                           /* assuming tokenbuf won't clobber */
4466     *d++ = '\n';
4467     *d = '\0';
4468     len = d - tokenbuf;
4469     d = "\n";
4470     if (rsfp || !(d=ninstr(s,bufend,d,d+1)))
4471         herewas = newSVpv(s,bufend-s);
4472     else
4473         s--, herewas = newSVpv(s,d-s);
4474     s += SvCUR(herewas);
4475
4476     tmpstr = NEWSV(87,80);
4477     sv_upgrade(tmpstr, SVt_PVIV);
4478     if (term == '\'') {
4479         op_type = OP_CONST;
4480         SvIVX(tmpstr) = -1;
4481     }
4482     else if (term == '`') {
4483         op_type = OP_BACKTICK;
4484         SvIVX(tmpstr) = '\\';
4485     }
4486
4487     CLINE;
4488     multi_start = curcop->cop_line;
4489     multi_open = multi_close = '<';
4490     term = *tokenbuf;
4491     if (!rsfp) {
4492         d = s;
4493         while (s < bufend &&
4494           (*s != term || bcmp(s,tokenbuf,len) != 0) ) {
4495             if (*s++ == '\n')
4496                 curcop->cop_line++;
4497         }
4498         if (s >= bufend) {
4499             curcop->cop_line = multi_start;
4500             missingterm(tokenbuf);
4501         }
4502         sv_setpvn(tmpstr,d+1,s-d);
4503         s += len - 1;
4504         sv_catpvn(herewas,s,bufend-s);
4505         sv_setsv(linestr,herewas);
4506         oldoldbufptr = oldbufptr = bufptr = s = SvPVX(linestr);
4507         bufend = SvPVX(linestr) + SvCUR(linestr);
4508     }
4509     else
4510         sv_setpvn(tmpstr,"",0);   /* avoid "uninitialized" warning */
4511     while (s >= bufend) {       /* multiple line string? */
4512         if (!rsfp ||
4513          !(oldoldbufptr = oldbufptr = s = filter_gets(linestr, rsfp))) {
4514             curcop->cop_line = multi_start;
4515             missingterm(tokenbuf);
4516         }
4517         curcop->cop_line++;
4518         if (perldb && curstash != debstash) {
4519             SV *sv = NEWSV(88,0);
4520
4521             sv_upgrade(sv, SVt_PVMG);
4522             sv_setsv(sv,linestr);
4523             av_store(GvAV(curcop->cop_filegv),
4524               (I32)curcop->cop_line,sv);
4525         }
4526         bufend = SvPVX(linestr) + SvCUR(linestr);
4527         if (*s == term && bcmp(s,tokenbuf,len) == 0) {
4528             s = bufend - 1;
4529             *s = ' ';
4530             sv_catsv(linestr,herewas);
4531             bufend = SvPVX(linestr) + SvCUR(linestr);
4532         }
4533         else {
4534             s = bufend;
4535             sv_catsv(tmpstr,linestr);
4536         }
4537     }
4538     multi_end = curcop->cop_line;
4539     s++;
4540     if (SvCUR(tmpstr) + 5 < SvLEN(tmpstr)) {
4541         SvLEN_set(tmpstr, SvCUR(tmpstr) + 1);
4542         Renew(SvPVX(tmpstr), SvLEN(tmpstr), char);
4543     }
4544     SvREFCNT_dec(herewas);
4545     lex_stuff = tmpstr;
4546     yylval.ival = op_type;
4547     return s;
4548 }
4549
4550 static char *
4551 scan_inputsymbol(start)
4552 char *start;
4553 {
4554     register char *s = start;
4555     register char *d;
4556     I32 len;
4557
4558     d = tokenbuf;
4559     s = cpytill(d, s+1, bufend, '>', &len);
4560     if (s < bufend)
4561         s++;
4562     else
4563         croak("Unterminated <> operator");
4564
4565     if (*d == '$' && d[1]) d++;
4566     while (*d && (isALNUM(*d) || *d == '\'' || *d == ':'))
4567         d++;
4568     if (d - tokenbuf != len) {
4569         yylval.ival = OP_GLOB;
4570         set_csh();
4571         s = scan_str(start);
4572         if (!s)
4573             croak("Glob not terminated");
4574         return s;
4575     }
4576     else {
4577         d = tokenbuf;
4578         if (!len)