JavaCC грамматика - собственно лексический

Question

У меня есть грамматика JavaCC со следующими определениями:

<REGULAR_IDENTIFIER : (["A"-"Z"])+ > // simple identifier like say "DODGE" 
<_LABEL : (["A"-"Z"])+ (":") > // label, eg "DODGE:" 
<DOUBLECOLON : "::"> 
<COLON : ":"> 

Прямо сейчас "DODGE ::" lexed в <_LABEL> <COLON> ("DODGE:" ":") , но мне нужно его ЛЕКС в <REGULAR_IDENTIFIER> <DOUBLECOLON> («DODGE» «::»)

Answer 1

В JavaCC максимального правила Мюнха (длинное правило матча префикса) используются см: http://www.engr.mun.ca/~theo/JavaCC-FAQ/javacc-faq-moz.htm#more-than-one

Это означает, что маркер _LABEL будет соответствовать, прежде чем т он REGULAR_IDENTIFIER, поскольку токен _LABEL будет содержать больше символов. Это означает, что то, что вы пытаетесь сделать, не должно выполняться в токенизаторе.

Я написал парсер, который распознает грамматику правильно, я использую анализатор для распознавания _LABEL-х, вместо Tokenizer:

options { 
    STATIC = false; 
} 

PARSER_BEGIN(Parser) 

import java.io.StringReader; 

public class Parser { 

    //Main method, parses the first argument to the program 
    public static void main(String[] args) throws ParseException { 
     System.out.println("Parseing: " + args[0]); 
     Parser parser = new Parser(new StringReader(args[0])); 
     parser.Start(); 
    } 
} 

PARSER_END(Parser) 

//The _LABEL will be recognized by the parser, not the tokenizer 
TOKEN : 
{ 
    <DOUBLECOLON : "::"> //The double token will be preferred to the single colon due to the maximal munch rule 
    | 
    <COLON : ":"> 
    | 
    <REGULAR_IDENTIFIER : (["A"-"Z"])+ > // simple identifier like say "DODGE" 
} 

/** Root production. */ 
void Start() : 
{} 
{ 
    ( 
     LOOKAHEAD(2) //We need a lookahead of two, to see if this is a label or not 
     <REGULAR_IDENTIFIER> <COLON> { System.err.println("label"); } //Labels, should probably be put in it's own production 
     | <REGULAR_IDENTIFIER> { System.err.println("reg_id"); } //Regulair identifiers 
     | <DOUBLECOLON> { System.err.println("DC"); } 
     | <COLON> { System.err.println("C"); } 
    )+ 
} 

В действительности Вы должны причины перемещения <REGULAR_IDENTIFIER> <COLON> к _label производства ,

Надеюсь, это поможет.

Answer 2

Я думаю, что следующий будет работать

MORE: { < (["A"-"Z"])+ :S0 > } // Could be identifier or label. 
<S0> TOKEN: { <LABEL : ":" : DEFAULT> } // label, eg "DODGE:" 
<S0> TOKEN: { <IDENTIFIER : "" : DEFAULT > } // simple identifier like say "DODGE" 
<S0> TOKEN: { <IDENTIFIER : "::" { matchedToken.image = image.substring(0,image.size()-2) ; } : S1 > } 
<S1> TOKEN: { <DOUBLECOLON : "" { matchedToken.image = "::" ; } : DEFAULT> } 
<DOUBLECOLON : "::"> 
<COLON : ":"> 

Обратите внимание, что "DODGE :::" три лексемы, а не два.