JavaCC lexer не работает должным образом (пробелы не игнорируются)

Question

Я пытаюсь реализовать парсер для приведенного ниже файла примера. Я хотел бы узнать цитированные строки с '+' между ними как один токен. Поэтому я создал jj-файл, но он не соответствует таким строкам. У меня создалось впечатление, что JavaCC должен соответствовать максимально возможному совпадению для каждой спецификации токена. Но для меня это не похоже.

Что я здесь делаю неправильно? Почему не мой токен <STRING> соответствует '+', хотя он указан там? Почему пробелы не игнорируются?

options { 
    TOKEN_FACTORY = "Token"; 
} 

PARSER_BEGIN(Parser) 

package com.example.parser; 

public class Parser { 

    public static void main(String args[]) throws ParseException { 

     ParserTokenManager manager = new ParserTokenManager(new SimpleCharStream(Parser.class.getResourceAsStream("example"))); 
     Token token = manager.getNextToken(); 
     while (token != null && token.kind != ParserConstants.EOF) { 
      System.out.println(token.toString() + "[" + token.kind + "]"); 
      token = manager.getNextToken(); 
     } 

     Parser parser = new Parser(Parser.class.getResourceAsStream("example")); 
     parser.start(); 
    } 

} 

PARSER_END(Parser) 

// WHITE SPACE 
<DEFAULT, IN_STRING_KEYWORD> 
SKIP : 
{ 
    " " // <-- skipping spaces 
| "\t" 
| "\n" 
| "\r" 
| "\f" 
} 

// TOKENS 
TOKEN : 
{ 
< KEYWORD1 : "keyword1" > : IN_STRING_KEYWORD 
} 

<IN_STRING_KEYWORD> 
TOKEN : {<STRING : <CONCAT_STRING> | <UNQUOTED_STRING> > : DEFAULT 
| <#CONCAT_STRING : <QUOTED_STRING> ("+" <QUOTED_STRING>)+ > 
// <-- CONCAT_STRING never matches "+" part when input is "'smth' +", because whitespace is not ignored!? 
| <#QUOTED_STRING : <SINGLEQUOTED_STRING> | <DOUBLEQUOTED_STRING> > 
| <#SINGLEQUOTED_STRING : "'" (~["'"])* "'" > 
| <#DOUBLEQUOTED_STRING : 
    "\"" 
     (
     (~["\"", "\\"]) | 
     ("\\" ["n", "t", "\"", "\\"]) 
    )* 
    "\"" 
    > 
| <#UNQUOTED_STRING : (~[" ","\t", ";", "{", "}", "/", "*", "'", "\"", "\n", "\r"] | "/" ~["/", "*"] | "*" ~["/"])+ > 
} 

void start() : 
{} 
{ 
    (<KEYWORD1><STRING>";")+ <EOF> 
} 

Вот пример файла, который должен получить разобран:

keyword1 "foo" + ' bar'; 

Я хотел бы, чтобы соответствовать аргумент первого keyword1 как единый <STRING> знак.

Токовый выход:

keyword1[6] 
Exception in thread "main" com.example.parser.TokenMgrError: Lexical error at line 1, column 15. Encountered: " " (32), after : "\"foo\"" 
    at com.example.parser.ParserTokenManager.getNextToken(ParserTokenManager.java:616) 
    at com.example.parser.Parser.main(Parser.java:12) 

Я использую JavaCC 5.0.

Answer 1

STRING распространяется до самой длинной последовательности, которая может быть сопоставлена, что соответствует "foo", как указывает ошибка. Пространство после закрывающей двойной кавычки не является частью определения частного токена CONCAT_STRING. Значки пропусков не применяются в определении других токенов, поэтому вы должны включить пространство непосредственно в определение по обе стороны от +.

Как в стороне, я рекомендую иметь окончательную лексему определения следующим образом:

<each-state-in-which-the-empty-string-cannot-be-recognized> 
TOKEN : { 
    < ILLEGAL : ~[] > 
} 

Это предотвращает TokenMgrError с от броска и делает отладку немного проще.