Antlr скрытого канал проблема пробельных

Question

У меня есть следующая Antlr грамматика:

grammar MyGrammar; 

doc : intro planet; 
intro : 'hi'; 
planet : 'world'; 
MLCOMMENT 
    : '/*' (options {greedy=false;} : .)* '*/' { $channel = HIDDEN; }; 
WHITESPACE : ( 
    (' ' | '\t' | '\f')+ 
    | 
    // handle newlines 
    ('\r\n' // DOS/Windows 
     | '\r' // Macintosh 
     | '\n' // Unix 
    ) 
    ) 
{ $channel = HIDDEN; }; 

В ANTLRWorks 1.2.3 интерпретатором, входы hi world, hi/**/world и hi /*A*/ world работа, как и ожидалась.

Однако вход hiworld, который не должен работы, также принимается. Как сделать hiworld сбой? Как заставить хотя бы одно пробел (или комментарий) между «привет» и «миром»?

Обратите внимание, что я использовал только MLCOMMENT и WHITESPACE в этом примере, чтобы упростить, но будут поддерживаться другие виды комментариев.

Answer 1

Вы должны создать общий маркер ID. Поскольку lexer строит самый длинный токен, он может видеть входной сигнал «hiworld» как одно слово, поскольку он длиннее, чем «привет» или «мир» сам по себе. Такое правило может выглядеть следующим образом:

ID : ('a'..'z' | 'A'..'Z')+; 

В качестве примера, это точно, как парсеры для языков программирования отделить «делать» ключевое слово из «двойного» (ключевого слова типа, начинается с «делать») или «Done» (имя переменной).

Answer 2

Один из способов сделать строку hiworld потерпеть неудачу, чтобы использовать проверяющий семантический предикат, который гарантированно не получится, следующим образом:

doc:  intro planet; 
failure : 'hiworld' { false }?; 
intro : 'hi'; 
planet : 'world'; 
// rest of grammar omitted