Antlr4 игнорирует токены

Question

В ANTLR 4 я пытаюсь разобрать текстовый файл, но некоторые из моих определенных токенов постоянно игнорируются в пользу других. Я произвел небольшой пример, чтобы показать, что я имею в виду:

Файл для анализа:

hello world 
hello world 

Грамматика:

grammar TestLexer; 

file : line line; 
line : 'hello' ' ' 'world' '\n'; 

LINE : ~[\n]+? '\n'; 

Книга ANTLR объясняет, что «привет» станет неявным маркер, который помещается перед маркером LINE, и этот порядок символов имеет значение. Так что я бы ожидать, что анализатор не будет соответствовать маркер линии, но он делает, так как в результате дерево показывает:

Как я могу это исправить, так что я получаю фактические неявные маркеры?

КПП. Я также пытался писать явные токены перед LINE, но это ничего не меняло.

Answer 1

Найдено это сам:

Кажется, что ANTLR выбирает длинные лексемы первые. Так как LINE всегда соответствует целой строке, это всегда предпочтительнее.

Чтобы поместить в грамматику какой-то маркер «джокер», он должен быть единственным символом. В моем случае

grammar TestLexer; 

file : line line; 
line : 'hello' ' ' 'world' '\n'; 

LINE : ~[\n]; 

будет работать.