ANTLR генерируется анализатор производит MissingTokenException

Question

Я использую ANTLRv3 разобрать вход, который выглядит следующим образом:

* this is an outline item at level 1 
** item at level 2 
*** item at level 3 
* another item at level 1 
* an item with *bold* text 

Звезды в начале строки ознаменует начало элемента контура. Звезды также могут быть частью текста предмета (например, *bold*).

Это грамматика для разбора элементов контурных без поддержки звезд в тексте пункта:

outline_item: OUTLINE_ITEM_MARKER ITEM_TEXT; 
OUTLINE_ITEM_MARKER: STAR_IN_COLUMN_ZERO STAR* (' '|'\t'); 
ITEM_TEXT: ('a'..'z'|'A'..'Z'|'0'..'9'|'\r'|'\n'|' '|'\t')+; 
fragment STAR_IN_COLUMN_ZERO: {getCharPositionInLine()==0}? '*'; 
fragment STAR: {getCharPositionInLine()>0}? '*'; 

Для входа *** foo bar ANTLR производит следующее дерево разбора:

До сих пор это работает так, как ожидалось. Теперь я пытаюсь добавить звезду возможных символов текста элемента, так что я изменил правила для лексического анализатора ITEM_TEXT к следующему:

ITEM_TEXT: ('a'..'z'|'A'..'Z'|'0'..'9'|'\r'|'\n'|' '|'\t'|STAR)+; 

Теперь для того же вход следующего дерева синтаксического анализа производится:

Это выход в ANTLRWorks:

input.txt line 1:0 rule STAR failed predicate: {getCharPositionInLine()>0}? 
input.txt line 1:1 missing OUTLINE_ITEM_MARKER at '** foo bar' 

кажется, что OUTLINE_ITEM_MARKER Didn 't соответствует из-за MissingTokenException. Что не так с грамматикой, что мне нужно изменить, чтобы звезды стали частью ITEM_TEXT?

Answer 1

Вместо того, чтобы валидация семантического предиката, используйте встроенный смысловой предикат в ваших fragment s.

Следующая грамматика:

grammar Test; 

outline_items 
: outline_item+ EOF 
; 

outline_item 
: OUTLINE_ITEM_MARKER ITEM_TEXT 
; 

OUTLINE_ITEM_MARKER 
: STAR_IN_COLUMN_ZERO STAR* (' '|'\t') 
; 

ITEM_TEXT 
: ('a'..'z'|'A'..'Z'|'0'..'9'|'\r'|'\n'|' '|'\t'|STAR)+ 
; 

fragment STAR_IN_COLUMN_ZERO 
: {getCharPositionInLine()==0}?=> '*' 
; 

fragment STAR 
: {getCharPositionInLine()>0}?=> '*' 
; 

Ваш вклад:

* this is an outline item at level 1 
** item at level 2 
*** item at level 3 
* another item at level 1 
* an item with *bold* text 

затем будет проанализирован, как это:

What is a 'semantic predicate' in ANTLR?

Answer 2

Вы пробовали сделать вашу грамматику проще?

outline_item: OUTLINE_ITEM_MARKER ITEM_TEXT; 

ITEM_TEXT: 
    (' '|'\t') (' '|'\t'|'a'..'z'|'A'..'Z'|'0'..'9'| STAR)+ 
; 

OUTLINE_ITEM_MARKER: 
    STAR+ 
; 

fragment STAR: 
    '*' 
; 

Или, если вам не нужно держать ЗВЕЗДУ в качестве явного фрагмента, и вы хотите, чтобы захватить все символы в тексте элемента, а не подмножество:

outline_item: OUTLINE_ITEM_MARKER ITEM_TEXT; 

ITEM_TEXT: 
    (' '|'\t') (~('\n'|'\r'))+ 
; 

OUTLINE_ITEM_MARKER: 
    '*'+ 
;