Какая магия за WS в ANTLR?

Question

Я пытаюсь сделать инструмент как ANTLR с нуля в Swift (просто для удовольствия). Но я не понимаю, как грамматика знает, что там не должно быть пробелы (пример идентификатора: «_myIdentifier123»):

Identifier 
: Identifier_head Identifier_characters? 

И должно быть пробелы (например, «это строка»):

type_casting_operator 
    : 'is' type 
    | 'as' type 
    | 'as' '?' type 
    | 'as' '!' type 
    ; 

Я искал WS в исходном коде ANTLR, но ничего не нашел. В java-коде нет строки «WS»: https://github.com/antlr/antlr4

Может ли кто-нибудь объяснить алгоритм этого? Как он решает, разделяются ли токены с пробелами или нет?

Answer 1

Первое правило - правило лексера (обратите внимание на первую букву буквы), а второе правило - это правило синтаксического анализатора.

Маркер белого пространства обычно не передается в синтаксический анализатор (в этом случае должно быть правило пропуска пробела в лексере), поэтому второе правило не видит его. Пробелы могут появляться где угодно между другими токенами.

Правила Lexer в отличие от всех символов на входе, поэтому любое свободное пространство должно быть явно указано.

Answer 2

Удачи вам в этом проекте. Не зная даже самых основных алгоритмов, эта нетривиальная задача создания генератора парсера становится еще более амбициозной. Вы должны хотя бы прочитать книгу или две о предмете (классика - Книга Дракона, от Ахо, Сети + Ульманн).

Но вернемся к вашему вопросу. Принцип заключается в том, что: whitespaces нужно обрабатывать, как и любой другой вход, но обычно вы найдете правило грамматики WS или Whitespace lexer, которое соответствует различным типам пробелов (пробел, разрывы строк, вкладка и т. Д.) И помещает их в скрытый канал. Парсер видит только токены со стандартного канала и, следовательно, не получает пробелы в качестве токенов. Это наиболее распространенный подход, потому что существование пробелов обычно не имеет значения (за исключением разделения двух лексических записей, которые необходимо распознать как два разных токена).