lexical-analysis

-1зной

1ответ

Почему буферизация используется в лексическом анализе?

Почему буферизация используется в лексическом анализе? И что лучше всего подходит для EOF?

0зной

1ответ

Как создать лексический анализатор в ANTLR 4, который может захватывать разные типы лексических ошибок

Я использую ANTLR 4 для создания моего лексера, но я не могу создать лексический анализатор, который ловит разные типы лексических ошибок. Например: Если я непризнанный символ как ^ лексический анализ

0зной

2ответ

аннотирование Treebank с лексической информацией (Head прописью) в JAVA

У меня есть Treebank с синтаксическим деревом разбора для каждого предложения, как указано ниже: (S (NP (Д.Т.) (NN правительство)) (В.П. (СБАР) (SBAR (IN)) (S (PP (IN)) (NP (NNP July) (CD 1971)) (CC и

3зной

1ответ

ANTLR4: Любая разница между импортом и tokenVocab?

Оператор import или опция tokenVocab могут быть помещены в грамматику анализатора для повторного использования грамматики лексера. Сэм Харвелл советует всегда использовать tokenVocab, а не import [1].

2зной

1ответ

Сколько буферизации требует лексирование с помощью стола?

Я пишу реализацию оболочки POSIX в Rust. Это связано с некоторыми довольно неудобными требованиями: Ввод следует читать по строкам. Если вход от источника, не подлежащего поиску, это означает, что вхо

0зной

1ответ

Юникод с экранированными комментариями в Python

Я создал программу Java, которая использует unicode экранированные символы, чтобы разбить многострочный комментарий и скрыть некоторые функции. В приведенной ниже программе печатается «Hello Cruel Wor

0зной

1ответ

Лексический анализатор с десятичными числами

Я пытаюсь написать очень простой текстовый процессор. цель состоит в том, чтобы читать из символа файла char и выбирать тип маркера. в основном то, что я сделал, загружает все символы в очередь, и я и