Лексер: обработка неиспользуемых строк, в то время как токенизация

Question

Я начал писать свой собственный лексер и столкнулся с проблемой с токенизирующими строками, поскольку у них есть символ начала (") и связанный с ним символ конца (").

Кто-нибудь знает об общем методе, в котором лексер может справиться с лексикой и продолжить лексирование с неисчерпаемой строкой? Я думаю, что ANTLR может это сделать, обрабатывается ли ATN в ANTLR?

я вижу там быть два вопроса здесь в предположении, что строки должны оканчиваются на одной строке:

1. окончание строки происходит на отдельной строке - следовательно, предупреждая пользователя, что строки можно поместить только один линия.
2. Окончание строки не происходит, тогда, когда вы знаете, что действительная точка для продолжения находится? Используйте эвристику следующего действительного токена после новой строки.

т.е.

char *mystring = "my string which is unterminated.... 
int id = 20; 

Answer 1

Если ваш язык запрещает переводы строк в строковых литералов, а затем просто завершение строки в конце линии, вероятно, будет приемлемым. Вряд ли маловероятно, что будет объявление объявления или ключевого слова в той же строке, что и строковый литерал (и нет причин поощрять плохой стиль, пытаясь его компенсировать).

Вы можете пропустить полезную закрытую скобку :

printf("%s\n, line); 

, но у вас, вероятно, есть правила восстановления, которые могут справиться с этим.

Если строковые литералы могут содержать символы новой строки, и есть достаточные доказательства того, что эта функция часто желательна, то восстановление довольно сложное, и вы вполне можете найти, что простейшее решение во всем мире - это просто выбросить синтаксическую ошибку, которая четко указывает, где началась строка нарушения.