BNF-грамматика, которая имеет разделы без конца?

Question

Мне нужно разобрать простой проприетарный язык, который я не разрабатывал, поэтому я не могу изменить язык. Мне нужны результаты на C#, поэтому я использовал TinyPG, потому что он настолько прост в использовании и не требует использования внешних библиотек для запуска анализатора. TinyPG генерирует простой парсер LL (1).

Проблема, с которой я сталкиваюсь, связана с тем, как язык делит файл на разделы. Он имеет разделы для разных видов переменных, устанавливая их начальные значения, определения уравнений и т. Д. Меня интересуют только разделы, объявляющие переменные, поэтому я хотел бы просто игнорировать остальные. Я не знаю всех правил для других разделов и не хочу их вычислять. Они могут рассматриваться как комментарии.

Вот пример кода:

PARAMETER 
    Density    AS REAL 
    CrossSectionalArea AS REAL 

SET # Parameter values 
    T101.FO     := "SimpleEventFOI::dummy"; 
    T101.CrossSectionalArea := 1 ; # m2 

EQUATION 
    OutSingleInt = SingleInt; 
    OutArrayInt = ArrayInt; 

Я забочусь о секциях параметра и установить, но не раздел УРАВНЕНИЯ. Как вы можете видеть, проблема в том, что эти разделы не имеют маркеров END. Поэтому я не могу понять, как сказать грамматике, что раздел заканчивается, когда вы получаете другое ключевое слово, но что новое ключевое слово может начать новый раздел. В моих попытках новое ключевое ключевое слово раздела начинается, чтобы закрыть старый раздел.

Есть много других разделов, чем я перечислял здесь, некоторые из которых меня волнуют, некоторые - нет. Кажется, что они делятся на два типа: «Похоже, PARAMETER», которые не имеют точек с запятой в конце высказываний, и «Походит на УРАВНЕНИЕ», которые делают. Этот язык не является случайным или непрозрачным. Секции могут быть в любом порядке. (например, SET, EQUATION, PARAMETER). Помимо комментариев, все это может быть написано на одной строке.

В настоящее время я обойду это, используя регулярное выражение, чтобы найти разделы, которые меня интересуют, и только кормить их парсером, но у меня также возникают проблемы с регулярным выражением, которое работает в все случаи, но не случайно забирают ключевые слова в комментариях. Я могу в конечном итоге просто расширить это обходное решение, чтобы решить его проблемы, но было бы лучше решить проблему непосредственно в грамматике. Возможно, это не язык LL (1).

Answer 1

Я пробовал следующий код tpg, он может проанализировать ваш пример. Looks TinyPG не может отличить ключевое слово и идентификатор, поэтому я немного взломал идентификатор.

//Tiny Parser Generator v1.3 
//Copyright © Herre Kuijpers 2008-2012 

<% @TinyPG Namespace="Test" %> 

PARAMETER -> @"PARAMETER"; 
SET   -> @"SET"; 
EQUATION -> @"EQUATION"; 

AS   -> @"AS"; 

ID   -> @"\b(?!(PARAMETER|SET|EQUATION)\b)([a-zA-Z]\w+)"; 
DOT   -> @"\."; 
EQ   -> @":="; 
EXPR  -> @"\d|""[^""]*"""; 
END   -> @";"; 

[Skip] WS -> @"\s+|#[^\r\n]+"; 

EQDECL  -> @"\b(?!(PARAMETER|SET|EQUATION)\b)([^#;]+)"; 
Equations -> EQUATION (EQDECL END)*; 

Parameters -> PARAMETER ParamDecl*; 
ParamDecl -> ID AS ID; 

Sets  -> SET SetDecl*; 
SetDecl  -> FullId EQ EXPR END; 
FullId  -> ID DOT ID; 

Section  -> Equations | Parameters | Sets; 

Start  -> Section*;