Spliting путем регулярных выражений или EBNF

Question

У меня есть строка, как:

create Person +fname : String, +lname: String, -age:int; 

есть ли возможность разделить его на регулярное выражение или EBNF? Я имею в виду, что все вещи, такие как [a-zA-Z0-9] (вещи, которые мы не знаем), будут храниться в массиве?

Другими словами, используя регулярное выражение:

^create [a-zA-Z][a-zA-Z0-9]* [s|b]?[+|[-]|=][a-zA-Z][a-zA-Z0-9]*[ ]?:[ ]?[a-zA-Z][a-zA-Z0-9]*(, [s|b]?[+|[-]|=][a-zA-Z][a-zA-Z0-9]*[ ]?:[ ]?[a-zA-Z][a-zA-Z0-9]*)*; 

Я хочу, чтобы получить массив:

• Person
• +
• Fname
• Строка
• +
• LNAME
• Строка
• -
• возраст
• INT

С уважением

Answer 1

Вы можете попытаться разделить это таким образом

String[] tokens = "create Person +fname : String, +lname: String, -age:int;" 
     .split("[\\s:;,]+|(?<=[+\\-])"); 
     //split on set of characters containing spaces:;, OR after + or -. 
for (String s : tokens) 
    System.out.println("=> " + s); 

выход:

=> create 
=> Person 
=> + 
=> fname 
=> String 
=> + 
=> lname 
=> String 
=> - 
=> age 
=> int 

Как вы можете видеть, это положит create в начале вашего массива, поэтому просто начинайте итерацию с tokens[1].

Вы можете попробовать добавить ^create\\s как часть правила разделения, но это приведет к созданию пустой строки при запуске массива токенов, поэтому ничего не решит.

Answer 2

Regex отлично подходит для многих вещей, но иногда вам нужен настоящий лексер. JFlex отлично. Нет никакой задачи токенизации, с которой он не справится. Если вам нужно пойти немного дальше и создать дерево разбора, то JavaCC или ANTLR - хороший выбор.