Как игнорировать комментарии одиночной строки в синтаксическом анализаторе

Question

У меня есть рабочий синтаксический анализатор, но я только что понял, что не комментирую комментарии. В DSL я разбираюсь, комментарии начинаются с символа ;. Если встречается ;, то остатка строки игнорируется (но не все из этого, если только первый символ не равен ;).

Я продолжаю RegexParsers для моего анализатора и игнорирую пробел (по умолчанию), поэтому я все равно теряю новые символы строки. Я не хочу изменять каждый парсер, который я должен учитывать для возможности комментариев, потому что операторы могут охватывать несколько строк (таким образом, каждая часть каждого утверждения может заканчиваться комментарием). Есть ли какой-либо чистый способ добиться этого?

Answer 1

Одна вещь, которая может повлиять на ваш выбор, заключается в том, можно ли найти комментарии в действительных синтаксических анализаторах. Например, скажем, у вас есть что-то вроде:

val p = "(" ~> "[a-z]*".r <~ ")" 

, который будет анализировать что-то вроде (abc), но из-за комментариев, которые могли бы на самом деле сталкиваются с что-то вроде:

(; comment goes here 
    abc 
) 

Тогда я бы рекомендовал использовать TokenParser или один из его подкласс. Это больше работает, потому что вы должны предоставить лексический парсер, который сделает первый проход, чтобы отменить комментарии. Но это также более гибким, если у вас есть вложенные комментарии или если ; можно избежать или, если ; может быть внутри строкового литерала, как:

abc = "; don't ignore this" ; ignore this 

С другой стороны, вы можете также попытаться переопределить значение из whitespace быть что-то вроде

override protected val whiteSpace = """(\s|;.*)+""".r 

Или что-то вдоль этих линий. Например, используя пример из scaladoc RegexParsers:

import scala.util.parsing.combinator.RegexParsers 

object so1 { 
    Calculator("""(1 + ; foo 
    (1 + 2)) 
    ; bar""") 
} 

object Calculator extends RegexParsers { 
    override protected val whiteSpace = """(\s|;.*)+""".r 
    def number: Parser[Double] = """\d+(\.\d*)?""".r ^^ { _.toDouble } 
    def factor: Parser[Double] = number | "(" ~> expr <~ ")" 
    def term: Parser[Double] = factor ~ rep("*" ~ factor | "/" ~ factor) ^^ { 
    case number ~ list => (number /: list) { 
     case (x, "*" ~ y) => x * y 
     case (x, "/" ~ y) => x/y 
    } 
    } 
    def expr: Parser[Double] = term ~ rep("+" ~ log(term)("Plus term") | "-" ~ log(term)("Minus term")) ^^ { 
    case number ~ list => list.foldLeft(number) { // same as before, using alternate name for /: 
     case (x, "+" ~ y) => x + y 
     case (x, "-" ~ y) => x - y 
    } 
    } 
    def apply(input: String): Double = parseAll(expr, input) match { 
    case Success(result, _) => result 
    case failure: NoSuccess => scala.sys.error(failure.msg) 
    } 
} 

Это печатает:

Plus term --> [2.9] parsed: 2.0 
Plus term --> [2.10] parsed: 3.0 
res0: Double = 4.0 

Answer 2

Просто отфильтровывать все комментарии с регулярным выражением, прежде чем передать код в ваш синтаксический анализатор.

def removeComments(input: String): String = { 
    """(?ms)\".*?\"|;.*?$|.+?""".r.findAllIn(input).map(str => if(str.startsWith(";")) "" else str).mkString 
} 

val code = 
"""abc "def; ghij" 
abc ;this is a comment 
def""" 

println(removeComments(code))