Как я могу проверить код Alex?

Question

Я пишу лексер в Алеке с обложкой монады. Это не так, как я ожидаю, и я хотел бы написать для него некоторые модульные тесты. Я могу писать тесты для Lexing один маркер, выполнив:

runAlex "foo" alexMonadScan `shouldBe` Right TokenFoo 

, но я не знаю, как проверить, что строка «Foo бар» получает lexed к [TokenFoo, TokenBar].

Учитывая, что Token мой тип лексемы, я бы нужна функция, как runAlex, которая имеет тип String -> Alex [Token] -> Either String [Token], но я не знаю, как превратить alexMonadScan так, что она имеет тип Alex [Token], а не Alex Token.

Я попытался

runAlex "foo bar" (liftM (:[]) alexMonadScan) `shouldBe` [TokenFoo, TokenBar] 

, который, кажется, имеет правильный тип, но он возвращает Right [TokenEOF], видимо, сбросив жетоны он видел по пути.

Как я могу это достичь?

Answer 1

Существует функция alexScanTokens :: String -> [token], которую вы можете использовать.

Это определено в файле templates/wrappers.hs

Вот монадическая версию я нашел here:

alexScanTokens :: String -> Either String [Keyword] 
alexScanTokens inp = runAlex inp gather 
    where 
    gather = do 
    t <- alexMonadScan 
    case trace (show t) t of 
     EOF -> return [EOF] 
     _ -> (t:) `liftM` gather