如何对Alex代码进行单元测试？

Question

我正在用单面纸在Alex上写一个lexer。它不是我所期望的那样，我想为它编写一些单元测试。我可以编写单个令牌的单元测试，方法是：

runAlex "foo" alexMonadScan `shouldBe` Right TokenFoo

但是，我不知道如何测试字符串"foo bar“是否会被字典化到[TokenFoo, TokenBar]。

考虑到Token是我的标记类型，我需要一个像runAlex这样的函数，它具有String -> Alex [Token] -> Either String [Token]类型，但是我不知道如何转换alexMonadScan，使它具有Alex [Token]类型而不是Alex Token类型。

我试过了

runAlex "foo bar" (liftM (:[]) alexMonadScan) `shouldBe` [TokenFoo, TokenBar]

它似乎具有正确的类型，但它返回Right [TokenEOF]，很明显，它删除了沿途看到的令牌。

我怎样才能做到这一点？

Answer 1

有一个函数alexScanTokens :: String -> [token]，您可以使用。

它在templates/wrappers.hs文件中定义

这是我发现这里的一元版本

alexScanTokens :: String -> Either String [Keyword]
alexScanTokens inp = runAlex inp gather
  where
  gather = do
    t <- alexMonadScan
    case trace (show t) t of
      EOF -> return [EOF]
      _   -> (t:) `liftM` gather