Lexer和Parser

Question

我将构建一个lexer和一个解析器。我的问题是如何建造它们。我可以想到两个实现：

1. Lexer将把整个输入字符串转换为一个令牌数组。然后解析器就会调用这个数组。
2. 同时进行词汇分析和句法分析。解析过程中，解析器将为nextToken调用lexer。

哪种实现更好？

Answer 1

两者都是可行的。#1更适合调试，因为您可以保存数组并同时查看它。#2提供了更高的性能，因为它是一种单程策略，具有潜在的O(1)存储复杂性。

如果你不知道该怎么做，最好还是坚持第一条。

Answer 2

2号。

用令牌迭代器编写解析器，并在令牌迭代器的operator++中实现词法。这是Boost.Spirit的方法。另外，如果你的词法足够简单，你可以使用Boost.Tokenizer (或者围绕它封装一点逻辑)。