理解ANTLR4中的词法规则解析

Question

我正在阅读ANTLR4防御指南，现在我正在阅读关于lexer规则解析的部分。以下是本节中所写的内容：

grammar KeywordTest;
enumDef : 'enum' '{' ... '}';
...
FOR: 'for'
...
ID:[a-zA-Z]; // does not match 'enum' or 'for'

规则ID还可以匹配关键字，如enum或for，这意味着有多个规则可以匹配相同的字符串。. 'enum' 等字面值成为词法规则，并在解析器规则之后，但在显式词法规则之前，立即变为。

它意味着什么，它如何帮助我们解决潜在的含糊不清？我想说的是像这样的声明

ENUM_KEYWORD: 'enum'

ATNLR4可能在内部使用的内容将在规则enumDef: 'enum' '{' ... '}之后被删除，如下所示：

enumDef: ENUM_KEYWORD '{' ... '}
ENUM_KEYWORD: 'enum'

ANTLR4就是这样做的吗？

Answer 1

在语法中，词法规则的顺序是非常重要的，因为第一条适用的规则将被使用。您可以阅读更多的here。

因此，如果您有lexer规则：

ID: [a-zA-Z]+;
FOR: 'for';

根据它的顺序输入" FOR“将标记为令牌或ID令牌，因为两者都是正确的。

因此，语法通常包含规则‘矛盾’，所有的关键字都会被提到，所以当另一个令牌包含关键字时，它就会传递。

例如：

alfaNum: (ALFA | NUM | ambigous | '_' )+?;
ambigous: SELECT | WHERE | FROM | WITH | SET | AS;

这样，如果有alfaNum令牌“选择”，它就会通过。如果不指定矛盾，它将在凌志规则SELECT: 'select';上失败。