对Javascript进行标记化时，Division/RegExp冲突

Question

我正在写一个简单的javascript记号赋予器，它可以检测基本类型: Word，Number，String，RegExp，Operator，Comment和Newline。一切正常，但是我不能理解如何检测当前字符是RegExp分隔符还是除法运算符。我没有使用正则表达式，因为它们太慢了。有人知道它的探测机制吗？谢谢。

Answer 1

您可以通过流中的前一个标记来判断。仔细检查lexer发出的每个标记，并询问它后面是否可以合理地跟一个除号或regexp；您会发现两个结果标记集是不相交的。例如，(、[、{、;和所有二元运算符后面只能跟一个正则表达式。同样，)、]、}、标识符和字符串/数字文字只能后跟一个除号。

有关更多详细信息，请参阅ECMAScript spec的第7节。

Answer 2

当你遇到斜杠时，你必须检查上下文。如果斜杠在表达式之后，那么它必须是除法，或者它是正则表达式的开始。

为了识别上下文，也许你必须做一个语法解析器。

例如

function f() {}
/1/g
//this case ,the slash is after a function definition, so it's a refexp start


var a = {}
/1/g;
//this case, the slash is after an object expression，so it's a division