如何标记c++源代码文件(转换为令牌序列)？

Question

可能重复： 如何创建c++文件的剽窃检测器 一个简单的lexer.cpp，用于将simle c++文件转换为一系列令牌

嗨，我有一个项目“c++文件的剽窃检测器”

还需要知道如何将c++文件转换为这样的令牌序列：

int factorial(int n) {
if (n == 0) return 1 ;
else return n * factorial(n-1) ;
}

关于这一点：

Int, factorial, (, int, n, ), {, if, (, n, ==, 0, ), return, 1, ;, else, return, n, *, factorial, (, n, -, 1, ), ;, }

Answer 1

一个典型的方法是使用像Flex这样的lexer生成器或者使用解析器生成器(如反 )的lexer部分来编写令牌。C++语法的词法和解析器、编写的lex和yacc都是可用。

这些词汇者(在一定程度上)归结为许多正则表达式，以及一些模式之间切换的代码(例如字符串模式、注释模式和语言模式)。