我有超过200mb的源代码文件,我必须经常查找(我是一个非常大的团队的一员)。我注意到grep不创建索引,所以每次查找都需要遍历整个源代码数据库。
是否有类似于grep的命令行实用程序具有索引功能?
发布于 2012-08-11 18:45:36
下面的解决方案非常简单。有很多他们没有涉及到的角落案例:
包含\n或:的
包含空格的
这些解决方案的好处是它们非常容易实现。
解决方案1:一个大文件
事实:查找速度非常慢,读取一个大文件通常会更快。
考虑到这些事实,我们的想法是简单地建立一个包含所有文件及其所有内容的索引-每一行都预先加上文件名和行号:
索引目录:
find . -type f -print0 | xargs -0 grep -Han . > .index使用索引:
grep foo .index解决方案2:一个大的压缩文件
事实:硬盘很慢。寻找是非常缓慢的。多核CPU正常。
因此,动态读取压缩文件并解压缩可能比读取未压缩文件更快-特别是如果您有足够的RAM来缓存压缩文件,但不足以缓存未压缩文件。
索引目录:
find . -type f -print0 | xargs -0 grep -Han . | pbzip2 > .index使用索引:
pbzcat .index | grep foo解决方案3:使用索引查找潜在候选者
生成索引可能很耗时,而且您可能不希望对目录中的每个更改都这样做。
为了加快速度,只使用索引来标识可能匹配的文件名,并对这些(希望是有限数量的)文件执行实际的grep。这将发现不再匹配的文件,但不会发现匹配的新文件。
需要使用sort -u来避免多次访问同一个文件。
索引目录:
find . -type f -print0 | xargs -0 grep -Han . | pbzip2 > .index使用索引:
pbzcat .index | grep foo | sed s/:.*// | sort -u | xargs grep foo解决方案4:附加到索引
重新创建完整索引可能会非常慢。如果大多数目录保持不变,您可以简单地将新更改的文件附加到索引中。索引将再次仅用于定位潜在的候选文件,因此,如果文件不再匹配,则在浏览实际文件时会发现该文件。
索引目录:
find . -type f -print0 | xargs -0 grep -Han . | pbzip2 > .index追加到索引:
find . -type f -newer .index -print0 | xargs -0 grep -Han . | pbzip2 >> .index使用索引:
pbzcat .index | grep foo | sed s/:.*// | sort -u | xargs grep foo如果您使用pzstd而不是pbzip2/pbzcat,它可能会更快。
解决方案5:使用git
git grep可以通过git存储库进行grep。但它似乎做了很多搜索,并且在我的系统上比解决方案4慢4倍。
好的方面是.git索引比.index.bz2小。
索引目录:
git init
git add .追加到索引:
git add .使用索引:
git grep foo解决方案6:优化git
Git将其数据放入许多小文件中。这就导致了寻找。但是你可以让git把小文件压缩成几个更大的文件:
git gc --aggressive这需要一段时间,但它将索引非常高效地打包到几个文件中。
现在您可以执行以下操作:
find .git -type f | xargs cat >/dev/null
git grep foogit将对索引进行大量查找,但是通过首先运行cat,您可以将整个索引放入git中。
添加索引与解决方案5中的相同,但在系统空闲时,偶尔运行git gc以避免许多小文件,并运行git gc --aggressive以节省更多磁盘空间。
如果删除文件,git将不会释放磁盘空间。因此,如果您删除了大量数据,请删除.git并再次执行git init; git add .。
发布于 2013-08-23 01:00:58
有一个https://code.google.com/p/codesearch/项目,能够创建索引并在索引中进行快速搜索。支持regexp,并使用index计算regexp (实际上,只有regexp的子集可以使用index过滤文件集,然后在匹配的文件上重新计算真正的regexp)。
来自代码搜索的索引通常是源代码大小的10-20%,构建索引的速度就像运行经典的grep 2到3次一样快,并且搜索几乎是瞬间的。
代码搜索项目中使用的想法来自google的代码搜索网站(RIP)。例如,索引包含从n-gram(3-gram或在源代码中找到的每个3字节集)到文件的映射;而regexp在搜索时被转换为4-gram。
PS,在C/C++源代码中有ctag和cscope可供导航。Ctag可以查找声明/定义,cscope功能更强,但C++有问题。
此外,还有用于C/C++/ObjC语言的基于clang的工具:http://blog.wuwon.id.au/2011/10/vim-plugin-for-navigating-c-with.html和clang-complete
发布于 2013-08-23 03:45:10
http://beyondgrep.com/是一个针对程序员,特别是处理大型异构源代码树的程序员而优化的代码搜索工具: ack
您的一些搜索示例中是否只想搜索特定类型的文件,如只搜索Java文件?然后你可以这样做
ack --java functionack不会索引源代码,但根据搜索模式的不同,这可能无关紧要。在许多情况下,只搜索特定类型的文件可以提供所需的加速,因为您不需要同时搜索所有其他XML等文件。
如果ack不能帮你做到这一点,这里有一个为搜索源代码而设计的工具列表:http://beyondgrep.com/more-tools/
https://stackoverflow.com/questions/7734596
复制相似问题