首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >grep但是可索引的?

问grep但是可索引的?
EN

Stack Overflow用户
提问于 2011-10-12 10:23:51
回答 6查看 7.7K关注 0票数 14

我有超过200mb的源代码文件,我必须经常查找(我是一个非常大的团队的一员)。我注意到grep不创建索引,所以每次查找都需要遍历整个源代码数据库。

是否有类似于grep的命令行实用程序具有索引功能?

EN

回答 6

Stack Overflow用户

发布于 2012-08-11 18:45:36

下面的解决方案非常简单。有很多他们没有涉及到的角落案例:

  • 搜索行首^

包含\n或:的

  • 文件名将失败

包含空格的

  • 文件名将失败(尽管这可以通过使用GNU Parallel而不是xargs)
  • searching来修复,因为与另一个文件的路径匹配的字符串将不是最佳的

这些解决方案的好处是它们非常容易实现。

解决方案1:一个大文件

事实:查找速度非常慢,读取一个大文件通常会更快。

考虑到这些事实,我们的想法是简单地建立一个包含所有文件及其所有内容的索引-每一行都预先加上文件名和行号:

索引目录:

代码语言:javascript
复制
find . -type f -print0 | xargs -0 grep -Han . > .index

使用索引:

代码语言:javascript
复制
grep foo .index

解决方案2:一个大的压缩文件

事实:硬盘很慢。寻找是非常缓慢的。多核CPU正常。

因此,动态读取压缩文件并解压缩可能比读取未压缩文件更快-特别是如果您有足够的RAM来缓存压缩文件,但不足以缓存未压缩文件。

索引目录:

代码语言:javascript
复制
find . -type f -print0 | xargs -0 grep -Han . | pbzip2 > .index

使用索引:

代码语言:javascript
复制
pbzcat .index | grep foo

解决方案3:使用索引查找潜在候选者

生成索引可能很耗时,而且您可能不希望对目录中的每个更改都这样做。

为了加快速度,只使用索引来标识可能匹配的文件名,并对这些(希望是有限数量的)文件执行实际的grep。这将发现不再匹配的文件,但不会发现匹配的新文件。

需要使用sort -u来避免多次访问同一个文件。

索引目录:

代码语言:javascript
复制
find . -type f -print0 | xargs -0 grep -Han . | pbzip2 > .index

使用索引:

代码语言:javascript
复制
pbzcat .index | grep foo | sed s/:.*// | sort -u | xargs grep foo

解决方案4:附加到索引

重新创建完整索引可能会非常慢。如果大多数目录保持不变,您可以简单地将新更改的文件附加到索引中。索引将再次仅用于定位潜在的候选文件,因此,如果文件不再匹配,则在浏览实际文件时会发现该文件。

索引目录:

代码语言:javascript
复制
find . -type f -print0 | xargs -0 grep -Han . | pbzip2 > .index

追加到索引:

代码语言:javascript
复制
find . -type f -newer .index -print0 | xargs -0 grep -Han . | pbzip2 >> .index

使用索引:

代码语言:javascript
复制
pbzcat .index | grep foo | sed s/:.*// | sort -u | xargs grep foo

如果您使用pzstd而不是pbzip2/pbzcat,它可能会更快。

解决方案5:使用git

git grep可以通过git存储库进行grep。但它似乎做了很多搜索,并且在我的系统上比解决方案4慢4倍。

好的方面是.git索引比.index.bz2小。

索引目录:

代码语言:javascript
复制
git init
git add .

追加到索引:

代码语言:javascript
复制
git add .

使用索引:

代码语言:javascript
复制
git grep foo

解决方案6:优化git

Git将其数据放入许多小文件中。这就导致了寻找。但是你可以让git把小文件压缩成几个更大的文件:

代码语言:javascript
复制
git gc --aggressive

这需要一段时间,但它将索引非常高效地打包到几个文件中。

现在您可以执行以下操作:

代码语言:javascript
复制
find .git  -type f | xargs cat >/dev/null
git grep foo

git将对索引进行大量查找,但是通过首先运行cat,您可以将整个索引放入git中。

添加索引与解决方案5中的相同,但在系统空闲时,偶尔运行git gc以避免许多小文件,并运行git gc --aggressive以节省更多磁盘空间。

如果删除文件,git将不会释放磁盘空间。因此,如果您删除了大量数据,请删除.git并再次执行git init; git add .。

票数 10
EN

Stack Overflow用户

发布于 2013-08-23 01:00:58

有一个https://code.google.com/p/codesearch/项目,能够创建索引并在索引中进行快速搜索。支持regexp,并使用index计算regexp (实际上,只有regexp的子集可以使用index过滤文件集,然后在匹配的文件上重新计算真正的regexp)。

来自代码搜索的索引通常是源代码大小的10-20%,构建索引的速度就像运行经典的grep 2到3次一样快,并且搜索几乎是瞬间的。

代码搜索项目中使用的想法来自google的代码搜索网站(RIP)。例如,索引包含从n-gram(3-gram或在源代码中找到的每个3字节集)到文件的映射;而regexp在搜索时被转换为4-gram。

PS,在C/C++源代码中有ctag和cscope可供导航。Ctag可以查找声明/定义,cscope功能更强,但C++有问题。

此外,还有用于C/C++/ObjC语言的基于clang的工具:http://blog.wuwon.id.au/2011/10/vim-plugin-for-navigating-c-with.html和clang-complete

票数 3
EN

Stack Overflow用户

发布于 2013-08-23 03:45:10

http://beyondgrep.com/是一个针对程序员,特别是处理大型异构源代码树的程序员而优化的代码搜索工具: ack

您的一些搜索示例中是否只想搜索特定类型的文件,如只搜索Java文件?然后你可以这样做

代码语言:javascript
复制
ack --java function

ack不会索引源代码,但根据搜索模式的不同,这可能无关紧要。在许多情况下,只搜索特定类型的文件可以提供所需的加速,因为您不需要同时搜索所有其他XML等文件。

如果ack不能帮你做到这一点,这里有一个为搜索源代码而设计的工具列表:http://beyondgrep.com/more-tools/

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/7734596

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档