用Mongodb检查小爬虫中URL的存在

Question

我使用MongoDB在一个小型爬虫中索引URL。我的爬虫中最大的URL数量大约是5亿个URL。我想在URLdb中搜索以检查现有的URL，但是对于这个查询，搜索中的MongoDB速度非常低：

db.hosts.find({URL:"http://myhost.com"})

我的问题是：

1. 如何提高MongoDB中的搜索速度？
2. 就我而言，Lucene比MongoDB好吗？

Answer 1

1. 在文档中可以很好地确定，提高查询性能的方法是在要查询的字段中添加索引。
2. 关于您正在做的事情的信息量不足以让任何人知道Lucene是否会比MongoDB更好。

另外，如果您正在搜索您的URL以寻找一个现有的URL，这样您就不会添加一个重复的URL，那么您想要的就是创建唯一索引。