快速抓取网站

Question

我正在开发一个系统，它必须跟踪少数门户的内容，并每天晚上检查更改(例如，下载和索引白天添加的新站点)。此门户的内容将被编入索引以进行搜索。问题在于重新爬行这个门户--首先爬行门户需要很长时间(门户的示例: www.onet.pl、www.bankier.pl、www.gazeta.pl )和我希望重新抓取它(尽可能快)，例如通过检查修改日期，但是我使用wget下载www.bankier.pl，但作为回应，它抱怨没有最后修改头。有什么办法重新抓取这么多网站吗？我也尝试过使用Nutch，但是重新抓取的脚本似乎不能正常工作，或者它也取决于这个标题(最后修改)。也许有一个工具，爬虫(像Nutch之类的)，可以通过添加新的站点来更新已经下载的站点？

向你问好，沃伊特克

Answer 1

我建议使用卷曲只获取头部，并检查最后修改的标头是否已更改。

示例：

 curl --head www.bankier.pl

Answer 2

对于Nutch，我在如何用Nutch重爬上写了一篇博客文章。基本上，您应该为db.fetch.interval.default设置设置一个低值。在下一次获取url时，Nutch将使用最后的提取时间作为If-Modified-Since header的值。