使用Nutch2获取所有Pdf文件Urls

Question

我使用Nutch2.3.1和MongoDB进行持久化。我的目标是在不下载文件URL的情况下提取它们。

现在它正在下载文件。如何禁用下载并仅在数据库中持久化URL？

我如何从Nutch2中提取所有爬行的URL？

Answer 1

根据您想要完成的任务，这可能需要进行一些修改：

如果您不想解析/提取PDF文件中的文本，那么您可以为http.content.limit设置一个低值，这将基本上阻止Nutch下载比您在那里指定的字节更多的字节，但仍然能够发现文件的URL，并将下载一个片段(指定的字节数)。

当然，这也会影响您想要获取/下载的其余URL。

一种方法可以是编写您自己的协议插件，这将阻止您下载任何PDF文件。