问Nutch :抓取断开的链接并在Solr中建立索引
EN

Stack Overflow用户

提问于 2013-12-11 15:28:07

回答 1查看 1.2K关注 0票数 1

我的目的是找出一个超文本标记语言页面中有多少URL是无效的(404500，HostNotFound)。因此，在Nutch中，我们可以进行配置更改，通过该更改，网络爬虫可以爬行断开的链接，并在solr中对其进行索引。

一旦所有断开的链接和有效链接在Solr中被索引，我就可以只检查无效的URL，并可以将其从我的HTML页面中删除。

任何帮助都将受到高度的感谢。

提前谢谢。

发布于 2018-05-10 02:55:04

此命令将为您提供一个仅包含断开的链接的转储：

bin/nutch readdb <crawlFolder>/crawldb/ -dump myDump -status db_gone

记住在转储文件中排除带有以下标记的URL，因为它是通过遵守robots.txt而生成的

Metadata: _pst_=robots_denied(18)

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/20513035

复制

相似问题

问Nutch :抓取断开的链接并在Solr中建立索引EN