检查网站每个链接的最佳方式是什么？

Question

我想创建一个爬虫，跟踪网站的每个链接，并检查网址，看看它是否工作。现在，我的代码使用url.openStream()打开URL。

那么创建爬虫的最好方法是什么呢？

Answer 1

使用像Jsoup这样的超文本标记语言解析器。

Set<String> validLinks = new HashSet<String>();
Set<String> invalidLinks = new HashSet<String>();

Document document = Jsoup.connect("http://example.com").get();
Elements links = document.select("a");

for (Element link : links) {
    String url = link.absUrl("href");

    if (!validLinks.contains(url) && !invalidLinks.contains(url)) {
        try {
            int statusCode = Jsoup.connect(url).execute().statusCode();

            if (200 <= statusCode && statusCode < 400) {
                validLinks.add(url);
            } else {
                invalidLinks.add(url);
            }
        } catch (Exception e) {
            invalidLinks.add(url);
        }
    }
}

您可能希望在该循环中发送一个HEAD，以提高效率，但随后您将不得不使用URLConnection，因为Jsoup在设计上不支持它( HEAD不返回任何内容)。

Answer 2

使用内部链接分析器工具来分析搜索引擎爬虫可以在您网站的特定页面上检测到的链接。搜索...最佳实践内部链接。链接数量:早在2008年，Matt Cutts (谷歌网络垃圾邮件团队的负责人)就建议将链接数量限制在每页最多100个链接。