crawler4j按照什么步骤来获取数据？

Question

我想学习，

1. crawler4j是如何工作的？
2. 它是获取网页，然后下载其内容并提取它吗？
3. 那么.db和.cvs文件及其结构呢？

一般情况下，它会遵循什么顺序？

拜托，我要一个描述性的内容

谢谢

Answer 1

广义Crawler过程

典型的多线程爬行器的过程如下：

1. 我们有一个队列数据结构，称为frontier。新发现的URL(或起始点，所谓的种子)被添加到这个数据结构中。此外，为每个URL分配一个唯一的ID，以确定是否先前访问了给定的URL。
2. 然后，爬虫线程从frontier中获取URL，并为以后的处理安排它们。
3. 实际处理开始：

- The `robots.txt` for the given URL is determined and parsed to honour exclusion criteria and be a polite web-crawler (configurable)
- Next, the thread will check for politeness, i.e. time to wait before visting the same host of an URL again. 
- The actual URL is vistied by the crawler and the content is downloaded (this can be literally everything)
- If we have HTML content, this content is parsed and potential new URLs are extracted and added to the frontier (in `crawler4j` this can be controlled via `shouldVisit(...)`).

​

1. 整个过程被重复，直到没有新的URL被添加到frontier。

一般(重点) Crawler架构

除了crawler4j的实现细节之外，一个或多或少的通用(聚焦)爬虫体系结构(在单个服务器/pc上)如下所示：

​

​

免责声明:图像是我自己的作品。请参考这篇文章来尊重这一点。