Crawler4j下载文章

Question

我正在尝试使用Crawler4j从新闻门户下载文章。我想将它们存储在“体育”、“科学”、“健康”或该门户网站的任何其他类别下的文件夹中。Url解析是不够的，因为有些门户在Url中不使用类别。我唯一的想法是做一棵树，并记住在当前页面上找到的链接。有更简单的方法吗？

Answer 1

您可以解析实际页面，并使用CSS标记，标识标题或面包屑。

为此，我建议使用JSOUP。

您将需要知道新闻站点和哪个css标记是面包屑css标记。