使用python进行网页结构比较

Question

我想将一组给定的网页划分为不同的类别，主要分为3个类别(产品页面、索引页面和产品相关项目页面)。我认为这可以通过分析它们的结构来完成。我只是根据它们的DOM(文档对象模型)结构来比较网页。我想知道python中是否有解决这个问题的库。提前谢谢。

Answer 1

首先，您需要确定页面中的哪些元素实际上唯一地将页面标识为特定的网页类。

然后，您可以使用像BeautifulSoup这样的库来实际查看文档，以查看这些元素是否存在。

然后，您只需要一系列if/elifs来确定页面是否具有合格的元素，如果有，则将其分类为适当的webpage-class。