基于机器学习的智能网络爬虫

Question

我正在建设电子商务网站

问题陈述

我想抓取网页到get product name, images and product specifications/features并将其存储在我的database中。

输入到机器学习算法

包含html内容的网页

机器学习的输出-- algo

• 它应该自动检测它的产品详细信息页面
• 如果是“产品详细信息”页面，那么就应该识别产品类别
• 然后应该解析产品名称、规格说明。

问题

哪种算法适合这个问题陈述？

有人能提出适当的方法来遵循吗？

Answer 1

我不是机器学习/自然语言处理方面的专家，但我的直觉是，很难把它完全实现为ML产品。因此，首先看看您的目标eCommercise站点是否提供了某种类型的API来提取数据。如果这些API是可用的，那么使用这些API比使用ML容易得多。