从python Django的角度来看，bot与爬虫程序不同吗？

Question

实际上，我对这个术语感到困惑。我正在研究scrapy，我认为它是为了抓取网站和提取一些数据。

但我想做一些python程序，它的功能与实际用户类似。我的意思是像自动化任务。

例如，去www.myblah.com，然后在某个类别中获得最便宜的产品，如果低于我的预设数量，则发送电子邮件给我。

现在我不知道这些类型的东西是属于爬行还是别的什么。

我可以用scrapy来做这件事吗，或者我们有其他的库来做这类任务。

Answer 1

Scrapy是一个框架，可用于创建机器人或爬虫(也称为爬虫)。爬虫是一种特定的机器人，但机器人不一定是爬虫。爬虫被设计成探索页面(节点)的图形及其嵌入的URL(边)，尽管它们可能被限制在特定的URL之后。

自动化任务是机器人的工作。Scrapy是否能做到这一点将取决于需要什么信息以及如何采取行动。如今许多网站都大量使用javascript，因此如果机器人不能执行javascript并正确地提供cookie，它可能就不能将信息传递给它的任务。一些web自动化任务可能需要浏览器插件，甚至可能需要GUI自动化工具。