Scrapy部署算法

Question

请帮我理清思路：

我想在EC2上为我的项目设置一个爬网。我正在使用带有MySQL的Scrapy来显示结果。另外，我想为预定的爬行(例如每天)实现cron；所以我的理解是:我用所有必要的包(python、mysql、scrapy等)设置EC2；然后我创建我的爬虫，我测试它们；当它们工作时，我设置cron让爬行在没有我的情况下发生。

我说的对吗，或者我可能漏掉了什么？我是否需要使用Scrapyd，或者它只是一个选项？

Answer 1

你需要一个能帮你运行Scrapy的程序。您可以使用scrapy命令或编写自己的脚本，也可以使用scrapyd。我个人喜欢scrapyd，因为它让事情变得更简单(包括一个很好的API)。