问如何有效地运行python web爬虫
EN

Stack Overflow用户

提问于 2015-12-08 23:35:34

回答 1查看 157关注 0票数 0

我有一个python爬虫，它获取信息并将其放入SQL中。现在我也有了php页面，它从SQL读取这个信息，并表示它。问题是:为了让爬虫程序工作，我的电脑必须全天候工作。我有一台简单的家用电脑--所以这是个问题。是否有一种不同的方式运行网络爬虫？还是我必须在我的电脑上运行？

回答已采纳

发布于 2015-12-09 07:24:41

如果您正在监视不断更新的页面，则需要在24/7的计算机上运行它。您可以使用cron作业，也可以使用连续循环(带有一些监视)。如果您不想在您的主机上运行它，我建议您获得一个免费的AWS帐户。您可以获得允许运行python脚本的EC2微实例和允许存储信息的S3数据库实例。

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/34168155

复制

相似问题

问如何有效地运行python web爬虫EN