首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >在后台运行Scrapy爬行器的web托管网站的最佳实践

问在后台运行Scrapy爬行器的web托管网站的最佳实践
EN

Stack Overflow用户
提问于 2011-12-15 08:47:30
回答 2查看 2.1K关注 0票数 5

也许我遗漏了一些关于Scrapy的东西,但这是我将要做的:我已经根据我从互联网上抓取的信息创建了一个网站,使用Scrapy Crawl Spiders。然而,我被困在如何让我的网站上线。我正在考虑虚拟主机,但大多数服务提供商都不允许在他们的服务器上安装这些脚本。当然,我可以租一台服务器,但目前对我来说太贵了。如果你有类似的经历,有没有人可以解释一下。该网站是基于ASP.NET,所以需要的网站托管支持MS,ASP.NET以及剪贴画。有没有什么东西可以让我在不安装的情况下让爬虫运行?非常感谢。

干杯,雷

EN

回答 2

Stack Overflow用户

发布于 2011-12-18 02:31:35

你需要一个托管服务,你可以在其中安装scrapyd服务,这样你就可以自动化你的屏幕抓取。我从来没有这样做过,因为我刚刚开始使用Scrapy,但这里是scrapyd上的信息:http://readthedocs.org/docs/scrapy/en/latest/topics/scrapyd.html

你可能想要考虑虚拟专用服务器来托管,因为它们比托管或专用服务器便宜,但比共享托管给你更多的控制。

票数 2
EN

Stack Overflow用户

发布于 2021-09-19 07:13:09

我发现在使用Heroku定期部署和运行我的爬行器方面取得了很多成功,而且是免费的。您可以阅读有关步骤here的内容

或者,我们可以使用Scrapyd来托管您的爬行器,并与ScrapydWeb一起实际发送请求。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/8513773

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档