也许我遗漏了一些关于Scrapy的东西,但这是我将要做的:我已经根据我从互联网上抓取的信息创建了一个网站,使用Scrapy Crawl Spiders。然而,我被困在如何让我的网站上线。我正在考虑虚拟主机,但大多数服务提供商都不允许在他们的服务器上安装这些脚本。当然,我可以租一台服务器,但目前对我来说太贵了。如果你有类似的经历,有没有人可以解释一下。该网站是基于ASP.NET,所以需要的网站托管支持MS,ASP.NET以及剪贴画。有没有什么东西可以让我在不安装的情况下让爬虫运行?非常感谢。
干杯,雷
发布于 2011-12-18 02:31:35
你需要一个托管服务,你可以在其中安装scrapyd服务,这样你就可以自动化你的屏幕抓取。我从来没有这样做过,因为我刚刚开始使用Scrapy,但这里是scrapyd上的信息:http://readthedocs.org/docs/scrapy/en/latest/topics/scrapyd.html
你可能想要考虑虚拟专用服务器来托管,因为它们比托管或专用服务器便宜,但比共享托管给你更多的控制。
https://stackoverflow.com/questions/8513773
复制相似问题