问ScrapingHub与远程数据库
EN

Stack Overflow用户

提问于 2015-07-20 20:25:24

回答 1查看 1.3K关注 0票数 2

我正在用start_urls创建一个蜘蛛，并且我想使用MySQL数据库在我的蜘蛛中获取scrapy。现在我想知道是否有可能将scrapy-cloud连接到远程数据库？

发布于 2015-07-24 04:09:29

您可以通过覆盖start_requests爬行器方法来做到这一点：

http://doc.scrapy.org/en/latest/topics/spiders.html#scrapy.spiders.Spider.start_requests

你基本上可以在那里做任何你想做的事情。

Mysql python默认安装在scrapy cloud上。文档：http://mysql-python.sourceforge.net/

票数 5

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/31516473

复制

相似问题

问ScrapingHub与远程数据库EN