回答情况：
提问时间：
问题标签：
我正在尝试使用他们提供的规则简单地将Scrapy Spider部署到ScrapingHub。由于某些原因，它搜索Python 3.6目录，而实际上它应该能够搜索任何3.x Python目录。Scrapinghub说，识别"scrapy:1.4-py3“将适用于3.x Python set，但这显然不是真的。default = YahooScrape.settings
#url = http://localhost:6800/
浏览 1修改于2017-06-28得票数 1
我正在尝试将一个项目部署到scrapinghub，下面是我得到的错误
slackclient 1.3.2 has requirement websocket-client<0.55.0,>=0.35,
浏览 15提问于2020-05-15得票数 1
我部署了一些抓取蜘蛛来抓取数据，我可以从ScrapingHub下载.csv格式的数据。
其中一些爬虫有FilePipeline，我用它来下载文件(pdf)到特定的文件夹。有没有什么方法可以通过平台或应用程序接口从ScrapingHub检索这些文件？
浏览 0提问于2017-06-15得票数 0
我正在ScrapingHub上部署一群蜘蛛。蜘蛛本身起作用了。我想根据爬行器是在本地运行还是在ScrapingHub上运行来更改提要输出(如果它在本地运行，那么输出到临时文件夹，如果它在ScrapingHub输出上运行到S3)。但是，尝试从settings.py (在Scrapy项目中)打印使用ScrapingHub接口设置的环境变量会返回None。下面有一个代码片段，它显示了我试图做的事情。我的问题是，在将部署到ScrapingHub上的Scrapy项目中使用环境变量的正确方法是什么？
浏览 1修改于2019-06-18得票数 3
我使用scrapinghubs splash来渲染javascript页面。它确实是一个很棒的工具，但我不明白为什么等待的最大值是10。有没有可能设置更高的值？致以最好的问候，朱利安
浏览 0提问于2015-03-30得票数 0
我想使用peewee将我的数据保存到远程机器上。当我运行我的爬虫程序时，我发现了以下错误， self.crawler_process.crawl(spname, **opts.spargs) return
浏览 1提问于2017-04-15得票数 0
我在scraping-hub上部署了一个项目，但是我的爬行器不能工作，因为scraping-hub使用了一个旧版本的扭曲库。这个项目在我的本地机器上运行得很好，不管怎样，我可以制作一个扭曲的更新版本的鸡蛋，并将其部署在scraping-hub上。
浏览 1提问于2016-02-17得票数 0
我在scrapinghub上得到了splash的暂停，我想从我的本地机器上运行的脚本中使用它。"; '*.scrapinghub.com'!"; '*.scrapinghub.com'!"; '*.scrapinghub.com'!"; '*.scrapinghub.com'!
浏览 47修改于2019-11-20得票数 3
我正在用start_urls创建一个蜘蛛，并且我想使用MySQL数据库在我的蜘蛛中获取scrapy。现在我想知道是否有可能将scrapy-cloud连接到远程数据库？
浏览 2提问于2015-07-20得票数 2
我刚开始使用刮痕/飞溅。根据的指示，我已经成功地安装了刮伤-splash。第二个要求是飞溅本身。我没有码头和没有说明如何安装启动窗口没有码头。有人能帮忙吗？C:\splash>C:\Python27\Python.exe setup.py or: setup.py --help [cmd1 cmd2 ...] or: setup.py cmd --he
浏览 6修改于2016-10-08得票数 1
回答已采纳
docker run -p 8050: 8050 scrapinghub / splash
如何更改设置并设置用户名和密码？
浏览 5修改于2019-11-26得票数 3
但是，我很难找到任何关于如何将这个文件部署到scrapinghub以及在那里使用什么路径的信息。现在，我使用SH文档中的这种方法-- ，但没有收到任何对象。
浏览 1修改于2017-08-09得票数 4
回答已采纳
我正在使用Python 3进行一个刮伤项目，并将蜘蛛部署到scrapinghub中。我还使用Google来存储官方文档中提到的刮过的文件。当我在本地运行蜘蛛时，这些蜘蛛运行的非常好，并且这些蜘蛛被部署到scrapinghub上，没有任何错误。我使用scrapy:1.4-py3作为剪贴的堆栈。
浏览 0提问于2018-02-22得票数 1
回答已采纳
但是一旦我从scrapinghub上传并运行它，许多替换中的一个(状态)不起作用(其他的都很好)，它返回%7B%7D&在url中，它是用大括号编码的。这一切为什么要发生？={}&model={}&state={}&mileage={}&zip={}'.format(year,make, model, self.state, milage, self.zip)
这是我在scrapinghub
浏览 0修改于2017-10-23得票数 0
Docker已经成功地提取了scrapinghub/splash，但是当我使用docker run -p 8050:8050 scrapinghub/splash运行它时，我得到了以下错误：
docker
浏览 3修改于2020-01-23得票数 0
回答已采纳
如何使用Heroku在ScrapingHub.com数据库上发布数据？我在想，有没有可能将我的API从scrapinghub连接到Heroku databe？ 有什么想法吗？请帮帮我谢谢！
浏览 17提问于2019-04-08得票数 0
回答已采纳
我在蜘蛛(Scrapy)中使用Python-Selenium，为了使用Selenium，我应该在Scrapinghub上安装xvfb。在Scrapinghub上安装xvfb还有其他方法吗？
浏览 6修改于2017-06-14得票数 3
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号