回答情况：
提问时间：
问题标签：
我一直在使用Crawlera和Scrapy，它很棒。然而，我在Crawlera仪表板中更改了我的API密钥，从那以后我就无法让Crawlera工作了。我联系了他们的客户支持，他们说API密钥工作正常。我决定尝试让Crawlera使用Scrapy文档中的示例。不走运。Scrapy正在向"dmoz.org“而不是paygo.com发出请求。我已经安装了scrapy-crawlera以及scrapy。日志如下：
[scrapy] INFO: Using crawlera at htt
浏览 3提问于2015-08-11得票数 0
我一直在尝试使用scrapy-crawlera作为使用scrapy抓取一些数据的代理。我在settings.py中添加了以下行：CRAWLERA_ENABLED= True 在新更改的scrapinghub网站app.zyte.com中，我
浏览 10提问于2021-03-09得票数 1
find_packages(), install_requires=['scrapy-crawlera'],最后，在我的requires.txt中，我有scrapy-crawlera，但是爬虫不是安装在我的码头上的。
浏览 3提问于2017-03-24得票数 1
回答已采纳
尝试了两个代理url身份验证：--proxy-server=u:p@proxy.crawlera.com:8010还能得到ERR_NO_SUPPORTED_PROXIESconst browser = await puppeteer.launch({ args: ['--proxy-server=proxy.crawlera.compage.setExtraHTTPHeaders({
'Proxy-Autho
浏览 0修改于2018-03-15得票数 2
回答已采纳
对于已经使用httpcache中间件缓存的页面，我不希望使用crawlera代理服务(因为我对每月的调用次数有限制)。我正在使用crawlera中间件，并使用以下命令启用它：'scrapy_crawlera.CrawleraMiddleware': 610} 'crawlera/request/method/GET': 11,
'
浏览 3提问于2017-04-23得票数 1
看来我一直在爬行的网站已经引入了更严格的禁令规则，所以我已经开始用Crawlera来规避这个问题。
我目前遇到的问题是，目标网站正在使用一种非标准的禁止方法，即对标准html页面执行302。Crawlera并没有发现这是一个禁令，并立即停止爬行。有什么方法我可以定制什么Crawlera检测到的禁令，或者我需要研究另一种方法？
浏览 1提问于2017-11-15得票数 0
回答已采纳
到目前为止，我使用的Python请求具有以下设置：proxy_port = '8010' "http": "http://{}@{}:{}/".format(proxy_auth, proxy_host, proxy_port)ca_cert = 'crawlera
浏览 10提问于2019-01-05得票数 1
custom_settings = { 'CRAWLERA_APIKEY' : //my appikey,
'DOWNLOAD_DELAY' : 0,
浏览 0修改于2018-12-15得票数 1
回答已采纳
对带有代理的GET请求使用Crawlera的示例代码。import requests
proxy_host = "proxy.crawlera.com"{ 'Proxy-Authenticate': 'Basic real
浏览 0修改于2018-06-20得票数 1
回答已采纳
如果我设置headers = {"X-Crawlera-Cookies": "disable"}，爬行器会再次工作，但我得到429 --所以我假设限制器(也)对cookie起作用。
浏览 43提问于2019-09-09得票数 0
我安装并设置了Crawlera，正如提到的。': 600,'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None,}CRAWLERA_USER = 'abc'但当我跑蜘蛛的时候什么都不会发生。这是启用了Crawlera 的的日志：
2013-
浏览 0修改于2013-12-23得票数 2
我把它放在scrapehub上，并使用crawlera插件。没有crawlera，我的蜘蛛在scrapehub上运行得很好。一旦我切换到crawlera中间件，爬虫就不需要爬行就退出了。我在没有crawlera的情况下运行了爬虫，它在我的本地系统上运行，也在scrapehub上运行，我唯一改变的是为crawlera启用的中间件。没有crawlera它就会运行，有了它就不会。: disabling download delays on Scrapy side to optimize del
浏览 22提问于2019-02-06得票数 0
如你所知，当我们尝试在Crawlera中使用Scrapy Splash时，我们使用这个lua脚本： -- Make sure youpass your Crawlera API key in the 'crawlera_user' arg. -- Find your C
浏览 7提问于2018-11-27得票数 0
proxy.SocksUserName = "<<API KEY>>"; proxy.HttpProxy = options.AddArguments("--proxy-server=<API KEY>::proxy.crawler
浏览 6提问于2021-02-19得票数 1
既然google趋势需要你登录，我还能使用IP旋转器如crawlera下载csv文件吗？如果是这样的话，有没有使用python的示例代码(即python + crawlera在google上下载文件)。
提前谢谢。
浏览 11提问于2016-09-17得票数 0
因此，基本上我尝试使用来自scrapinghub的Crawlera代理和使用python的windows上的selenium chrome。我查看了文档，他们建议像这样使用Polipo：parentProxy = "proxy.crawlera.com:8010"2)将其添加到selenium驱动程序
polipo
浏览 0修改于2018-06-06得票数 1
当我在Linux服务器上使用Scrapy + Crawlera时，它总是会出现503个错误。它在Windows中运行得很好。为什么会这样呢？
浏览 0提问于2018-10-18得票数 0
回答已采纳
当我使用curl时，我得到了以下错误：curl: (7) Failed connect to proxy.crawlera.com:8010; Connection refused
浏览 3修改于2018-10-18得票数 1
回答已采纳
我按照文档将代理使用集成到我的蜘蛛中。现在我的蜘蛛不能登录了。
浏览 9提问于2021-08-18得票数 0
回答已采纳
www.bloomberg.com/news/articles/2019-05-30/tesla-dealt-another-blow-as-barclays-sees-it-as-niche-carmaker -H x-crawlera-use-https:1', 'X-Crawlera-Timeout': 40000,
&#
浏览 1修改于2019-06-12得票数 1
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号