回答情况：
提问时间：
问题标签：
我第一次使用命令: pip install scrapyd在Ubuntu14.04中成功地安装了scrapyd，当我运行命令:scrapyd时，我在终端中得到以下输出：2015-07-14 01:22:02-0400 [Launcher] Scrapyd1.1.0 started: max_proc=8, runner='
浏览 0提问于2015-07-14得票数 9
回答已采纳
1回答
我的Scrapy.cfg文件是url = http://localhost:6800/url= http://scrapyd.mydomain.com/api/scrapyd/如果我这样做，下面的命令意味着它抛出一个错误，如下所示。$ scrapy deploy -l
scra htt
浏览 4修改于2018-07-17得票数 0
1回答
当我想在一个scrapy项目中启动scrapyd时。我得到了错误：我通过源包安装scrapy时，命令scrapy version -v会显示以下消息20071124 (Red Hat 4.1.2-42)]我已经检查了安装的包，scrapyd
浏览 1修改于2012-10-01得票数 0
我希望将scrapyd作为服务启动，但是当我启动scrapyd时，如果我关闭SSH会话，服务scrapyd就会自动关闭。当我尝试从这样的服务开始时，我有一个错误：{“状态”：“错误”，“消息”：“使用\"scrapy
浏览 0提问于2016-03-10得票数 2
因此，我有一个Dockerfile，在这里我想保留我的scrapyd服务器。但是，由于我使用scrapyd-deploy来部署Scrapy项目，所以我需要等待scrapyd服务器在部署鸡蛋之前运行。我不知道如何用Docker实现这一点，因为如果我使用scrapyd作为入口点，它会“窃取”终端，并且无法按顺序运行scrapyd-deploy。# important part that I think is hacky comes at the end:
# the command below redirec
浏览 0提问于2018-12-21得票数 0
回答已采纳
它为一个scrapy项目提供了一个很好的包装器，并且它的爬行器可以通过HTTP API控制爬行器：Scrapy 服务器，它提供了用于调度Scrapy爬行器和使用爬行器进行请求的应用程序接口。这个包是Scrapyd的替代品吗？若有，两者有何分别？
浏览 120提问于2016-05-18得票数 26
回答已采纳
1回答
如果需要，您会使用什么工具或工具集来水平扩展scrapyd，将新机器动态添加到scrapyd集群中，并让每台机器拥有N个实例。所有实例共享一个公共作业队列并不是必须的，但这将是非常棒的。似乎很适合这项工作，但我想要一个基于Scrapyd的解决方案，所以我听取了其他替代方案和建议。
浏览 1修改于2017-02-01得票数 7
我已经在cmd中启动了scrapyd，网站"localhost:8600“显示正常。然后我开始部署一个名为scrapyd_prac的项目，并将项目的“scrapy.cfg”内容更改为： url = http://localhost:6800/然后在cmd中执行命令：
python D:\scrapyd_test\Scripts\scrapyd-deploy loc
浏览 7修改于2017-07-23得票数 3
执行命令时：我遇到一个错误，我说： from scrapy.utils.http import basic_auth_header我还
浏览 21修改于2021-06-14得票数 1
回答已采纳
看起来没有合法的方式来暂停/继续使用Scrapyd进行爬行，就像Scrapy本身一样(抓取爬行器-s JOBDIR=jobdir/ spider -1)。那么，是否可以使用Scrapyd暂停/继续作业？
耽误您时间，实在对不起
浏览 0提问于2017-09-26得票数 4
[settings]
url = http://localhost:6800/url = http://scrapyd.mydomain.com/api/scrapyd/password = secret
如果我在代码代码下面运行$scrapyd</em
浏览 1修改于2014-10-03得票数 1
我有几个小项目。我用剪贴纸把它们都部署好了。有些蜘蛛速度慢，而另一些蜘蛛速度快。现在，我想先跑快蜘蛛。怎么做？
浏览 3提问于2013-09-18得票数 4
回答已采纳
我正在读这一页
c:\scrapyd\scrapyd.confC:\Python27\Lib\site-packages\scrapyd它们中的任何一个都有scrapyd.conf文件。
浏览 1提问于2014-04-30得票数 1
2回答
我正在寻找一种在scrapyd中设置作业的方法，它在本地创建一个文件，然后在下一次爬网时覆盖它的内容，而不是附加它。据我所知，只有使用scrapy我才能使用这个命令但是似乎没有办法在scrapyd或curl命令行(我用来设置scrapyd)中设置这些参数。
浏览 9提问于2018-12-03得票数 1
我想使用scrapyd来管理我的project.Scrapyd部署在Ubuntu服务器上，我想为scrapyd设置登录密码，我不希望任何人调用scrapyd的API
浏览 0提问于2018-07-20得票数 0
回答已采纳
我尝试了各种方法来安装旧版本的scrapyd，但没有成功。sudo pip install scrapyd-0.24.6 sudo apt-get install scrapyd-0.24.6请告诉我如何下载和安装scrapyd的特定版本
谢谢
浏览 0提问于2016-01-11得票数 1
我试图使用scrapyd在windows中启动scrapyd，但是出现了下面的错误。C:\Users\Zheyuuu>scrapyd File "d:\anacaonda\lib\runpy.py", line\__main__.py", line 5, in <module>
File "d:\anacaonda\lib\site-packages\scrapyd\scripts\<em
浏览 0修改于2019-03-16得票数 0
回答已采纳
我对Scrapyd非常陌生，正在尝试部署。我在Ubuntu 12.04上运行，并安装了Scrapyd的ubuntu版本。addversion.json{"status": "error", "message": "[Errno 13] Permission denied:'/var/lib/scrapydweb/resource.py", line 216, in
浏览 0修改于2014-08-13得票数 1
我正在尝试在freeBSD上安装scrapyd，但是，我得到了这个错误：-bash: cd: /usr/ports/www/py-scrapyd/: No such file or directory$ cd /usr/ports/www
浏览 5提问于2013-06-10得票数 0
回答已采纳
我目前有一个scrapyd实例，并在我的机器上本地运行。此scrapyd实例需要在我的雇主网络上的其他PC上可用。我读过关于刮刮云()和其他基于云的服务的文章。然而，我更愿意在我们的网络上托管scrapyd，因为我构建的爬虫从我们服务器上存储的csv文件中提取数据。我需要采取哪些步骤才能使我的scrapyd实例可供网络上的其他计算机使
浏览 13提问于2017-02-03得票数 0
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号