回答情况：
提问时间：
问题标签：
我使用scrapyd将我的爬虫部署到云平台。爬虫在本地计算机上工作正常。但是现在它只能得到http 400的响应。它被禁止了吗？还是硬件无法处理频繁的请求？我用的是最低规格的。
浏览 0修改于2020-05-04得票数 0
我想限制爬虫对我在Heroku上运行的rails应用程序的访问。如果我使用的是Apache或nginX，这将是一项简单的任务。由于该应用程序部署在Heroku上，因此我不确定如何在HTTP服务器级别限制访问。
我曾尝试使用robots.txt文件，但有问题的爬虫程序不支持robot.txt。
浏览 0修改于2013-12-23得票数 4
回答已采纳
我是AWS的新手，我正试图在一个ubuntu18.04 ec2实例上部署一个pyautogui爬虫。我用本教程安装了所有包，但是仍然有错误。
浏览 2提问于2020-08-26得票数 1
回答已采纳
我有一个ruby on rails应用程序，这是一个crawler.The爬虫的web界面，是一个单独的ruby脚本，我计划将它作为一个单独的process.However派生出来，这是启动一个运行时间超过那么，在哪里部署具有如此长生命周期进程的应用程序更好呢(亚马逊EC2、Heroky等公司？)使用Rails 3/ Ruby 1.9.2
浏览 2提问于2011-04-27得票数 0
1回答
我想写一个爬虫来做一些基础设施(路由器，WAPS，系统等)的清单。所以，我在服务器上安装了一个应用程序，以及如何部署它。爬虫是怎么开始的？爬虫是如何返回数据的？
浏览 5修改于2015-02-09得票数 0
1回答
怎样在不使用远程桌面的情况下就能查看储存在腾讯云服务器上面的文件（不是网盘）？
云服务器、、文件存储、访问管理、云数据库 MySQL
在服务器上部署了爬虫，想在不使用远程桌面的情况下直接就能查看服务器硬盘上爬虫爬取到的最新数据，想问一下该如何实现？
浏览 403提问于2020-04-16
我们有一些从互联网上收集数据的爬虫。对于我们的应用程序来说，EC2 spot是一个非常便宜的解决方案。在我们的例子中，我们可以通过以下步骤来设置爬虫：
3.2删除
浏览 2修改于2012-07-09得票数 0
回答已采纳
我正在部署来自terraform的爬虫数组，我希望同时部署一个包含2个或更多爬虫的列表。我使用的是foreach，但是对于dynamodb_target，我无法找到如何将它与特定的爬虫相关联，也就是说，爬虫1具有table_name 1作为dynamodb_target an等等。
浏览 11提问于2022-10-12得票数 0
回答已采纳
我有一个网络爬虫，是一个码头形象。我想使用boto创建一个EC2实例，部署我的爬虫，运行这个爬虫，然后在它完成后终止这个实例。使用相同的SSH连接来运行我的命令来启动爬虫
我真的需要使用像Fabric这样的工具来对我的实例进行SSH并运行命令吗？
浏览 0提问于2018-03-19得票数 2
谷歌应用引擎可以用来运行网络爬虫吗？由于google应用引擎用于后端和app，我担心在应用程序引擎上部署这样的爬虫系统会有其局限性。
浏览 0修改于2018-06-05得票数 0
回答已采纳
编辑：
实际上，我们正在尝试从手动配置的爬行器转移到一个爬行器，该爬虫是通过cloudformation部署的，这样就可以轻松地维护它。我们有几个爬虫，需要迁移它们。因此，这个问题。
浏览 0提问于2019-04-26得票数 1
我在scrapy中开发了几个爬虫&我想在Heroku云上测试它们。有没有人知道如何在Heroku云上部署Scrapy spider？
浏览 1修改于2014-03-08得票数 11
回答已采纳
我只能在Python 3爬虫做好部署准备之后才能开始使用。我不能一次部署一个爬虫。我目前有一个远程分支，它是主分支。让我们称之为遥控器-A。现在，由于“所有操作都必须保持活动状态”，我需要一个单独的Python 3爬虫的远程分支。这个分支可以称为Remote-B。我手动创建了这个分支，所以整个存储库现在有两个分支: Master(Remote-A)和Python3爬虫(Remote-B)，后者是主分支的一个副本。那个文件夹名为Local.我的想法是要么
浏览 3提问于2019-09-10得票数 0
回答已采纳
0回答
远程服务器无法访问本机redis？
云服务器、python、云数据库 Redis®、爬虫
将爬虫部署到腾讯云服务器后，云服务器一直无法访问本机的redis。本机的redis已经开启远程访问。
360截图-8277578.jpg
浏览 347提问于2019-05-22
是否有人有使用海葵等宝石编写网页爬虫的经验，并将它们部署到heroku供您自己使用？这样一个持续运行的程序会违反heroku的TOA/TOS吗？
浏览 2修改于2013-05-09得票数 4
我目前想部署一个网站排名API，为此，我需要一个网络爬虫。事情是，我想让网络爬虫运行24/7，以便它可以不断更新网站。但是，对于Heroku这样的服务，一个小时后服务器就停止了。
浏览 0修改于2021-01-21得票数 1
回答已采纳
我正在寻找一个解决方案匿名的木偶网络爬虫部署在Heroku上。在本地，我在本地计算机上运行了Tor，并通过'127.0.0.1‘9050端口重新路由流量。
浏览 0提问于2018-11-06得票数 2
我已经有了负责解析数据的python爬虫，但是我不知道如何(在后台)在firebase中执行服务器的这个python爬虫(或者根本不可能)？下面是我的系统的示例用法
用户可以从数据库中看到网站变更的摘要。我想到的一个选择是在本地机器上运行爬虫，并使用REST将解析的数据更新到firebase数据库。然而，这似乎是一种非常低效/天真的方法，因为它有点失去了使用云服务(如firebase )部署</
浏览 0提问于2018-01-25得票数 3
但是，当我将我的ASP.NET重新部署到我的Vista安装或我的服务器的IIS6安装时，我崩溃了一个IIS7工作进程。我已经将问题缩小到我的HTTP爬虫，这是一个多线程的野兽，当被请求时，它会爬取站点以获取有用的信息。在我启动爬虫程序并重新部署应用程序之后，IIS工作进程将崩溃(弹出一条崩溃消息)并继续重新加载应用程序域，而不是正常卸载appDomain并重新加载。
浏览 0修改于2008-10-10得票数 9
回答已采纳
目前我使用的是sitecore 6.6和高级数据库爬虫。我的sitecore环境目前是内部部署1 cm，云上部署1张cd。ADC现在工作得很好。
我能知道哪一行sitecore调用了ADC方法吗？
浏览 2修改于2013-10-24得票数 0
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号