回答情况：
提问时间：
问题标签：
我已经写了一个网络爬虫与代理使用scrapy。因为我总是需要一个随机的代理池来避免被禁止，我决定编写另一个爬虫来抓取一个提供免费IP的网站。每次开始爬虫过程时，我都需要首先抓取IP，将它们导出到一个文件中，然后转到另一个爬虫的根目录并将IP读取到setting.py中。我想知道是否有可能将两个爬虫合并到一个项目中，这样我只需要运行一个命令就可以开始整个爬行过程。
非常感谢!
浏览 7提问于2016-07-07得票数 0
我必须在具有多个使用scrapy的爬虫的服务器中实现一个代理池。 假设我已经有一个数据库，其中有多个代理一直在更新，我该如何实现代理池。我不想直接在代码中添加代理，主要是因为很多代理死得很快，有些爬虫需要很长时间才能完成。 有没有一种方法可以使用中间件或其他东西来实现这一点，而不需要更改我获得的每个爬虫？ 谢谢。
浏览 9提问于2019-03-19得票数 0
我想用python写一个小的网络爬虫。我开始研究将其编写为多线程脚本，一个线程下载池和一个池处理结果。由于有了GIL，它真的可以同时下载吗？GIL对网络爬虫有什么影响？基本上我想问的是，用python做一个多线程爬虫真的比单线程能给我带来更多的性能吗？
谢谢!
浏览 4提问于2010-05-14得票数 10
回答已采纳
什么是最推荐的.NET自定义线程池，可以有单独的实例，即每个应用程序多个线程池？我需要一个无限的队列大小(建立一个爬虫)，并需要运行我正在爬行的每个网站在并行单独的线程池。编辑:我需要尽可能快地挖掘这些站点的信息，使用每个站点的单独线程池将使我能够控制在任何给定时间在每个站点上工作的线程数量。(不超过2-3个)
谢谢罗伊
浏览 0修改于2009-07-21得票数 12
我检查了我的AWStats，发现一些IP地址占用了大量的带宽。我怎么知道列入黑名单是否安全？有几个人每月消耗2GB或更多，一直如此。看这个截图：我还检查了AWStats中的爬虫器，但是我没有看到IP地址，所以我无法知道它是从哪里来的。我怎么才能挑出坏爬虫？
浏览 3提问于2017-10-29得票数 0
回答已采纳
我正在创建一个新的网络爬虫使用C#来抓取一些特定的网站。一切都很顺利。但问题是，，一些网站是阻塞我的爬虫IP地址，后，一些请求。我试着在爬行请求之间使用时间戳。但没有起作用。有没有办法阻止网站阻塞我的爬虫？有些类似的解决方案会有所帮助(但我需要知道如何应用它们)：
任何解决办法都会有帮助。
浏览 7提问于2011-10-04得票数 3
回答已采纳
3回答
我正在使用Scrapy，并试图通过创建一个定制的DownloaderMiddleware来使用代理池。我查看了Scrapy网站的文档，但没有代码示例)import random
proxy_pool = ['ip1', 'ip2...', 'ip3...']scrapy.downloadermiddlewares.httpproxy.HttpProxyM
浏览 11修改于2016-02-17得票数 2
回答已采纳
我在做网络爬虫。可以执行许多请求(例如每秒500-1000个请求)，而不需要每个请求创建线程(我不是指线程池、重用等等)？
浏览 4提问于2012-12-05得票数 2
我正在编写一个Powershell脚本，用一个公共IP来定位所有EC2实例。我知道如何在NetworkInterfaces中获得弹性IP和公共池IP关联。但是，当为公共池IP (而不是EIP)配置的EC2实例被关闭时，公共IP将被释放回池中，并且关联将从NetworkInterface中删除。我似乎在任何地方都找不到任何标志或其他配置来表明，当EC2恢复供电时，它将请求一个新的公共池IP</
浏览 1提问于2020-06-03得票数 0
回答已采纳
我计划启动一个分布式爬虫，以避免服务器/CDN施加的常见限制，如速率限制、区域筛选和其他限制。源文件能够检测到服务器IP吗？
我无法控制代理(SOCKS5服务器)，这种连接有多安全？
浏览 0修改于2020-01-01得票数 1
回答已采纳
1回答
我的计划是我的网络爬虫
google.com/robots.txtDisallow: /search我知道，如果我试图在搜索引擎上搜索关键字，我的ip可能会被封锁。我的新计划我的网络爬虫会
在谷歌
浏览 3提问于2017-09-15得票数 0
我有两种不同的爬虫器，每一种都被构建成一个码头容器。现在我通过马拉松发射。下面的代码是马拉松启动json。"cpus": "0.5", "uris": [],
"constraints": [
浏览 3提问于2015-04-09得票数 1
回答已采纳
我正在尝试使用连接池，但我不能正确理解它。谁实现了它？是软件、驱动程序还是数据库？我需要一个代码示例。我正在做一个网络爬虫，它有很多到数据库的连接。
浏览 0修改于2011-06-23得票数 16
回答已采纳
我已经尝试重新索引和运行的文件爬虫，网站爬虫和网址爬虫多次。我还尝试为每个门户同步我的资产。还要注意的是，我一直在回收应用程序池，并在每次尝试失败后删除AppData/Search文件夹中的文件。
浏览 16提问于2019-09-19得票数 0
回答已采纳
我的目标是创建一个小的网络爬虫。该过程应该继续，直到找不到新的URL。我的当前绘图如下:爬虫提取urls并将其放入池中。因此，每个Worker都有一个对池的引用，因此爬虫可以通过worker访问池对象。s
浏览 1提问于2017-02-04得票数 1
我在哪里可以找到爬虫或蜘蛛IP地址的全面列表。我需要从谷歌，雅虎，微软和其他搜索引擎，定期爬行我的网站的IP。
我不想禁用它们，因此将robots.txt文件排除在答案之外。
浏览 0修改于2014-04-15得票数 5
回答已采纳
他们建议进行以下网络优化：
切换到UDP也可以提高性能。我不明白这两种建议:连接池与网络爬行有什么关系？每个爬虫服务是否都在打开自己与主机的连接？连接池在这里有什么用？关于UDP，难道不是爬行向网络主机发出HTTP通过TCP请求吗？
浏览 5修改于2020-06-20得票数 2
1回答
我在共享VPC(别名ip)下使用GKE，我有4台由2个节点池组成的机器。当我尝试添加更多的节点池(因为我想拥有更多类型的机器)时，它一直挂起，我切换到GCE/Instance选项卡，它表示IP空间耗尽了。但是我总共只有4台机器，ip范围应该足够1024(10.129.16.0/22 + 10.130.16.0/22)。
每个节点池会保留一些ip吗？可能每个泳池有512块？所以当我尝试创建更多的池时，它失败
浏览 0修改于2018-11-10得票数 4
1回答
链接用于P2S配置的地址池类似于172.16.0.0/24、172.16.25.0/24和172.20.0/24。从172开始。现在我感到困惑如下。例如，现场IP为103.134.x.x，Azure VNet为12.0.0.0/24，Azure VM专用IP为52.173.x.x，虚拟网络网关的地址池
浏览 0修改于2019-08-13得票数 0
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号