回答情况：
提问时间：
问题标签：
我已经写了一个网络爬虫与代理使用scrapy。因为我总是需要一个随机的代理池来避免被禁止，我决定编写另一个爬虫来抓取一个提供免费IP的网站。每次开始爬虫过程时，我都需要首先抓取IP，将它们导出到一个文件中，然后转到另一个爬虫的根目录并将IP读取到setting.py中。我想知道是否有可能将两个爬虫合并到一个项目中，这样我只需要运行一个命令就可以开始整个爬行过程。
非常感谢!
浏览 7提问于2016-07-07得票数 0
3回答
我正在使用Scrapy，并试图通过创建一个定制的DownloaderMiddleware来使用代理池。', 'ip2...', 'ip3...']scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110, }
浏览 11修改于2016-02-17得票数 2
回答已采纳
我检查了我的AWStats，发现一些IP地址占用了大量的带宽。我怎么知道列入黑名单是否安全？有几个人每月消耗2GB或更多，一直如此。看这个截图：我还检查了AWStats中的爬虫器，但是我没有看到IP地址，所以我无法知道它是从哪里来的。一个未知的机器人消耗了11 GB，而Googlebot只使用了1GB。
我怎么才能挑出坏爬虫？
浏览 3提问于2017-10-29得票数 0
回答已采纳
我必须在具有多个使用scrapy的爬虫的服务器中实现一个代理池。 假设我已经有一个数据库，其中有多个代理一直在更新，我该如何实现代理池。我不想直接在代码中添加代理，主要是因为很多代理死得很快，有些爬虫需要很长时间才能完成。 有没有一种方法可以使用中间件或其他东西来实现这一点，而不需要更改我获得的每个爬虫？ 谢谢。
浏览 9提问于2019-03-19得票数 0
我想用python写一个小的网络爬虫。我开始研究将其编写为多线程脚本，一个线程下载池和一个池处理结果。由于有了GIL，它真的可以同时下载吗？GIL对网络爬虫有什么影响？基本上我想问的是，用python做一个多线程爬虫真的比单线程能给我带来更多的性能吗？
谢谢!
浏览 4提问于2010-05-14得票数 10
回答已采纳
我正在创建一个新的网络爬虫使用C#来抓取一些特定的网站。一切都很顺利。但问题是，，一些网站是阻塞我的爬虫IP地址，后，一些请求。我试着在爬行请求之间使用时间戳。但没有起作用。有没有办法阻止网站阻塞我的爬虫？有些类似的解决方案会有所帮助(但我需要知道如何应用它们)：
任何解决办法都会有帮助。
浏览 7提问于2011-10-04得票数 3
回答已采纳
我在做网络爬虫。可以执行许多请求(例如每秒500-1000个请求)，而不需要每个请求创建线程(我不是指线程池、重用等等)？
浏览 4提问于2012-12-05得票数 2
什么是最推荐的.NET自定义线程池，可以有单独的实例，即每个应用程序多个线程池？我需要一个无限的队列大小(建立一个爬虫)，并需要运行我正在爬行的每个网站在并行单独的线程池。编辑:我需要尽可能快地挖掘这些站点的信息，使用每个站点的单独线程池将使我能够控制在任何给定时间在每个站点上工作的线程数量。(不超过2-3个)
谢谢罗伊
浏览 0修改于2009-07-21得票数 12
我想建立一个与scrapy亚马逊爬虫。我不明白为什么..。用户代理工作，代理也旋转，他在每个下一个“死”代理上显示不同的IP和一些东西2019-11-06 21:52:40 [rotating_proxies.expire] DEBUG: Proxy<http://XXX:XXX@XXXX:8080> is DEAD
2019-11</em
浏览 18提问于2019-11-07得票数 1
我计划启动一个分布式爬虫，以避免服务器/CDN施加的常见限制，如速率限制、区域筛选和其他限制。源文件能够检测到服务器IP吗？
我无法控制代理(SOCKS5服务器)，这种连接有多安全？
浏览 0修改于2020-01-01得票数 1
回答已采纳
我有两种不同的爬虫器，每一种都被构建成一个码头容器。现在我通过马拉松发射。下面的代码是马拉松启动json。"cpus": "0.5", "uris": [],
"constraints": [
浏览 3提问于2015-04-09得票数 1
回答已采纳
我正在尝试使用连接池，但我不能正确理解它。谁实现了它？是软件、驱动程序还是数据库？我需要一个代码示例。我正在做一个网络爬虫，它有很多到数据库的连接。
浏览 0修改于2011-06-23得票数 16
回答已采纳
我已经尝试重新索引和运行的文件爬虫，网站爬虫和网址爬虫多次。我还尝试为每个门户同步我的资产。还要注意的是，我一直在回收应用程序池，并在每次尝试失败后删除AppData/Search文件夹中的文件。
浏览 16提问于2019-09-19得票数 0
回答已采纳
我怀疑这些google爬虫是合法的，因为这些爬虫并不总是在代理后面(就像主机名所描述的那样)，并将自己标识为浏览器。主机名的格式类似/类似于google，但是添加了字符串'proxy‘。我的PHP阻塞类会阻止这些爬虫，但是阻止这些爬虫是正确的吗？他们是什么，这些是来自谷歌还是它是假的？81-131.google.com Refferer : http://www.google.com/search
AgentString : Mozilla&#
浏览 6修改于2013-04-11得票数 7
我在哪里可以找到爬虫或蜘蛛IP地址的全面列表。我需要从谷歌，雅虎，微软和其他搜索引擎，定期爬行我的网站的IP。
我不想禁用它们，因此将robots.txt文件排除在答案之外。
浏览 0修改于2014-04-15得票数 5
回答已采纳
他们建议进行以下网络优化：
切换到UDP也可以提高性能。我不明白这两种建议:连接池与网络爬行有什么关系？每个爬虫服务是否都在打开自己与主机的连接？连接池在这里有什么用？关于UDP，难道不是爬行向网络主机发出HTTP通过TCP请求吗？
浏览 5修改于2020-06-20得票数 2
爬虫从eCommerce网站抓取数据，但最近爬虫从网站中获得“超时错误”。根据我的IP地址，该网站可能限制了我的访问频率。分配一个新的弹性IP地址可以解决这个问题，但不会持续很长时间。我的问题是:我是否可以使用任何服务来自动和动态地分配和关联新的IP到我的实例？谢谢!
浏览 4修改于2014-04-08得票数 9
回答已采纳
我需要向爬虫提供访问私有维基的权限。对于如何启用对单个客户端(而不是用户，因为爬虫无法登录到wiki)的访问，有什么建议吗？
浏览 2提问于2011-01-27得票数 0
回答已采纳
1回答
一切看起来都很好，除了最后的一条错误消息：Floating ip pool not found.2015-09-27 11:17 | WARN | Error allocating ip in pool private : Floating ip pool notfound.
2015-09-27 11:17
浏览 3修改于2015-09-27得票数 1
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号