回答情况：
提问时间：
问题标签：
我已经写了一个网络爬虫与代理使用scrapy。因为我总是需要一个随机的代理池来避免被禁止，我决定编写另一个爬虫来抓取一个提供免费IP的网站。每次开始爬虫过程时，我都需要首先抓取IP，将它们导出到一个文件中，然后转到另一个爬虫的根目录并将IP读取到setting.py中。我想知道是否有可能将两个爬虫合并到一个项目中，这样我只需要运行一个命令就可以开始整个爬行过程。
非常感谢!
浏览 7提问于2016-07-07得票数 0
我正在尝试找到一种方法，将所有出现的IP:Port；数据提取到一个大文本文件中。txt文件中的数据格式如下：
10.255.74.66:4195;Wmr!|[6-9])?|[3-9]\d?)\.){3}([0-1](\d\d?)?|2([0-4]\d?|5[0-5]?|[6-9])?|[3-9]\d?)|[6-9]\d?)?|[6-9](\d\d?)?)?|[7-9](\d(\d\d?)?)?)
浏览 0修改于2018-10-02得票数 0
我必须在具有多个使用scrapy的爬虫的服务器中实现一个代理池。 假设我已经有一个数据库，其中有多个代理一直在更新，我该如何实现代理池。我不想直接在代码中添加代理，主要是因为很多代理死得很快，有些爬虫需要很长时间才能完成。 有没有一种方法可以使用中间件或其他东西来实现这一点，而不需要更改我获得的每个爬虫？ 谢谢。
浏览 9提问于2019-03-19得票数 0
我想用python写一个小的网络爬虫。我开始研究将其编写为多线程脚本，一个线程下载池和一个池处理结果。由于有了GIL，它真的可以同时下载吗？GIL对网络爬虫有什么影响？基本上我想问的是，用python做一个多线程爬虫真的比单线程能给我带来更多的性能吗？
谢谢!
浏览 4提问于2010-05-14得票数 10
回答已采纳
2回答
get_ip(){
local IP=$( ip addr | egrep -o '[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}' | egrep-v "^192\.168|^172\.1[6-9]\.|^172\.2[0-9]\.|^172\.3[0-2]\.|^10\.|^127\.|^255\.|^0\." | head -n 1 )[ -z ${IP} ] && IP=
浏览 3修改于2017-01-21得票数 0
回答已采纳
我正在尝试使用where子句优化select语句，以便只选择具有私有源IP地址和公共目标IP地址的行。我有两个类型为source_ip和destination_ip的列。我觉得下面的操作不是最有效的方法，因为我正在进行正则表达式匹配，以确定IP是公有IP还是私有IP： or text(source_ip) like '19
浏览 8修改于2018-05-03得票数 0
回答已采纳
我正在创建一个新的网络爬虫使用C#来抓取一些特定的网站。一切都很顺利。但问题是，，一些网站是阻塞我的爬虫IP地址，后，一些请求。我试着在爬行请求之间使用时间戳。但没有起作用。有没有办法阻止网站阻塞我的爬虫？有些类似的解决方案会有所帮助(但我需要知道如何应用它们)：
任何解决办法都会有帮助。
浏览 7提问于2011-10-04得票数 3
回答已采纳
5回答
它是一个简单的程序，它使用regex检查IP地址是公共地址还是私有地址： """ """
c = re.compile('(^127\.0\.0\.1)|(^10\.)|(^172\.1[6-9]\.)|(^
浏览 6提问于2016-01-14得票数 5
回答已采纳
我想在ELK中查询IP范围:172.16.0.0到172.31.0.0。 "should": [ "regexp": { "gte": "172.16.0.0",
"l
浏览 0提问于2020-06-22得票数 2
回答已采纳
我希望限制从外部IP访问ngnix位置。我将以下配置添加到ngnix配置文件中，但我不确定这样做是否正确。是否有更好的选择来限制外部IP访问某个位置？map $proxy_add_x_forwarded_for $remote_ip { ""$http_x_real_ip;map $remote_ip $isinternal { ~^10\.
浏览 0提问于2021-08-26得票数 1
回答已采纳
我在做网络爬虫。可以执行许多请求(例如每秒500-1000个请求)，而不需要每个请求创建线程(我不是指线程池、重用等等)？
浏览 4提问于2012-12-05得票数 2
什么是最推荐的.NET自定义线程池，可以有单独的实例，即每个应用程序多个线程池？我需要一个无限的队列大小(建立一个爬虫)，并需要运行我正在爬行的每个网站在并行单独的线程池。编辑:我需要尽可能快地挖掘这些站点的信息，使用每个站点的单独线程池将使我能够控制在任何给定时间在每个站点上工作的线程数量。(不超过2-3个)
谢谢罗伊
浏览 0修改于2009-07-21得票数 12
/bin/sh local netbit=`echo "$1" | awk -F\/ '{print $1}'` *25[6-9]* | *2[6-9][0-9]* | *[3-9][0-9][0-9]* | *[0-9][0-9][0-9][0-9]* ) falsereturn 0 else
浏览 0修改于2013-06-21得票数 0
回答已采纳
如何将结果显示在html文本框上而不是
getIPs(function(ip){ //local IPs
浏览 3提问于2016-12-13得票数 0
我计划启动一个分布式爬虫，以避免服务器/CDN施加的常见限制，如速率限制、区域筛选和其他限制。源文件能够检测到服务器IP吗？
我无法控制代理(SOCKS5服务器)，这种连接有多安全？
浏览 0修改于2020-01-01得票数 1
回答已采纳
我有两种不同的爬虫器，每一种都被构建成一个码头容器。现在我通过马拉松发射。下面的代码是马拉松启动json。"cpus": "0.5", "uris": [],
"constraints": [
浏览 3提问于2015-04-09得票数 1
回答已采纳
我正在尝试使用连接池，但我不能正确理解它。谁实现了它？是软件、驱动程序还是数据库？我需要一个代码示例。我正在做一个网络爬虫，它有很多到数据库的连接。
浏览 0修改于2011-06-23得票数 16
回答已采纳
我检查了我的AWStats，发现一些IP地址占用了大量的带宽。我怎么知道列入黑名单是否安全？有几个人每月消耗2GB或更多，一直如此。看这个截图：我还检查了AWStats中的爬虫器，但是我没有看到IP地址，所以我无法知道它是从哪里来的。我怎么才能挑出坏爬虫？
浏览 3提问于2017-10-29得票数 0
回答已采纳
11回答
我想知道这是否是匹配以私有IP地址(Perl样式的Regex)开头的字符串的最佳方法：
(^127\.0\.0\.1)|(^192\.168)|(^10\.)|(^172\.1[6-9])|(^172\
浏览 6修改于2014-01-09得票数 39
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号