- 综合排序
- 最热优先
- 最新优先
- 来自专栏分布式爬虫
8、web爬虫讲解2—urllib库爬虫—ip代理—用户代理和ip代理结合应用
/usr/bin/env python # -*- coding: utf-8 -*- import urllib import urllib.request import random #引入随机模块文件 "https://www.baidu.com/" data = urllib.request.urlopen(url).read().decode("utf-8") print(data)ip代理池构建一适合 IP存活时间长，稳定性好的代理ip，随机调用列表里的ip #! ) #执行代理IP函数 url = "https://www.baidu.com/" data = urllib.request.urlopen(url).read().decode("utf-8") /" data = urllib.request.urlopen(url).read().decode("utf-8") print(data)用户代理和ip代理结合应用 #!
1.1K50发布于 2019-07-05 - 来自专栏Bigdata
CentOS 8 配置静态IP
IPADDR=192.168.10.106 PREFIX=24 GATEWAY=192.168.10.2 DNS1=192.168.10.2 DNS2=223.6.6.6 整个文件如下： centos8staticip.png
1.8K60发布于 2021-08-03 - 来自专栏OpenFPGA
IP库新增10多个功能IP
本文涵盖了从初学者到专家级别的FPGA 项目及IP。所有 FPGA 项目都带有开源的源代码。 IP库简介 一直想做一个可以供大家学习、使用的开源IP库，类似OpenCores，OC上IP在领域内的IP很少，通用性强一点，所以作为OC的“补充”，所以做了一个开源IP库，侧重点在领域的IP辅以工程或者仿真验证 可以在图像元素（像素）的矩阵上描述每个像素的单色图像，由8位的灰度值描述。图像数据的这种描述可能需要大量存储需求。图像压缩旨在减小图像的大小，同时保留大部分细节。它可以是有损压缩，也可以是无损压缩。 FPGA制造商和第三方公司正在提出sqrt计算（x）的各种IP核心。但这些IP核心是几十年前开发的，通常没有考虑到最新一代FPGA的特性。因此，它们确实需要升级。 FPGA 上的AXI4-Stream 协议接口 其他 该仓库中还有一些其他的IP，就不一一介绍了，核心的IP和工程都在上面，如果对你有帮助，帮忙点个STAR。
1.1K50编辑于 2023-08-30 游戏公司应该选择自建“IP库”还是直接购入 “IP库”
最近在后台和私信里，被连续问到一个问题：“为什么游戏公司不自己做IP解析，反而会直接购买IP离线库？”undefined“在线API明明也能查，为什么还要花钱买离线数据？” IP离线库的本质价值这也是为什么很多中大型游戏公司，最终都会走向直接购买IP离线库。 对绝大多数游戏公司来说，把资源投入到玩法、内容和用户体验上，远比“维护IP数据”更有价值。游戏公司选择IP离线库时，真正看重什么？ 其实还有一个行业现象：IP 离线库正在“下沉”，IP 离线库已经不再只是“大厂专属”。随着轻量化和模块化方案的出现，越来越多中小型游戏团队，也开始直接使用成熟的 IP 离线库，而不是自己拼凑方案。 你如果要问我对于一个游戏公司来说，推荐哪个IP数据库，这个是市面上领先的那几家都可以，如果你的公司资金足够，可以都购买进行补充、交叉验证，如果只想要一个，可以试试我们用的“IP数据云离线库”，算是市面上主流的离线库了
10110编辑于 2026-01-26- 来自专栏Java实战博客
用IP在淘宝IP地址库库换地址 & json 解析应用
首先：我需要做一个玩家省份统计的需求，我只有他们的IP 如果然我一个个去百度搜IP，然后一个个输入，简直太要命，所以，我做了一个用Java 代替人力 用IP去换物理地址 地址：https://ip.taobao.com /ipSearch 思路：我在访问淘宝IP地址库的时候发现了 每次搜索 都会发送一个Http协议的Post的请求，并发现了 这是一个Json响应的结果。 首先，要找到Http的请求工具，我想了一下Hutool库中有此工具，Maven如下 <! paramMap.put("ip", "49.85.228.158"); paramMap.put("accessKey", "alibaba-inc"); String result1 = HttpUtil.post("http://ip.taobao.com/outGetIpInfo", paramMap); // 处理数据
3.1K20编辑于 2022-01-14 - 来自专栏开源技术小栈
PHP 离线 IP 定位库 IP2region
引言 今天，我们来聊聊一个专为PHP设计的强大工具——ip2region库。它基于开源ip2region项目优化而来，提供企业级性能和灵活性，让开发者轻松实现本地IP查询。 “ 企业级 IP 地理位置查询库：基于官方 ip2region 深度优化，支持 IPv4/IPv6，分片文件管理，智能压缩，零依赖 “⚠️ 重要提示：由于 V3.0 版本新增了 IPv6 数据库支持，尽管已进行智能压缩优化 项目简介 ip2region 是一个高性能的 IP 地址定位库，支持 IPv4 和 IPv6 地址查询。 （自动生成） │ ├──ip2region_v4.xdb.part1 # IPv4 数据库分片 │ └──ip2region_v6.xdb.part* # IPv6 数据库分片（多个文件 // 如需使用自定义数据库，请参考下面的"自定义数据库配置"部分 // $ip2region = new \Ip2Region('file', '/path/to/your/ip2region_v4
47810编辑于 2025-10-20 - 来自专栏王磊的博客
C# 调用IP库（QQWry.Dat）查询IP位置及自动升级IP库方法（附IP库下载地址及相关dll下载）
本文使用的IP库为， QQWry.Dat是显IP版QQ（彩虹外挂等），纯真IP数据库查询器等的IP数据库文件，可实现 IP 地址高效检索。 使用 一、C# 调用IP库（QQWry.Dat）查询IP位置 ①、下载QQWry.Dat到D盘根目录（用户可以随意放置，没有特殊规定），点击下载。 二、手动升级IP库（QQWry.Dat）方法 需要使用工具：IP纯真库，点击下载 下载完之后安装（此次略去安装步骤，一直点下一步就行），安装完之后，如图： ? 然后打开“纯真IP地址数据库”软件，点击“在线升级”，如图： ? 等待升级完成，安装目录下的QQwry.Dat就是最新的IP库了，复制到咱们的程序当中即可使用。 结束 用途不解释，6年前刷广东在线IP，刷半年的腾讯三钻加会员，那时候腾讯只有三钻和会员，想不到如今有不上了，不过这款IP库已经经历了历史的洗礼，很全很强大了。
3K100发布于 2018-05-08 - 来自专栏张善友的专栏
利用腾讯的ip地址库做ip地址定位
script type=text/javascript> document.write(IPData.join(' ')); </script> 显示结果为： 202.105.128.73 广东省 深圳市 不要ip javascript> document.write (IPData[2]);document.write(IPData[3]); </script> 显示结果为： 广东省 深圳市 上述代码还有一个技巧：UTF-8页面引用外部编码为 GBK的JS文件编码的处理 http://fw.qq.com/ipaddress,而这个接口提供的js为GBK编码的，由于页面是UTF-8编码的，所以再次使用返回的城市名称在我页面显示的是乱码，而且不能引用的 通过charset设置，在UTF-8页面中引入编码为GBK的JavaScript文件乱码问题了。 而且不需要额外的写函数处理GBK转UTF-8编码，同样对于GBK页面引用编码为UTF-8编码的JavaScript文件如果出现乱码问题。
9.1K50发布于 2018-01-19 - 来自专栏OpenFPGA
IP库新增多种颜色转换空间IP
颜色空间转换是图像及视频中常用的解决方案，涉及hsv-rgb、rgb-ycrcb等一些常见的颜色空间互相转换，今天带来几种常见的颜色空间转换IP，主要如下： IP库简介 一直想做一个可以供大家学习、 使用的开源IP库，类似OpenCores，OC上IP在领域内的IP很少，通用性强一点，所以作为OC的“补充”，做了一个开源IP库，侧重点在领域的IP辅以工程或者仿真验证，一个人能力有限，欢迎大家能够共同构建 ，有什么问题可以提pr，谢谢~ RGB2HSL/HSL2RGB原理介绍 上面的IP大部分原理网上都有介绍，而且很详细，今天主要介绍RGB-HSL转换的原理。 HSL转RGB实现框图 点此FPGA源码 ❝https://github.com/suisuisi/Xilinx_Library/tree/main/HDL/color_space ❞ IP库新增10多个功能 IP
98330编辑于 2023-08-30 - 来自专栏七云博客
纯真ip库自动更新
/qqwry.dat'; //定义目录及文件名 $copywrite = file_get_contents('http://update.cz88.net/ip/copywrite.rar'); $qqwry = file_get_contents('http://update.cz88.net/ip/qqwry.rar'); $key = unpack('V6', $copywrite
1.4K10编辑于 2022-01-27 - 来自专栏IT架构圈
Python构建私有代理IP库
故我们可以搭建自己的代理IP库，不停的更换自己的IP去爬去网页，不会因为同一IP而影响爬虫的进行。 将爬取到的IP信息进行判断筛选可用的代理地址存入数据库MySQL/Redis/Mongodb/Memcache,后期需要使用代理IP，直接从私有库中获取以逸待劳。 库 a.spider.py #! /bin/env python # -*- coding:utf-8 -*- # _author:kaliarch import requests from bs4 import BeautifulSoup 至此我们就利用Python构建了一个属于自己的私有代理库，在进行爬去的时候可方便从数据库中获取使用。
1.7K80发布于 2018-06-01 - 来自专栏七云's Blog
纯真ip库自动更新
/qqwry.dat'; //定义目录及文件名 $copywrite = file_get_contents('http://update.cz88.net/ip/copywrite.rar'); $qqwry = file_get_contents('http://update.cz88.net/ip/qqwry.rar'); $key = unpack('V6', $copywrite
52420编辑于 2023-11-17 - 来自专栏KaliArch
Python构建私有代理IP库
故我们可以搭建自己的代理IP库，不停的更换自己的IP去爬去网页，不会因为同一IP而影响爬虫的进行。 将爬取到的IP信息进行判断筛选可用的代理地址存入数据库MySQL/Redis/Mongodb/Memcache,后期需要使用代理IP，直接从私有库中获取以逸待劳。 /bin/env python # -*- coding:utf-8 -*- # _author:kaliarch import requests from bs4 import BeautifulSoup /bin/env python # -*- coding:utf-8 -*- # _author:kaliarch import pymysql import configparser import 在进行爬去的时候可方便从数据库中获取使用。
3.2K70发布于 2018-04-21 - 来自专栏KaliArch
Python构建私有代理IP库
故我们可以搭建自己的代理IP库，不停的更换自己的IP去爬去网页，不会因为同一IP而影响爬虫的进行。 将爬取到的IP信息进行判断筛选可用的代理地址存入数据库MySQL/Redis/Mongodb/Memcache,后期需要使用代理IP，直接从私有库中获取以逸待劳。 /bin/env python # -*- coding:utf-8 -*- # _author:kaliarch import requests from bs4 import BeautifulSoup /bin/env python # -*- coding:utf-8 -*- # _author:kaliarch import pymysql import configparser import 在进行爬去的时候可方便从数据库中获取使用。
2.1K80发布于 2018-05-31 - 来自专栏Debian中国
开源 IP 地址定位库 ip2region 1.9.0 发布
ip2region 是准确率 99.9% 的 IP 地址定位库，0.0x 毫秒级查询，提供了 Java、PHP、C、Python、Node.js、Golang、C#、Rust、Lua 的查询绑定和 Binary 、B 树、内存三种查询算法，妈妈再也不同担心我的 IP 地址定位！ ip2region 1.9 更新如下： 数据升级至 2019/05/02 的版本，国外的数据增加了大量城市级别的数据，ip2region.db 增长到 7MB。 开源了 ip2region.db 的生成程序，目前提供了 java 语言的实现，在${ip2region_root}/maker 目录下，便于对 ip2region 的研究或者更改自定义生成配置等，后期会提供 下载地址： Gitee: lionsoul/ip2region/tree/v1.9.0-release Github: lionsoul2014/ip2region/releases/tag/v1.9.0
5.1K30发布于 2020-01-21 - 来自专栏Java修行之道
tomcat8 manager页面限制IP访问
tomcat8 manager页面限制IP访问 配置tomcat8/webapps/manager/META-INF/context.xml <Context antiResourceLocking=" org.apache.catalina.valves.RemoteAddrValve" allow="yourIP" /> </Context> tomcat manager页面是非常私密的页面，不仅需要设置用户名密码，还需要做IP
2.4K10发布于 2019-02-25 - 来自专栏OpenFPGA
Verilog常用可综合IP模块库
Verilog常用可综合IP模块库 优秀的 Verilog/FPGA开源项目介绍（十九）- Verilog常用可综合IP模块库 想拥有自己的Verilog IP库吗？ 每个公司应该都会维护属于自己公司风格的IP库，作为个人学习或者持续使用的方式，这种方法很有用。 今天肯定不是分享我司的IP库，而是一个开源库，每个人都可以使用、维护或者修改，当然作为学习（多人维护）也是不可多得的资料。 把该库集成到自己常用的文本编辑器（Sublime\VScode\Vim等等）可以很快完成代码设计。 简介 这是verilog/systemverilog 可综合模块的集合。 set_project_directory.tcl 更改当前目录以匹配 Vivado IDE 中的项目目录 scripts/write_avalon_mm_from_file.tcl 通过 JTAG-to-Avalon-MM 桥 IP
2K40编辑于 2022-03-11 - 来自专栏喵了个咪的博客空间
全球IP库-GeoLite2-City
[喵咪开源软件推荐(3)]全球IP库-GeoLite2-City #w-blog博客 哈喽大家好啊!喵咪开源软件推荐(3)终于和大家见面了,这次我们来说说什么呢? 地址,每一个国家都分配的有一批IP地址并且也有专门维护IP地址库的组织,看到这里大家也明白了对了我们今天就来推荐GenLite2这款IP数据库给到大家... 地址库对相对免费的更新频繁,有钱的老爷们可以购买支持),这款IP数据库是由 maxmind 进行维护的, GenLite2 提供的IP数据库格式有两种一种是二进制DB文件,另外一种是csv文件,首先还是推荐使用 具体的IP数据库效果怎么样呢? 笔者通过Golang编写了一个简单API来提供IP地址信息查询,笔者找了一个湖南长沙的IP地址220.168.56.116 查询结果如下 { "City": { "GeoNameID
6.1K70发布于 2018-03-02 - 来自专栏python3
python3通过纯真IP数据库查询IP
把纯真IP数据库文件qqwry.dat放到czip.py同一目录下。 1 #! /usr/bin/env python 2 # -*- coding: utf-8 -*- 3 # filename: czip.py 4 5 6 import socket country_addr + " " + area_addr 73 74 def dump(self, first, last): 75 ''' 76 打印数据库中索引为 ''' 167 return str(ip >> 24) + '.' + str((ip >> 16) & 0xff) + '.' + str((ip >> 8) & 0xff) + ' (s)) 176 return ((ip >> 24) & 0xff) | ((ip & 0xff) << 24) | ((ip >> 8) & 0xff00) | ((ip & 0xff00
3K20发布于 2020-01-16 - 来自专栏乌龟哥哥默认学习专栏
浅谈 K8s Pod IP 分配机制
K8s 中多种 IPPod IP CIDR在 K8s 中最常见的 IP 类型就是 Pod IP，在初始化 K8s 集群的时候，通过 --cluster-cidr 参数控制 Pod IP CIDR 网段， Service IP CIDR除了上面提到的 Pod IP CIDR 和 Node CIDR 外，K8s 中还有一类 Service IP CIDR，控制 Service 资源的 ClusterIP 网段范围 .0-rwxr-x--- 1 root root 0 Jul 8 21:05 lock其中 last_reserved_ip 表示最后一次分配的 IP，后续分配 IP 将从这个 last_reserved_ip Pod IP 固定与回收从上面 CNI IPAM host-local 插件的介绍可知，用户可根据需要实现自己的 Pod IP 固定与指定时长回收机制，这在以数据库 (Database)、中间件为代表的有状态服务中具有较为广泛的应用场景 小结本文通过介绍 K8s 中多种 IP CIDR、Pod 生命周期、kubelet 核心逻辑、CNI IPAM 分配 Pod IP、双协议栈（IPv4/IPv6）、IP 固定与回收等流程，说明了 Pod
1.7K00编辑于 2023-09-28
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号