- 综合排序
- 最热优先
- 最新优先
- 来自专栏python-爬虫
Requests库
Requests库 ` 1.Response对象的属性 属性 说明 r.status_code HTTP请求返回的状态,200表示成功,404表示失败,还有其他的也代表失败 r.text HTTP响应内容转换成字符串格式 库的异常 异常 说明 requests.ConnectionError 网络连接错误异常，如DNS查询失败、拒绝连接等 requests.HTTPErro HTTP错误异常 requests.URLRequired URL缺失异常 requests.TooManyRedirects 超过最大重定向次数，产生重定向异常 requests.ConnectTimeout 连接远程服务器超时异常 requests.Timeout 库的方法 3.Requests库的方法 http协议中6个方法 介绍 GET 请求获取url位置的资源 HEAD 请求获取url位置的资源的响应报告,及获得头部信息 POST 请求获取url位置的资源后附加用户新的数据 () 请求局部更新url位置资源,及改变该处资源的部分内容 requests.delete() 请求删除url位置储存的资源 4.Requests库13个参数 params:字典或字节序列，作为参数增加到链接中
80330发布于 2019-07-24 - 来自专栏python-爬虫
Requests库
Requests库 ` 1.Response对象的属性 属性 说明 r.status_code HTTP请求返回的状态,200表示成功,404表示失败,还有其他的也代表失败 r.text HTTP响应内容转换成字符串格式 库的异常 异常 说明 requests.ConnectionError 网络连接错误异常，如DNS查询失败、拒绝连接等 requests.HTTPErro HTTP错误异常 requests.URLRequired URL缺失异常 requests.TooManyRedirects 超过最大重定向次数，产生重定向异常 requests.ConnectTimeout 连接远程服务器超时异常 requests.Timeout 库的方法 3.Requests库的方法 http协议中6个方法 介绍 GET 请求获取url位置的资源 url位置资源 requests.patch() 请求局部更新url位置资源,及改变该处资源的部分内容 requests.delete() 请求删除url位置储存的资源 4.Requests库13个参数
86420发布于 2020-01-17 - 来自专栏数据分析与挖掘
requests库
import requests headers={ 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 ，则有 kw={"wd":"中国"} url="https://www.baidu.com/s" #将kw用params传递到url中，通过get请求 response=requests.get(url wd=%E4%B8%AD%E5%9B%BD response.encoding（response的编码方式） utf-8 response.status_code（HTTP请求状态码，200表示请求成功 ） 2.处理post请求 response=requests.post(url,headers=headers,data=data) print(response.json()) 3.使用代理 resp =requests.get(url,headers=headers,proxies=proxy) 4.cookie与session url="http://www.lagou.com/PLogin.do
52320发布于 2020-08-26 - 来自专栏雷子说测试开发
Requests库（一）
Requests是Python HTTP 库。在我这里认为，它是最优秀的第三方的HTTP库，使用范围广，通常用于接口测试、爬虫、web后台服务调用外部服务等。 Requests 完全满足今日 web 的需求。 HTTP(S) 代理支持 文件分块上传 流下载 连接超时 分块请求 支持 .netrc 这么优秀的http库， 一开始要导入 Requests 模块： import requests 然后，尝试获取某个网页。 key1=value1&key2=value2&key2=value3 reuqests库带参数还是很简单的。 响应内容 我们能读取服务器响应的内容。
87130发布于 2021-03-15 - 来自专栏友弟技术工作室
Requests库详解
在介绍requests库之前，先介绍以下基本的http概念, 下面内容是在上嵩天教授课程笔记整理。在这里感谢他。 文档 安装 pip install requests requests库安装小测 import request url = 'https://www.baidu.com' r = requests.get x下面用例子看一下，返回的对象包含的内容 In [5]: type(r) ＃打印类型 Out[5]: requests.models.Response In [6]: dir(r) ＃显示具有的属性和方法 库中的head()方法 head Requests库中的post()方法 post { "args": {}, "data": "", "files": {} 库中的put()方法 put requests库主要方法解析 requests.request(method, url, **kwagrs) method: 请求方式，对应get/
2.2K101发布于 2018-04-25 - 来自专栏技术探究
爬虫系列（5）更简便Requests请求库使用介绍。
---- 先介绍一个网站“Requests：让HTTP服务人类” http://cn.python-requests.org/zh_CN/latest/ ---- 1. 那么这一节来简单介绍一下 requests 库的基本用法 ---- 2. 安装 利用 pip 安装 pip install requests ---- 3. 基本请求 req = requests.get("http://www.baidu.com") req = requests.post("http://www.baidu.com") req = requests.put("http://www.baidu.com") req = requests.delete("http://www.baidu.com") req = requests.head requests也有相应的proxies属性： import requests proxies = { "http": "http://10.10.1.10:3128", "https":
67530发布于 2019-07-10 - 来自专栏雷子说测试开发
Requests库（二）
JSON 响应内容 Requests 中也有一个内置的 JSON 解码器，助你处理 JSON 数据,我们可以如下做。 import requestsr = requests.get('https://api.github.com/events')print(r.json()) 展示如下 ? 具体你可以这么做： >>> r = requests.get('https://api.github.com/events', stream=True)>>> r.raw<requests.packages.urllib3 Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Safari/537.36' }r=requests.get
45110发布于 2021-03-15 - 来自专栏ShanSan的云原生之路
Requests库入门(2)
requests库入门实操 京东商品页面爬取 亚马逊商品页面的爬取 百度/360搜索关键字提交 IP地址归属地查询 网络图片的爬取和储存 1.京东商品页面的爬取 华为nova3 import requests 通常的反爬策略有: 通过Headers反爬虫 基于用户行为反爬虫 动态页面的反爬虫 参考 #如网站对Headers的User-Agent进行检测，可定制请求头伪装成浏览器 import requests print("爬取失败") if __name__ == '__main__': url = "https://www.amazon.cn/gp/product/B01M8L5Z3Y ip=ipaddress # ip地址查询 import requests url ="http://m.ip138.com/ip.asp? ) #r.encoding = r.apparent_encoding print(r.text[-500:]) except: print("failed") 5.网络图片的爬取和储存
47920发布于 2020-07-07 - 来自专栏运维猫
requests库之Cookie
1、简介 Requests是用Python语言编写的，基于urllib3来改写的，采用Apache2 Licensed 来源协议的HTTP库。 一句话---Python实现的简单易用的HTTP库。 name=germery&age=22 5、使用超时参数 平时在浏览器里面访问页面的时候经常会出现 “正在加载中…” 或者 一个小圆圈不停的转 这样的情况，这种情况可能是由于网络波动引起的。 当然使用retry库之前也需要先安装。 (url, headers=m_headers, timeout=5) returnresponse.content.decode() # 真正的url请求函数 defparse_url
2.2K10发布于 2020-01-02 - 来自专栏SpringBoot教程
Python之requests库
基本使用 官网 1.1 安装 pip install requests 1.2 response的属性以及类型 类型 ：models.Response r.text : 获取网站源码 r.encoding r.url ：获取请求的url r.content ：响应的字节类型 r.status_code ：响应的状态码 r.headers ：响应的头信息 1.3 示例： 1.3.1 get请求： import requests url = 'http://www.baidu.com' response = requests.get(url=url) # 一个类型和六个属性 # Response类型 print(type 超级鹰打码平台 import requests from hashlib import md5 class Chaojiying_Client(object): def __init__ self.username = username password = password.encode('utf8') self.password = md5(
49320编辑于 2023-02-16 - 来自专栏IT架构圈
requests库使用方式
requests库使用方式 闲话少说，来，让我们上代码： 简单的看一下效果： import requests requests = requests.session() headers = { ' import urllib3 urllib3.disable_warnings() response = requests.get("https://www.12306.cn",verify=False ) print(response.status_code) 代理设置： import requests proxies= { "http":"http://127.0.0.1:9999", [socks]"proxies= {"http":"socks5://127.0.0.1:9999","https":"sockes5://127.0.0.1:8888"} 超时设置 通过timeout 参数可以设置超时的时间 没有超时时间，一直等待 timeout=None 异常捕捉： import requestsfrom requests.exceptions import ReadTimeout
70140发布于 2018-06-01 - 来自专栏计算机视觉理论及其实现
python的requests库
今天我们来学习下Python中Requests库的用法。 1、Requests库的安装利用 pip 安装，如果你安装了pip包（一款Python包管理工具，不知道可以百度哟），或者集成环境，比如Python（x,y）或者anaconda的话，就可以直接使用pip 安装Python的库。 -8<RequestsCookieJar[]>2、http基本请求requests库提供了http所有的基本请求方式。 ', data=f)5、Cookies如果一个响应中包含了cookie，那么我们可以利用 cookies 变量来拿到：import requests url = 'Example Domain'r
1.2K51编辑于 2022-09-03 - 来自专栏Dimples开发记
Requests库的用法
那么这一节来简单介绍一下 requests 库的基本用法 # 2. 安装 利用 pip 安装 pip install requests # 3. 基本请求 req = requests.get("http://www.baidu.com") req = requests.post("http://www.baidu.com") req = requests.put ("http://www.baidu.com") req = requests.delete("http://www.baidu.com") req = requests.head("http://www.baidu.com ") req = requests.options("http://www.baidu.com") # 3.1 get请求 参数是字典，我们也可以传递json类型的参数： import requests requests也有相应的proxies属性 import requests proxies = { "http": "http://10.10.1.10:3128", "https": "https
48320编辑于 2022-12-21 - 来自专栏Hammer随笔
爬虫之requests库
目录 requests库 部分源码 发送GET请求 response.text和response.content的区别： 发送POST请求 requests使用代理 Cookie Cookie模拟登录 Session：共享cookie 处理不信任的SSL证书： requests库 虽然Python的标准库中 urllib模块已经包含了平常我们使用的大多数功能，但是它的 API 使用起来让人感觉不太好 库不需要url编码，自动给我们编码处理 import requests url = "http://httpbin.org/get" payload = {'key':'value','key2' 库将response.content进行解码的字符串，解码需要指定一个编码方式，requests会根据自己的猜测来判断编码的方式，所以有时候可能会猜测错误，就会导致解码产生乱码，这时候就应该进行手动解码 (url,headers=headers) print(resp.text) Session：共享cookie 使用requests，也要达到共享cookie的目的，那么可以使用requests库给我们提供的
61610编辑于 2022-03-25 - 来自专栏吾非同
Requests库快速学习
Requests库的作者是大名鼎鼎的kennethreitz，它的口号是“HTTP For Humans”，为人类使用HTTP而生。 开源地址：https://github.com/kennethreitz/requests 安装 pip install requests Requests库7种请求方法： ? r = requests.get('http://www.baidu.com', timeout=5) 设置代理 通过同一时间请求太多会被服务器判定为爬虫，所以很多时候我们使用代理IP来伪装客户端的真实 import requests session = requests.session() response = session.get(url) 更多requests库的用法，大家可以学习下官方文档： http://docs.python-requests.org/zh_CN/latest/index.html
56230发布于 2020-10-23 - 来自专栏抠抠空间
爬虫值requests库
requests简介 简介 Requests是用python语言基于urllib编写的，采用的是Apache2 Licensed开源协议的HTTP库 ，使用起来比urllib简洁很多 因为是第三方库，所以使用前需要 基本用法： requests.get()用于请求目标网站，类型是一个HTTPresponse类型 import requests response = requests.get('http://www.baidu.com 各种请求方式： import requests requests.get('http://httpbin.org/get') requests.post('http://httpbin.org/post ') requests.put('http://httpbin.org/put') requests.delete('http://httpbin.org/delete') requests.head( 使用代理 同添加headers方法，代理参数也要是一个dict 这里使用requests库爬取了IP代理网站的IP与端口和类型 因为是免费的，使用的代理地址很快就失效了。
71701发布于 2018-05-30 - 来自专栏乐享123
Python Requests Post for 5 Styles
requests库发送post请求的五种姿势; 1.application/x-www-form-urlencoded 最常见的 POST 提交数据的方式了。 www.example.com HTTP/1.1 Content-Type: application/x-www-form-urlencoded;charset=utf-8 title=test&sub%5B %5D=1&sub%5B%5D=2&sub%5B%5D=3 requests默认处理就是这种方式， exp: url = 'http://httpbin.org/post' d = {'key1': ' 我们使用表单上传文件时，必须让 form 的 enctyped 等于这个值: requests exp: from requests_toolbelt import MultipartEncoder import requests exp: requests.post(url='',json=key1,headers={'Content-Type':'application/json'}) 5. binary 直接二进制流数据传输
73620发布于 2019-12-30 - 来自专栏国内互联网大数据
Python爬虫入门：使用Requests库使用SOCKS5的示例
SOCKS5是一种常用的代理协议，可以为我们提供更高的安全性和灵活性。本文将以Python的Requests库为例，详细介绍如何使用SOCKS5进行网络爬取。让我们一起探索吧！ 一、安装和导入依赖 1.安装Requests库：在命令行中运行`pip install requests`来安装Requests库。 示例代码： ```python socks.set_default_proxy(socks.SOCKS5,"localhost",1080) ``` 三、使用Requests库发起请求 1.发起请求 示例代码： ```python response=requests.get("https://example.com") ``` 四、完整示例代码 下面是一个使用Requests库和SOCKS5 通过本文的介绍，你已经了解了如何在Python中使用Requests库和SOCKS5进行网络爬取。SOCKS5能够为我们提供更高的隐私和安全性，同时也可以绕过某些限制。
1.6K30编辑于 2023-09-21 - 来自专栏雷子说测试开发
Requests库（二十一）Requests请求的简单封装
Requests库分享系列： Requests库（一） Requests库（二） Requests库（三）如何获取接口传参参数 Requests库（四）如何传递不一样的参数 Requests库 （五）接口返回状态码 Requests库（六）接口返回响应头和请求Cookies Requests库（七）重定向和超时 Requests（八）代理和会话对象 Requests库（九）准备的请求和 SSL 证书验证 Requests库（十）接口请求认证 Requests库（十一）实战请求钉钉群机器人 Requests库（十二）实战获取今日头条24小时热文 Requests库（十三）利用钉钉机器人打造一个钉钉群定时推送今日头条 24小时热闻 Requests库（十四）一文揭秘如何获取快手关注的视频 Requests库（十五）一文解决解析text/html格式返回数据 Requests库（十六）一文展示如何利用Requests 请求xml格式接口 Requests库（十七）一文展示如何利用Requests发送form表单请求 Requests库（十八）Requests发送application/x-www-form-urlencoded
83610发布于 2021-03-15 - 来自专栏git
爬虫--xpath匹配，requests库
图片保存的名字叫ygf.jpg，其他老师类似；并且都保存到当前目录下的image目录 杨老师的信息保存文件名叫“ygf.txt”,其他老师类似；并且保存到当前目录下的text目录 代码： import requests from lxml import etree import os def save(img_url, desc): response = requests.get(img_url) 537.36 (KHTML, like Gecko)" " Chrome/65.0.3325.146 Safari/537.36"} response = requests.get
60340发布于 2019-07-19
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号