- 综合排序
- 最热优先
- 最新优先
- 来自专栏北山啦的博客
Selenium自动化爬虫
Python爬虫入门之 Selenium自动化爬虫 Selenium官方文档 1. Selenium的安装配置 pip install selenium selenium配置 2. self.browser.get(self.url) self.browser.find_element_by_xpath('//*[@id="key"]').send_keys('爬虫书籍 self.browser.get(self.url) self.browser.find_element_by_xpath('//*[@id="key"]').send_keys('爬虫书籍 option.add_experimental_option('excludeSwitches', ['enable-automation']) browser = webdriver.Chrome(options=option) # 关闭自动化扩展信息 option.add_experimental_option('excludeSwitches', ['enable-automation']) browser = webdriver.Chrome(options=option) # 关闭自动化扩展信息
1.8K30编辑于 2022-11-27 - 来自专栏正则
python 爬虫2
一、认识爬虫 1.1、什么是爬虫？ 爬虫：一段自动抓取互联网信息的程序，从互联网上抓取对于我们有价值的信息。 网页下载器：通过传入一个URL地址来下载网页，将网页转换成一个字符串，网页下载器有urllib2（Python官方基础模块）包括需要登录、代理、和cookie，requests(第三方包) 网页解析器 一、爬虫准备 2.1.1、爬虫类型 小爬：各种库来爬 中爬：框架 大爬：搜索引擎 2.1.2、目的 解决数据来源的问题 做行业分析 完成自动化操作 做搜索引擎 2.1.3、目标类型 新闻/博客/微博 图片，新闻，评论 电影视频 视频，评论 音乐 音频，评论 三、开始爬虫 本章为爬虫入门，所以我们只需要安装几个Python库即可，如下： requests | pip 」最细致的讲解Python爬虫之Python爬虫入门（一）先到这里
1.2K40发布于 2021-09-07 - 来自专栏中间件的探究
python自动化爬虫实战
python自动化爬虫实战 偶然的一次机会再次用到爬虫，借此机会记录一下爬虫的学习经历，方便后续复用。 需求：爬取网站数据并存入的csv文件中，总体分为两步 爬取网站数据 存到到csv文件中 1、配置爬虫环境 1.1、下载自动化测试驱动 由于需要实现模拟手动点击浏览器的效果，因此笔者使用到了chromedriver.exe 自动化驱动文件。 编写代码 以上爬虫环境配置完成后，接下来便可以编码了。 爬虫的基本逻辑： 配置谷歌浏览器的驱动文件和自动化测试文件 创建保存爬取数据的字典和设置读取的起始页码和结束页码 判断是否有下一页并进行等待，如果没有下一页则直接退出 解析读取到的页面信息 保存到csv
78130编辑于 2023-05-11 - 来自专栏社区的朋友们
爬虫实战：爬虫之 web 自动化终极杀手 ( 上）
web自动化终极爬虫。 5 .通过有效信息来设计爬虫，获取数据 伪装浏览器。需要导入requests库，比起urllib、urllib2等库更加方便，这里不做赘述。 环境配置 安装selenium 推荐使用python包管理工具自动： pip install -y selenium 其他方式可参考：selenium + python自动化测试环境搭建 2 .安装PhantomJS 方案2： 更换浏览器，本次选择使用chrome浏览器进行自动化操作。 安装chrome自动化控制插件。 下载ChromeDriver插件。 接《爬虫实战 : 爬虫之 web 自动化终极杀手（下）》
5.7K10发布于 2017-09-19 - 来自专栏社区的朋友们
爬虫实战 : 爬虫之 web 自动化终极杀手（下）
作者：陈象 接《 爬虫实战：爬虫之 web 自动化终极杀手 ( 上）》 再理一下方案步骤： 模拟用户登录 进入个人播放页 获取cookies 获取token cookie,并将其添加到headers 方案2： 在方案1的研究基础上，方案2仅针对获取数据的部分进行更改，使用访问数据接口，获取数据并解析。 type=album%2Cartist%2Cplaylist%2Ctrack&q={song_name}&decorate_restrictions=true&best_match=true&limit 在本次爬虫编写中，主要遇到的问题是在网易云音乐url加密解析的理解和破解能力。在上文贴出的代码可能有运行不成功的可能，这是从项目提取出来的相关代码。 如有错误请多多指教！ selenium库：可以模拟真实浏览器，自动化测试工具，支持多种浏览器，爬虫中主要用来解决JavaScript渲染问题。
4.8K10发布于 2017-09-20 - 来自专栏python3
web自动化爬虫selenium ce
基本环境：centos7,python3.x 1.安装selenium pip3 install selenium 2.安装chrome-browser wget https://dl.google.com
80020发布于 2020-01-02 爬虫策略规避：Python爬虫的浏览器自动化
网络爬虫作为一种自动化获取网页数据的技术，被广泛应用于数据挖掘、市场分析、竞争情报等领域。然而，随着反爬虫技术的不断进步，简单的爬虫程序往往难以突破网站的反爬虫策略。 因此，采用更高级的爬虫策略，如浏览器自动化，成为了爬虫开发者的必然选择。浏览器自动化概述浏览器自动化是指通过编程方式控制浏览器执行一系列操作的技术。 在爬虫领域，浏览器自动化可以帮助我们模拟真实用户的行为，从而规避一些简单的反爬虫检测。Python作为一门强大的编程语言，拥有多个库可以实现浏览器自动化，如Selenium、Pyppeteer等。 webdriver.Chrome(options=options)# 打开网页driver.get("http://www.example-ecommerce.com")# 设置请求间隔time.sleep(2) 异常处理：使用try-except结构处理页面结构变化导致的异常，确保爬虫的健壮性。总结通过使用Selenium进行浏览器自动化，我们可以有效地规避一些简单的反爬虫策略，提高爬虫的抓取成功率。
93710编辑于 2024-11-08- 来自专栏数据科学与人工智能
【Python环境】Python爬虫入门（2）：爬虫基础了解
1.什么是爬虫 爬虫，即网络爬虫，大家可以理解为在网络上爬行的一直蜘蛛，互联网就比作一张大网，而爬虫便是在这张网上爬来爬去的蜘蛛咯，如果它遇到资源，那么它就会抓取下来。想抓取什么？ 2.浏览网页的过程 在用户浏览网页的过程中，我们可能会看到许多好看的图片，比如 http://image.baidu.com/ ，我们会看到几张的图片以及百度搜索框，这个过程其实就是用户输入网址之后，经过 因此，用户看到的网页实质是由 HTML 代码构成的，爬虫爬来的便是这些内容，通过分析和过滤这些 HTML 代码，实现对图片、文字等资源的获取。 爬虫爬取数据时必须要有一个目标的URL才可以获取数据，因此，它是爬虫获取数据的基本依据，准确理解它的含义对爬虫学习有很大帮助。 4. 好的开发工具是前进的推进器，希望大家可以找到适合自己的IDE 下一节，我们就正式步入 Python 爬虫学习的殿堂了，小伙伴准备好了嘛？
1.1K90发布于 2018-02-27 - 来自专栏python3
Python 爬虫（2）
: 'value2'}) print(r.text) 结果： { "cookies": { "key1": "value1", "key2": "value2" } } Urllib 模块 在python2和python3上有差异 在python2上，urllib和urllib2各有各的功能，虽然urllib2是urllib的包装、升级版，但是urllib2还是不能完全替代 urllib2和urllib的区别 （1）urllib2可以接收一个request对象，并以此可以来设置一个url的headers，但是urllib只可以接收一个url，这就意味着你不能通过urllib （2）ullib模板可以提供运行urlencode的方法，该方法用于GET查询字符串的生成，urllib2不具备这样的功能，而且urllib.quote等一系列qoute和unquote功能没有被加入urllib2 这就是为什么有时候urllib和urllib2一起使用的原因。
67610发布于 2020-01-07 - 来自专栏小徐学爬虫
PowerShell部署Windows爬虫自动化方案
在Windows系统中使用PowerShell部署爬虫自动化，通常涉及以下几个步骤：比如说安装必要的软（如Python、Chrome浏览器、ChromeDriver等），同时还要创建爬虫脚本（假设使用Python 那么在Windows系统中使用PowerShell部署爬虫自动化，如何对环境配置、脚本开发、任务调度和监控管理四个核心环节进行部署。 .zip" -OutFile chromedriver.zipExpand-Archive chromedriver.zip -DestinationPath C:\Windows\System32\2、 System.Runtime.InteropServices.Marshal]::PtrToStringAuto( [System.Runtime.InteropServices.Marshal]::SecureStringToBSTR($secureKey))2、 结合我上面的程序，大家就可实现稳定高效的Windows爬虫自动化系统，适合数据采集、监控等场景。这样是不是觉得很有趣？不防跟着我一起尝试下看看。
53610编辑于 2025-08-06 - 来自专栏python3
Python自动化开发学习-爬虫3
爬取多个网页 讲师的博客：https://www.cnblogs.com/wupeiqi/p/6229292.html 在编写爬虫时，性能的消耗主要在IO请求中，当单进程单线程模式下请求URL时必然会引起等待 https主要是2个差别，默认的端口号是443，还有就是需要ssl。 粗略的看一下源码，旧版本（2.x及之前），用的是 asyncio/yield from 。3.x版本开始，都改用 async/await 了。
92610发布于 2020-01-06 - 来自专栏分布式爬虫
11、web爬虫讲解2—Scrapy框架爬虫—Scrapy使用
表达式过滤出来的结果进行正则匹配，用正则取最终内容 最后.re('正则') xpath('//div[@class="showlist"]/li//img')[0].re('alt="(\w+)') 2、 设置爬虫获取到的信息容器类，必须继承scrapy.Item类 scrapy.Field()方法，定义变量用scrapy.Field()方法接收爬虫指定字段的信息 # -*- coding: utf-8 ，就相当于是容器文件 class AdcItem(scrapy.Item): #设置爬虫获取到的信息容器类 # define the fields for your item here () #接收爬虫获取到的连接信息 comment = scrapy.Field() #接收爬虫获取到的商品评论数 第二步、编写pach.py爬虫文件 定义爬虫类，必须继承scrapy.Spider name设置爬虫名称 allowed_domains设置爬取域名 start_urls设置爬取网址 parse(response)爬虫回调函数，接收response，response里是获取到的html
69500发布于 2019-07-06 - 来自专栏玄魂工作室
Python爬虫之urllib模块2
-------------------------------------------------------------------------------------------------------------------------------- 本文来自网友投稿 作者：PG,一个待毕业待就业的二流大学生。 ---------------------------------------------------------------------------------------------
68150发布于 2018-04-12 - 来自专栏历史专栏
【愚公系列】2021年12月 python爬虫自动化-爬虫环境搭建
企业产生的用户数据 2. 数据平台购买数据： 3. 政府、机构公开的数据： 4. 数据管理咨询公司：埃森哲，麦肯锡 5. 爬虫爬取 二、爬虫所需要的库： 1. urllib 标准库，无需安装，直接 import 使用 2. requests 库，需要安装 3. selenium 库，需要安装 4. phantomJS ，官网下载 企业产生的用户数据 https://tbi.tencent.com/ 腾讯指数 http://index.baidu.com/#/ 百度指数 2. 爬虫爬取 二、爬虫所需要的库： 1. urllib 标准库，无需安装，直接 import 使用 2. requests 库，需要安装 pip install requests 3. selenium 库
42030编辑于 2021-12-20 - 来自专栏FunTester
基于爬虫的测试自动化经验分享
之前很难区分自动化测试和测试自动化之间的区别，一直傻傻分不清楚，最近在工作实践中，突然对测试自动化有了深入的理解。 个人理解：自动化测试侧重于测试，是一种测试技术。 测试自动化侧重于自动化，是一种测试工作方式或者思路。 下面分享一下我的测试自动化一段经历，抛砖引玉，欢迎一起交流。 测试自动化 通过痛点的整理归类，原因就是两只眼睛盯不住那些监控。所以想到一个解决思路：通过爬虫解决监控问题，结合机器人通知及时预警。 成果 极大减少了监控占用的精力，避免了遗漏 发现了几个线上服务的BUG 某几次服务异常，提前1 ~ 2分钟发出预警 报警文案增加小组标识，极大提升了存在感 做完这些总结突然发现如果把测试自动化和办公自动化放在一起
40920编辑于 2022-04-01 - 来自专栏python全栈教程专栏
爬虫学习（2）：request库使用
urlopen打开request 最后一步就是打印，加上一个编码方式utf-8 其实这就是request一个最基本完整的构建 我主要要讲到request库下的Request类使用，没有它真没法继续爬虫了 8')) 反正就是简单的爬取了网页源码下来了 一步步讲： （1）url='https://zhuanlan.zhihu.com/p/146913886’第二行代码呢，就是简单的放个网址 （2）
78620发布于 2021-10-18 - 来自专栏FunTester
selenium2java爬虫示例
本人在使用图灵机器人的过程中，需要丰富一下机器人知识库里面的笑话、段子等内容，就得去网上爬一些内容下来，经过尝试终于成功了，效果一般般，主要原因是添加的知识条目审核不通过，还有就是爬虫次数限制，暂时放弃了 ，以后打算用接口做爬虫，selenium爬起来很容易出错，浏览器加载太慢了，一旦次数太多很耗时。 //*[@id='detail-list']/li[1]/div/div[2]/a/div/h1/p"); Set<String> handles = driver.getWindowHandles (i); String joke = library.getTextByXpath("html/body/div[3]/div[1]/div/ul/li[1]/div/div[2]
56330发布于 2020-04-03 - 来自专栏肖洒的博客
爬虫入门（四）：urllib2
主要使用python自带的urllib2进行爬虫实验。 写在前面的蠢事： 本来新建了一个urllib2.py便于好认识这是urllib2的实验，结果始终编译不通过，错误错误。 Step2：然后使用Pattern实例处理文本并获得匹配结果（一个Match实例）。 Step3：最后使用Match实例获得信息，进行其他的操作。 #! #如果match2匹配成功 if match2: # 使用Match获得分组信息 print match2.group() else: print 'match2匹配失败！' 糗事百科的网络爬虫 import urllib2 import urllib import re import thread import time #-- #----------- 程序的入口处 ----------- print u""" --------------------------------------- 程序：糗百爬虫
64430发布于 2018-08-07 - 来自专栏python3
python2爬虫编码问题
import sys reload(sys) sys.setdefaultencoding('utf-8') # 输出的内容是utf-8格式
79020发布于 2020-01-15 - 来自专栏兵马俑的CSDN
python爬虫学习（2）——requests模块
二、如何使用：（requests模块的编码流程） 1.指定URL； 2.发起请求； 3.获取响应数据； 4.持久化存储； 三、使用步骤（爬取搜狗首页的页面数据） 1.引入库（环境安装） pip install requests 2.完整代码 #! import requests if __name__ == '__main__': #step1: 指定url url = 'http://www.sogou.com/' #step2:
54910编辑于 2024-05-28
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号