- 综合排序
- 最热优先
- 最新优先
- 来自专栏北山啦的博客
Selenium自动化爬虫
Python爬虫入门之 Selenium自动化爬虫 Selenium官方文档 1. Selenium的安装配置 pip install selenium selenium配置 2. 5. option.add_experimental_option('excludeSwitches', ['enable-automation']) browser = webdriver.Chrome(options=option) # 关闭自动化扩展信息 option.add_experimental_option('excludeSwitches', ['enable-automation']) browser = webdriver.Chrome(options=option) # 关闭自动化扩展信息 "]').send_keys('db@1234') # 点击登录 browser.find_element_by_xpath('/html/body/div[1]/div[2]/div[1]/div[5]
1.8K30编辑于 2022-11-27 - 来自专栏有趣的Python和你
python爬虫之MQL5爬虫
今天中文社区有人要爬MQL5的网站，要和其做的图表一样，这里写上原图和我画的图，代码就不上了~ 以下是我的图片 成长.png 结余.png 净值.png 表格没有做，回归的直线没有做，继续加油!
52130发布于 2018-07-03 - 来自专栏中间件的探究
python自动化爬虫实战
python自动化爬虫实战 偶然的一次机会再次用到爬虫，借此机会记录一下爬虫的学习经历，方便后续复用。 需求：爬取网站数据并存入的csv文件中，总体分为两步 爬取网站数据 存到到csv文件中 1、配置爬虫环境 1.1、下载自动化测试驱动 由于需要实现模拟手动点击浏览器的效果，因此笔者使用到了chromedriver.exe 自动化驱动文件。 爬虫的基本逻辑： 配置谷歌浏览器的驱动文件和自动化测试文件 创建保存爬取数据的字典和设置读取的起始页码和结束页码 判断是否有下一页并进行等待，如果没有下一页则直接退出 解析读取到的页面信息 保存到csv 、存储爬取的数据 -这里根据需要修改需要存储多少位 data = [['title', 'price', 'detail_url']] # 4、开始爬取数据 # 计数需要爬取多少数据，一页60条，5k
78130编辑于 2023-05-11 - 来自专栏社区的朋友们
爬虫实战：爬虫之 web 自动化终极杀手 ( 上）
作者：陈象 9/14/2017 11:43:07 PM 导语： 最近写了好几个简单的爬虫，踩了好几个深坑，在这里总结一下，给大家在编写爬虫时候能给点思路。本次爬虫内容有：静态页面的爬取。 web自动化终极爬虫。 5 .通过有效信息来设计爬虫，获取数据 伪装浏览器。需要导入requests库，比起urllib、urllib2等库更加方便，这里不做赘述。 还有其他的解析器：html.parser、html5lib等 # 详细教程可访问：http://cuiqingcai.com/1319.html《Python爬虫利器二之Beautiful 接《爬虫实战 : 爬虫之 web 自动化终极杀手（下）》
5.7K10发布于 2017-09-19 - 来自专栏社区的朋友们
爬虫实战 : 爬虫之 web 自动化终极杀手（下）
作者：陈象 接《 爬虫实战：爬虫之 web 自动化终极杀手 ( 上）》 再理一下方案步骤： 模拟用户登录 进入个人播放页 获取cookies 获取token cookie,并将其添加到headers spotify_song = spotify_song.format(song_name=song_name) driver.get(spotify_song) time.sleep(5) sheet.write(ll, 4, data.song_name.encode('utf8')) sheet.write(ll, 5, 在本次爬虫编写中，主要遇到的问题是在网易云音乐url加密解析的理解和破解能力。在上文贴出的代码可能有运行不成功的可能，这是从项目提取出来的相关代码。 如有错误请多多指教！ selenium库：可以模拟真实浏览器，自动化测试工具，支持多种浏览器，爬虫中主要用来解决JavaScript渲染问题。
4.8K10发布于 2017-09-20 - 来自专栏python3
web自动化爬虫selenium ce
wget https://dl.google.com/linux/d... --no-check-certificate
80020发布于 2020-01-02 爬虫策略规避：Python爬虫的浏览器自动化
网络爬虫作为一种自动化获取网页数据的技术，被广泛应用于数据挖掘、市场分析、竞争情报等领域。然而，随着反爬虫技术的不断进步，简单的爬虫程序往往难以突破网站的反爬虫策略。 因此，采用更高级的爬虫策略，如浏览器自动化，成为了爬虫开发者的必然选择。浏览器自动化概述浏览器自动化是指通过编程方式控制浏览器执行一系列操作的技术。 在爬虫领域，浏览器自动化可以帮助我们模拟真实用户的行为，从而规避一些简单的反爬虫检测。Python作为一门强大的编程语言，拥有多个库可以实现浏览器自动化，如Selenium、Pyppeteer等。 异常处理：使用try-except结构处理页面结构变化导致的异常，确保爬虫的健壮性。总结通过使用Selenium进行浏览器自动化，我们可以有效地规避一些简单的反爬虫策略，提高爬虫的抓取成功率。 然而，随着反爬虫技术的不断进步，单一的浏览器自动化技术可能难以应对所有挑战。因此，在实际应用中，我们需要结合多种技术，如IP代理、请求头伪装、行为分析等，来构建更加强大和稳健的爬虫系统。
93710编辑于 2024-11-08- 来自专栏Python数据科学
Python爬虫架构5模板 | 你真的会写爬虫吗？
为啥标题是这样，因为我们日常写小爬虫都是一个py文件加上几个请求，但是如果你去写一个正式的项目时，你必须考虑到很多种情况，所以我们需要把这些功能全部模块化，这样也使我们的爬虫更加的健全。 2、基础爬虫的架构以及运行流程 首先，给大家来讲讲基础爬虫的架构到底是啥样子的？JAP君给大家画了张粗糙的图： ? 从图上可以看到，整个基础爬虫架构分为5大类：爬虫调度器、URL管理器、HTML下载器、HTML解析器、数据存储器。 下面给大家依次来介绍一下这5个大类的功能： 1. 5.数据存储器：就是将HTML下载器发送过来的数据存储到本地。 4、总结 我们这里简单的讲解了一下，爬虫架构的五个模板，无论是大型爬虫项目还是小型的爬虫项目都离不开这五个模板，希望大家能够照着这些代码写一遍，这样有利于大家的理解，大家以后写爬虫项目也要按照这种架构去写
2.4K41发布于 2019-05-10 - 来自专栏小徐学爬虫
PowerShell部署Windows爬虫自动化方案
在Windows系统中使用PowerShell部署爬虫自动化，通常涉及以下几个步骤：比如说安装必要的软（如Python、Chrome浏览器、ChromeDriver等），同时还要创建爬虫脚本（假设使用Python 那么在Windows系统中使用PowerShell部署爬虫自动化，如何对环境配置、脚本开发、任务调度和监控管理四个核心环节进行部署。 System.Runtime.InteropServices.Marshal]::SecureStringToBSTR($secureKey))2、速率限制：# Python示例：添加延迟import timetime.sleep(5) # 每次请求间隔5秒3、验证Robots.txt：$robots = Invoke-WebRequest "https://target-site.com/robots.txt"if ($robots.Content 结合我上面的程序，大家就可实现稳定高效的Windows爬虫自动化系统，适合数据采集、监控等场景。这样是不是觉得很有趣？不防跟着我一起尝试下看看。
53610编辑于 2025-08-06 - 来自专栏Python爬虫逆向教程
Python爬虫之文件存储#5
爬虫专栏：http://t.csdnimg.cn/WfCSx 文件存储形式多种多样，比如可以保存成 TXT 纯文本形式，也可以保存为 JSON 格式、CSV 格式等，本节就来了解一下文本文件的存储方式。 运行结果如下： json.decoder.JSONDecodeError: Expecting property name enclosed in double quotes: line 3 column 5 10003', 'Jordan', 21]]) 输出效果是相同的，内容如下： id,name,age 10001,Mike,20 10002,Bob,22 10003,Jordan,21 但是一般情况下，爬虫爬取的都是结构化数据
2.8K10编辑于 2024-02-10 - 来自专栏python3
Python自动化开发学习-爬虫3
爬取多个网页 讲师的博客：https://www.cnblogs.com/wupeiqi/p/6229292.html 在编写爬虫时，性能的消耗主要在IO请求中，当单进程单线程模式下请求URL时必然会引起等待 asyncio.sleep(3) print('end func %s...' % n) if __name__ == '__main__': tasks = [] for i in range(5)
92610发布于 2020-01-06 - 来自专栏AI科技大本营的专栏
5行代码就能入门爬虫？
所以，我在写第一遍的时候，只用了5行代码，就成功抓取了全部所需的信息，当时的感觉就是很爽，觉得爬虫不过如此啊，自信心爆棚。 reportTime=2017-12-31&pageNum=%s' % (str(i)))[3] 5 tb.to_csv(r'1.csv', mode='a', encoding='utf_8_ sig', hea 3000+ 上市公司的信息，安安静静地躺在 Excel 中 ▌不断完善 有了上面的信心后，我开始继续完善代码，因为5行代码太单薄，功能也太简单，大致从以下几个方面进行了完善： 增加异常处理 经过以上这几点的完善，代码量从原先的5行增加到了下面的几十行： 1import requests 2import pandas as pd 3from bs4 import BeautifulSoup 4from lxml import etree 5import time 6import pymysql 7from sqlalchemy import create_engine 8from
69220发布于 2019-03-06 - 来自专栏FunTester
基于爬虫的测试自动化经验分享
之前很难区分自动化测试和测试自动化之间的区别，一直傻傻分不清楚，最近在工作实践中，突然对测试自动化有了深入的理解。 个人理解：自动化测试侧重于测试，是一种测试技术。 测试自动化侧重于自动化，是一种测试工作方式或者思路。 下面分享一下我的测试自动化一段经历，抛砖引玉，欢迎一起交流。 测试自动化 通过痛点的整理归类，原因就是两只眼睛盯不住那些监控。所以想到一个解决思路：通过爬虫解决监控问题，结合机器人通知及时预警。 成果 极大减少了监控占用的精力，避免了遗漏 发现了几个线上服务的BUG 某几次服务异常，提前1 ~ 2分钟发出预警 报警文案增加小组标识，极大提升了存在感 做完这些总结突然发现如果把测试自动化和办公自动化放在一起
40920编辑于 2022-04-01 - 来自专栏历史专栏
【愚公系列】2021年12月 python爬虫自动化-爬虫环境搭建
数据管理咨询公司：埃森哲，麦肯锡 5. 爬虫爬取 二、爬虫所需要的库： 1. urllib 标准库，无需安装，直接 import 使用 2. requests 库，需要安装 3. selenium 库，需要安装 4. phantomJS ，官网下载 5. re #正则，标准库，不需要安装 6. 数据管理咨询公司：埃森哲，麦肯锡 5. 爬虫爬取 二、爬虫所需要的库： 1. urllib 标准库，无需安装，直接 import 使用 2. requests 库，需要安装 pip install requests 3. selenium 库
42030编辑于 2021-12-20 - 来自专栏python全栈教程专栏
爬虫学习（5）：parse解析链接（网址）
s.netloc) print(s[1]) print(s[3]) 这样打印结果姐如下： 4.urlunsplit() 跟上面那个方法类似，这个就是再把各个部分组合成完整的链接，长度必须是5， ,'spm=1011.2124.3001.5359',' '] print(urlunsplit(data)) 根据前面打印拆分结果，我再给它复原了，运行结果如下，又得到csdn首页链接了 5. wd=%E5%B7%9D%E5%B7%9D' print(unquote(url)) 它就可以把被编码后的中文还原。 这个模块差不多就这些了，学习爬虫慢慢来，不要一蹴而就。
1K20发布于 2021-10-18 - 来自专栏Lan小站
Week5 情话网小爬虫
太久没写爬虫了，手生到连xpath怎么提取出来都忘记了，requests取回的数据编码都忘记怎么转换了 于是乎在百度上随便搜了一个情话网，来进行爬取。 ']/div[@class='bodyMain']/div[@class='bodyMainBody']/div[@class='infoList']/ul[@class='infoListUL mt5'
58420编辑于 2022-07-13 自动化Reddit图片收集：Python爬虫技巧
对于数据科学家、市场研究人员或任何需要大量图片资源的人来说，自动化地从Reddit收集图片是一个极具价值的技能。 本文将详细介绍如何使用Python编程语言，结合requests和BeautifulSoup库，来构建一个自动化Reddit图片收集的爬虫。环境准备在开始之前，确保你的开发环境中已安装Python。 image_name}") except Exception as e: print(f"Failed to download image {link}, error: {e}")5. 整合爬虫将所有步骤整合到一个函数中，并调用它。 多线程或异步请求：提高爬虫的下载速度。
72010编辑于 2024-06-04- 来自专栏python3
python 爬虫 5i5j房屋信息 获
1 from lxml import etree 2 from selenium import webdriver 3 import pymysql 4 5 def Geturl(fullurl #链接url 10 zf_url_list = [] 11 for zf_url_lost in zf_list: 12 zf_url = 'https://bj.5i5j.com zp_info_need_2 27 connection = pymysql.connect(host='localhost', user='root', password='1234', db='5i5j try: 29 with connection.cursor() as cursor: 30 sql = "INSERT INTO `5i5j_info 39 for i in range(1,pags+1): 40 url = 'https://bj.5i5j.com/zufang/huilongguan/n{}/' 41
57910发布于 2020-01-19 - 来自专栏Python爬虫逆向教程
Python爬虫之自动化测试Selenium#7
爬虫专栏：http://t.csdnimg.cn/WfCSx 前言 在前一章中，我们了解了 Ajax 的分析和抓取方式，这其实也是 JavaScript 动态渲染的页面的一种情形，通过直接分析 Ajax Selenium 的使用 Selenium 是一个自动化测试工具，利用它可以驱动浏览器执行特定的动作，如点击、下拉等操作，同时还可以获取浏览器当前呈现的页面的源代码，做到可见即可爬。 另外，还需要正确安装好 Python 的 Selenium 库，详细的安装和配置过程可以参考Python爬虫请求库安装#1-CSDN博客 2. 控制台的输出如下： [{'secure': False, 'value': '"NGM0ZTM5NDAwMWEyNDQwNDk5ODlkZWY3OTkxY2I0NDY=|1491604091|236e34290a6f407bfbb517888849ea509ac366d0 www.zhihu.com', 'path': '/', 'httpOnly': False, 'name': 'name'}, {'secure': False, 'value': '"NGM0ZTM5NDAwMWEyNDQwNDk5ODlkZWY3OTkxY2I0NDY
3K11编辑于 2024-02-17 - 来自专栏爬虫0126
Python爬虫实战：自动化数据采集与分析
Python作为一门广泛应用的编程语言，拥有丰富的爬虫库，使得我们能够轻松实现自动化数据采集与分析。本文将通过一个简单的示例，带您了解如何使用Python进行爬虫实战。 例如，计算各个产品的平均价格和评分： 通过本文的示例，我们了解了如何使用Python进行爬虫实战，实现自动化数据采集与分析。当然，实际应用中可能会遇到更复杂的情况，例如反爬虫策略、动态加载等。 但是，通过不断学习和实践，您将能够应对各种挑战，成为一名优秀的爬虫工程师。 希望本文能为您提供有价值的信息！如果您有任何疑问或需要进一步的帮助，欢迎评论区留言。
58930编辑于 2023-08-29
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号