- 综合排序
- 最热优先
- 最新优先
- 来自专栏北山啦的博客
Selenium自动化爬虫
Python爬虫入门之 Selenium自动化爬虫 Selenium官方文档 1. Selenium的安装配置 pip install selenium selenium配置 2. self.browser.get(self.url) self.browser.find_element_by_xpath('//*[@id="key"]').send_keys('爬虫书籍 self.browser.get(self.url) self.browser.find_element_by_xpath('//*[@id="key"]').send_keys('爬虫书籍 option.add_experimental_option('excludeSwitches', ['enable-automation']) browser = webdriver.Chrome(options=option) # 关闭自动化扩展信息 option.add_experimental_option('excludeSwitches', ['enable-automation']) browser = webdriver.Chrome(options=option) # 关闭自动化扩展信息
1.8K30编辑于 2022-11-27 - 来自专栏分布式爬虫
11、web爬虫讲解2—Scrapy框架爬虫—Scrapy使用
设置爬虫获取到的信息容器类，必须继承scrapy.Item类 scrapy.Field()方法，定义变量用scrapy.Field()方法接收爬虫指定字段的信息 # -*- coding: utf-8 ，就相当于是容器文件 class AdcItem(scrapy.Item): #设置爬虫获取到的信息容器类 # define the fields for your item here like: # name = scrapy.Field() title = scrapy.Field() #接收爬虫获取到的title信息 link = scrapy.Field () #接收爬虫获取到的连接信息 comment = scrapy.Field() #接收爬虫获取到的商品评论数 第二步、编写pach.py爬虫文件 定义爬虫类，必须继承scrapy.Spider name设置爬虫名称 allowed_domains设置爬取域名 start_urls设置爬取网址 parse(response)爬虫回调函数，接收response，response里是获取到的html
69500发布于 2019-07-06 - 来自专栏python3
Python3网络爬虫实战-11、爬虫框
ScrapyRedis的安装 ScrapyRedis 是 Scrapy 分布式的扩展模块，有了它我们可以方便地实现 Scrapy 分布式爬虫的搭建，本节来介绍一下 ScrapyRedis 的安装方式。
88800发布于 2020-01-03 - 来自专栏中间件的探究
python自动化爬虫实战
python自动化爬虫实战 偶然的一次机会再次用到爬虫，借此机会记录一下爬虫的学习经历，方便后续复用。 需求：爬取网站数据并存入的csv文件中，总体分为两步 爬取网站数据 存到到csv文件中 1、配置爬虫环境 1.1、下载自动化测试驱动 由于需要实现模拟手动点击浏览器的效果，因此笔者使用到了chromedriver.exe 自动化驱动文件。 1.2、下载需要的库文件 笔者这里用到了：request、 selenium、 beautifulsoup4 在Setting中的Project项目下载对应的库文件 2、编写代码 以上爬虫环境配置完成后 爬虫的基本逻辑： 配置谷歌浏览器的驱动文件和自动化测试文件 创建保存爬取数据的字典和设置读取的起始页码和结束页码 判断是否有下一页并进行等待，如果没有下一页则直接退出 解析读取到的页面信息 保存到csv
78130编辑于 2023-05-11 - 来自专栏python3
Python爬虫11-XML与XPath
GitHub代码练习地址：用lxml解析HTML,文件读取,etree和XPath的配合使用：https://github.com/Neo-ML/PythonPractice/blob/master/SpiderPrac17_xpath%26lxml.py XML - XML(EXtensibleMarkupLanguage) - 官方文档http://www.w3school.com.cn/xml/index.asp - 概念：父节点，子节点，先辈节点，兄弟节点，后代节点 XPath - XPat
83830发布于 2020-01-16 - 来自专栏社区的朋友们
爬虫实战：爬虫之 web 自动化终极杀手 ( 上）
作者：陈象 9/14/2017 11:43:07 PM 导语： 最近写了好几个简单的爬虫，踩了好几个深坑，在这里总结一下，给大家在编写爬虫时候能给点思路。本次爬虫内容有：静态页面的爬取。 web自动化终极爬虫。 解决方案： 通过使用web自动化获取数据。 方案2： 更换浏览器，本次选择使用chrome浏览器进行自动化操作。 安装chrome自动化控制插件。 下载ChromeDriver插件。 接《爬虫实战 : 爬虫之 web 自动化终极杀手（下）》
5.7K10发布于 2017-09-19 - 来自专栏社区的朋友们
爬虫实战 : 爬虫之 web 自动化终极杀手（下）
作者：陈象 接《 爬虫实战：爬虫之 web 自动化终极杀手 ( 上）》 再理一下方案步骤： 模拟用户登录 进入个人播放页 获取cookies 获取token cookie,并将其添加到headers 我们利用浏览器自动化进行操作的时候效率很低，相比于调用接口的方法获取数据慢很多，并且在对数据进行解析的时候会比较麻烦，到这里我准备使用第二个方案再次进行完成这个需求。不多说动手吧。 def search_spotify_song(song_name): ''' 使用自动化工具获取网页数据 :param 在本次爬虫编写中，主要遇到的问题是在网易云音乐url加密解析的理解和破解能力。在上文贴出的代码可能有运行不成功的可能，这是从项目提取出来的相关代码。 如有错误请多多指教！ selenium库：可以模拟真实浏览器，自动化测试工具，支持多种浏览器，爬虫中主要用来解决JavaScript渲染问题。
4.8K10发布于 2017-09-20 - 来自专栏python3
web自动化爬虫selenium ce
wget https://dl.google.com/linux/d... --no-check-certificate
80020发布于 2020-01-02 爬虫策略规避：Python爬虫的浏览器自动化
网络爬虫作为一种自动化获取网页数据的技术，被广泛应用于数据挖掘、市场分析、竞争情报等领域。然而，随着反爬虫技术的不断进步，简单的爬虫程序往往难以突破网站的反爬虫策略。 因此，采用更高级的爬虫策略，如浏览器自动化，成为了爬虫开发者的必然选择。浏览器自动化概述浏览器自动化是指通过编程方式控制浏览器执行一系列操作的技术。 在爬虫领域，浏览器自动化可以帮助我们模拟真实用户的行为，从而规避一些简单的反爬虫检测。Python作为一门强大的编程语言，拥有多个库可以实现浏览器自动化，如Selenium、Pyppeteer等。 异常处理：使用try-except结构处理页面结构变化导致的异常，确保爬虫的健壮性。总结通过使用Selenium进行浏览器自动化，我们可以有效地规避一些简单的反爬虫策略，提高爬虫的抓取成功率。 然而，随着反爬虫技术的不断进步，单一的浏览器自动化技术可能难以应对所有挑战。因此，在实际应用中，我们需要结合多种技术，如IP代理、请求头伪装、行为分析等，来构建更加强大和稳健的爬虫系统。
93710编辑于 2024-11-08- 来自专栏tendcode
双11当晚写的天猫爬虫，爬虫神器 scrapy 大法好！！！
爬虫思路 前几天我刚写了一个文章是关于安装 scrapy 的，正好装好了，于是就选择了强大的 scrapy 爬虫框架作为爬虫的工具。 确定方向 首先，在写爬虫之前，需求先确定一下爬虫的方向，也就是回答几个问题： 需要爬取什么信息？ 信息的来源是哪里？ 有没有其他来源？有的话，选择最简单的那个。 怎么爬？信息怎么存储？ ，而经过对比发现手机天猫提取信息的接口比较方便，所以选择手机天猫的接口 使用爬虫框架 scrapy，信息存放到表格中，使用 CSV 的表格即可 接口分析 写爬虫其实本质就是请求接口，所以爬虫的第一步就是找到接口并分析接口的构成 ，可以根据需要定义一些参数 spiders 目录是用来放爬虫文件的 tm_spiders.py 是自己创建的爬虫文件 scrapy.cfg 是项目的配置文件 爬虫代码展示 其实整个的爬虫爬取信息的过程都在自己定义的爬虫文件中 # -*- coding:utf-8 -*- # date:2018-11-12 import os class FileTree(object): def __init__(self, words
5.3K20编辑于 2022-09-26 - 来自专栏小徐学爬虫
PowerShell部署Windows爬虫自动化方案
在Windows系统中使用PowerShell部署爬虫自动化，通常涉及以下几个步骤：比如说安装必要的软（如Python、Chrome浏览器、ChromeDriver等），同时还要创建爬虫脚本（假设使用Python 编写）最后一步设置计划任务（Task Scheduler）定期运行爬虫。 那么在Windows系统中使用PowerShell部署爬虫自动化，如何对环境配置、脚本开发、任务调度和监控管理四个核心环节进行部署。 target-class").text with open("output.txt", "w") as f: f.write(data)finally: driver.quit()3、自动化调度 结合我上面的程序，大家就可实现稳定高效的Windows爬虫自动化系统，适合数据采集、监控等场景。这样是不是觉得很有趣？不防跟着我一起尝试下看看。
53610编辑于 2025-08-06 - 来自专栏python3
Python自动化开发学习-爬虫3
爬取多个网页 讲师的博客：https://www.cnblogs.com/wupeiqi/p/6229292.html 在编写爬虫时，性能的消耗主要在IO请求中，当单进程单线程模式下请求URL时必然会引起等待
92610发布于 2020-01-06 - 来自专栏初见Linux
爬虫小白:11.scrapy框架(六) _媒体管道
: # name = scrapy.Field() image_urls = scrapy.Field() #只要使用媒体管道，这个字段是固定设置的 2、spider.py文件：编写爬虫文件
1.2K20发布于 2020-08-05 - 来自专栏武军超python专栏
11月9日python分布式爬虫
另外，如果需要继承，也可以定义为类方法，实例对象和类对象都可以调用 使用分布式必须要安装： pip install scrapy-redis 分布式： 分布式爬虫的难点在于多台机器之间怎么互相通信而防止爬取重复的 生成爬虫可以不加模板，不加模板的话就不会出现rules,需要自己写 起始url不写在项目中，写在redis数据库中 索引页要follow,国家内容不follow,但是有callback from scrapy_redis.spiders import RedisCrawlSpider 引入需要的模块，爬虫模块继承的类需要改成RedisCrawlSpider 如果出现填一个url才能爬取一个url 如果不指定的话默认就是相对路径的当前的目录下： 如果使用/来表示路径可以直接写绝对路径，如果使用\则需要在绝对路径的前面加r来表示不转义，以原字符解释, 路径的 最后一定要加/表示最后那个文件下： with open('G:/第四阶段/11 utf8') as f: f.write((item['aname']+','+item['atype'] + '\n')) f.close() with open(r'G:\第四阶段\11
54920发布于 2019-02-25 - 来自专栏码农帮派
Python基础学习_11_网页爬虫学习总结
一.关于爬虫的一些零散知识 １．Robots协议 大多数网站的主页下会有robots.txt文件，标识了爬虫爬取该网站信息时，哪些资源是有限制的，可以使用Python的标准库robotparser （２－１）ID遍历爬虫 很多网站由于数据挺多，会采用page切换的方式展现数据，类似于： http://www......../page=1 http://www........ （２－２）链接爬虫 “百度百科”中爬取词条的时候，在每个词条网页中会包含相关的词条，我们可以使用爬虫对当前网页中其他词条信息进行抓取，这样就可以爬取得到大量的词条信息，但是我们会发现，爬取到的词条的url （２－４）下载限速 有些网站访问对访问速度进行了限制，为了不让爬虫被禁止，需要对爬虫下载网页的速度进行一定的限制： ?
74430发布于 2020-04-01 - 来自专栏历史专栏
【愚公系列】2021年12月 python爬虫自动化-爬虫环境搭建
爬虫爬取 二、爬虫所需要的库： 1. urllib 标准库，无需安装，直接 import 使用 2. requests 库，需要安装 3. selenium 库，需要安装 4. phantomJS ，官网下载 爬虫爬取 二、爬虫所需要的库： 1. urllib 标准库，无需安装，直接 import 使用 2. requests 库，需要安装 pip install requests 3. selenium 库
42030编辑于 2021-12-20 - 来自专栏FunTester
基于爬虫的测试自动化经验分享
之前很难区分自动化测试和测试自动化之间的区别，一直傻傻分不清楚，最近在工作实践中，突然对测试自动化有了深入的理解。 个人理解：自动化测试侧重于测试，是一种测试技术。 测试自动化侧重于自动化，是一种测试工作方式或者思路。 下面分享一下我的测试自动化一段经历，抛砖引玉，欢迎一起交流。 测试自动化 通过痛点的整理归类，原因就是两只眼睛盯不住那些监控。所以想到一个解决思路：通过爬虫解决监控问题，结合机器人通知及时预警。 成果 极大减少了监控占用的精力，避免了遗漏 发现了几个线上服务的BUG 某几次服务异常，提前1 ~ 2分钟发出预警 报警文案增加小组标识，极大提升了存在感 做完这些总结突然发现如果把测试自动化和办公自动化放在一起
40920编辑于 2022-04-01 自动化Reddit图片收集：Python爬虫技巧
对于数据科学家、市场研究人员或任何需要大量图片资源的人来说，自动化地从Reddit收集图片是一个极具价值的技能。 本文将详细介绍如何使用Python编程语言，结合requests和BeautifulSoup库，来构建一个自动化Reddit图片收集的爬虫。环境准备在开始之前，确保你的开发环境中已安装Python。 可以通过pip命令安装这些库：pip install requests beautifulsoup4爬虫设计爬虫的主要任务是发送网络请求，获取Reddit热门图片的链接，并解析这些链接以下载图片。 整合爬虫将所有步骤整合到一个函数中，并调用它。 多线程或异步请求：提高爬虫的下载速度。
72010编辑于 2024-06-04- 来自专栏python3
Python自动化开发学习11-Rabb
好了，这样就安装完了。 其实，rabbitmq是用erlang语言实现的，这里用yum安装，把有依赖关系的erlang也一起安装好了。
70520发布于 2020-01-07 - 来自专栏python全栈教程专栏
爬虫学习（11）：爬取虎牙美女直播高清照片
response.content) print("下载成功" + name) time.sleep(2) 我最近才学到xpath吧，所以就用的xpath，前面我已经用过正则做过类似的爬取了，其实发现爬虫真的不难
1K20发布于 2021-10-18
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号