- 综合排序
- 最热优先
- 最新优先
- 来自专栏网络爬虫
无头浏览器Selenium的使用要点
1、无头浏览器(headless browser)是什么 无头浏览器是指可以在图形界面情况下运行的，可以模拟多种浏览器的运行框架。 2、无头浏览器适合的场景 无头浏览器的框架需要真实运行浏览器，因此系统开销大，采集运行速度慢，相对与一般的爬虫程序，其运行环境要求搭建的工具和库较多，因此如果目标网站反爬不是很难，可以直接通过简单的http 请求进行采集，不适合使用无头浏览器方案。 当目标网站有多种验证机制，例如需要验证登录、ajax动生成、js反爬策略，如果研发不能进行网站行为分析的情况下，建议使用无头浏览器伪装正常用户，同时配合使用爬虫代理加强版进行数据采集。 3、无头浏览器框架推荐 无头浏览器有很多，我们推荐如下： selenium+chrome+chrome driver+爬虫代理加强版 4、下面示例包括各种安装说明及代码 （1）下载chrome对应版本的
3.5K00发布于 2021-07-06 - 来自专栏python进阶学习
爬虫中无头浏览器如何选择
我们日常使用浏览器的步骤为：启动浏览器、打开一个网页、进行交互。而无头浏览器指的是我们使用脚本来执行以上过程的浏览器，能模拟真实的浏览器使用场景。 主要是用作爬虫，用以捕捉Web上的各类数据；这里的无头主要是指没有界面，完全是后台操作。它就是一个真实的浏览器。只是这个浏览器是无界面的。 在爬虫中使用无头浏览器有很多的注意事项，比如我们的业务场景是否适合使用无头浏览器、我们可以通过这些方面进行判别，如果目标网站反爬不是很难，可以直接通过简单的http请求进行采集，不适合使用无头浏览器方案 反之如果网站有多种验证机制，例如需要验证登录、js反爬策略，如果研发不能进行网站行为分析的情况下，建议使用无头浏览器伪装正常用户，并且需要搭配代理一起使用，代理建议使用像亿牛云提供的爬虫代理去访问网站效果会更好 manifest_json = """ { "version": "1.0.0", "manifest_version": 2,
71610编辑于 2024-06-08 - 来自专栏编程语言的世界
centos Chrome Headless,centos 谷歌无头浏览器
Headless Chrome 是 Chrome 浏览器的无界面形态，可以在不打开浏览器的前提下，使用所有 Chrome 支持的特性运行你的程序,简而言之，除了没有图形界面，headless chrome 具有所有现代浏览器的特性，可以像在其他现代浏览器里一样渲染目标网页，并能进行网页截图，获取cookie，获取html等操作。 2.安装谷歌浏览器 创建谷歌源文件 cd /etc/yum.repos.d/ vi google-chrome.repo [google-chrome]name=google-chrome baseurl 4444 启动成功，监听4444端口，为啥用4444端口，因为调用demo用这个，可以自定义你随意,如果报错“error while loading shared libraries: libgconf-2. so.4: cannot open shared object file”执行下依赖安装 yum install GConf2 把驱动加到环境变量 mv /root/chromedriver /opt
2.4K11编辑于 2023-06-20 - 来自专栏muller的测试分享
Selenium Headless模式：无头浏览器的使用与优势
其中，Selenium的Headless模式，即无头浏览器，为开发者提供了一种更高效、更隐秘的测试方式。本文将探讨Selenium Headless模式的使用方法、优势以及实际应用场景。 Selenium Headless模式是指在执行测试过程中，不打开可视化的浏览器界面，而是在后台以无头（Headless）方式运行。这意味着测试过程对用户是不可见的，所有操作都在后台自动进行。 Selenium支持多种浏览器的Headless模式，包括Chrome、Firefox等。无头模式的优势速度与性能优势由于无需加载可视化界面，Headless模式下的测试速度通常比普通模式更快。 无头模式的使用再使用无头模式之前，我们需要先导入无头模式，使用Selenium的Headless模式非常简单，只需在初始化浏览器对象时添加相应的选项即可。 如下：from selenium import webdriverfrom selenium.webdriver.chrome.options import Options # 导入无头浏览器的包opt
2.1K10编辑于 2024-03-19 - 来自专栏爬虫资料
无头浏览器与请求签名技术-Cloudflare防护
本文将分享一个故障场景下的排查与改进方案，讲述如何利用无头浏览器、请求签名技术以及爬虫代理 IP来实现数据采集。 引入无头浏览器（T2）：undefined为了完整地执行页面中的 JavaScript，并获取有效的 Cookie 信息，开始采用 Selenium 等无头浏览器方案。 架构改进方案在当前方案基础上，为提高系统的稳定性和扩展性，建议从以下几个方面进行架构改进：无头浏览器集群化部署：undefined利用 Docker 或 Kubernetes 部署无头浏览器集群，实现并发采集任务的分布式调度 ： 通过 chrome_options.add_argument("--headless") 启用无头模式，以便在后台静默运行浏览器。 未来，通过无头浏览器集群化、代理池管理及签名算法优化，可以不断提升数据采集的效率与成功率，为故障排查及架构改进提供更加成熟的解决方案。
1.3K00编辑于 2025-03-11 - 来自专栏python进阶学习
利用无头浏览器爬取JavaScript生成的网页
这时就需要使用无头浏览器来爬取JavaScript生成的网页，以获取所需的数据。 为了解决这个问题，我们可以利用无头浏览器来模拟真实浏览器的行为。无头浏览器是一种没有图形界面的浏览器，它可以模拟用户的浏览行为，并执行JavaScript代码。 通过使用无头浏览器，我们可以让浏览器自动加载并执行JavaScript，从而获取到完整的JavaScript生成的网页内容。 首先，我们需要安装一个无头浏览器，例如Google Chrome的Headless模式或者Mozilla Firefox的Headless模式。 这些无头浏览器可以通过命令行或者编程无语言的接口进行控制。下载浏览器驱动程序：根据您使用的浏览器类型和版本，下载对应的浏览器驱动程序。
1.4K10编辑于 2023-09-07 - 来自专栏muller的测试分享
Selenium Headless模式：无头浏览器的使用与优势
其中，Selenium的Headless模式，即无头浏览器，为开发者提供了一种更高效、更隐秘的测试方式。本文将探讨Selenium Headless模式的使用方法、优势以及实际应用场景。 Selenium Headless模式是指在执行测试过程中，不打开可视化的浏览器界面，而是在后台以无头（Headless）方式运行。这意味着测试过程对用户是不可见的，所有操作都在后台自动进行。 Selenium支持多种浏览器的Headless模式，包括Chrome、Firefox等。 无头模式的优势 速度与性能优势 由于无需加载可视化界面，Headless模式下的测试速度通常比普通模式更快。 无头模式的使用 再使用无头模式之前，我们需要先导入无头模式，使用Selenium的Headless模式非常简单，只需在初始化浏览器对象时添加相应的选项即可。 gpu # 1.创建浏览器对象 web = Chrome(options= opt) # 然后配置放到浏览器上 # 2.打开一个网址 web.get('http://lagou.com')
3.8K10编辑于 2024-04-19 - 来自专栏小辰的技术分享
爬虫漫游指南：无头浏览器puppeteer的检测攻防
引言 许多爬虫初学者在接触到无头浏览器的时候都会有一种如获至宝的感觉，仿佛看到了爬虫的终极解决方案。 无头浏览器难道就是爬虫的终点了吗？那必然不是，否则各位爬虫工程师就只值3000块一个月了。 最后，也是最重要的，无头浏览器并不是无敌的，反爬的一方不会乖乖束手就擒，你有张良计，他自然就有过强梯，反爬一方会通过某些方法检测出无头浏览器，然后把这些请求全部处理掉，某些网站你使用无头浏览器甚至无法打开首页 上段说的最后一点，也就是针对无头浏览器的反爬攻防，就是本文所要讨论的内容。PhantomJS和Selenium已经日薄西山，本文只研究后来居上的Puppeteer。 2. 这个属性在有头的chrome中，会返回一堆叫做PluginArray的东西，但在无头浏览器中，它是空的，这个属性的没有值的。
11.1K51发布于 2020-11-24 无头浏览器技术：Python爬虫如何精准模拟搜索点击
无头浏览器技术概述1.1 什么是无头浏览器？ 无头浏览器是一种没有图形用户界面（GUI）的浏览器，它通过程序控制浏览器内核（如Chromium、Firefox）执行页面加载、JavaScript渲染、表单提交等操作。 由于不渲染可视化界面，无头浏览器在服务器环境下运行更高效。常见的无头浏览器工具：Selenium：经典的浏览器自动化工具，支持多语言（Python、Java等）。 Playwright：微软推出的新一代无头浏览器，支持Chromium、Firefox和WebKit。Puppeteer：Node.js环境的无头浏览器库（本文不涉及）。1.2 为什么选择无头浏览器？ ：启用无头模式，不显示浏览器窗口。
1.7K10编辑于 2025-06-06- 来自专栏全栈测试
Selenium自动化中对无头浏览器的应用
在面试及工作中，常会被问到或要求做Selenium自动化，你在实际的Selenium自动化中使用到过无头浏览器么，今天带小伙伴们一起了解无头浏览器在Selenium自动化中的应用。 ? 一 无头浏览器介绍 1 什么是无头浏览器？ 不显示浏览器UI的情况下运行基于UI的浏览器测试，即不需要用户界面的浏览器。 2 无头浏览器的优点？ 1）无头浏览器比真正的浏览器更快。 2）利用无头浏览器爬网站数据，因为您只是寻找你想要的数据，所以没有必要启动一个完整的浏览器实例，开销越少，返回结果的速度就越快。 3）无头浏览器脚本监视网络应用程序的性能。 3 无头浏览器应用场景？ 2 Chrome无头模式 PhantomJS不再更新，我们当然得拥抱新技术，接下来介绍Chrome无头浏览器的使用。 当然还有很多chrome浏览器的options参数，可以翻阅源码或官方网站文档了解。 2）Chrome无头浏览器实例 了解源码之后，我们写代码so easy了，接下来直接上代码。 ?
2.9K20发布于 2021-08-06 - 来自专栏爬虫资料
如何用Pyppeteer打造高并发无头浏览器采集方案
以下文章将从行业痛点出发，结合 Pyppeteer 高并发无头浏览器技术，讲解如何在 Python 中打造一个可配置代理的高效采集方案，以采集 Amazon 今日特价商品并分析优惠价格与评分。 # 跳转至今日特价页面 await page.goto('https://www.amazon.com/gp/goldbox', {'waitUntil': 'networkidle2' results = [] for item in items: title = await page.evaluate('(el) => el.querySelector("h2" amazon_deals.json', 'w', encoding='utf-8') as f: json.dump(merged, f, ensure_ascii=False, indent=2) 通过本文所示的 Pyppeteer 高并发无头浏览器采集方案，开发者和数据分析师能够以较低成本、极高效率地获取该电商平台的实时优惠信息，并将其应用于多种商业场景。
75510编辑于 2025-05-12 Rust写的无头浏览器，比Chrome轻了85%
最近有个叫Obscura的开源项目，用Rust写了个无头浏览器，专为AI代理和大规模爬虫设计。 数字很直接： 内存占用：200MB+ → 30MB（降了85%） 二进制大小：300MB+ → 70MB 页面加载：500ms → 85ms 启动时间：2秒 → 即时 单二进制文件，不需要Node.js 反检测功能做得挺狠： 每次会话随机生成完整浏览器指纹（GPU、canvas、音频、电池状态） 默认屏蔽3520个追踪域名 隐藏navigator.webdriver属性，伪装成真实Chrome 重写底层 # 等待动态内容 obscura fetch https://example.com --wait-until networkidle0 # 并行爬取 obscura scrape url1 url2 en.wikipedia.org/wiki/Web_scraping'); console.log(await page.title()); await browser.close(); 对需要大量浏览器实例的
13610编辑于 2026-06-23- 来自专栏爬虫资料
Pyppeteer实战：基于Python的无头浏览器控制新选择
因此，选择 Pyppeteer 作为无头浏览器，利用其真实浏览器环境来模拟人类行为，就显得尤为必要。同时，通过设置代理 IP（本文参考爬虫代理的参数），便于在高频请求时规避封 IP 风险。 # 代理密码 # 构造代理服务器参数，格式为 "域名:端口" proxy_server = f'{proxy_domain}:{proxy_port}' # 启动无头浏览器 ，并指定使用代理 browser = await launch({ 'headless': True, # 无头模式 'args': [ f'- ┌─────────────────────────┐ │ 无头浏览器 │ │ （Pyppeteer） 上层为 Pyppeteer 作为无头浏览器，承担主要的页面渲染与 DOM 操作，下层则分别通过代理设置和 Cookie/User-Agent 保证请求稳定真实，最终目标通过页面评估函数实现数据采集。
95810编辑于 2025-04-09 - 来自专栏python进阶学习
无头浏览器技术：Python爬虫如何精准模拟搜索点击
无头浏览器技术概述 1.1 什么是无头浏览器？ 无头浏览器是一种没有图形用户界面（GUI）的浏览器，它通过程序控制浏览器内核（如Chromium、Firefox）执行页面加载、JavaScript渲染、表单提交等操作。 由于不渲染可视化界面，无头浏览器在服务器环境下运行更高效。 常见的无头浏览器工具： Selenium：经典的浏览器自动化工具，支持多语言（Python、Java等）。 Playwright：微软推出的新一代无头浏览器，支持Chromium、Firefox和WebKit。 Puppeteer：Node.js环境的无头浏览器库（本文不涉及）。 2. 环境准备 在开始之前，确保安装以下Python库： 此外，需下载对应浏览器的WebDriver（如ChromeDriver），或直接使用Playwright自带的浏览器。 3.
1.1K10编辑于 2025-06-08 - 来自专栏小徐学爬虫
Kotlin动态代理池+无头浏览器协程化实战
image in imageChannel) { File("image_${count++}.jpg").writeBytes(image) } } 优势：内存占用低（单协程约 2KB 2、代理池动态轮换 + 故障熔断 为对抗 IP 封禁，结合 Kotlin 属性委托实现代理自动切换： class ProxyPool : ReadWriteProperty<Any? .build() httpGet.config = config 关键增强： 响应异常时自动标记失效代理并切换 集成 Hystrix 实现超时熔断，避免单点故障拖垮爬虫 3、动态 JS 渲染：无头浏览器协程化 Kotlin 爬虫靠协程轻松实现万级并发，比线程更省资源；用动态代理池自动切换 IP，破解反爬封锁；结合无头浏览器抓取动态网页；还能通过DSL封装 简化复杂逻辑。
34410编辑于 2025-08-07 - 来自专栏python进阶学习
利用无头浏览器进行APP提取数据的技术与实践
使用无头浏览器进行APP数据抓取具有以下优势：可以模拟用户行为，获取动态加载的内容。处理可能需要JavaScript渲染的页面。处理可能需要登录或其他身份验证的情况。 案例分享，这里我们以电商APP为例，我们可以使用无头浏览器模拟用户登录、搜索商品、浏览商品详情等操作，获取商品信息、价格、评价等数据，从而进行竞争对手分析和市场研究。 driver.quit()通过使用无头浏览器进行APP抓取数据，我们可以有效地获取APP中的数据，解决了传统爬虫技术无法直接获取APP数据的问题。 无头浏览器可以模拟用户行为，处理动态加载的内容，并通过设置代理信息实现匿名性和稳定性。这为竞争对手分析、市场研究等提供了困境的工具和技术支持。 在实际应用中，我们需要根据具体的需求和场景，灵活运用无头浏览器技术，结合其他技术手段，实现更准确的APP数据抓取。
75030编辑于 2023-08-02 使用无头浏览器Playwright解决Web打印生成PDF的问题
最近在研究一个基于Electron的Web打印项目npm包web-print-pdf，发现它巧妙地使用了Playwright无头浏览器来解决这个问题传统Web打印的痛点1. 功能单一无法批量处理缺乏预览功能打印参数配置有限Playwright的解决方案核心思路使用Playwright无头浏览器来渲染HTML内容，然后生成高质量的PDF文档。 技术架构HTML内容 → Playwright无头浏览器 → PDF生成 → 打印服务关键技术实现1. 完美样式还原支持所有现代CSS特性完美处理复杂布局保持字体和颜色一致性2. 高性能处理无头浏览器，资源占用低并发处理能力内存优化管理3. 稳定可靠完善的错误处理自动重试机制资源自动清理总结通过使用Playwright无头浏览器，我们成功解决了Web打印生成PDF的各种技术难题。
1.2K00编辑于 2025-08-08Python 爬虫动态 JS 渲染与无头浏览器实战选型指南
无头浏览器是解决动态 JS 页面爬取的核心方案：其可独立启动 Chrome、Firefox 等标准浏览器内核实例，无需加载图形化 UI 界面，通过命令行与自动化接口实现全流程控制。 在爬虫工程中，无头浏览器本质是将人工浏览器操作流程进行程序化自动化模拟。 Python 爬虫生态中，主流无头浏览器自动化框架包含Selenium、Playwright、Pyppeteer三类，适配不同业务开发与运维场景。 无头浏览器适用边界界定无头浏览器并非通用爬虫银弹，需根据业务场景合理选型，避免资源冗余浪费。 总结无头浏览器是 Python 爬虫攻克现代 JS 动态页面的核心基础设施。
41710编辑于 2026-05-13- 来自专栏Urlteam
运用phantomjs无头浏览器破解四种反爬虫技术
其二是无头浏览器，使用自动化的技术来进行自动数据抓取，模拟鼠标与键盘事件，可以用于破解验证码，js解析，诡异的模糊数据这类型的反爬虫技术 0 目录： phantomjs原理说明 牛刀小试 破解基础的js 解析能力限制 破解采用nodisplay来随机化网页源码 破解简单的图片文字相互替代 破解拖动验证码 1 phantomjs原理说明： 无头浏览器不是什么闹鬼的东西，他也称为无界面浏览器，他本身是用来做自动化测试的 https://www.urlteam.org/2016/08/phantomjs-api-%E4%B8%AD%E6%96%87%E7%89%88-%E6%97%A0%E7%95%8C%E9%9D%A2% 在命令行则是在该文件的目录下输入 phantomjs 就算是用该浏览器启动你的爬虫代码。 2 牛刀小试 下列js代码就是需要运行phantomg 保存为request.js文件。 原创文章，转载请注明： 转载自URl-team 本文链接地址: 运用phantomjs无头浏览器破解四种反爬虫技术 Related posts: 爬虫首尝试—爬取百度贴吧图片 Scrapy-笔记一 入门项目
2.3K31发布于 2019-11-27 Puppeteer-py：Python 中的无头浏览器自动化
Puppeteer-py 作为一个 Python 库，提供了一种简单而强大的方法来控制无头浏览器，实现网页的自动化操作。 2. 什么是 Puppeteer-pyPuppeteer-py 是 Puppeteer 的 Python 端口，Puppeteer 是一个 Node.js 库，用于控制无头 Chrome 或 Chromium 浏览器。 以下是一些关键特性：●无头浏览器控制：无需打开浏览器界面即可控制浏览器。●生成截图和 PDF：轻松捕获网页的屏幕截图或生成 PDF 文件。●自动化表单提交：自动化填写和提交网页表单。
1.4K10编辑于 2024-08-05
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号