- 综合排序
- 最热优先
- 最新优先
- 来自专栏python进阶学习
爬虫中无头浏览器如何选择
我们日常使用浏览器的步骤为：启动浏览器、打开一个网页、进行交互。而无头浏览器指的是我们使用脚本来执行以上过程的浏览器，能模拟真实的浏览器使用场景。 主要是用作爬虫，用以捕捉Web上的各类数据；这里的无头主要是指没有界面，完全是后台操作。它就是一个真实的浏览器。只是这个浏览器是无界面的。 在爬虫中使用无头浏览器有很多的注意事项，比如我们的业务场景是否适合使用无头浏览器、我们可以通过这些方面进行判别，如果目标网站反爬不是很难，可以直接通过简单的http请求进行采集，不适合使用无头浏览器方案 反之如果网站有多种验证机制，例如需要验证登录、js反爬策略，如果研发不能进行网站行为分析的情况下，建议使用无头浏览器伪装正常用户，并且需要搭配代理一起使用，代理建议使用像亿牛云提供的爬虫代理去访问网站效果会更好 Page.addScriptToEvaluateOnNewDocument", {"source": script}) driver.get("https://httpbin.org/ip") 这里需要注意的是，我们在使用浏览器时要注意版本是否一致
54410编辑于 2024-06-08 - 来自专栏网络爬虫
无头浏览器Selenium的使用要点
1、无头浏览器(headless browser)是什么 无头浏览器是指可以在图形界面情况下运行的，可以模拟多种浏览器的运行框架。 2、无头浏览器适合的场景 无头浏览器的框架需要真实运行浏览器，因此系统开销大，采集运行速度慢，相对与一般的爬虫程序，其运行环境要求搭建的工具和库较多，因此如果目标网站反爬不是很难，可以直接通过简单的http 请求进行采集，不适合使用无头浏览器方案。 当目标网站有多种验证机制，例如需要验证登录、ajax动生成、js反爬策略，如果研发不能进行网站行为分析的情况下，建议使用无头浏览器伪装正常用户，同时配合使用爬虫代理加强版进行数据采集。 3、无头浏览器框架推荐 无头浏览器有很多，我们推荐如下： selenium+chrome+chrome driver+爬虫代理加强版 4、下面示例包括各种安装说明及代码 （1）下载chrome对应版本的
3.3K00发布于 2021-07-06 - 来自专栏编程语言的世界
centos Chrome Headless,centos 谷歌无头浏览器
Headless Chrome 是 Chrome 浏览器的无界面形态，可以在不打开浏览器的前提下，使用所有 Chrome 支持的特性运行你的程序,简而言之，除了没有图形界面，headless chrome 具有所有现代浏览器的特性，可以像在其他现代浏览器里一样渲染目标网页，并能进行网页截图，获取cookie，获取html等操作。 2.安装谷歌浏览器 创建谷歌源文件 cd /etc/yum.repos.d/ vi google-chrome.repo [google-chrome]name=google-chrome baseurl PHP_EOL; //关闭浏览器 $driver->quit(); 谷歌驱动和selenium连接唯一不同的就是端口和路由，具体看下composer对应的github库文档说明即可。 需要注意的是谷歌驱动和谷歌浏览器版本都用最新的，版本要对上，驱动参数要正确--headless --disable-gpu --no-sandbox ，还有上面的3600000超时问题设置
2.1K11编辑于 2023-06-20 - 来自专栏python进阶学习
利用无头浏览器爬取JavaScript生成的网页
这时就需要使用无头浏览器来爬取JavaScript生成的网页，以获取所需的数据。 为了解决这个问题，我们可以利用无头浏览器来模拟真实浏览器的行为。无头浏览器是一种没有图形界面的浏览器，它可以模拟用户的浏览行为，并执行JavaScript代码。 通过使用无头浏览器，我们可以让浏览器自动加载并执行JavaScript，从而获取到完整的JavaScript生成的网页内容。 首先，我们需要安装一个无头浏览器，例如Google Chrome的Headless模式或者Mozilla Firefox的Headless模式。 这些无头浏览器可以通过命令行或者编程无语言的接口进行控制。下载浏览器驱动程序：根据您使用的浏览器类型和版本，下载对应的浏览器驱动程序。
1.1K10编辑于 2023-09-07 - 来自专栏爬虫资料
无头浏览器与请求签名技术-Cloudflare防护
本文将分享一个故障场景下的排查与改进方案，讲述如何利用无头浏览器、请求签名技术以及爬虫代理 IP来实现数据采集。 引入无头浏览器（T2）：undefined为了完整地执行页面中的 JavaScript，并获取有效的 Cookie 信息，开始采用 Selenium 等无头浏览器方案。 架构改进方案在当前方案基础上，为提高系统的稳定性和扩展性，建议从以下几个方面进行架构改进：无头浏览器集群化部署：undefined利用 Docker 或 Kubernetes 部署无头浏览器集群，实现并发采集任务的分布式调度 ： 通过 chrome_options.add_argument("--headless") 启用无头模式，以便在后台静默运行浏览器。 未来，通过无头浏览器集群化、代理池管理及签名算法优化，可以不断提升数据采集的效率与成功率，为故障排查及架构改进提供更加成熟的解决方案。
88600编辑于 2025-03-11 - 来自专栏muller的测试分享
Selenium Headless模式：无头浏览器的使用与优势
其中，Selenium的Headless模式，即无头浏览器，为开发者提供了一种更高效、更隐秘的测试方式。本文将探讨Selenium Headless模式的使用方法、优势以及实际应用场景。 Selenium Headless模式是指在执行测试过程中，不打开可视化的浏览器界面，而是在后台以无头（Headless）方式运行。这意味着测试过程对用户是不可见的，所有操作都在后台自动进行。 Selenium支持多种浏览器的Headless模式，包括Chrome、Firefox等。无头模式的优势速度与性能优势由于无需加载可视化界面，Headless模式下的测试速度通常比普通模式更快。 无头模式的使用再使用无头模式之前，我们需要先导入无头模式，使用Selenium的Headless模式非常简单，只需在初始化浏览器对象时添加相应的选项即可。 如下：from selenium import webdriverfrom selenium.webdriver.chrome.options import Options # 导入无头浏览器的包opt
1.8K10编辑于 2024-03-19 - 来自专栏muller的测试分享
Selenium Headless模式：无头浏览器的使用与优势
其中，Selenium的Headless模式，即无头浏览器，为开发者提供了一种更高效、更隐秘的测试方式。本文将探讨Selenium Headless模式的使用方法、优势以及实际应用场景。 Selenium Headless模式是指在执行测试过程中，不打开可视化的浏览器界面，而是在后台以无头（Headless）方式运行。这意味着测试过程对用户是不可见的，所有操作都在后台自动进行。 Selenium支持多种浏览器的Headless模式，包括Chrome、Firefox等。 无头模式的优势 速度与性能优势 由于无需加载可视化界面，Headless模式下的测试速度通常比普通模式更快。 无头模式的使用 再使用无头模式之前，我们需要先导入无头模式，使用Selenium的Headless模式非常简单，只需在初始化浏览器对象时添加相应的选项即可。 如下： from selenium import webdriver from selenium.webdriver.chrome.options import Options # 导入无头浏览器的包
3.4K10编辑于 2024-04-19 - 来自专栏小辰的技术分享
爬虫漫游指南：无头浏览器puppeteer的检测攻防
引言 许多爬虫初学者在接触到无头浏览器的时候都会有一种如获至宝的感觉，仿佛看到了爬虫的终极解决方案。 无头浏览器难道就是爬虫的终点了吗？那必然不是，否则各位爬虫工程师就只值3000块一个月了。 首先，无论多强大多轻便的无头浏览器，在同等配置的机器上，并发永远不可能高过python的一行request请求。 最后，也是最重要的，无头浏览器并不是无敌的，反爬的一方不会乖乖束手就擒，你有张良计，他自然就有过强梯，反爬一方会通过某些方法检测出无头浏览器，然后把这些请求全部处理掉，某些网站你使用无头浏览器甚至无法打开首页 这个属性在有头的chrome中，会返回一堆叫做PluginArray的东西，但在无头浏览器中，它是空的，这个属性的没有值的。
10.9K51发布于 2020-11-24 - 来自专栏爬虫资料
如何用Pyppeteer打造高并发无头浏览器采集方案
以下文章将从行业痛点出发，结合 Pyppeteer 高并发无头浏览器技术，讲解如何在 Python 中打造一个可配置代理的高效采集方案，以采集 Amazon 今日特价商品并分析优惠价格与评分。 此外，单线程抓取速度受限，无法满足海量商品监测需求，亟需高并发、分布式的浏览器级采集方案来绕过限制并提升效率。 二、技术灵感借鉴 Puppeteer 在 Node.js 中的成熟实践，Pyppeteer 作为其 Python 移植版本，可通过 Chrome DevTools 协议实现浏览器自动化，天然支持 headless 结合爬虫代理提供的智能动态代理服务（域名、端口、用户名、密码），我们可在每个浏览器实例或页面上下文中注入独立代理，突破单 IP 限制，并通过模拟真实用户行为，进一步降低被识别风险、。 通过本文所示的 Pyppeteer 高并发无头浏览器采集方案，开发者和数据分析师能够以较低成本、极高效率地获取该电商平台的实时优惠信息，并将其应用于多种商业场景。
59210编辑于 2025-05-12 - 来自专栏全栈测试
Selenium自动化中对无头浏览器的应用
在面试及工作中，常会被问到或要求做Selenium自动化，你在实际的Selenium自动化中使用到过无头浏览器么，今天带小伙伴们一起了解无头浏览器在Selenium自动化中的应用。 ? 一 无头浏览器介绍 1 什么是无头浏览器？ 不显示浏览器UI的情况下运行基于UI的浏览器测试，即不需要用户界面的浏览器。 2 无头浏览器的优点？ 1）无头浏览器比真正的浏览器更快。 2）利用无头浏览器爬网站数据，因为您只是寻找你想要的数据，所以没有必要启动一个完整的浏览器实例，开销越少，返回结果的速度就越快。 3）无头浏览器脚本监视网络应用程序的性能。 3 无头浏览器应用场景？ 2 Chrome无头模式 PhantomJS不再更新，我们当然得拥抱新技术，接下来介绍Chrome无头浏览器的使用。 当然，Firefox无头浏览器也可以实现，因为步骤差不多，在此不再介绍，感兴趣的伙伴们快去动手试试吧。 以上 That‘s all
2.6K20发布于 2021-08-06 无头浏览器技术：Python爬虫如何精准模拟搜索点击
无头浏览器技术概述1.1 什么是无头浏览器？ 无头浏览器是一种没有图形用户界面（GUI）的浏览器，它通过程序控制浏览器内核（如Chromium、Firefox）执行页面加载、JavaScript渲染、表单提交等操作。 由于不渲染可视化界面，无头浏览器在服务器环境下运行更高效。常见的无头浏览器工具：Selenium：经典的浏览器自动化工具，支持多语言（Python、Java等）。 Playwright：微软推出的新一代无头浏览器，支持Chromium、Firefox和WebKit。Puppeteer：Node.js环境的无头浏览器库（本文不涉及）。1.2 为什么选择无头浏览器？ ：启用无头模式，不显示浏览器窗口。
1.2K10编辑于 2025-06-06- 来自专栏爬虫资料
Pyppeteer实战：基于Python的无头浏览器控制新选择
因此，选择 Pyppeteer 作为无头浏览器，利用其真实浏览器环境来模拟人类行为，就显得尤为必要。同时，通过设置代理 IP（本文参考爬虫代理的参数），便于在高频请求时规避封 IP 风险。 # 代理密码 # 构造代理服务器参数，格式为 "域名:端口" proxy_server = f'{proxy_domain}:{proxy_port}' # 启动无头浏览器 ，并指定使用代理 browser = await launch({ 'headless': True, # 无头模式 'args': [ f'- ┌─────────────────────────┐ │ 无头浏览器 │ │ （Pyppeteer） 上层为 Pyppeteer 作为无头浏览器，承担主要的页面渲染与 DOM 操作，下层则分别通过代理设置和 Cookie/User-Agent 保证请求稳定真实，最终目标通过页面评估函数实现数据采集。
79810编辑于 2025-04-09 - 来自专栏python进阶学习
无头浏览器技术：Python爬虫如何精准模拟搜索点击
无头浏览器技术概述 1.1 什么是无头浏览器？ 无头浏览器是一种没有图形用户界面（GUI）的浏览器，它通过程序控制浏览器内核（如Chromium、Firefox）执行页面加载、JavaScript渲染、表单提交等操作。 由于不渲染可视化界面，无头浏览器在服务器环境下运行更高效。 常见的无头浏览器工具： Selenium：经典的浏览器自动化工具，支持多语言（Python、Java等）。 Playwright：微软推出的新一代无头浏览器，支持Chromium、Firefox和WebKit。 Puppeteer：Node.js环境的无头浏览器库（本文不涉及）。 1.2 为什么选择无头浏览器？ 动态内容加载：可执行JavaScript，获取AJAX渲染后的数据。 精准模拟用户行为：支持鼠标点击、键盘输入、滚动等操作。
84110编辑于 2025-06-08 - 来自专栏小徐学爬虫
Kotlin动态代理池+无头浏览器协程化实战
.build() httpGet.config = config 关键增强： 响应异常时自动标记失效代理并切换 集成 Hystrix 实现超时熔断，避免单点故障拖垮爬虫 3、动态 JS 渲染：无头浏览器协程化 Kotlin 爬虫靠协程轻松实现万级并发，比线程更省资源；用动态代理池自动切换 IP，破解反爬封锁；结合无头浏览器抓取动态网页；还能通过DSL封装 简化复杂逻辑。
28610编辑于 2025-08-07 - 来自专栏python进阶学习
利用无头浏览器进行APP提取数据的技术与实践
使用无头浏览器进行APP数据抓取具有以下优势：可以模拟用户行为，获取动态加载的内容。处理可能需要JavaScript渲染的页面。处理可能需要登录或其他身份验证的情况。 案例分享，这里我们以电商APP为例，我们可以使用无头浏览器模拟用户登录、搜索商品、浏览商品详情等操作，获取商品信息、价格、评价等数据，从而进行竞争对手分析和市场研究。 driver.quit()通过使用无头浏览器进行APP抓取数据，我们可以有效地获取APP中的数据，解决了传统爬虫技术无法直接获取APP数据的问题。 无头浏览器可以模拟用户行为，处理动态加载的内容，并通过设置代理信息实现匿名性和稳定性。这为竞争对手分析、市场研究等提供了困境的工具和技术支持。 在实际应用中，我们需要根据具体的需求和场景，灵活运用无头浏览器技术，结合其他技术手段，实现更准确的APP数据抓取。
62330编辑于 2023-08-02 使用无头浏览器Playwright解决Web打印生成PDF的问题
最近在研究一个基于Electron的Web打印项目npm包web-print-pdf，发现它巧妙地使用了Playwright无头浏览器来解决这个问题传统Web打印的痛点1. 功能单一无法批量处理缺乏预览功能打印参数配置有限Playwright的解决方案核心思路使用Playwright无头浏览器来渲染HTML内容，然后生成高质量的PDF文档。 技术架构HTML内容 → Playwright无头浏览器 → PDF生成 → 打印服务关键技术实现1. 高性能处理无头浏览器，资源占用低并发处理能力内存优化管理3. 灵活配置丰富的PDF生成选项支持自定义纸张尺寸精确的页边距控制4. 稳定可靠完善的错误处理自动重试机制资源自动清理总结通过使用Playwright无头浏览器，我们成功解决了Web打印生成PDF的各种技术难题。
91400编辑于 2025-08-08Puppeteer-py：Python 中的无头浏览器自动化
Puppeteer-py 作为一个 Python 库，提供了一种简单而强大的方法来控制无头浏览器，实现网页的自动化操作。 什么是 Puppeteer-pyPuppeteer-py 是 Puppeteer 的 Python 端口，Puppeteer 是一个 Node.js 库，用于控制无头 Chrome 或 Chromium 浏览器。 以下是一些关键特性：●无头浏览器控制：无需打开浏览器界面即可控制浏览器。●生成截图和 PDF：轻松捕获网页的屏幕截图或生成 PDF 文件。●自动化表单提交：自动化填写和提交网页表单。 详细过程如下：4.1 初始化浏览器和页面首先，我们需要初始化一个浏览器实例和一个新的页面4.2 导航到京东接下来，我们将导航到京东的主页：4.3 搜索商品假设我们要搜索“Python 书籍”，我们可以模拟用户在搜索框中输入文本并点击搜索按钮的行为
1.2K10编辑于 2024-08-05- 来自专栏Urlteam
运用phantomjs无头浏览器破解四种反爬虫技术
其二是无头浏览器，使用自动化的技术来进行自动数据抓取，模拟鼠标与键盘事件，可以用于破解验证码，js解析，诡异的模糊数据这类型的反爬虫技术 0 目录： phantomjs原理说明 牛刀小试 破解基础的js 解析能力限制 破解采用nodisplay来随机化网页源码 破解简单的图片文字相互替代 破解拖动验证码 1 phantomjs原理说明： 无头浏览器不是什么闹鬼的东西，他也称为无界面浏览器，他本身是用来做自动化测试的 另外一种则检测是无js处理能力当即就给出拒绝码，这类型就是xici代理的方式，如果你用python直接发送请求，无论是scrapy还是requests，都会返回500错误。 毕竟是真实的浏览器发起的请求。现在还能存在的漏洞就是可以通过一些特性检测识别出你使用的是phantoms浏览器然后阻止，能实现这个的网站也不多。 原创文章，转载请注明： 转载自URl-team 本文链接地址: 运用phantomjs无头浏览器破解四种反爬虫技术 Related posts: 爬虫首尝试—爬取百度贴吧图片 Scrapy-笔记一 入门项目
2.2K31发布于 2019-11-27 - 来自专栏WordPress果酱
什么是无头 WordPress？
今天有人在群里面问什么是无头 WordPress？ 我就在网上找了两张图来解释一下。 首先无头 WordPress 不是真的无头，哈哈，第一张图就是简单搞笑一下，然后为了做封面图。 无头 WordPress 英文名是 Headless WordPress，它来源于 Headless CMS（无头 CMS），类似的概念还有无头浏览器，大家都可以分别搜索一下。 第二张图通过明白什么是无头 WordPress，简单解释一下： 我们平常使用 WordPress 相对于无头 WordPress，就是传统的方式：通过 WordPress 主题模板去渲染前端页面。 而无头 WordPress 简单说就是前后端分离，WordPress 仅仅作为后端使用，然后提供 API 让前端通过各种前端技术去渲染网站，也可以是 APP 和小程序，甚至前端的网站和后端的 WordPress 我的博客「我爱水煮鱼」http://blog.wpjam.com 其实就是一个无头 WordPress，它不是通过 WordPress 主题模板渲染的，而是通过 API 接口来处理的，所以速度非常快。
60620编辑于 2023-04-13 - 来自专栏微言码道
headless cms,无头CMS？
我曾经在中文网站上见有翻译成无头cms，这个就有点无厘头了。我们中文翻译讲究信，达，雅，这种翻译可什么都没达到。
16.3K40发布于 2021-06-21
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号