- 综合排序
- 最热优先
- 最新优先
- 来自专栏布衣者博客
LeetCode-题库(8-9)
给你两个字符串 word1 和 word2 。请你从 word1 开始，通过交替添加字母来合并字符串。如果一个字符串比另一个字符串长，就将多出来的字母追加到合并后字符串的末尾。 返回 合并后的字符串 。
42620编辑于 2022-10-31 - 来自专栏北山啦的博客
Selenium自动化爬虫
Python爬虫入门之 Selenium自动化爬虫 Selenium官方文档 1. Selenium的安装配置 pip install selenium selenium配置 2. self.browser.get(self.url) self.browser.find_element_by_xpath('//*[@id="key"]').send_keys('爬虫书籍 self.browser.get(self.url) self.browser.find_element_by_xpath('//*[@id="key"]').send_keys('爬虫书籍 option.add_experimental_option('excludeSwitches', ['enable-automation']) browser = webdriver.Chrome(options=option) # 关闭自动化扩展信息 option.add_experimental_option('excludeSwitches', ['enable-automation']) browser = webdriver.Chrome(options=option) # 关闭自动化扩展信息
1.8K30编辑于 2022-11-27 - 来自专栏AI机器学习与深度学习算法
机器学习入门 8-9 lasso
本系列是《玩转机器学习教程》一个整理的视频笔记。本小节介绍模型正则化的另外一种方式LASSO，依然通过具体的编程实现LASSO，并对α取值与过拟合（拟合曲线）之间的关系进行探讨，进而对LASSO与Ridge进行比较。
1.5K20发布于 2020-01-14 - 来自专栏中间件的探究
python自动化爬虫实战
python自动化爬虫实战 偶然的一次机会再次用到爬虫，借此机会记录一下爬虫的学习经历，方便后续复用。 需求：爬取网站数据并存入的csv文件中，总体分为两步 爬取网站数据 存到到csv文件中 1、配置爬虫环境 1.1、下载自动化测试驱动 由于需要实现模拟手动点击浏览器的效果，因此笔者使用到了chromedriver.exe 自动化驱动文件。 1.2、下载需要的库文件 笔者这里用到了：request、 selenium、 beautifulsoup4 在Setting中的Project项目下载对应的库文件 2、编写代码 以上爬虫环境配置完成后 爬虫的基本逻辑： 配置谷歌浏览器的驱动文件和自动化测试文件 创建保存爬取数据的字典和设置读取的起始页码和结束页码 判断是否有下一页并进行等待，如果没有下一页则直接退出 解析读取到的页面信息 保存到csv
78130编辑于 2023-05-11 - 来自专栏社区的朋友们
爬虫实战：爬虫之 web 自动化终极杀手 ( 上）
作者：陈象 9/14/2017 11:43:07 PM 导语： 最近写了好几个简单的爬虫，踩了好几个深坑，在这里总结一下，给大家在编写爬虫时候能给点思路。本次爬虫内容有：静态页面的爬取。 web自动化终极爬虫。 解决方案： 通过使用web自动化获取数据。 方案2： 更换浏览器，本次选择使用chrome浏览器进行自动化操作。 安装chrome自动化控制插件。 下载ChromeDriver插件。 接《爬虫实战 : 爬虫之 web 自动化终极杀手（下）》
5.7K10发布于 2017-09-19 - 来自专栏社区的朋友们
爬虫实战 : 爬虫之 web 自动化终极杀手（下）
作者：陈象 接《 爬虫实战：爬虫之 web 自动化终极杀手 ( 上）》 再理一下方案步骤： 模拟用户登录 进入个人播放页 获取cookies 获取token cookie,并将其添加到headers 我们利用浏览器自动化进行操作的时候效率很低，相比于调用接口的方法获取数据慢很多，并且在对数据进行解析的时候会比较麻烦，到这里我准备使用第二个方案再次进行完成这个需求。不多说动手吧。 def search_spotify_song(song_name): ''' 使用自动化工具获取网页数据 :param 在本次爬虫编写中，主要遇到的问题是在网易云音乐url加密解析的理解和破解能力。在上文贴出的代码可能有运行不成功的可能，这是从项目提取出来的相关代码。 如有错误请多多指教！ selenium库：可以模拟真实浏览器，自动化测试工具，支持多种浏览器，爬虫中主要用来解决JavaScript渲染问题。
4.8K10发布于 2017-09-20 - 来自专栏python3
web自动化爬虫selenium ce
wget https://dl.google.com/linux/d... --no-check-certificate
80020发布于 2020-01-02 爬虫策略规避：Python爬虫的浏览器自动化
网络爬虫作为一种自动化获取网页数据的技术，被广泛应用于数据挖掘、市场分析、竞争情报等领域。然而，随着反爬虫技术的不断进步，简单的爬虫程序往往难以突破网站的反爬虫策略。 因此，采用更高级的爬虫策略，如浏览器自动化，成为了爬虫开发者的必然选择。浏览器自动化概述浏览器自动化是指通过编程方式控制浏览器执行一系列操作的技术。 在爬虫领域，浏览器自动化可以帮助我们模拟真实用户的行为，从而规避一些简单的反爬虫检测。Python作为一门强大的编程语言，拥有多个库可以实现浏览器自动化，如Selenium、Pyppeteer等。 异常处理：使用try-except结构处理页面结构变化导致的异常，确保爬虫的健壮性。总结通过使用Selenium进行浏览器自动化，我们可以有效地规避一些简单的反爬虫策略，提高爬虫的抓取成功率。 然而，随着反爬虫技术的不断进步，单一的浏览器自动化技术可能难以应对所有挑战。因此，在实际应用中，我们需要结合多种技术，如IP代理、请求头伪装、行为分析等，来构建更加强大和稳健的爬虫系统。
93710编辑于 2024-11-08- 来自专栏趣谈前端
前端进阶第8-9周打卡题目汇总
前端基础打卡已经基本结束了,内容从css基础,动画,js基本算法,作用域,闭包,节流防抖这些基本的web知识大家有没有都掌握了呢?年后会出一个进阶路线规划图,希望笔者可以带着大家,一起进步,一起成长.
93040发布于 2020-02-12 - 来自专栏小徐学爬虫
PowerShell部署Windows爬虫自动化方案
在Windows系统中使用PowerShell部署爬虫自动化，通常涉及以下几个步骤：比如说安装必要的软（如Python、Chrome浏览器、ChromeDriver等），同时还要创建爬虫脚本（假设使用Python 编写）最后一步设置计划任务（Task Scheduler）定期运行爬虫。 那么在Windows系统中使用PowerShell部署爬虫自动化，如何对环境配置、脚本开发、任务调度和监控管理四个核心环节进行部署。 target-class").text with open("output.txt", "w") as f: f.write(data)finally: driver.quit()3、自动化调度 结合我上面的程序，大家就可实现稳定高效的Windows爬虫自动化系统，适合数据采集、监控等场景。这样是不是觉得很有趣？不防跟着我一起尝试下看看。
53610编辑于 2025-08-06 - 来自专栏python3
Python自动化开发学习-爬虫3
爬取多个网页 讲师的博客：https://www.cnblogs.com/wupeiqi/p/6229292.html 在编写爬虫时，性能的消耗主要在IO请求中，当单进程单线程模式下请求URL时必然会引起等待
92610发布于 2020-01-06 - 来自专栏历史专栏
【愚公系列】2021年12月 python爬虫自动化-爬虫环境搭建
爬虫爬取 二、爬虫所需要的库： 1. urllib 标准库，无需安装，直接 import 使用 2. requests 库，需要安装 3. selenium 库，需要安装 4. phantomJS ，官网下载 爬虫爬取 二、爬虫所需要的库： 1. urllib 标准库，无需安装，直接 import 使用 2. requests 库，需要安装 pip install requests 3. selenium 库
42030编辑于 2021-12-20 - 来自专栏FunTester
基于爬虫的测试自动化经验分享
之前很难区分自动化测试和测试自动化之间的区别，一直傻傻分不清楚，最近在工作实践中，突然对测试自动化有了深入的理解。 个人理解：自动化测试侧重于测试，是一种测试技术。 测试自动化侧重于自动化，是一种测试工作方式或者思路。 下面分享一下我的测试自动化一段经历，抛砖引玉，欢迎一起交流。 测试自动化 通过痛点的整理归类，原因就是两只眼睛盯不住那些监控。所以想到一个解决思路：通过爬虫解决监控问题，结合机器人通知及时预警。 成果 极大减少了监控占用的精力，避免了遗漏 发现了几个线上服务的BUG 某几次服务异常，提前1 ~ 2分钟发出预警 报警文案增加小组标识，极大提升了存在感 做完这些总结突然发现如果把测试自动化和办公自动化放在一起
40920编辑于 2022-04-01 - 来自专栏AI SPPECH
IO竞赛2025年题目解析：高级难度（8-9）
2025年的高级难度（难度系数8-9）题目综合考察了选手的算法设计、数学建模、问题分析和代码实现能力。本文将深入解析2025年高级难度的IO竞赛题目，帮助选手们突破极限，冲击更高的竞赛成绩。 难度进阶路径: 入门(1-3) → 基础(4-5) → 中级(6-7) → 高级(8-9) → 专家(10) 难度系数 考察重点 核心知识点 学习目标 8-9 算法设计、数学建模、问题分析 高级图论、高级动态规划 （8题） ├── 第四章：高级难度题目解题策略 └── 第五章：顶尖选手的训练方法 第一章：2025年IO竞赛高级难度题目概述 根据2025年NOI修订版大纲，高级难度（NOI级别）的知识点难度系数为8-
42710编辑于 2025-11-13 自动化Reddit图片收集：Python爬虫技巧
对于数据科学家、市场研究人员或任何需要大量图片资源的人来说，自动化地从Reddit收集图片是一个极具价值的技能。 本文将详细介绍如何使用Python编程语言，结合requests和BeautifulSoup库，来构建一个自动化Reddit图片收集的爬虫。环境准备在开始之前，确保你的开发环境中已安装Python。 可以通过pip命令安装这些库：pip install requests beautifulsoup4爬虫设计爬虫的主要任务是发送网络请求，获取Reddit热门图片的链接，并解析这些链接以下载图片。 整合爬虫将所有步骤整合到一个函数中，并调用它。 多线程或异步请求：提高爬虫的下载速度。
72010编辑于 2024-06-04- 来自专栏Python爬虫逆向教程
Python爬虫之自动化测试Selenium#7
爬虫专栏：http://t.csdnimg.cn/WfCSx 前言 在前一章中，我们了解了 Ajax 的分析和抓取方式，这其实也是 JavaScript 动态渲染的页面的一种情形，通过直接分析 Ajax Selenium 的使用 Selenium 是一个自动化测试工具，利用它可以驱动浏览器执行特定的动作，如点击、下拉等操作，同时还可以获取浏览器当前呈现的页面的源代码，做到可见即可爬。 另外，还需要正确安装好 Python 的 Selenium 库，详细的安装和配置过程可以参考Python爬虫请求库安装#1-CSDN博客 2.
3K11编辑于 2024-02-17 - 来自专栏爬虫0126
Python爬虫实战：自动化数据采集与分析
Python作为一门广泛应用的编程语言，拥有丰富的爬虫库，使得我们能够轻松实现自动化数据采集与分析。本文将通过一个简单的示例，带您了解如何使用Python进行爬虫实战。 例如，计算各个产品的平均价格和评分： 通过本文的示例，我们了解了如何使用Python进行爬虫实战，实现自动化数据采集与分析。当然，实际应用中可能会遇到更复杂的情况，例如反爬虫策略、动态加载等。 但是，通过不断学习和实践，您将能够应对各种挑战，成为一名优秀的爬虫工程师。 希望本文能为您提供有价值的信息！如果您有任何疑问或需要进一步的帮助，欢迎评论区留言。
58930编辑于 2023-08-29 - 来自专栏凹凸玩数据
Python爬虫自动化，帮小姐姐解放双手
花几分钟写了个爬虫小程序，帮助小姐姐解放了双手，成功表现了一波，学姐一阵夸奖，还请我喝了一杯美式咖啡，美滋滋。 ? 分析问题 ? 共有 2740 条学校名称数据 在百度百科中搜索清华大学看看 ? ? 经过分析可以发现，网页结构简单，可以通过构造URL请求，获取网页源码，然后从中提取我们想要的数据即可 爬虫代码 当当当，下面该我们的爬虫上场了 ?
58610发布于 2021-01-21 - 来自专栏小徐学爬虫
Python使用Mechanize库完成自动化爬虫程序
Mechanize是一个Python第三方库，它可以模拟浏览器的行为，实现自动化的网页访问、表单填写、提交等操作。 下面是一个使用Mechanize库编写的爬虫的例子，它可以爬取百度搜索结果页面的标题和链接：import mechanizefrom bs4 import BeautifulSoup# 创建一个Browser = result.find('a').text link = result.find('a')['href'] print(title, link)以下是一个使用Mechanize库编写的爬虫程序 ，该爬虫使用Ruby来爬取目标网站上的图像，代码必须使用以下代码：proxy_host：www.duoip.cn，proxy_port：8000。 然后，它使用爬虫ip对象访问目标网站目标网站。接着，它使用页面搜索方法获取页面中的所有图像链接，并遍历这些链接，下载图像到本地。注意，这个程序只下载图像，而不下载其他类型的文件。
97350编辑于 2023-11-14 - 来自专栏Python进阶之路
Python爬虫自动化 帮小姐姐解放双手
花几分钟写了个爬虫小程序，帮助小姐姐解放了双手，成功表现了一波，得到了学姐的夸奖，学姐还请我一起喝了 11 月的第一杯奶茶，美滋滋。 [9paodclkq7.png] 经过分析发现，网页结构简单，可以通过构造URL来请求，获取网页源码，然后从中提取出我们想要的数据即可 三、爬虫代码 当当当，下面该我们的爬虫上场了 导入需要用到的库 import
79220发布于 2020-11-24
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号