首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏后端开发从入门到入魔

    7-2 寻找大富翁

    7-2 寻找大富翁 分数 25 全屏浏览题目 切换布局 作者 陈越 单位 浙江大学 胡润研究院的调查显示,截至2017年底,中国个人资产超过1亿元的高净值人群达15万人。

    36310编辑于 2024-03-01
  • 来自专栏北山啦的博客

    Selenium自动化爬虫

    Python爬虫入门之 Selenium自动化爬虫 Selenium官方文档 1. Selenium的安装配置 pip install selenium selenium配置 2. self.browser.get(self.url) self.browser.find_element_by_xpath('//*[@id="key"]').send_keys('爬虫书籍 self.browser.get(self.url) self.browser.find_element_by_xpath('//*[@id="key"]').send_keys('爬虫书籍 option.add_experimental_option('excludeSwitches', ['enable-automation']) browser = webdriver.Chrome(options=option) # 关闭自动化扩展信息 option.add_experimental_option('excludeSwitches', ['enable-automation']) browser = webdriver.Chrome(options=option) # 关闭自动化扩展信息

    1.8K30编辑于 2022-11-27
  • 来自专栏算法与数据结构

    PTA 7-2 符号配对(20 分)

    7-2 符号配对(20 分) 请编写程序检查C语言源程序中下列符号是否配对:/*与*/、(与)、[与]、{与}。 输入格式: 输入为一个C语言源程序。

    6.2K71发布于 2017-12-29
  • 来自专栏中间件的探究

    python自动化爬虫实战

    python自动化爬虫实战 偶然的一次机会再次用到爬虫,借此机会记录一下爬虫的学习经历,方便后续复用。 需求:爬取网站数据并存入的csv文件中,总体分为两步 爬取网站数据 存到到csv文件中 1、配置爬虫环境 1.1、下载自动化测试驱动 由于需要实现模拟手动点击浏览器的效果,因此笔者使用到了chromedriver.exe 自动化驱动文件。 1.2、下载需要的库文件 笔者这里用到了:request、 selenium、 beautifulsoup4 在Setting中的Project项目下载对应的库文件 2、编写代码 以上爬虫环境配置完成后 爬虫的基本逻辑: 配置谷歌浏览器的驱动文件和自动化测试文件 创建保存爬取数据的字典和设置读取的起始页码和结束页码 判断是否有下一页并进行等待,如果没有下一页则直接退出 解析读取到的页面信息 保存到csv

    78130编辑于 2023-05-11
  • 来自专栏刷题笔记

    7-2 树种统计 (20 分)

    本文链接:https://blog.csdn.net/shiliang97/article/details/102924532 7-2 树种统计 (20 分) 随着卫星成像技术的应用,自然资源研究机构可以识别每一棵树的种类

    1.2K10发布于 2019-11-07
  • 来自专栏刷题笔记

    7-2 到底有多二

    本文链接:https://blog.csdn.net/shiliang97/article/details/96301355 7-2 到底有多二 一个整数“犯二的程度”定义为该数字中包含2的个数与其位数的比值

    86730发布于 2019-11-08
  • 来自专栏freesan44

    PTA 7-2 找奇葩 (20 分)

    在一个长度为 n 的正整数序列中,所有的奇数都出现了偶数次,只有一个奇葩奇数出现了奇数次。你的任务就是找出这个奇葩。

    40820发布于 2021-09-10
  • 来自专栏社区的朋友们

    爬虫实战:爬虫之 web 自动化终极杀手 ( 上)

    作者:陈象 9/14/2017 11:43:07 PM 导语: 最近写了好几个简单的爬虫,踩了好几个深坑,在这里总结一下,给大家在编写爬虫时候能给点思路。本次爬虫内容有:静态页面的爬取。 web自动化终极爬虫。 解决方案: 通过使用web自动化获取数据。 方案2: 更换浏览器,本次选择使用chrome浏览器进行自动化操作。 安装chrome自动化控制插件。 下载ChromeDriver插件。 接《爬虫实战 : 爬虫之 web 自动化终极杀手(下)》

    5.7K10发布于 2017-09-19
  • 来自专栏社区的朋友们

    爬虫实战 : 爬虫之 web 自动化终极杀手(下)

    作者:陈象 接《 爬虫实战:爬虫之 web 自动化终极杀手 ( 上)》 再理一下方案步骤: 模拟用户登录 进入个人播放页 获取cookies 获取token cookie,并将其添加到headers 我们利用浏览器自动化进行操作的时候效率很低,相比于调用接口的方法获取数据慢很多,并且在对数据进行解析的时候会比较麻烦,到这里我准备使用第二个方案再次进行完成这个需求。不多说动手吧。 def search_spotify_song(song_name): ''' 使用自动化工具获取网页数据 :param 在本次爬虫编写中,主要遇到的问题是在网易云音乐url加密解析的理解和破解能力。在上文贴出的代码可能有运行不成功的可能,这是从项目提取出来的相关代码。 如有错误请多多指教! selenium库:可以模拟真实浏览器,自动化测试工具,支持多种浏览器,爬虫中主要用来解决JavaScript渲染问题。

    4.8K10发布于 2017-09-20
  • 来自专栏python3

    web自动化爬虫selenium ce

    wget https://dl.google.com/linux/d... --no-check-certificate

    80020发布于 2020-01-02
  • PTA 7-2 方阵循环右移

    15810编辑于 2025-12-16
  • 来自专栏freesan44

    PTA 7-2 数字之王 (20 分)

    的每个数的各位数的立方相乘,再将结果的各位数求和,得到一批新的数字,再对这批新的数字重复上述操作,直到所有数字都是 1 位数为止。这时哪个数字最多,哪个就是“数字之王”。

    37720编辑于 2021-12-06
  • 爬虫策略规避:Python爬虫的浏览器自动化

    网络爬虫作为一种自动化获取网页数据的技术,被广泛应用于数据挖掘、市场分析、竞争情报等领域。然而,随着反爬虫技术的不断进步,简单的爬虫程序往往难以突破网站的反爬虫策略。 因此,采用更高级的爬虫策略,如浏览器自动化,成为了爬虫开发者的必然选择。浏览器自动化概述浏览器自动化是指通过编程方式控制浏览器执行一系列操作的技术。 在爬虫领域,浏览器自动化可以帮助我们模拟真实用户的行为,从而规避一些简单的反爬虫检测。Python作为一门强大的编程语言,拥有多个库可以实现浏览器自动化,如Selenium、Pyppeteer等。 异常处理:使用try-except结构处理页面结构变化导致的异常,确保爬虫的健壮性。总结通过使用Selenium进行浏览器自动化,我们可以有效地规避一些简单的反爬虫策略,提高爬虫的抓取成功率。 然而,随着反爬虫技术的不断进步,单一的浏览器自动化技术可能难以应对所有挑战。因此,在实际应用中,我们需要结合多种技术,如IP代理、请求头伪装、行为分析等,来构建更加强大和稳健的爬虫系统。

    93710编辑于 2024-11-08
  • 来自专栏小徐学爬虫

    PowerShell部署Windows爬虫自动化方案

    在Windows系统中使用PowerShell部署爬虫自动化,通常涉及以下几个步骤:比如说安装必要的软(如Python、Chrome浏览器、ChromeDriver等),同时还要创建爬虫脚本(假设使用Python 编写)最后一步设置计划任务(Task Scheduler)定期运行爬虫。 那么在Windows系统中使用PowerShell部署爬虫自动化,如何对环境配置、脚本开发、任务调度和监控管理四个核心环节进行部署。 target-class").text with open("output.txt", "w") as f: f.write(data)finally: driver.quit()3、自动化调度 结合我上面的程序,大家就可实现稳定高效的Windows爬虫自动化系统,适合数据采集、监控等场景。这样是不是觉得很有趣?不防跟着我一起尝试下看看。

    53610编辑于 2025-08-06
  • 来自专栏python3

    Python自动化开发学习-爬虫3

    爬取多个网页 讲师的博客:https://www.cnblogs.com/wupeiqi/p/6229292.html 在编写爬虫时,性能的消耗主要在IO请求中,当单进程单线程模式下请求URL时必然会引起等待

    92610发布于 2020-01-06
  • 来自专栏算法与数据结构

    PTA 7-2 列车调度(25 分)

    7-2 列车调度(25 分) 火车站的列车调度铁轨的结构如下图所示。 两端分别是一条入口(Entrance)轨道和一条出口(Exit)轨道,它们之间有N条平行的轨道。

    2.7K90发布于 2017-12-29
  • 来自专栏数据结构和算法

    7-2 歌唱比赛计分 (15分)

    7-2 歌唱比赛计分 (15分) 设有10名歌手(编号为1-10)参加歌咏比赛,另有6名评委打分,每位歌手的得分从键盘输入,计算出每位歌手的最终得分(扣除一个最高分和一个最低分后的平均分),最后按最终得分由高到低的顺序输出每位歌手的编号及最终得分

    38610编辑于 2023-11-30
  • 来自专栏刷题笔记

    7-2 冒泡法排序 (30分)

    7-2 冒泡法排序 (30分) 将N个整数按从小到大排序的冒泡排序法是这样工作的:从头到尾比较相邻两个元素,如果前面的元素大于其紧随的后面元素,则交换它们。

    1.3K10发布于 2020-06-23
  • 来自专栏刷题笔记

    7-2 冒泡法排序 (30分)

    将N个整数按从小到大排序的冒泡排序法是这样工作的:从头到尾比较相邻两个元素,如果前面的元素大于其紧随的后面元素,则交换它们。通过一遍扫描,则最后一个元素必定是最大的元素。然后用同样的方法对前N−1个元素进行第二遍扫描。依此类推,最后只需处理两个元素,就完成了对N个数的排序。

    1.2K10发布于 2020-06-23
  • 来自专栏freesan44

    PTA 7-2 找奇葩 (20 分)

    在一个长度为 n 的正整数序列中,所有的奇数都出现了偶数次,只有一个奇葩奇数出现了奇数次。你的任务就是找出这个奇葩。

    32910编辑于 2021-12-06
领券