- 综合排序
- 最热优先
- 最新优先
- 来自专栏python进阶学习
Python爬虫-selenium
对于python爬虫的相关知识之前分享了很多，这回来说说如何利用selenium自动化获取网页信息。通常对于异步加载的网页，我们需要查找网页的真正请求，并且去构造请求参数，最后才能得到真正的请求网址。 而利用selenium通过模拟浏览器操作，则无需去考虑那么多，做到可见即可爬。当然带来便捷的同时，也有着不利，比如说时间上会有所增加，效率降低。可是对于业余爬虫而言，更快的爬取，并不是那么的重要。 首先在电脑的PyCharm上安装selenium，然后下载与电脑上谷歌浏览器相对应版本的ChromeDriver。 这里我们通过添加他们提供的爬虫隧道加强版去爬取，代码实现过程如下所示， from selenium import webdriver import string import zipfile
1.1K30编辑于 2023-05-12 - 来自专栏Golang开发
Python爬虫——Selenium
安装 安装selenium pip3 install selenium 安装chromium 官方下载地址是http://chromedriver.chromium.org/downloads,注意需要和本地安装的 模拟访问页面 from selenium import webdriver browser = webdriver.Chrome() browser.get('http://www.baidu.com 显示等待应该使用selenium.webdriver.support.excepted_conditions期望的条件和selenium.webdriver.support.ui.WebDriverWait from selenium import webdriver from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.common.by import By browser =webdriver.Chrome
1.2K10发布于 2019-05-29 - 来自专栏python、mysql、go知识点积累
爬虫之selenium
目录 xpath选择器 二、css选择器 三、selenium模块的使用 3.1elenium介绍 3.2模块的使用 四、动作链 五、爬取京东商品信息 六、12306自动登录 七、cookie池 八、 三、selenium模块的使用 3.1elenium介绍 selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium 驱动得匹配（浏览器匹配，浏览器版本跟驱动匹配）） -3 写代码 3.2模块的使用 -selenium的使用 1 实例化 bro=webdriver.Chrome(executable_path= import webdriver import time from selenium.webdriver.common.keys import Keys #键盘按键操作 from selenium.webdriver.common.by import By from selenium.webdriver.support.wait import WebDriverWait from selenium.common.exceptions
2.1K20发布于 2020-03-19 - 来自专栏用户6291251的专栏
Python爬虫-selenium
有态度地学习 对于Ajax加载的网页已经分析了好几回，这回来说说利用selenium自动化获取网页信息。 而利用selenium通过模拟浏览器操作，则无需去考虑那么多，做到可见即可爬。 当然带来便捷的同时，也有着不利，比如说时间上会有所增加，效率降低。可是对于业余爬虫而言，更快的爬取，并不是那么的重要。 首先在电脑的PyCharm上安装selenium，然后下载与电脑上谷歌浏览器相对应版本的ChromeDriver。 爬取代码如下： from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.support.ui import WebDriverWait from selenium.common.exceptions import TimeoutException from selenium.webdriver.common.by
1.1K10发布于 2020-10-09 - 来自专栏菲宇
爬虫selenium+chromdriver
、安装selenium+chromdriver.exe 1.安装selenium pip install selenium 2.下载chromdriver.exe放置python安装路径/scripts 基本使用 import time from selenium import webdriver#驱动浏览器 from selenium.webdriver import ActionChains #滑动 from selenium.webdriver.common.by import By #选择器 from selenium.webdriver.common.by import By #按照什么方式查找 ，By.ID,By.CSS_SELECTOR from selenium.webdriver.common.keys import Keys #键盘按键操作 from selenium.webdriver.support ； from selenium import webdriver from selenium.webdriver import ActionChains #鼠标键盘动作链 from selenium.webdriver.common.by
2.9K21发布于 2019-06-11 - 来自专栏生信情报站
Python爬虫之selenium
下载与安装 ---- selenium 安装 pip install selenium chromedriver 下载地址 https://sites.google.com/a/chromium.org dr.quit() 注意: 将chromedriver路径前加 r 防止转义 元素获取 页面中的元素 <input type="text" name="passwd" id="passwd-id" /> 使用selenium WebDriverWait(driver, 10) element = wait.until(EC.element_to_be_clickable((By.ID,'someid'))) # 方法二： from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC driver = webdriver.Chrome
62221发布于 2021-01-13 - 来自专栏python-爬虫
爬虫selenium中截图
一.整个页面截图 driver = webdriver.Chrome() driver.get(url) diver.save_screenshot('保存路径') 二.局部截图 driver = webdriver.Chrome() driver.get(url) #比如获得类名为img的元素截图 #首先要等待他加载出来2秒一次 WebDriverWait(driver, 2,1).until(EC.presence_of_element_located((By.CLASS_NAME, 'img')))
51030发布于 2020-06-19 - 来自专栏全栈程序员必看
python爬虫–selenium模块
文章目录 selenium模块 selenium基本概念 基本使用 代码 基于浏览器自动化的操作代码 代码 selenium处理iframe： 代码 selenium模拟登陆QQ空间 代码 无头浏览器和规避检测 代码 selenium模块 selenium基本概念 selenium优势 便捷的获取网站中动态加载的数据 便捷实现模拟登陆 selenium使用流程： 1.环境安装：pip install selenium 2.下载一个浏览器的驱动程序（谷歌浏览器） 3.实例化一个浏览器对象 基本使用 代码 from selenium import webdriver from lxml 处理iframe： - 如果定位的标签存在于iframe标签之中，则必须使用switch_to.frame(id) - 动作链(拖动) : from selenium. webdriver import filename=jqueryui-api-droppable from selenium import webdriver from time import sleep from selenium.webdriver
94711发布于 2021-04-19 - 来自专栏孤独的S
python-- 爬虫之用Selenium做爬虫
用python做爬虫，除了直接用requests，还可以用Selenium。 Selenium是什么？ --------百度百科 如何使用Selenium？ 首先下载Selenium这个库，pip install selenium。 接着查看Selenium支持的浏览器，这里就使用都会有的chrome谷歌浏览器，如果想要查看能用什么浏览器可以使用下面这些代码，就可以看到支持的浏览器和版本： from selenium import 很明显selenium能获取得到的内容更多 selenium有相应的函数去查找数据， 单个元素的三种不同的方式去获取响应的元素，第一种是通过id的方式，第二个中是CSS选择器，第三种是xpath选择器 不得不说，selenium真便利
1.1K20发布于 2019-09-28 - 来自专栏不仅仅是python
web爬虫-Selenium进阶操作
继续上一节内容，我们将使用Selenium操作谷歌浏览器抓取多页的数据并将结果保存到CSV文件中。 首先我们查看被抓取的网址中一共包含了5页内容： ? 我们修改上一篇文章的代码来实现今天的功能，接下来开始： #导入包 from selenium import webdriver import csv #定义分页总数 MAX_PAGE_NUM = 5 #
84820发布于 2019-07-25 - 来自专栏python3
08 Python爬虫之selenium
二. selenium selenium最初是一个自动化测试工具，而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题selenium本质是通过驱动浏览器，完全模拟浏览器的操作 ，比如跳转、点击、下拉等等，拿到页面渲染之后的结果，并且selenium可以支持多种浏览器。 比如,现在实现一个节点的拖拽操作,将某个节点从一处拖拽到另一个地方,代码如下: 1 from selenium import webdriver 2 from selenium.webdriver 100:90&action=' 7 # 发起请求前，可以让url表示的页面动态加载出更多的数据 8 path = r'C:\Users\Administrator\Desktop\爬虫授课 该函数可以执行一组字符串形式的js代码 23 time.sleep(2) 24 bro.save_screenshot('2.png') 25 time.sleep(2) 26 # 使用爬虫程序爬去当前
1.4K21发布于 2020-01-15 - 来自专栏Lan小站
python爬虫之selenium记录
基础代码： browser = webdriver.Firefox() //选择浏览器 browser.find_element_by_id().send_keys() //寻找控件通过ID，且发送值selenium browser.quit() //退出并关闭窗口的每一个相关的驱动程序 browser.close() //关闭窗口 browser.implicitly_wait(10) //隐式等待 无窗口模式： #selenium :3.12.0 #webdriver:2.38 #chrome.exe: 65.0.3325.181（正式版本） （32 位） from selenium import webdriver from selenium.webdriver.chrome.options import Options chrome_options = Options() chrome_options.add_argument cookies cookies = driver.get_cookies()with open("cookies.txt", "w") as fp: json.dump(cookies, fp) selenium
47811编辑于 2022-07-14 - 来自专栏深度学习|机器学习|歌声合成|语音合成
python爬虫：selenium + webdriver + python
---- title: python爬虫：selenium + webdriver + python tags: 爬虫学习,浏览器驱动,小书匠 grammar_cjkRuby: true 1.selenium 环境搭建 1.1 简介 参考教程地址1.https://selenium-python.readthedocs.io/ 参考教程地址2：http://www.testtao.cn/? p=28 参考教程地址3github：https://github.com/SeleniumHQ/selenium 1.2 google chrome 浏览器插件下载地址 ChromeDriver下载地址
1.2K30发布于 2021-01-14 - 来自专栏诡途的python路
selenium爬虫相关报错解决
原代码和报错信息 #程序代码 from selenium import webdriver chrome_options = webdriver.ChromeOptions() #修改windows.navigator.webdriver ，防机器人识别机制，selenium自动登陆判别机制 chrome_options.add_experimental_option('excludeSwitches', ['enable-automation 大概意思就是此参数是已经弃用的， 原来的参数chrome_options是被新的参数options替换了； 虽然不影响使用，但是看着一片红就是不爽，修改驱动启动传入的参数即可 #修改后代码 from selenium import webdriver chrome_options = webdriver.ChromeOptions() #修改windows.navigator.webdriver，防机器人识别机制，selenium
69942发布于 2020-10-16 - 来自专栏Java啊
Python爬虫之selenium学习
基本概述 selenium可以便捷的获取网站中的动态加在的数据 selenium可以便捷的实现模拟登陆 selenium是基于浏览器自动化的一个模块 使用流程 bash pip install selenium /chromedriver') 案例演示1.： python from selenium import webdriver from lxml import html from time import import webdriver from time import sleep from selenium.webdriver.common.by import By from selenium.webdriver import webdriver from time import sleep from selenium.webdriver.common.by import By from selenium.webdriver from selenium.webdriver.chrome.service import Service # 规避selenium检测 from selenium.webdriver import
58221编辑于 2022-12-26 - 来自专栏python全栈教程专栏
爬虫学习（17）：selenium学习
川川已经很久没发文章了，为了锻炼出八块腹肌也是忍了，不说废话了，学了下selenium，我再发布总结下，还有如何用selenium制作一个自动填体温，emm…没办法，我学校天天都叫我们填体温，上午一次下午一次 ，有问题也可以群里找我，免费免费，都是学生，大家互助，评论的话我很少看，基本回不了大家问题： QQ群： 970353786 代码我就不演示了哈，自己运行试试就知道了 （一）：元素定位 from selenium ")#找到输入框，输入selenium # driver.find_element_by_id("su").click()#找到‘百度一下’，点击进行搜索 # # driver.quit() # from selenium import webdriver # from time import sleep # driver = webdriver.Chrome() # driver.get("https ')#输入内容 # search_text.submit()#submit相当于回车，跟click差不多 # sleep(5)#5秒后关闭 # driver.quit() # from selenium
56420发布于 2021-10-18 - 来自专栏爱编码
【爬虫】python+selenium+tesseract
简介 最近工作中的爬虫小知识，主要是python+selenium自动化截图以及tesseract的验证码自动校验（其实tesseract的正确率很差）。 2.安装selenium，可用命令安装：pip install selenium 3.安装pytesseract，同样：pip install pytesseract 4.安装chromedriver.exe python+selenium 基本操作 下面的代码步骤 python+selenium 启动浏览器， 然后输入网址百度地图的https://map.baidu.com/ ，并将浏览器最大化 接着就是在搜索框中输入关键词 # -*- coding:utf-8 -*-from selenium import webdriverfrom time import sleepimport time ### 这是你上一步的chromedriver.exe # coding:utf-8from selenium import webdriverfrom time import sleepimport unittestfrom PIL import Imagefrom
97130发布于 2019-07-12 - 来自专栏Python 知识大全
Python Selenium的使用（爬虫）
2 Selenium的介绍 Selenium是一个自动化测试工具，利用它可以驱动浏览器执行特定的动作，如点击，下拉，等操作。 安装：pip install selenium Selenium支持非常多的浏览器，如Chrome、Firefox、Edge等，还支持无界面浏览器PhantomJS。 的使用 ① 初次体验：模拟谷歌浏览器访问百度首页，并输入python关键字搜索 from selenium import webdriver from selenium.webdriver.common.by #driver.close() ⑧ 获取节点信息： from selenium import webdriver from selenium.webdriver import ActionChains import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support import
4.2K10发布于 2020-02-13 - 来自专栏智能制造社区
Python 爬虫利器 Selenium 介绍
还记得前几节，我们在构造请求时会给请求加上浏览器 headers,目的就是为了让我们的请求模拟浏览器的行为，防止被网站的反爬虫策略限制。 今天要介绍的 Selenium 是一款强大的工具，它可以控制我们的浏览器，这样一来程序的行为就和人类完全一样了。 通过使用 Selenium 可以解决几个问题： 页面内容是由 JavaScript 动态生成，通过 requests 请求页面无法获取内容。 爬虫程序被反爬虫策略限制 让程序的行为和人一样 安装 pip install selenium 安装浏览器驱动 驱动下载地址https://sites.google.com/a/chromium.org 具体可以看官方文档，这里贴一下地址 https://selenium-python-zh.readthedocs.io/en/latest/index.html
81910发布于 2019-12-30 - 来自专栏Python使用工具
爬虫使用Selenium生成Cookie
爬虫使用Selenium生成Cookie在爬虫的世界中，有时候我们需要模拟登录来获取特定网站的数据，而使用Selenium登录并生成Cookie是一种常见且有效的方法。 本文将为你介绍如何使用Selenium进行登录，并生成Cookie以便后续的爬取操作。让我们一起探索吧！一、Selenium简介1. 定义：Selenium是一套自动化测试工具，可以模拟用户在浏览器中的操作。2. 安装：使用pip命令安装Selenium库（pip install selenium），并下载相应浏览器驱动。 隐私和法律问题：在使用Selenium进行登录和爬取时，务必遵守相关网站的爬虫政策，并确保不侵犯他人的隐私和法律规定。2. 希望本文对你的爬虫学习之旅有所帮助。如果你有任何问题或需要进一步了解，欢迎评论区随时与我交流。愿你在爬虫的世界里不断探索，收获丰富的数据。
1.1K30编辑于 2023-09-20
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号