- 综合排序
- 最热优先
- 最新优先
- 来自专栏python3
python3爬虫-通过selenium
from selenium import webdriver from selenium.common.exceptions import NoSuchElementException from selenium.webdriver.common.keys import Keys from selenium.webdriver.common.by import By from selenium.webdriver.support.wait import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.chrome.options import Options from selenium.webdriver import ActionChains import time import json import os LG_URL_Login webdriver.Chrome(options=options) self.browser.maximize_window() self.browser.implicitly_wait(3)
73220发布于 2020-01-16 - 来自专栏Golang开发
Python爬虫——Selenium
安装 安装selenium pip3 install selenium 安装chromium 官方下载地址是http://chromedriver.chromium.org/downloads,注意需要和本地安装的 mv chromedriver /usr/local/bin 验证chromium安装是否正确 $ chromedriver Starting ChromeDriver 2.42.591059 (a3d9684d10d61aa0c45f6723b327283be1ebaad8 https://www.jd.com/') input = browser.find_element_by_id('key') input.send_keys('iphone') time.sleep(3) 显示等待应该使用selenium.webdriver.support.excepted_conditions期望的条件和selenium.webdriver.support.ui.WebDriverWait from selenium import webdriver from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support
1.2K10发布于 2019-05-29 - 来自专栏python进阶学习
Python爬虫-selenium
对于python爬虫的相关知识之前分享了很多，这回来说说如何利用selenium自动化获取网页信息。通常对于异步加载的网页，我们需要查找网页的真正请求，并且去构造请求参数，最后才能得到真正的请求网址。 而利用selenium通过模拟浏览器操作，则无需去考虑那么多，做到可见即可爬。当然带来便捷的同时，也有着不利，比如说时间上会有所增加，效率降低。可是对于业余爬虫而言，更快的爬取，并不是那么的重要。 首先在电脑的PyCharm上安装selenium，然后下载与电脑上谷歌浏览器相对应版本的ChromeDriver。 这里我们通过添加他们提供的爬虫隧道加强版去爬取，代码实现过程如下所示， from selenium import webdriver import string import zipfile
1.2K30编辑于 2023-05-12 - 来自专栏python、mysql、go知识点积累
爬虫之selenium
2.1K20发布于 2020-03-19 - 来自专栏用户6291251的专栏
Python爬虫-selenium
而利用selenium通过模拟浏览器操作，则无需去考虑那么多，做到可见即可爬。 当然带来便捷的同时，也有着不利，比如说时间上会有所增加，效率降低。可是对于业余爬虫而言，更快的爬取，并不是那么的重要。 爬取代码如下： from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.support.ui import WebDriverWait from selenium.common.exceptions import TimeoutException from selenium.webdriver.common.by 但是官网一般快递比较慢，需要个3-5天，而京东可能只需1-2天，所以京东算是我购买的最优选择。 一般的笔记本参数如下： CPU：酷睿系列i3、i5、i7，标压M与低压U 硬盘：500G、1T、2T 显卡：AMD，NVIDIA 内存：4G，8G
1.1K10发布于 2020-10-09 - 来自专栏生信情报站
Python爬虫之selenium
下载与安装 ---- selenium 安装 pip install selenium chromedriver 下载地址 https://sites.google.com/a/chromium.org dr.quit() 注意: 将chromedriver路径前加 r 防止转义 元素获取 页面中的元素 <input type="text" name="passwd" id="passwd-id" /> 使用selenium WebDriverWait(driver, 10) element = wait.until(EC.element_to_be_clickable((By.ID,'someid'))) # 方法二： from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC driver = webdriver.Chrome
62921发布于 2021-01-13 - 来自专栏菲宇
爬虫selenium+chromdriver
mirrors/chromedriver/2.29/ 最新的版本去官网找:https://sites.google.com/a/chromium.org/chromedriver/downloads 3. browser.find_element_by_name("wd").send_keys("Linux") browser.find_element(By.NAME,'wd').send_keys("美女") 3. browser.find_element_by_partial_link_text("闻").click() finally: browser.find_element_by_id("su").click() time.time(3) www.cnblogs.com/sss4/') browser.find_element_by_partial_link_text( 'PythonWEB框架之Flask').click() time.sleep(3) browser.back() #后退 time.sleep(3) browser.forward() #前进 time.sleep(5) browser.close() 3.cokies相关 import
2.9K21发布于 2019-06-11 - 来自专栏python-爬虫
爬虫selenium中截图
一.整个页面截图 driver = webdriver.Chrome() driver.get(url) diver.save_screenshot('保存路径') 二.局部截图 driver = webdriver.Chrome() driver.get(url) #比如获得类名为img的元素截图 #首先要等待他加载出来2秒一次 WebDriverWait(driver, 2,1).until(EC.presence_of_element_located((By.CLASS_NAME, 'img')))
51330发布于 2020-06-19 - 来自专栏全栈程序员必看
python爬虫–selenium模块
文章目录 selenium模块 selenium基本概念 基本使用 代码 基于浏览器自动化的操作代码 代码 selenium处理iframe： 代码 selenium模拟登陆QQ空间 代码 无头浏览器和规避检测 代码 selenium模块 selenium基本概念 selenium优势 便捷的获取网站中动态加载的数据 便捷实现模拟登陆 selenium使用流程： 1.环境安装：pip install selenium 2.下载一个浏览器的驱动程序（谷歌浏览器） 3.实例化一个浏览器对象 基本使用 代码 from selenium import webdriver from lxml 处理iframe： - 如果定位的标签存在于iframe标签之中，则必须使用switch_to.frame(id) - 动作链(拖动) : from selenium. webdriver import filename=jqueryui-api-droppable from selenium import webdriver from time import sleep from selenium.webdriver
95211发布于 2021-04-19 - 来自专栏孤独的S
python-- 爬虫之用Selenium做爬虫
用python做爬虫，除了直接用requests，还可以用Selenium。 Selenium是什么？ --------百度百科 如何使用Selenium？ 首先下载Selenium这个库，pip install selenium。 接着查看Selenium支持的浏览器，这里就使用都会有的chrome谷歌浏览器，如果想要查看能用什么浏览器可以使用下面这些代码，就可以看到支持的浏览器和版本： from selenium import 很明显selenium能获取得到的内容更多 selenium有相应的函数去查找数据， 单个元素的三种不同的方式去获取响应的元素，第一种是通过id的方式，第二个中是CSS选择器，第三种是xpath选择器 不得不说，selenium真便利
1.1K20发布于 2019-09-28 - 来自专栏Lan小站
python爬虫之selenium记录
基础代码： browser = webdriver.Firefox() //选择浏览器 browser.find_element_by_id().send_keys() //寻找控件通过ID，且发送值selenium browser.quit() //退出并关闭窗口的每一个相关的驱动程序 browser.close() //关闭窗口 browser.implicitly_wait(10) //隐式等待 无窗口模式： #selenium :3.12.0 #webdriver:2.38 #chrome.exe: 65.0.3325.181（正式版本） （32 位） from selenium import webdriver from selenium.webdriver.chrome.options import Options chrome_options = Options() chrome_options.add_argument cookies cookies = driver.get_cookies()with open("cookies.txt", "w") as fp: json.dump(cookies, fp) selenium
48311编辑于 2022-07-14 - 来自专栏深度学习|机器学习|歌声合成|语音合成
python爬虫：selenium + webdriver + python
---- title: python爬虫：selenium + webdriver + python tags: 爬虫学习,浏览器驱动,小书匠 grammar_cjkRuby: true 1.selenium 环境搭建 1.1 简介 参考教程地址1.https://selenium-python.readthedocs.io/ 参考教程地址2：http://www.testtao.cn/? p=28 参考教程地址3github：https://github.com/SeleniumHQ/selenium 1.2 google chrome 浏览器插件下载地址 ChromeDriver下载地址
1.2K30发布于 2021-01-14 - 来自专栏不仅仅是python
web爬虫-Selenium进阶操作
继续上一节内容，我们将使用Selenium操作谷歌浏览器抓取多页的数据并将结果保存到CSV文件中。 首先我们查看被抓取的网址中一共包含了5页内容： ? 我们修改上一篇文章的代码来实现今天的功能，接下来开始： #导入包 from selenium import webdriver import csv #定义分页总数 MAX_PAGE_NUM = 5 # 定义分页数字位数 MAX_PAGE_DIG = 3 #打开谷歌浏览器 并访问要抓取数据的地址 #注意：驱动chromedriver.exe与改python文件在同一个目录 driver = webdriver.Chrome
85220发布于 2019-07-25 - 来自专栏Java啊
Python爬虫之selenium学习
基本概述 selenium可以便捷的获取网站中的动态加在的数据 selenium可以便捷的实现模拟登陆 selenium是基于浏览器自动化的一个模块 使用流程 bash pip install selenium btn = bro.find_element_by_id('J_hoverSearchBtn') btn.click() bro.get('https://www.4399.com') sleep(3) bro.back() sleep(3) bro.forward() sleep(5) bro.quit() 案例演示3.: python from selenium import webdriver password_tag.send_keys('') sleep(1) btn = bro.find_element(By.ID, 'login_button') btn.click() sleep(3) Verification_code = bro.find_element(By.XPATH,'/html/body/div/div/div[4]/div[2]/div[2]/form/div[3]
58621编辑于 2022-12-26 - 来自专栏python3
08 Python爬虫之selenium
二. selenium selenium最初是一个自动化测试工具，而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题selenium本质是通过驱动浏览器，完全模拟浏览器的操作 from selenium import webserver 2 3 browser = webserver.Chrome() 4 browser = webdriver.Chrome() 5 browser ()方法. 1 from selenium import webdriver 2 import time 3 4 browser = webdriver.Chrome() 5 browser.get 100:90&action=' 7 # 发起请求前，可以让url表示的页面动态加载出更多的数据 8 path = r'C:\Users\Administrator\Desktop\爬虫授课 该函数可以执行一组字符串形式的js代码 23 time.sleep(2) 24 bro.save_screenshot('2.png') 25 time.sleep(2) 26 # 使用爬虫程序爬去当前
1.4K21发布于 2020-01-15 - 来自专栏诡途的python路
selenium爬虫相关报错解决
原代码和报错信息 #程序代码 from selenium import webdriver chrome_options = webdriver.ChromeOptions() #修改windows.navigator.webdriver ，防机器人识别机制，selenium自动登陆判别机制 chrome_options.add_experimental_option('excludeSwitches', ['enable-automation 大概意思就是此参数是已经弃用的， 原来的参数chrome_options是被新的参数options替换了； 虽然不影响使用，但是看着一片红就是不爽，修改驱动启动传入的参数即可 #修改后代码 from selenium import webdriver chrome_options = webdriver.ChromeOptions() #修改windows.navigator.webdriver，防机器人识别机制，selenium
70742发布于 2020-10-16 - 来自专栏爱编码
【爬虫】python+selenium+tesseract
简介 最近工作中的爬虫小知识，主要是python+selenium自动化截图以及tesseract的验证码自动校验（其实tesseract的正确率很差）。 2.安装selenium，可用命令安装：pip install selenium 3.安装pytesseract，同样：pip install pytesseract 4.安装chromedriver.exe python+selenium 基本操作 下面的代码步骤 python+selenium 启动浏览器， 然后输入网址百度地图的https://map.baidu.com/ ，并将浏览器最大化 接着就是在搜索框中输入关键词 L为灰度图像sharpness =ImageEnhance.Contrast(imgry)#对比度增强i3 = sharpness.enhance(3.0) #3.0为图像的饱和度i3.save("E 3.平时页面代码写完有很多输入框的那种，你可以实现填完一次，以后就不用再填了，或许这就是自动化测试。。。 4.喜欢打游戏的，刷怪什么，可以了解一下哦。
97430发布于 2019-07-12 - 来自专栏python全栈教程专栏
爬虫学习（17）：selenium学习
川川已经很久没发文章了，为了锻炼出八块腹肌也是忍了，不说废话了，学了下selenium，我再发布总结下，还有如何用selenium制作一个自动填体温，emm…没办法，我学校天天都叫我们填体温，上午一次下午一次 Menu\Programs\chromedriver') # # #2.通过浏览器向服务器发送URL请求 # browser.get("https://www.baidu.com/") # # sleep(3) # # #3.刷新浏览器 # browser.refresh() # # #4.设置浏览器的大小 # browser.set_window_size(1400,800) # # #5.设置链接内容 # elem1.click() #通过元素选择器找到id=sh_2,并点击设置 elem2=driver.find_element_by_id("sh_1") elem2.click() #保存设置 elem3= driver.find_element_by_class_name("prefpanelgo") elem3.click() # perform()： 执行所有 ActionChains 中存储的行为
56920发布于 2021-10-18 - 来自专栏智能制造社区
Python 爬虫利器 Selenium 介绍
还记得前几节，我们在构造请求时会给请求加上浏览器 headers,目的就是为了让我们的请求模拟浏览器的行为，防止被网站的反爬虫策略限制。 今天要介绍的 Selenium 是一款强大的工具，它可以控制我们的浏览器，这样一来程序的行为就和人类完全一样了。 通过使用 Selenium 可以解决几个问题： 页面内容是由 JavaScript 动态生成，通过 requests 请求页面无法获取内容。 爬虫程序被反爬虫策略限制 让程序的行为和人一样 安装 pip install selenium 安装浏览器驱动 驱动下载地址https://sites.google.com/a/chromium.org 具体可以看官方文档，这里贴一下地址 https://selenium-python-zh.readthedocs.io/en/latest/index.html
82110发布于 2019-12-30 - 来自专栏Python 知识大全
Python Selenium的使用（爬虫）
2 Selenium的介绍 Selenium是一个自动化测试工具，利用它可以驱动浏览器执行特定的动作，如点击，下拉，等操作。 Linux安装：将解压的文件：chromedriver 放置到/usr/local/bin/目录下 PhantomJS驱动的下载地址：http://phantomjs.org/download.html 3 Selenium的使用 ① 初次体验：模拟谷歌浏览器访问百度首页，并输入python关键字搜索 from selenium import webdriver from selenium.webdriver.common.by 属性值为q的节点对象 input = driver.find_element_by_id("q") #模拟键盘输入iphone input.send_keys('iphone') time.sleep(3) 创建一个动作链对象 actions = ActionChains(driver) #将一个拖拽操作添加到动作链队列中 actions.drag_and_drop(source,target) time.sleep(3)
4.2K10发布于 2020-02-13
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号