如何使用Selenium和Python从youtube上进行web抓取

Question

代码三部曲：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time
import json
options = Options()
options.headless = False
driver = webdriver.Chrome(options=options) //used to choose options from chrome//
driver.implicitly_wait(5)
baseurl = 'http://youtube.com'
keyword = input() #user input as earth
driver.get(f'{baseurl}/search?q= {keyword}')

我想刮擦来自网站的数据http://youtube.com

Answer 1

使用以下命令提取youtube搜索结果的标题硒和python你必须归纳WebDriverWait

对于visibility_of_all_elements_located()您可以使用以下任一方法

定位器策略

• 代码块：

从selenium导入webdriver从selenium.webdriver.support.ui导入WebDriverWait从selenium.webdriver.common.by导入方式从selenium.webdriver.support导入_条件为EC options = webdriver.ChromeOptions() options.add_参数(“start-maximized”) options.add_

实验_option("excludeSwitches"，“启用自动化”) options.add_实验_

option('useAutomationExtension'，False)驱动程序=webdriver.Chrome(options=options，可执行文件_path=r'C:\WebDrivers\chromedriver.exe') baseurl =“http://youtube.com

“keyword = input() driver.get(f'{baseurl}/search?q={keyword}')打印([my_我的elem.text

_WebDriverWait(driver，20).until(EC.visibility )中的elem_的_全部_元素_已找到((By.XPATH，“//yt-格式化字符串@class='style-scope ytd-video-renderer‘和@aria-label“)]) driver.quit()

• 控制台输出：

地球“Lil Dicky Earth (官方音乐视频)”，“The History of Earth - How Our Planet Formed Full纪录片HD”，“来自太空的地球:就像你以前从未见过的那样”，“Lil Dicky Earth (歌词)”，“Michael Jackson - Earth Song (官方视频)”，“Lil Dicky Earth (干净审查版本)”，“Marshmello ft”。巴士底狱-快乐(官方音乐视频)“，”美国为非洲-我们是世界“，”利尔迪基-怪异的星期五壮举“。克里斯·布朗(官方音乐录影带)“，”如果冥王星撞上地球怎么办？“，”地球上重力似乎不起作用的15个地方“，”地球101 |国家地理“，”地球如何运动“，”9分钟内的地球历史“，”如果地球上出现1毫米黑洞会发生什么？“，”从太空看地球(全高清1080p)原版“