用Beautifulsoup抓取视频描述

Question

我试着在youtube上抓取视频描述中的链接，但列表总是返回空。

我已经尝试从我抓取的位置更改标记，但输出和错误消息都没有更改。

下面是我使用的代码：

from bs4 import BeautifulSoup
import requests

source = requests.get('https://www.youtube.com/watch?v=gqUqGaXipe8').text

soup = BeautifulSoup(source, 'lxml')

link = [i['href'] for i in soup.findAll('a', class_='yt-simple-endpoint style-scope yt-formatted-string', href=True)]

print(link)

哪里出了问题，我该如何解决它？

Answer 1

在本例中，requests不会返回页面的整个HTML结构。如果Youtube使用JavaScript填充数据，我们必须通过真正的浏览器运行它来获取页面的源代码，比如使用Selenium库的Chrome Headless。下面是一般的解决方案：

from bs4 import BeautifulSoup
from selenium import webdriver
import time

options = webdriver.ChromeOptions()
options.add_argument('--headless')
driver = webdriver.Chrome(options = options)
url = "https://www.youtube.com/watch?v=Oh1nqnZAKxw"
driver.get(url)
time.sleep(2)
soup = BeautifulSoup(driver.page_source, 'html.parser')
driver.quit()


link = [i['href'] for i in soup.select('div#meta div#description [href]')]
print(link)