Python(bs4)维基页面抓取

Question

我只想从wiki页面上删掉电影标题，请帮我一下。

我的代码：

url = 'https://en.wikipedia.org/wiki/List_of_American_films_of_2020'
page = requests.get(url)
soup = BeautifulSoup(page.content,'html.parser')
movies = soup.find('table',{'class':'wikitable sortable'})
print(movies)

我只想从结构中过滤掉电影标题，就像图像中的片名只应该是“丢失的传输”。

这是HTML中一部电影的结构：

Answer 1

您可以进一步使用刮过的表。

table_body = movies.find('tbody') 
titles = [] 
rows = table_body.find_all('tr') 
for row in rows[1:]: # leaving the first row, seems it is a header
    title_cell = row.select("td i a") 
    titles.append(title_cell[0].contents[0]) 
print(titles)     

Answer 2

这真的取决于你在追求什么。如果您只想刮那页面，有一种更简单的方法：

import pandas as pd
pd.read_html("https://en.wikipedia.org/wiki/List_of_American_films_of_2020")

它将获得页面中包含在<table></table HTML中的所有信息。如果您的范围更多地从维基百科获取信息，您也不必使用网络抓取，因为有一个非常有用的API接口。如果你的目标是，学习网络抓取(请永远记住robots.txt )，你可以看看这教程，这对我有很大帮助。