抓取日语网站的英文版本

Question

我正在尝试刮掉一个日语网站的英文版本，问题是日语和英语版本的链接是一样的，有没有办法说出漂亮的汤是刮掉英文版本而不是日语版本的呢？

我要抓取的链接：

https://data.j-league.or.jp/SFMS02/?match_card_id=17975

Answer 1

要演示添加lang=en url查询参数实际有效，请执行以下操作：

>>> import requests
>>> from bs4 import BeautifulSoup
>>>
>>> url = "https://data.j-league.or.jp/SFMS02/?match_card_id=17975"
>>> english_url = "https://data.j-league.or.jp/SFMS02/?match_card_id=17975&lang=en"
>>>
>>> print(BeautifulSoup(requests.get(url).content, "html.parser").find(class_="team-name").get_text(strip=True))
サガン鳥栖
>>> print(BeautifulSoup(requests.get(english_url).content, "html.parser").find(class_="team-name").get_text(strip=True))
Sagan Tosu

请注意，您还可以添加一个具有en值的SFCM01LANG cookie：

>>> url = "https://data.j-league.or.jp/SFMS02/?match_card_id=17975"
>>> response = requests.get(url, cookies={'SFCM01LANG': 'en'})
>>> soup = BeautifulSoup(response.content, "html.parser")
>>> print(soup.find(class_="team-name").get_text(strip=True)) 
Sagan Tosu