使用bs4翻译页面后对其进行抓取

Question

我试图通过转换成英语来抓取一个在法国的页面。

这是我的代码，使用了漂亮的汤和用python编写的请求包。

import requests
from bs4 import BeautifulSoup
url = '<url>'
headers = {"Accept-Language": "en,en-gb;q=0.5"}
r = requests.get(url, headers=headers)
c = r.content
soup = BeautifulSoup(c)

但这仍然是给出了法语文本。

有没有人能建议修改/替代代码。

Answer 1

您可以利用TextBlob将字符串转换为各种语言，这是一个从法国易趣站点转换跨度的示例：

import requests
from bs4 import BeautifulSoup
from textblob import TextBlob

url = 'https://www.ebay.fr/'
french = []
english = []
r = requests.get(url)
c = r.content
soup = BeautifulSoup(c)
for li in soup.find_all('span'):
    french.append(li.text)

Frenchstr = ''.join(french)
blob = TextBlob(Frenchstr)
print(Frenchstr)
Englishstr = blob.translate(to="EN")
print('------------------------------------------------')
print(Englishstr)