用python和bs4抓取后的不同数据

Question

我想得到亚马逊网站上的评论数量。但是，当我获取数据时，它与站点上的数据不同。(131是在抓取之后，655是从亚马逊)我附上截图的网页和刮后的一个。

131次审查

655次审查

从检查元件

import bs4
import requests
import time


url3 = "https://www.amazon.it/dp/B076S8NSCD"

headers = {"User-Agent" : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.5 Safari/605.1.15'}

res = requests.get(url3, headers = headers)

soup = bs4.BeautifulSoup(res.text, "html.parser")


reviews = soup.find(id = "acrCustomerReviewText").get_text()
print(reviews)

Answer 1

如果你不使用高级旋转住宅代理来浏览亚马逊的评论，这很有可能是一种隐身手段，你的IP会因为发送太多的请求而被标记出来。