如何像使用Chrome一样使用漂亮汤刮网页？

Question

当我看到同一个网页的来源时，我在google (检查)中得到了某些元素，但在中却没有。

我想美女汤里面用的是互联网浏览器吗？其结果与IE更接近。

但是，当我使用chrome的检查功能时，我会看到源中没有列出某些元素。

有什么方法我可以模仿Python或使用美丽汤吗？

Answer 1

您可以将您的用户代理更改为下列之一：

https://webscraping.com/blog/User-agents/

一个片段：不断变化的用户代理迫使页面打开不同的内容(移动和Chrome)

from bs4 import BeautifulSoup
import requests
#headers = {'User-Agent': 'Mozilla/5.0 (X11; U; Linux i686; en-US) AppleWebKit/534.3 (KHTML, like Gecko) Chrome/6.0.472.63 Safari/534.3'}
headers = {'User-Agent': 'Mozilla/5.0 (Linux; Android 5.1.1; SM-G928X Build/LMY47X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.83 Mobile Safari/537.36'}
result = requests.get("http://derstandard.at", headers=headers)
c = result.content
print result.request.headers


print len(c)

注意：一些网站正在为user-agent spoofing保护自己。所以并不是所有的网站都会对这些频繁的跳跃式做出反应。