如何使用Python请求模拟浏览器

Question

我想做一个谷歌搜索或输入一些数据在一个网站，然后做同样的Python。

基本上，在我的浏览器上执行一个操作，然后再用python执行相同的请求数据。

我有使用https traffic recorder (浏览器扩展)的想法，但是仅仅复制所有的头等等太痛苦了。

我可以使用selenium，但是它太慢了，而且也不太容易操作正在发送的数据。

Answer 1

任何涉及在网站上输入某些数据或单击某些按钮的操作都不能用http请求完成，除非您是一个经验丰富的黑客，有操作和分析您请求的http响应的经验。我建议坚持使用常用的工具，比如selenium，它包括点击和输入文本等。

但是，如果您只想使用python获取google搜索结果，可以添加用户代理头来实现这一点。

import requests

url='https://www.google.com/search?q=hello+world'
headers = {"User-Agent": "Mozilla/5.0", "accept-language": "en-US,en"}
print(requests.get(url,headers=headers).status_code)