python2 urllib请求在hanyu.baidu.com

Question

我想做一个python脚本，它从hanyu.baidu.com站点的一个汉字中解析发音。

我在baidu.com的主站点找到了一个搜索代码

#!/usr/bin/env python2
# -*- coding: utf-8 -*-  
import urllib2,urllib,sys,io  

url = "http://www.baidu.com/s" 
search = [('w','吃')]  
getString = url + "?" + urllib.urlencode(search)  
print getString
req = urllib2.Request(getString)  
fd = urllib2.urlopen(req)

，它返回站点的html代码。

http://www.baidu.com/s?w=%E5%90%83

这正是我所期望的。但是当我把网址改为

url = "https://hanyu.baidu.com/s"

而争论到

search = [('wd','吃')]  

我想知道这个网站的结果

https://hanyu.baidu.com/s?wd=%E5%90%83

但是python返回一个页面，其中说我指的是一个不存在的页面(中文:很抱歉，您要访问的页面不存在！)

为什么我可以在浏览器中打开url，而不能打开python呢？

Answer 1

在请求中添加一个标题，以伪造浏览器，解决了这个问题。

req.add_header('User-Agent','Mozilla/5.0 (X11; Linux i686) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.27 Safari/537.17')