如何解析响应url而不实际打开python中的网页？

Question

我现在正在使用它的api在新浪微博爬虫上工作。为了使用api，我必须访问oauth2授权页面来从url检索代码。

我就是这样做的：

1. 使用我的app_key和app_secret (都知道)
2. 获取oauth2网页的网址
3. 手动复制并粘贴响应URL中的代码。

这是我的密码：

#call official SDK
client = APIClient(app_key=APP_KEY, app_secret=APP_SECRET, redirect_uri=CALLBACK_URL)

#get url of callback page of authorization
url = client.get_authorize_url()
print url

#open webpage in browser
webbrowser.open_new(url)

#after the webpage responding, parse the code part in the url manually
print 'parse the string after 'code=' in url：'
code = raw_input()

我的问题是如何消除手动解析部分？

参考资料：http://blog.csdn.net/liuxuejiang158blog/article/details/30042493

Answer 1

要使用请求获取页面的内容，可以这样做

import requests

url = "http://example.com"

r = requests.get(url)

print r.text

您可以看到请求库这里的详细信息。您可以使用pip将其安装到您的虚拟化/ python中。

对于编写爬虫，您也可以使用刮痕。

最后，我不明白一件事，如果您有一个正式的客户端，那么为什么您需要解析URL的内容来获取数据。客户端不是使用一些很好且易于使用的函数来提供数据吗？