Python: urlopen()与CURL

Question

我正在用Python编写一个网页爬虫，并且非常喜欢它！但是，我注意到urlopen(url).read()在Python上生成的结果与终端上的curl生成的结果有一些不同。我试着安装pycurl模块，但没有成功。有一种简单的方法可以在Python上生成卷曲结果吗？

更新

在本例中，我解析了这 URL。我在两个请求User-Agent: Mozilla/5.0上传递了相同的头。以下是产出：

• cURL输出：http://pastebin.com/PmmNhsbba
• urlopen输出：http://pastebin.com/7Wrt8pQZ

Answer 1

我知道这是个老问题，但也许这个答案还是有用的。

我也遇到了同样的问题，我所做的就是创建一个php文件来打印请求头。然后我执行了一个curl和一个urlopen，并检查了标头之间的差异。您可以在PHP文档中找到该脚本的一个示例。

此外，您还可以转到浏览器并检查正在发送的标头。为此，我看到urlopen发送的是connection: close而不是keep-alive。

最后，我添加了keep-alive头，urlopen作为curl开始工作。这是我的具体问题，但可能您的问题与服务器需求不同，您需要添加或删除另一个标头。