Python urllib2与keep alive

Question

如何使用Python的urllib2发出“保持活动”的HTTP请求？

Answer 1

使用urlgrabber库。这包括一个支持HTTP1.1和keepalive的urllib2的HTTP处理程序：

>>> import urllib2
>>> from urlgrabber.keepalive import HTTPHandler
>>> keepalive_handler = HTTPHandler()
>>> opener = urllib2.build_opener(keepalive_handler)
>>> urllib2.install_opener(opener)
>>> 
>>> fo = urllib2.urlopen('http://www.python.org')

注意:由于keepalive模块已在版本3.9.1中删除，因此您应该使用urlgrabber版本3.9.0或更早版本

有一个到Python3的keepalive模块的port。

Answer 2

试试urllib3，它有以下几个特性：

gzip verification).

• File deflate (encode_multipart_formdata).

• Built-in
• 和易于理解的代码库对于多个请求(HTTPConnectionPool和HTTPSConnectionPool)重用相同的套接字连接(具有可选的客户端证书和发布、重定向和重试)，并且易于理解的代码库非常适合扩展和构建。有关更全面的解决方案，请查看Requests。

或者一个更全面的解决方案- Requests -它支持version 0.8.0中的keep-alive (通过在内部使用urllib3 )，并具有以下features

带有cookie persistience.

• Basic，摘要和自定义身份验证support.

• Automatic表单的异步Requests.

• Sessions的cookie

• 极其简单的标题、GET、POST、PUT、PATCH和DELETE Requests.

• Gevent支持-请求/响应cookies.

• Multipart文件的dictionaries

• A简单字典接口的编码Unicode、gzip的uploads.

• Automatc解码，以及unicode URL和域名的deflate responses.

• Full支持。

Answer 3

或者看看httplib的HTTPConnection。