urllib2和cookielib线程安全

Question

据我所知，cookielib不是线程安全的；但话又说回来，这篇文章已经有五年的历史了，所以它可能是错误的。

然而，我一直在想--如果我产生一个这样的类：

class Acc:
    jar = cookielib.CookieJar()
    cookie = urllib2.HTTPCookieProcessor(jar)       
    opener = urllib2.build_opener(cookie)

    headers = {}
    def __init__ (self,login,password):
        self.user = login
        self.password = password

    def login(self):
        return False # Some magic, irrelevant

    def fetch(self,url):
        req = urllib2.Request(url,None,self.headers)
        res = self.opener.open(req)
        return res.read()

对于每个工作线程，它会工作吗？(或者有没有更好的方法？)每个线程都会使用自己的帐户；因此，工作人员不会分享他们的cookie这一事实并不是问题。

Answer 1

您希望使用pycurl (libcurl的python接口)。它是线程安全的，支持cookie、https等。这个界面有点奇怪，但它只是需要一点时间来适应。

我只使用了pycurl w/ HTTPBasicAuth + SSL，但我确实找到了一个使用pycurl和cookies here的例子。我相信您需要更新pycurl.COOKIEFILE (第74行)和pycurl.COOKIEJAR (第82行)，使其具有一些唯一的名称(可能要关闭id(self.crl))。

据我所知，您需要为每个请求创建一个新的pycurl.Curl()来维护线程安全。

Answer 2

您可以看到库[python_install_path]/lib/cookielib.py的实现，以确保cookielib.CookieJar 是线程安全的。

这意味着如果你要在不同线程中的几个连接之间共享一个CookieJar实例，你甚至不会面临读取Cookie集的不一致，因为CookieJar在内部使用了锁self._cookies_lock。

Answer 3

和你一样的问题。如果你不使用pycurl，我认为你必须在每个urllib2.urlopen之前使用urllib2.install_opener(self.opener)。

也许我也应该使用pycurl，urllib2不是那么聪明。