将urllib2与SOCKS代理一起使用

Question

是否有可能通过一个SOCKS代理在一个socks服务器上使用urllib2获取页面？我已经看到了使用setdefaultproxy方法的解决方案，但我需要在不同的打开程序中使用不同的socks。

所以有一个SocksiPy库，它工作得很好，但它必须这样使用：

import socks
import socket
socket.socket = socks.socksocket
import urllib2
socks.setdefaultproxy(socks.PROXY_TYPE_SOCKS5, "x.x.x.x", y)

也就是说，它为所有urllib2请求设置相同的代理。我怎么能对不同的开场白使用不同的代理呢？

Answer 1

尝试使用pycurl

import pycurl
c1 = pycurl.Curl()
c1.setopt(pycurl.URL, 'http://www.google.com')
c1.setopt(pycurl.PROXY, 'localhost')
c1.setopt(pycurl.PROXYPORT, 8080)
c1.setopt(pycurl.PROXYTYPE, pycurl.PROXYTYPE_SOCKS5)

c2 = pycurl.Curl()
c2.setopt(pycurl.URL, 'http://www.yahoo.com')
c2.setopt(pycurl.PROXY, 'localhost')
c2.setopt(pycurl.PROXYPORT, 8081)
c2.setopt(pycurl.PROXYTYPE, pycurl.PROXYTYPE_SOCKS5)

c1.perform() 
c2.perform() 

Answer 2

可以，停那儿吧。我重复我在How can I use a SOCKS 4/5 proxy with urllib2?上的回答，你需要为每个代理创建一个开场白，就像你对http代理所做的那样。在GitHub https://gist.github.com/869791中提供了将此功能添加到SocksiPy的代码，代码如下所示：

opener = urllib2.build_opener(SocksiPyHandler(socks.PROXY_TYPE_SOCKS4, 'localhost', 9999))
print opener.open('http://www.whatismyip.com/automation/n09230945.asp').read()

为了了解更多信息，我编写了一个运行多个Tor实例的示例，使其表现得像一个旋转代理：Distributed Scraping With Multiple Tor Circuits

Answer 3

==编辑代理(旧的HTTP- ==示例在此处..)

我的错..。urllib2没有内置的对SOCKS代理的支持。

有一些向urllib2 (或一般的socket对象) here添加SOCKS的“技巧”。

但我几乎不认为这会像您所要求的那样与多个代理一起工作。

只要你不想钩子/子类urllib2.ProxyHandler，我建议你使用pycurl。