在抓取google时无法使用Tor更改身份

Question

我正在尝试自动谷歌搜索，但不幸的是，我的IP被阻止。经过一些搜索，似乎使用Tor可以动态地为我获得一个新的IP。然而，在将以下代码块添加到我现有的代码中后，即使在新的IP下，google仍然阻止我的尝试。所以我想知道我的代码有什么问题吗？

代码(基于this)

from TorCtl import TorCtl
import socks
import socket
import urllib2

socks.setdefaultproxy(socks.PROXY_TYPE_SOCKS5, "127.0.0.1", 9050)


__originalSocket = socket.socket

def newId():
    ''' Clean circuit switcher

    Restores socket to original system value.
    Calls TOR control socket and closes it
    Replaces system socket with socksified socket
    '''
    socket.socket = __originalSocket
    conn = TorCtl.connect(controlAddr="127.0.0.1", controlPort=9051, passphrase="mypassword")
    TorCtl.Connection.send_signal(conn, "NEWNYM")
    conn.close()
    socket.socket = socks.socksocket

## generate a new ip
newId()

### verify the new ip
print(urllib2.urlopen("http://icanhazip.com/").read())

## run my scrape code
google_scrape()

新的错误消息

<br>Sometimes you may be asked to solve the CAPTCHA if you are using advanced terms that robots are known to use, or sending requests very quickly.
</div>

IP address: 89.234.XX.25X<br>Time: 2017-02-12T05:02:53Z<br>

Answer 1

Google (和许多其他站点，如"protected“by Cloudflare)通过TOR出口节点的IP地址过滤通过Tor到达的请求。他们之所以可以这样做，是因为Tor出口节点的IP地址列表是public。

因此，更改您的身份-这反过来会更改您的Tor电路，并可能导致使用不同的出口节点，从而导致不同的IP (尽管后两个不能得到保证)-将不会对此块起作用。

对于您的用例，您可以考虑使用VPN而不是Tor，因为它们的IP地址不太可能被阻止。尤其是当您使用非免费VPN时。