通过代理修改/更新公网IP

Question

我正在使用Scrapy抓取谷歌，我想改变我的IP从代码。我从输出中获得了与本地相同的公共IP，即使响应的meta中的代理正在更改。如果我转到该虚拟机并从该站点获得响应，它将显示我在request.meta['proxy'] = ip中使用虚拟机IP，但从代码中它仅显示本地公共IP

这是我的代码。

middleware.py

class ProxyMiddleware(object):
def process_request(self, request, spider):
    encoded_user_pass = base64.encodestring(('%s:%s' % (username, pass)).encode()).decode().replace('\n', '').strip()
    request.headers['Proxy-Authorization'] = 'Basic ' + encoded_user_pass
    request.meta['proxy'] = ip

settings.py

DOWNLOADER_MIDDLEWARES = {
    'tutorial.middlewares.RotateUserAgentMiddleware': 400,
    'tutorial.middlewares.ProxyMiddleware': 100,
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 110,
}

spider1.py

 request = scrapy.Request(url='http://checkip.dyndns.org/', callback=self.check_ip)

 def check_ip(self, response):
    print(response.meta)
    pub_ip = response.xpath('//body/text()').re('\d+\.\d+\.\d+\.\d+')[0]
    print("My public IP is: " + pub_ip)

输出：

{'proxy': 'http://51.162.81.60', 'download_timeout': 360.0, 'download_slot': 'checkip.dyndns.org', 'download_latency': 19.054762840270996}
My public IP is: 118.110.179.234

Answer 1

根据我的理解，代理ip需要是代理服务器的ip，因为在代理服务器中，您提供的ip应该是可以到达的。您不能简单地将任何随机ip分配给任何请求。如果你想轮换IP，那就完全是另一回事了。

也只是为了以防万一提到方案(http，https)和端口。不确定如果没有提到方案和端口，scrapy是否会回退到任何默认值。

另外，请参阅documentation。