将AWS服务器转换为代理服务器，用于爬行Scrapy

Question

我只是想知道是否有人知道我如何将Amazon服务服务器配置为由Scrapy爬虫作为代理服务器使用？我不想被我爬行的网站列入黑名单，所以我需要使用代理服务器。我只是不知道如何将AWS服务器转换为代理服务器。谢谢你！！

Answer 1

通过EC2实例代理HTTP流量的最简单方法(尽管不如使用托尔或匿名vpn那样安全)是使用锡代。你可以找到一个在这里穿行。

注意，以违反网站使用条款或其他方式影响其网站功能的方式进行刮擦，如果您故意违反侵入动产的条款，则可能是一种法律责任。

Answer 2

请记住，您为流量付费，在同一个IP重复多次请求后，IP将被禁止。