如何通过代理隧道访问安全网站的内容而无需身份验证

Question

我想从需要认证的网站上抓取/下载内容。为此，我需要在我的CLI / Node.js应用程序和安全网站之间建立一些隧道，而无需任何身份验证。请参阅架构：

Scraper / downloader app -> [no passowrd] -> some proxy -> user (login) -> secured website with login / authentication

你知道该怎么做吗？

Answer 1

根据目标站点处理身份验证的确切方式，您的问题可以通过设置一个简单的node-http-proxy应用程序来解决。

这可能是解决方案(从文档中复制-粘贴，并修改)：

var http = require('http'),
httpProxy = require('http-proxy');

var proxy = httpProxy.createProxyServer({});

var server = http.createServer(function(req, res) {
  // Your mileage may vary here.
  req.setHeader("Authentication", "Basic mysecrettoken=");
  proxy.web(req, res, { target: 'http://127.0.0.1:5060' });
});

server.listen(5050);

有关详细信息，请参阅https://github.com/nodejitsu/node-http-proxy。