Google dataproc:无法访问spark历史记录页面

Question

我创建了一个Google dataproc集群。登录到主节点后，我启动了spark-shell，然后尝试使用以下命令访问spark历史记录页面

http://<external_ip_masternode>:4040

它被重定向到

http://<hostname_mastername>:8088/proxy/application_1487485713573_0002/

浏览器正在拒绝，错误为“找不到DNS地址”。这是可以理解的。

以下是VM实例设置

公用IP类型Ephermal tcp:4040在防火墙中打开ip转发关闭:无法编辑此配置

以下故障排除已完成，但没有帮助

远程登录到:4040 ->工作

从Ubantu主机/浏览器访问Chrome:获取重定向和名称查找失败

从Ubantu主机/browser Firefox访问:获取重定向和名称查找失败

从Mac主机访问/browser Safari :获取重定向和名称查找失败

从Mac OSX主机/浏览器chrome访问:获取重定向和名称查找失败

Answer 1

要在Dataproc中查看Hadoop web界面，建议遵循运行基于SSH的SOCKS代理的说明：https://cloud.google.com/dataproc/docs/concepts/cluster-web-interfaces

如果您按照这里的说明操作，它还会让您使用SSH隧道运行一个单独的浏览器会话，并将主机名解析设置为在隧道的VM端进行。这样，Hadoop页面中的所有链接都将自动工作，因为它们都使用内部主机名相互引用，并有意避免对“外部IP地址”的任何依赖。

使用SSH隧道也比打开防火墙规则来访问直接来自Hadoop HTTP服务器的未加密HTTP流量要安全得多(如果您意外地将防火墙规则开放得太宽，那么internet上的其他人将能够访问您的外部IP地址，即使您不这样做，攻击者也可以看到由ApplicationMaster、HistoryServer等提供的未加密的web流量)。