在AWS上访问Luigi可视化工具

Question

我一直在使用Luigi可视化工具来流水线化我的python代码。现在我已经开始使用aws实例，并希望从我自己的机器访问可视化工具。有没有什么办法让我这么做？

Answer 1

我们今天在GCP上遇到了完全相同的问题，并通过以下步骤解决了问题：

TCP

• 为服务使用的端口上的传入TCP连接设置防火墙规则(默认情况下，服务是实例上的 apache2服务器，该实例具有解析ip-of-instance:8082.上的传入请求的site.conf配置

就这样。希望这能有所帮助。

Answer 2

问得好，我很惊讶我在StackOverflow上找不到复制品。你一般需要做两件事：

• 确保luigi the服务器托管的内容正确。您可以通过site.conf或luigi's default-scheduler-host property完成此操作。这对应于@PierluigiPuce的第二点。
• 可以正确地公开和保护您的EC2实例。这是一个私有网络练习(see docs)，是一个完整的学习区域，但简而言之，您需要配置您的私有网络，以便将有效请求路由到正确端口上的实例，并阻止无效请求。这对应于@PierluigiPuce第一点。

你首先要考虑的是，这件事是否可以公开。可能不会。然后，您可以通过网段、VPN，甚至通过跳转主机的SSH端口转发来保护实例。

让它完全打开是最简单也是最糟糕的解决方案。将实例放在公共子网中，并根据IP地址限制访问，这可能是第二个最简单的解决方案，对您来说可能是一种合理的折衷方案。