私有云数据融合能连接到互联网吗？

Question

我们的应用程序由通过“云运行”部署的spring应用服务器和“云sql postgres”数据库组成。

数据库是私有的，并连接到私有VPC。

应用服务器可以通过网关连接到这个由“云运行”配置提供的私有VPC。

我们希望定期向这个数据库提供“云数据融合”(CDF)。CDF应该从AWS S3中获取数据并将其推入我们的数据库。

为此目的，我们设计并验证了一条管道，但我们面临着一个网络悖论：

• 要么CDF是公开的，可以通过互联网从S3读取，但不能到达云数据库
• 或者CDF是私有的，可以访问我们的数据库，但不能访问S3获取.

如何既可以将写入私有数据库，又能从internet读取数据？

我感到惊讶的是，CDF实例，即使是私有的，也不能建立到internet资源的EGRES连接。

Answer 1

云数据融合是一种帮助您构建管道(基于CDAP)的工具。如果您设置数据融合私有，则是对工具的访问是私有的，而不是运行时！在Google上，管道运行在Dataproc集群上。

因此，现在的问题是:您的Dataproc集群能够到达internet和数据库吗？

1. 如果集群运行在与Cloud数据库私有IP连接相同的VPC中，并且没有防火墙规则阻止通信，则没关系
2. 如果组成群集的计算引擎具有公共IP，则可以访问公共URL。否则，正如John所说，您可以创建一个Cloud，以允许您的Compute引擎启动对外部URL的调用。