在VPC中访问红移的AWS

Question

我正在尝试使用AWS从Redshift实例(在VPC中)到S3桶中的ETL数据。为此，我使用Redshift创建了一个JDBC连接。

爬虫成功地从Redshift获取架构信息到数据目录。但是，当我运行ETL作业时，它无法获取数据并说“资源不可用”。

1. 我是否需要为Glue配置NAT以连接到Redshift？(目前它没有NAT)
2. 爬虫如何能够在没有NAT的情况下从Redshift读取模式信息？

Answer 1

红移在你的VPC里面。胶水在你的VPC里面。S3不是。默认情况下，访问S3需要访问互联网。

要访问S3中的数据，您需要NAT网关、NAT实例或S3 VPC端点来在VPC中为S3通信带来一个终止点。

Answer 2

对于任何遇到这个问题的人来说，这仍然是一个持续的问题。对于我的设置，它是RDS连接的子网所在的可用性区域，但据我了解，这适用于任何连接类型。

“解决办法”是：

1. AWS控制台> Glue > Connections > Edit >查看连接正在使用的子网。
2. AWS控制台> VPC >子网>标识(或创建)不同区域中的子网。
3. AWS控制台> Glue > Connections > Edit >开关以使用步骤2中的子网。
4. 执行任务。

如果作业仍然失败，且资源不可用，请重复执行，直到它生效为止。