AWS S3到RDS无服务器极光(PostgreSQL)的编程

Question

我正在寻找一个解决方案，可以每天摄取6到8个表中的RDS。有问题的表具有特定的键关系，因此应该将其合并到数据库中。

目前，我很难找到一种最佳的解决方案来在RDS中以编程方式加载这6-8个表的数据。哪种类型的服务目前是最适合这样做的？

Lambda

对于Lambda的内存占用来说，数据有点太大了。

数据流线

不清楚这将如何与无服务器极光一起工作，这也需要一个预定的ec2实例(打破了无服务器模式)。

Load S3 Data into Amazon RDS MySQL Table - AWS Data Pipeline

胶水？

Glue似乎更适合Redshift。

所以我有点迷茫，不知道最好的解决方案是什么。如果能帮上忙，我们将不胜感激。

Answer 1

您应该尝试AWS Date Pipeline。简而言之，以下是步骤：

• 创建角色并附加S3存储桶策略
• 设置群集参数组
• 编辑参数组以使用角色
• 重新启动极光实例

这个，Loading Data into an Amazon Aurora MySQL，是给MySQL用的。

使用PostgreSQL加载数据应该非常相似。

Answer 2

你当然可以使用AWS胶水。诚然，Glue对Redshift有一些偏见，但它同时提供了Pyspark和Python工作，几乎可以用来做任何事情。把它想象成一个没有15分钟时间限制的Lambda，用python写出你想要的任何数据移动逻辑。

由于aurora托管在VPC中，因此一旦您将glue作业托管在同一VPC中，您可能需要创建一些VPC网关端点来访问某些内容，但这只是一次性的事情。

我实际上有一个非常类似的用例，并使用Glue以编程方式将数据从S3加载到Aurora Serverless (MySQL)：

• 从胶水控制台创建了到Aurora serveless的JDBC连接
• 编写了一个Python胶水作业来从S3读取数据并使用pymysql将其加载到Aurora DB中。(这使用了步骤1中建立的连接，这意味着作业将托管在与数据库相同的VPC中。因此，要访问S3，必须通过添加start trigger和failure extensions
• Wrote、S3->SQS触发器和Lambda来使网关失败成为此作业的工作流。

您可以参考此post了解更多详细信息。