从AWS DynamoDb DataPipeline增减DataPipeline RCU

Question

我有一个AWS DynamoDb表，它是写密集型的。我已经用10,000 WCU和1000 RCU在供应容量模式下配置了它。

我使用AWS数据象素将DynamoDb内容导出到S3。该管道被配置为读取吞吐量比75%。

在这种情况下，需要通过~2 hours来导出数据的~150GB。当我将RCU增加到10,000时，出口在不到20分钟内就完成了。

只有在我的管道运行时，在DataPipeline中有任何方法来增加现有的RCU吗？因为此管道配置为一天只运行一次。

Answer 1

无法从数据管道作业中控制DynamoDB容量。

但是，您可以使用AWS Step函数与其他任意步骤一起使用编排ETL作业。因此，您的解决方案可以是计划好的启动Step函数的CloudWatch事件，以便：

1. 设置DynamoDB表的容量。(我认为您需要为此编写一个简单的Lambda函数，因为Step函数不能直接这样做。)
2. 调用启动数据管道作业的Lambda
3. 等待工作完成
4. 重置表的读取容量

附加资源

• 一个具有示例ETL业务流程的GitHub存储库。
• 在AWS Step函数上编排ETL作业的另一个例子。该示例包括定期检查作业状态的循环。
• DynamoDB的UpdateTable API文档