从亚马逊DynamoDB到亚马逊S3的增量导出

Question

我们需要对亚马逊DynamoDB中的数据进行分析。由于DDB在分析方面的局限性，在DDB中做这件事不是一个选择，根据我的建议，我倾向于DDB -?> S3 ->雅典娜。

它是一个数据密集型应用程序，具有来自亚马逊网络服务IoT设备的数据流，也是一个多租户应用程序。现在，要将数据从DDB同步到亚马逊S3，可能一天需要几次。为此，我们如何设置增量导出？

Answer 1

有一个雅典娜连接器，能够直接使用SQL query查询您在DynamoDB表中的数据。

https://docs.aws.amazon.com/athena/latest/ug/athena-prebuilt-data-connectors-dynamodb.html

https://dev.to/jdonboch/finally-dynamodb-support-in-aws-quicksight-sort-of-2lbl

Answer 2

此用例的另一个解决方案是您可以编写一个亚马逊网络服务步骤函数工作流，当调用该工作流时，可以从亚马逊DynamoDB表中读取数据，然后将数据格式化为您想要的方式，并将数据放入亚马逊S3存储桶中(该示例展示了类似的用例，很快就会推出)：

​

​

这是相反的(在这里，源是亚马逊S3存储桶，目标是亚马逊DynamoDB表)，但您可以构建工作流，因此目标是亚马逊S3存储桶。因为这是一个工作流，所以您可以使用Lambda函数，该函数根据CRON表达式计划每天触发几次。此Lambda函数的任务是使用步骤函数API调用工作流。