使用Dynamo数据源构建s3数据仓库

Question

我是一个使用AWS的数据工程师，我们想要构建一个数据管道，以便在QuickSigth上可视化我们的Dynmaodb数据，正如你所知道的，不可能将发电机直接连接到快速.你必须经过S3。

S3将成为我们的数据，问题是日期更新频繁(例如，名为“可以更改/客户状态的列”)

因此，我正在寻找一个批处理解决方案，以便始终从我的s3数据集上的发电机中获取最新的数据，并在快速乙级中将其可视化。

谢谢你

Answer 1

您可以在DynamoDB中访问控制台中的表，并在Streams and Exports选项卡下将数据导出到S3。AWS的这篇博客文章解释了您的需求。

您也可以尝试雅典娜的这种方法而不是S3。