如何使用AWS数据管道、弹性MapReduce和Redshift来执行ETL和数据仓库？

Question

我对数据仓库和AWS非常陌生。

对于学校，我们必须介绍如何使用以下三种技术来执行数据仓库：

• Redshift
• AWS Data Pipeline
• Elastic MapReduce

我到目前为止的理解是：

activities.

• AWS数据管道是一个数据仓库平台，您可以在这个平台上存储数据以执行分析和商业智能，数据管道可以用来调度任务和操作。不知为何，它也可以用于数据transformation
• Elastic，MapReduce也可以用于数据transformation.

。

我只是不明白你怎么会一起使用这些东西来执行数据仓库活动。您是否会使用数据管道来调度map中的ETL过程，然后将数据传输到RedShift？如果是的话，你怎么能做到呢？

Answer 1

​

​

通过图表解释了这里的数据流。当我们需要找到大量数据的洞察力时，我们需要使用EMR作业。

在这种情况下，我们也可以在Redshift上运行SQL查询，但是假设一些复杂的操作无法通过SQL查询解决。