何时使用AWS Glue ETL上的亚马逊红移频谱查询亚马逊S3数据

Question

因为AWS Glue ETL可以是python脚本，所以它可以使用数据库接口执行SQL查询，并且可以将数据从Amazon加载到S3中。我试图理解使用Amazon频谱查询S3数据的好处。

Answer 1

AWS Glue用于收集元数据(爬行)和ETL。它不适合报告或分析。它可以应用高度复杂的转换(对于复杂的ETL需求非常理想)。

红移谱主要用于根据存储在S3中的数据生成报告和分析，通常与存储在红移上的数据相结合。然而，也可以用于简单的ETL。如果您只需要简单的ETL类型，那么设置和使用要比Glue简单得多。

还有一个您没有提到的选项，即amazon，这是直接针对S3数据运行查询的一个很好的工具。它类似于Redshift频谱，但通常更快、更便宜，这取决于您的用例。它不能结合S3数据和红移数据。