Google、集群或无群集上的Apache星火

Question

我想使用Apache来操纵Google中的大量数据。

我按照文档划分了一个包含5个节点的cluster集群。一切都完美无缺。

但是我的数据是在上，我了解到我可以使用Spark直接查询它，这是Google推荐的。

在这种情况下，是否有必要拆分整个集群？星火在谷歌云存储上的效率和HDFS一样高吗？

如果不是，那就更容易用木星和星火旋转一个大VM，并使用它来运行存储在GCS上的数据上的作业。

Answer 1

在Dataproc集群上，您可以使用Spark处理来自HDFS和GCS ()的数据，两者都同样有效。群集的大小需要根据计划在火花作业中执行的计算来确定。在比较一个大VM和多个VM(较小的)VM时，您需要考虑一系列的权衡--主要是在垂直缩放(与一个VM)上有一个上限。

Answer 2

如果您只需要分析中的数据，我建议您在需要的时候在dataproc上创建一个集群。但这仍然取决于这份工作需要多长时间，以及你做这项工作的频率。

例如，您有一个计划的每小时ETL作业。您可以每小时创建新的cluseter，并在完成工作时删除。非常符合成本效益。