是否有谷歌/亚马逊网络服务可以将数据从谷歌商店移动到s3

Question

在我的使用案例中，所有与谷歌相关的应用程序和广告的数据生成都将存储在谷歌store.but中，我的处理引擎在亚马逊网络服务云上的Spark上运行。谁可以帮助我如何才能移动这个GS数据S3进行处理。

提前谢谢你

Answer 1

如果您的spark类路径上有google存储库，那么您的EMR代码仅使用gs:// reference来远程访问gcs云数据。有了正确的凭据，它可以从任何地方访问，包括EMR。

然而，您将运行账单，并且必须等待较慢的读取和写入。