google云上的存储

Question

我有以下用例:需要使用PySpark分析大量结构化数据。数据当前为CSV格式。我正在尝试找出在谷歌云上存储数据的最佳方式。我的理解是HDFS不会工作，因为每次集群关闭，HDFS数据都会消失，所以我每次都必须从CSV转换到HDFS，这很耗时。似乎正确的策略是使用BigQuery，但是我不能确定BigQuery是否是持久性的？

Answer 1

BigQuery是持久的，是的，那么你应该检查的是服务水平协议是否对你有好处。到目前为止，服务水平协议是>=每月99.9%的数据可用性。

您也可以存储在存储桶中，在Google云存储中。根据您想要访问数据的频率，您有不同的价格：https://cloud.google.com/storage/

谷歌帮助您选择存储选项，请查看他们文档页面：https://cloud.google.com/storage-options/

Answer 2

是的，虽然您也可以控制table expiration time，但BigQuery是持久的。要将CSV文件加载到BigQuery中，您可以通过指向它们在GCS上的位置来create a table from them，假设您已经将文件复制到那里。有许多第三方连接器可以帮助您将数据传输到BigQuery，而GCS团队提供了一个Data Transfer Service来帮助您自动传输数据。

Answer 3

如果你打算只用PySpark处理你的数据--你最好把文件存储在谷歌云存储中而不是BigQuery中。即使是托管的Google Cloud的Spark (DataProc)也无法像从Google Cloud Storage读取一样高效地从BigQuery存储读取数据。