谷歌DataProc Presto:如何将Presto查询结果写入谷歌云存储？

Question

我有一个安装了Presto作为可选组件的DataProc集群。我的数据存储在google云存储(GCS)中，我可以使用Presto查询它。但是，我没有找到将查询结果写回GCS的方法。如果我登录到主节点并从那里运行Presto命令，我可以写入hdfs，但它不能识别任何GCS位置。

如何将Presto查询结果写入GCS？

Answer 1

您需要创建一个由GCS支持的Hive外部表，例如：

gcloud dataproc jobs submit hive \
    --cluster <cluster> \
    --execute "
        CREATE EXTERNAL TABLE my_table(id  INT, name  STRING)
        STORED AS PARQUET
        location 'gs://<bucket>/<dir>/';"

然后将Presto查询结果插入到表中。