如何在Dataproc中配置Druid？

Question

既然Druid已成为Google (https://cloud.google.com/dataproc/docs/concepts/components/druid)的可选组件，我想知道如何从Dataproc集群创建Druid配置？我尝试了以下gcloud命令：

%gcloud dataproc clusters create test1 --region=us-east1 --zone=us-east1-b -- 
num-masters=1 --num-workers=2 --optional-components=ZOOKEEPER,DRUID -- 
properties=druid:druid.storage.type=google,...

但是它返回一个错误：

属性“druid:druid.storage.type”具有不受支持的前缀

显然，druid不是一个有效的前缀。那么如何在Dataproc中配置Druid呢？

谢谢。

Answer 1

Druid仍处于alpha阶段，不支持深度存储或元数据存储配置。只支持JVM属性和Druid的组件(代理、历史等)运行时属性。

这也意味着只支持HDFS作为深度存储，支持MySql作为元数据存储。

Answer 2

要配置Druid，可以在使用Druid创建Dataproc集群时使用下一个团簇性质前缀：

druid-broker:<property-name>=<value>
druid-broker-jvm:<property-name>=<value>
druid-broker-runtime:<property-name>=<value>
druid-coordinator:<property-name>=<value>
druid-historical:<property-name>=<value>
druid-historical-jvm:<property-name>=<value>
druid-historical-runtime:<property-name>=<value>
druid-middleManager:<property-name>=<value>
druid-overlord:<property-name>=<value>
druid-router:<property-name>=<value>