找不到DataprocCreateClusterOperator信任: Dataproc Metastore

Question

一直在寻找使用JSON格式的集群信任，以便使用dataproc Metastore服务和Spark依赖jars创建Dataproc集群(GCE)，无法找到任何指定如何使用这些JSON信任的参考文档。

我查看了以下链接：操作员/index.html https://cloud.google.com/dataproc/docs/reference/rest/v1/projects.regions.clusters https://cloud.google.com/dataproc/docs/reference/rest/v1/MetastoreConfig

但是它没有指定GCE集群信任，它的REST和GKE集群信任--请参见下面的信任--我正在尝试创建一个dataproc集群：

CLUSTER_CONFIG = {
    "gce_cluster_config": {
        "internal_ip_only": True,
        "metadata": {
            "spark-bigquery-connector-version": spark_bq_connector_version
        },
        "service_account_scopes": [
            service_account_scopes
        ],
        "subnetwork_uri": subnetwork_uri,
        "zone_uri": zone_uri
    },
    "initialization_actions": [
        {
            "executable_file": initialization_actions,
            "execution_timeout": execution_timeout
        }
    ],
    "master_config": {
        "disk_config": {
            "boot_disk_size_gb": master_boot_disk_size_gb
        },
        "machine_type_uri": master_machine_type_uri
    },
    "metastore_config": {
        "dataproc_metastore_service": dataproc_metastore
    },
    "software_config": {
        "image_version": software_image_version
    },
    "worker_config": {
        "disk_config": {
            "boot_disk_size_gb": worker_boot_disk_size_gb
        },
        "machine_type_uri": worker_machine_type_uri,
        "num_instances": worker_num_instances
    }
}

任何引线都将非常感谢，请附加链接以参考完整的配置示例。

谢谢！

Answer 1

正如本文档中所提到的，需要通过hive:hive.metastore.uris属性指定外部细胞转移(非Dataproc元存储服务)。注意hive:前缀。

使用gcloud创建集群时，如果添加了--log-http

$ gcloud dataproc clusters create ... \
    --properties hive:hive.metastore.uris=thrift://my-metastore:9083 \
    --log-http

它将向您展示实际的HTTP请求：

{
   "clusterName":"...",
   "config":{
      "endpointConfig":{
         "enableHttpPortAccess":true
      },
      "gceClusterConfig":{
         "internalIpOnly":false,
         "serviceAccountScopes":[
            "https://www.googleapis.com/auth/cloud-platform"
         ],
         "zoneUri":"us-west1-a"
      },
      "masterConfig":{
         "diskConfig":{
            
         },
         "machineTypeUri":"e2-standard-2"
      },
      "softwareConfig":{
         "imageVersion":"1.5",
         "properties":{
            "hive:hive.metastore.uris":"thrift://my-metastore:9083"
         }
      },
      "workerConfig":{
         "diskConfig":{
            
         },
         "machineTypeUri":"e2-standard-2"
      }
   },
   "projectId":"..."
}

您还可以在Dataproc REST文档中找到请求规范。