Google Cloud Dataproc支持的OSS

Question

当我去https://cloud.google.com/dataproc的时候，我看到了这个...

Dataproc是一种完全托管且高度可扩展的服务，用于运行Apache Spark、Apache Flink、Presto和30+开源工具和框架。

但是gcloud dataproc jobs submit并没有列出所有的内容。它只列出了8个(hadoop、hive、pig、presto、pyspark、spark、spark-r、spark-sql)。知道为什么吗？

~ gcloud dataproc jobs submit
ERROR: (gcloud.dataproc.jobs.submit) Command name argument expected.

Available commands for gcloud dataproc jobs submit:

      hadoop                  Submit a Hadoop job to a cluster.
      hive                    Submit a Hive job to a cluster.
      pig                     Submit a Pig job to a cluster.
      presto                  Submit a Presto job to a cluster.
      pyspark                 Submit a PySpark job to a cluster.
      spark                   Submit a Spark job to a cluster.
      spark-r                 Submit a SparkR job to a cluster.
      spark-sql               Submit a Spark SQL job to a cluster.

For detailed information on this command and its flags, run:
  gcloud dataproc jobs submit --help

Answer 1

一些开放源码软件组件以Dataproc Optional Components的形式提供。不是所有的都有作业提交接口，有些(例如Anaconda、Jupyter)不需要，有些(例如Flink、Druid)将来可能会添加。

其他一些开源组件是以库的形式提供的，例如GCS connector、BigQuery connector、Apache Parquet。