如何在没有外部Spark的情况下使用kubernetes部署spark-提交客户端

Question

我正在尝试对接我的spark作业，并使用k8部署它。Docker文档提供了一种对接spark的方法，我们可以将其用作基础映像，并使用自定义作业更新spark。

Refer - Spark documentation

我面临的问题是，在dockerized部署环境之外部署这需要一个spark-submit客户端。

​

​

如何将spark-submit客户端包含在K8集群中，然后使用helm和Kubernetes进行部署

Answer 1

我们可以使用spark-operator来解决这个问题。点击下面的链接，尝试一个样例Spark Operator

必须具备Kubernetes和helm的必备知识。