Kubernetes (Docker for Mac)上的Apache Spark无法解析我的VPN主机

Question

我正在尝试通过Kubernetes提交作业。已通过https://spark.apache.org/docs/latest/running-on-kubernetes.html，并通过以下命令成功提交作业：

$ bin/spark-submit \
--master k8s://https://<k8s-apiserver-host>:<k8s-apiserver-port> \
--deploy-mode cluster \
--name spark-pi \
--class org.apache.spark.examples.SparkPi \
--conf spark.executor.instances=5 \
--conf spark.kubernetes.container.image=<spark-image> \
local:///path/to/examples.jar

现在，我正在尝试提交我的工作，其中涉及卡夫卡和PostgreSQL的访问是通过虚拟专用网可用。

这个作业可以通过IntelliJ在本地运行，但是当我尝试提交给Kubernetes时，同样的作业失败了。

例外情况是

Caused by: java.net.UnknownHostException: db-host-name

如何通过VPN解析DNS名称？

​

​

Answer 1

如果可以，请尝试配置docker镜像的dns选项。这两个选项中的任何一个都可以解决我过去遇到的DNS/VPN问题：

• --dns=<IP_ADDRESS>
• --dns-search=<DOMAIN>

下面是更详细的docs