首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >由库伯内特斯星火商发起的SparkSubmit没有错误的详细信息

由库伯内特斯星火商发起的SparkSubmit没有错误的详细信息
EN

Stack Overflow用户
提问于 2022-07-07 23:52:14
回答 1查看 245关注 0票数 0

在中,提交的作业被困在K8S线程中,在没有错误详细信息的情况下执行以下命令:

/opt/tools/Linux/jdk/openjdk1.8.0.332_8.62.0.20_x64/bin/java -cp /opt/spark/conf/:/opt/spark/jars/ org.apache.spark.deploy.SparkSubmit* --主k8s://https://x.y.z.a:443 -部署模式集群-conf spark.kubernetes.container.image.pullPolicy=IfNotPresent -conf spark.executor.memory=512m -conf spark.driver.memory=512m -conf spark.network.cryptoconf spark.kubernetes.submission.waitAppCompletion=false -conf spark.driver.cores=0.100000 -conf spark.kubernetes.driver.label.sparkoperator.k8s.io/launched-by-spark-operator=true -conf spark.kubernetes.driver.label.sparkoperator.k8s.io/launched-by-spark-operator=true-conf spark.kubernetes.namespace=abc -conf spark.kubernetesconf spark.kubernetes.executor.label.sparkoperator.k8s.io/launched-by-spark-operator=true conf spark.kubernetes.driver.label.sparkoperator.k8s.io/submission-id=b651fb42-90fd-4675-8e2f-9b4b6e380010 conf spark.kubernetes.executor.label.sparkoperator.k8s.io/app-name=sparkimpersonationx42aa8bff conf spark.kubernetes.executor.label.sparkoperator.k8s.io/submission-id=b651fb42-90fd-4675-8e2f-9b4b6e380010 conf spark.kubernetes.driver.pod..name=scapkimenationx42a8bff-驱动程序--conf spark.kubernetes.authenticate.driver.serviceAccountName=spark-driver-abc --conf spark.executor.instances=1 --conf spark.kubernetes.executor.label.version=3.0.1 --conf spark.kubernetes.driver.label.sparkoperator.k8s.io/app-name=sparkimpersonationx42aa8bff -class org.apache.spark.examples.SparkPi --jars local:///sample-apps/sample-basic-spark-operator/extra-jars/* local:///sample-apps/sample-basic-spark-operator/sample-basic-spark-operator.jar

EN

回答 1

Stack Overflow用户

发布于 2022-07-08 00:27:06

从现有资料来看,造成这种情况的原因可以是:

  1. 工作负载荚无法在k8s节点上进行调度。您可以使用Running
  2. The来检查这个问题,是否已经达到了unresponsive.
  3. The资源限制,而吊舱是unresponsive.
  4. The火花操作符本身可能没有运行。您应该检查操作符本身的日志。

这就是我所能说的一切。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/72905341

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档