Spark Kubernetee构建docker镜像失败

文章/答案/技术大牛

发布

2回答

docker、apache-spark

我在Kubernetes上试用Spark。刚刚在我的私有网络中的一个EC2实例上下载了Spark2.4.3。我已经在/etc/sysconfig/docker中设置了我的代理，并且能够从docker hub导入和运行docker镜像。命令: bin/docker-image-tool.sh -t k8s-spark-2.4.3 build Sending build context to Docker</

浏览 112提问于2019-06-05得票数 1

2回答

如何使用Spark* 3.0.0对S3进行读写？*

java、docker、apache-spark、kubernetes、pyspark

我正在尝试使用Kubernetes上的Spark Operator和pySpark版本3.0.0启动一个能够对S3进行读写的Spark应用程序。/spark-py:v3.0.0作为Spark镜像，然后尝试向其中添加一些.jars，但没有成功： ADD https://repo1.maven.org/maven2/org/apache/httpcomponents/amazonaws/aws-java-sdk/

浏览 58提问于2020-07-24得票数 3

1回答

在docker中使用spark* 2.2运行zeppelin*

apache-spark、docker、docker-compose、apache-zeppelin

如何在docker中用Spark 2.2运行齐柏林飞艇？我想用2.2 master: image: gettyimages&#x

浏览 13提问于2018-02-04得票数 4

1回答

Spark on Kubernetes : /opt/entrypoint.sh: /sbin/tini:没有这样的文件或目录错误

docker、apache-spark、kubernetes

我正试着在Kubernetes上运行Spark jar。我已经使用模板spark-2.4.4-bin-hadoop2.7构建了我自己的docker镜像，并尝试使用此docker镜像运行我的yaml文件。我知道/sbin/tini没有出现在docker镜像中。有人能帮我解决这个问题吗？如何在docker镜像路径中获取此tini？=driver + case "$S

浏览 207提问于2020-03-13得票数 1

1回答

Apache Spark: MesosClusterDispatcher可以在Docker容器中运行执行程序吗？

apache-spark、docker、cluster-computing、mesos

我正在构建一个Mesos集群来运行Apache Spark。我更喜欢为我的Spark executors使用Docker容器，我可以使用spark-submit的客户端模式(使用--master mesos://mesosmaster:5050和--conf spark.mesos.executor.docker.image镜像供执行器使用时，似乎调度程序忽略了该参数，并尝试直接在Mesos沙箱中运行作业。实际上可以将集群调度程序与

浏览 7提问于2017-08-26得票数 1

1回答

从windows与linux的Spark提交

apache-spark、kubernetes

上，spark因类路径问题而失败(Could not find or load main class org.apache.spark.examples.SparkPi)-cp ':/opt/spark/jars/*:/var/spark-data/spark-jars/spark-exam

浏览 0提问于2018-04-09得票数 0

1回答

为kubernetes部署构建胖spark* jars和捆绑包*

scala、docker、apache-spark、kubernetes

我已经为spark-submits构建了很长一段时间的罐子，它们的效果非常好。如果结合使用sbt-native-packager和sbt-assembly来构建docker镜像，其中包含启动spark驱动程

浏览 11提问于2019-07-08得票数 4

回答已采纳

1回答

使用来自私有注册表的自定义Docker映像的Spark作业

apache-spark、docker、mesos

我想构建一个自定义的Docker镜像，可以与Spark的spark.mess.executor.docker.image配置选项一起使用。此映像将包含私有信息，因此需要保存在私有注册表中。我没有看到任何文档记录的方式来指定登录凭据作为spark-submit命令的一部分。

浏览 0提问于2016-01-06得票数 4

1回答

Spark2.3.0-bin- jars hadoop，docker-image-tool.sh缺少hadoop jars

apache-spark、hadoop、docker、dockerfile

我正在尝试为kubernetes中的部署构建spark容器镜像，并且怀疑我做错了。运行镜像时，我得到了以下错误： /opt/spark/conf/spark-env.sh: line 72: /home/me/hadoop_s3/bin/hadoop: No such filek8s pod中初始化容器的失败日志。由于我使用的是Spark的"wit

浏览 0提问于2018-04-03得票数 1

1回答

在Kubernetes上启动Spark* 3.0 --拉取图像时出错*

docker、apache-spark、kubernetes

我正在尝试根据官方网站上的说明在Kubernetes上启动spark。我按照说明使用他们提供的脚本创建了一个镜像，如下所示： --class org.apache.spark.examples.SparkPi \ --conf <e

浏览 38提问于2020-08-03得票数 0

1回答

将.gitlab-ci.yml中的docker镜像与build essentials和git一起使用

git、docker、continuous-integration、yaml、gitlab-ci

因为我想在gitlab CI中使用docker build和docker-compose，所以应该将镜像指定为image: docker:latest。但是，当我运行一些脚本，包括git命令时，发现git和其他构建必需品并不包括在此映像中。即使我使用了apt-get，仍然找不到该命令。

浏览 0提问于2016-07-15得票数 0

1回答

Cloud Shell环境:创建SSH失败的自定义镜像

dart、google-cloud-platform

Cloud Source Repository，提供基于nodejs docker镜像的cloudshell。我正在尝试为我的repo创建自定义镜像，我正在构建的docker镜像将下载并安装Dart。我按照教程，创建了我的镜像，它构建了很好的#cloudshell env build-local，但当我尝试ssh到容器中时，它失败了。我该如何处理阻止我访问docker实例的问题？

浏览 1提问于2019-09-27得票数 1

1回答

dlib库未安装在gcloud上

python、google-cloud-platform、gcloud、google-cloud-run、dlib

dlib开始安装，然后转到循环来构建dlib轮子，一段时间后抛出一个错误。CMake库已成功安装。.FROM python:3.8-slim ERROR: build step 0 "gcr.io/cloud-builders/docker" failed: step exited

浏览 25提问于2021-11-08得票数 0

1回答

使用带标签的bootBuildImage Gradle SpringBoot 2.4.2

spring-boot、docker、gradle

我正在尝试在一个项目中使用gradle SpringBoot插件版本2.4.2，并使用bootBuildImage任务构建一个docker镜像。当我尝试使用包含斜杠的标签构建docker镜像时，构建将会失败，因为我猜标签中不允许使用斜杠。"${art_password}" }} 标

浏览 0提问于2021-02-02得票数 0

2回答

如何永久更改docker容器中的$PATH

docker、debian

我正在构建一个docker镜像，并希望永久更改其环境变量和路径。PYSPARK_PYTHON='python3.6' >> /etc/profile.d/set-up-env.sh && \ chmod +x /etc/profile.d/set-up-env.sh 这个镜像可以用docker build -t data-job-base .成功构建，但是当我运行它的<em

浏览 60提问于2019-06-12得票数 1

回答已采纳

2回答

如何使用spark-submit在Kubernetes (minikube)上提交PySpark作业

apache-spark、amazon-s3、kubernetes、pyspark

=1 \ --conf spark.executor.cores=1 \--conf spark.executor.memory=500m \ --conf spark.kubernet

浏览 1提问于2020-05-10得票数 1

1回答

CMake链接库在Docker镜像中失败

c++、sqlite、docker、cmake、c++14

在构建c++项目的docker镜像时，由于库链接问题，在docker镜像中编译项目时会遇到问题下面是链接sqlite3库和项目的cmake代码。

浏览 1提问于2019-11-12得票数 0

1回答

spark on k8s -错误‘初始堆大小无效：-Xms’

apache-spark、kubernetes

我正在尝试在k8s上使用spark。推出minikube并构建spark master版本(新获取)，构建docker镜像并推送到docker hub并下发命令spark-pi \ --conf spark.executor.instances=

浏览 28提问于2018-08-10得票数 0

3回答

如何检测docker-py client.build()何时失败

python、docker、dockerpy

我正在使用docker-py来构建和运行Docker镜像。通过阅读，我不清楚我应该如何检测构建镜像时是否出现错误。当出现错误时，build()不会引发异常。这让我觉得我必须调查一下返回的响应。确定docker-py的client.build()是否失败的最佳方法是什么？

浏览 1提问于2015-11-06得票数 2

1回答

s2i构建源代码卷映射而不是--copy，或者在s2i执行后如何访问构建输出目录？

docker、s2i

我们使用s2i来构建docker镜像，使用2个镜像:构建器镜像和运行时镜像。在某些情况下，我不需要构建一个docker镜像，我只需要运行s2i构建，这样mvn就可以按照汇编脚本中的代码执行。我可以通过docker运行和挂载卷来执行类似的步骤，然后执行mvn，作为卷，我可以抓取所需的构建输出文件。当我通过s2i执行此操作时，我没有将目标文件夹作为源代码复制到新创建

浏览 7提问于2020-05-19得票数 0

点击加载更多