在Docker中运行Spark历史服务器以查看AWS胶水作业

Question

我已经设置了AWS Glue来输出Spark事件日志，以便它们可以导入到Spark History Server中。AWS为此提供了一个CloudFormation stack，我只想在本地运行历史服务器并导入事件日志。我想使用Docker来做这件事，这样同事们就可以很容易地运行同样的东西。

我遇到了问题，因为历史服务器是一个守护进程，所以容器启动并立即关闭。

如何使Docker镜像保持活动状态？

我的Dockerfile如下

ARG SPARK_IMAGE=gcr.io/spark-operator/spark:v2.4.4
FROM ${SPARK_IMAGE}

RUN apk --update add coreutils

RUN mkdir /tmp/spark-events

ENTRYPOINT ["/opt/spark/sbin/start-history-server.sh"]

我使用以下命令开始：

docker run -v ${PWD}/events:/tmp/spark-events -p 18080:18080 sparkhistoryserver

Answer 1

您需要SPARK_NO_DAEMONIZE环境变量，请参见here。这将使容器保持活动状态。

只需修改Dockerfile，如下所示：

ARG SPARK_IMAGE=gcr.io/spark-operator/spark:v2.4.4
FROM ${SPARK_IMAGE}

RUN apk --update add coreutils

RUN mkdir /tmp/spark-events

ENV SPARK_NO_DAEMONIZE TRUE
ENTRYPOINT ["/opt/spark/sbin/start-history-server.sh"]

有关更详细的自述文件，请参阅here。