Flink 1.9方案的无文件系统: kubernetes上的hdfs

Question

我正在尝试将我的项目从Flink 1.4升级到Flink 1.9。在1.4中，我构建了一个胖jar，其中包含了我所有的hadoop 2.9.2依赖项，然后我将这些依赖项提交给k8s上的Flink集群。我没有在集群上安装hadoop。

当我将项目升级到1.9并升级集群时，我无法在集群上运行代码，尽管它在我的IntelliJ IDE上运行得很好。例外是：

java.io.IOException: No FileSystem for scheme: hdfs
at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2660)
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2667)
at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:94)
at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2703)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2685)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:373)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:172)
...

由于我没有在flink中包含任何hadoop依赖项，所以我假设它仍然应该工作，因为所有依赖项都打包到胖jar中，因为它在1.4上工作得很好。

我已经尝试添加到阴影-hadoop2 2中，这并不能解决这个问题。

    compile group: 'org.apache.flink', name: 'flink-shaded-hadoop2-uber', version: '2.4.1-1.8.2'

我猜想，为flink设置hadoop路径可能会修复它，并且一直在努力理解我应该如何在我的Dockerfile中这样做。我需要解压缩hadoop 2二进制文件还是创建一些jars并将它们添加到/flink/lib中？

我的Dockerfile现在看起来是这样的：

FROM openjdk:8-jre
MAINTAINER User "myemail@gmail.com"
LABEL version="v1.9.0"

ENV FLINK_HOME=/flink
ENV FLINK_CONF_DIR=/flink/conf
ENV FLINK_APPS_DIR=/flink/apps
ENV FLINK_LIB_DIR=/flink/lib

RUN mkdir -p ${FLINK_HOME}
RUN mkdir -p ${FLINK_CONF_DIR}
RUN mkdir -p ${FLINK_APPS_DIR}
RUN mkdir -p ${FLINK_LIB_DIR}

ENV PATH=$FLINK_HOME/bin:$PATH
ENV CLASSPATH=.:$FLINK_APPS_DIR:$FLINK_LIB_DIR

COPY dist/flink-1.9.0-bin-scala_2.11.tgz ${FLINK_HOME}/flink.tgz
WORKDIR ${FLINK_HOME}

COPY prepare-deployment.sh /
RUN chmod +x /prepare-deployment.sh
RUN /prepare-deployment.sh
RUN rm -rf /prepare-deployment.sh


COPY Tools/netstat /bin/netstat
COPY Tools/ttyd-static-amd64 /bin/ttyd
COPY Tools/jq /bin/jq
COPY Tools/checktm /bin/checktm
COPY Tools/checktm_log /bin/checktm_log

COPY docker-entrypoint.sh /
RUN chmod +x /docker-entrypoint.sh
RUN chmod -R 755 /bin
RUN chmod -R 777 /flink
RUN chmod -R 777 /etc
EXPOSE 6122 6123 6124 6125 6126 6127 8080 8081
ENTRYPOINT ["/docker-entrypoint.sh"]
CMD ["--help"]

Answer 1

在Flink源代码中，您将找到一个flink-容器目录，其中包含用于构建Docker映像的build.sh脚本和Dockerfile等。它们是为帮助您正确获取这些详细信息而设置的，并根据您的需要进行了参数化，以包括hadoop库。