我遇到了越来越多的数据科学家,他们使用Docker容器,以便进行可重复的分析。
问:如何下载/拉取数据到Docker容器?
如果数据可以通过URL下载,那么您自然可以在Dockerfile中添加如下一行
wget www.server_to_data.org/path/path/myfile.gz但是我的数据位于服务器上,用户使用~/.ssh/id_rsa.pub中的密钥对ssh到服务器。我不确定这是如何在安全方面起作用的。
在这种情况下,人们通常如何下载或访问您的数据?
可以挂载服务器,但我不确定如何在Container/VM中访问这些服务器。
发布于 2017-12-13 11:25:22
对于您当前的情况,您已经将数据放在服务器上,并将密钥对分发给应该具有访问权限的人。如果您只想使用现有基础结构,而不想更改它。可以通过为镜像中的ssh密钥设置音量来完成,然后运行镜像的用户需要使用设置为其ssh密钥的音量启动容器。
使用Dockerfile在镜像中设置卷:
FROM ubuntu
#[RUN your installation process]
VOLUME /home/container_user/.ssh运行容器,并将ssh密钥的位置挂载到该卷:
docker run -d -v PATH_TO_DRECITORY_HOLDING_SSH_KEY:/home/container_user/.ssh [OTHER OPTIONS] IMAGE[:TAG|@DIGEST] [COMMAND] [ARG...]然后,您可以将数据下载为启动容器时运行的脚本的一部分。
基本思想取自How can I get my ~/.ssh keys into a docker container running locally?
也就是说,如果我们稍微退后一点,询问人们将如何使用您的图像,图像将存储在哪里(公共或私有repo),以及数据更改的频率,可能会有一些更用户友好的方法来满足需求。此外,如果您允许docker-compose作为运行容器的方式,那么您还可以使用其他一些选项。
https://stackoverflow.com/questions/47783307
复制相似问题