Nextflow:在使用Google生命科学API时指定引导镜像

Question

在使用Google生命科学API时，是否可以在Nextflow中指定VM的启动映像？具体地说，我这里讨论的是bootImage参数：https://cloud.google.com/life-sciences/docs/reference/rest/v2beta/projects.locations.pipelines/run#virtualmachine

编辑

原因如下:当我尝试生成几个使用GPU的工作线程时，我得到了以下错误消息：

(more omitted..)
+ NVIDIA_DRIVER_VERSION=450.51.06
+ NVIDIA_DRIVER_MD5SUM=
+ NVIDIA_INSTALL_DIR_HOST=/var/lib/nvidia
+ NVIDIA_INSTALL_DIR_CONTAINER=/usr/local/nvidia
+ ROOT_MOUNT_DIR=/root
+ CACHE_FILE=/usr/local/nvidia/.cache
+ LOCK_FILE=/root/tmp/cos_gpu_installer_lock
+ LOCK_FILE_FD=20
+ set +x
[INFO    2021-02-24 18:27:39 UTC] PRELOAD: false
[INFO    2021-02-24 18:27:39 UTC] Running on COS build id 13310.1209.10
[INFO    2021-02-24 18:27:39 UTC] Data dependencies (e.g. kernel source) will be fetched from https://storage.googleapis.com/cos-tools/13310.1209.10
[INFO    2021-02-24 18:27:39 UTC] Getting the kernel source repository path.
[INFO    2021-02-24 18:27:39 UTC] Obtaining kernel_info file from https://storage.googleapis.com/cos-tools/13310.1209.10/kernel_info
[INFO    2021-02-24 18:27:40 UTC] Downloading kernel_info file from https://storage.googleapis.com/cos-tools/13310.1209.10/kernel_info

real    0m0.079s
user    0m0.014s
sys    0m0.004s
[INFO    2021-02-24 18:27:40 UTC] Checking if this is the only cos-gpu-installer that is running.
[INFO    2021-02-24 18:27:40 UTC] Checking if third party kernel modules can be installed
[INFO    2021-02-24 18:27:40 UTC] Checking cached version
[INFO    2021-02-24 18:27:40 UTC] Cache file /usr/local/nvidia/.cache not found.
[INFO    2021-02-24 18:27:40 UTC] Did not find cached version, building the drivers...
[INFO    2021-02-24 18:27:40 UTC] Downloading GPU installer ... 
[INFO    2021-02-24 18:27:40 UTC] Downloading from https://storage.googleapis.com/nvidia-drivers-eu-public/nvidia-cos-project/85/tesla/450_00/450.51.06/NVIDIA-Linux-x86_64-450.51.06_85-13310-1209-10.cos
[INFO    2021-02-24 18:27:40 UTC] Downloading GPU installer from https://storage.googleapis.com/nvidia-drivers-eu-public/nvidia-cos-project/85/tesla/450_00/450.51.06/NVIDIA-Linux-x86_64-450.51.06_85-13310-1209-10.cos

real    0m0.811s
user    0m0.175s
sys    0m0.495s
[INFO    2021-02-24 18:27:41 UTC] Setting up compilation environment
[INFO    2021-02-24 18:27:41 UTC] Obtaining toolchain_env file from https://storage.googleapis.com/cos-tools/13310.1209.10/toolchain_env
[INFO    2021-02-24 18:27:41 UTC] Downloading toolchain_env file from https://storage.googleapis.com/cos-tools/13310.1209.10/toolchain_env

real    0m0.021s
user    0m0.013s
sys    0m0.003s
[INFO    2021-02-24 18:27:41 UTC] Found toolchain path file locally
ls: cannot access '/build/cos-tools': No such file or directory
[INFO    2021-02-24 18:27:41 UTC] /build/cos-tools: 
ls: cannot access '/build/cos-tools': No such file or directory
[INFO    2021-02-24 18:27:41 UTC] Downloading toolchain from https://storage.googleapis.com/chromiumos-sdk/2020/06/x86_64-cros-linux-gnu-2020.06.25.065836.tar.xz
[INFO    2021-02-24 18:27:41 UTC] Downloading toolchain archive from https://storage.googleapis.com/chromiumos-sdk/2020/06/x86_64-cros-linux-gnu-2020.06.25.065836.tar.xz
curl: (16) Error in the HTTP2 framing layer

real    0m2.403s
user    0m0.580s
sys    0m1.461s
[ERROR   2021-02-24 18:27:44 UTC] Could not download toolchain archive from https://storage.googleapis.com/chromiumos-sdk/2020/06/x86_64-cros-linux-gnu-2020.06.25.065836.tar.xz, giving up.

因此，一些工具链可能无法找到或安装。但是，这个问题是随机发生的。有时，我繁育了72个工人，一切都很好。有时我会遇到这样的错误。

我认为更改我提到的参数可以解决这个问题，但您是对的，它可能不会。

我做了一些挖掘，但几乎找不到任何相关的东西。我能找到的唯一有点相关的帖子是https://github.com/DataBiosphere/dsub/issues/215，但也没有发布解决方案。

Answer 1

目前(从v21.02.0-edge开始)，请查看此处：

https://github.com/nextflow-io/nextflow/blob/v21.02.0-edge/plugins/nf-google/src/main/nextflow/cloud/google/lifesciences/GoogleLifeSciencesConfig.groovy

从文档中看，bootImage选项似乎只有一个有限的用例，对于容器化的工作流来说可能没有多大意义：

bootImage要使用的主机操作系统映像。

目前，只能使用容器优化的操作系统镜像。

默认值为projects/cos-cloud/global/images/family/cos-stable，，它选择容器优化操作系统的最新稳定版本。

提供此选项是为了允许针对操作系统的测试版进行测试，以确保新版本不会与生产管道进行负面交互。

要针对容器优化操作系统的测试版测试管道，请使用值projects/cos-cloud/global/images/family/cos-beta.

有没有什么原因让你需要一个不同于最新稳定版本的启动镜像来运行你的工作流？也许是一个新的码头？

编辑：

我只是看了一下我认为在这里运行的代码，不确定我是否得到了正确的版本，但也不确定这是否真的重要：

https://github.com/GoogleCloudPlatform/cos-gpu-installer/blob/v20210204/cos-gpu-installer-docker/entrypoint.sh#L299-L324

我认为“无法从以下位置下载工具链档案...”消息是准确的，我们可以看到curl报告：‘HTTP2成帧层错误’。为什么？我认为这只是一个下载/超时错误，如果它偶尔发生。虽然HTTP2成帧层中的错误有点奇怪。我不确定这到底是什么意思，也不确定为什么使用HTTP版本2有时会有问题。我认为你最好的选择是在这里打开一个问题：

https://github.com/GoogleCloudPlatform/cos-gpu-installer/issues