我想远程执行ClearML任务。根据文档,有两个选项: 1)执行单个python文件;2) ClearML将标识脚本是repo的一部分,该repo将被克隆并安装到docker中,并在工作人员上执行。
在第二种场景中,假设repo具有远程url,并且工人可以访问它。如果不是这样呢?是否可能以某种方式打包本地回购并将其发送到远程执行。
我认为它在某种程度上扩展了场景1,其中没有传递一个文件来执行,而是传递包含文件的整个目录。
PS:我理解出现的可重现性问题,但是回购实际上是工人无法获得的:(
提前谢谢。
发布于 2022-08-08 21:03:38
免责声明:我是ClearML的团队成员
在第二个场景中,假设
具有远程url,并且工人可以访问它。如果不是这样呢?是否可能以某种方式打包本地回购并将其发送到远程执行。
嗯,不是:(如果您的代码是单个脚本,那么是的ClearML将存储整个脚本,那么工作人员将在远程机器上复制它。但是如果您的代码库是由多个文件组成的,那么为什么不使用git呢?它由GitHub、Bitbucket、GitLab等免费托管。
从理论上讲,这是可行的,如果你觉得需要,我建议你公关这个功能。基本上,您可以将整个文件夹存储为工件(ClearML将自动为您压缩它),然后代理需要解压缩工件并运行它。主要问题是克隆任务不会克隆工件.
https://stackoverflow.com/questions/72381916
复制相似问题