在网格引擎/ Sun网格引擎/网格引擎之子上使用Docker

Question

有没有人有在网格引擎/ Sun网格引擎/网格引擎的儿子上运行Docker并能够monitor the resource used by the daemon的经验？问题是，当I qsub docker run ...时，容器中的实际进程是由docker守护进程而不是docker客户端运行的，这意味着进程树是不同的。

SGE有没有办法跟踪不同树中进程的资源(我假设没有)？

另一种选择是qsub一个脚本，该脚本首先启动docker守护进程，然后运行所需的docker run命令，以便所有进程都位于SGE启动的同一进程树中。这将要求sge具有启动守护程序的权限(root访问权限)，并且还可能导致主机上运行多个docker守护程序。

备用进程树的另一个问题是，如果提交的作业指定了守护进程(-d)。在这种情况下，docker客户端将完成，但docker守护进程可能仍在运行容器

Answer 1

当你使用'docker run ...‘时，你是对的。它与守护进程通信，并从镜像创建一个容器。这意味着进程树“不能被网格引擎管理”，因为网格引擎execd (启动作业的守护进程)不是树的父进程。有了Sun Grid Engine，Grid Engine和Open Grid Scheduler的儿子，目前没有办法将网格引擎插入到进程树中。

您可以修改网格引擎源代码，并使用Docker API来控制容器并从容器中收集资源信息-但是，我认为没有人在Sun Grid Engine中做过这项工作。

然而，Univa Grid Engine的商业版本确实具有此功能(免责声明:我为Univa工作)。Univa Grid Engine使用Docker API启动容器，并有一个co-shepherd，这是一个在容器中运行的小守护进程，用于收集资源使用情况并提供作业控制。