Dask.distributed集群管理

Question

我正在工作中设置Dask集群(30台机器，平均每个核心8台)。人们只使用一部分的CPU能力，因此dask-workers将在低优先级的背景上运行。所有工作人员都在我的主节点上收听dask-scheduler。如果我使用它的人使用它，那么它的工作非常完美，但是它将被几个人以并发的方式使用-所以我需要能够管理这个集群：

• 验证用户，拒绝未知
• 确定谁提交了哪些工作
• 限制每个用户提交的作业数量
• 限制每个作业的计算超时
• 杀了任何管理员的工作

dask.distributed开箱即用提供了上面描述的一些功能。你能给我一些解决方案的建议吗(可能是混合Dask +什么的)？

Answer 1

人们通常使用一个集群管理器，如Kubernetes、Yarn、SLURM、SGE、PBS等。该系统处理用户身份验证、资源管理等。然后，用户将使用、Dask纱线、Dask-jobqueue项目中的一个来根据需要在集群上创建自己的短命调度程序和工作人员。