如何设置isilon存储的用户吞吐量限制

Question

用户可以在condor上运行多个进程，并访问isilon存储。有些人可能会滥用读吞吐量，而其他人则会为此付出代价。因此，假设isilon可以处理10 So /S的读取速度。如果我有3个用户，每个用户都有100个进程试图读取1GB/S，那么剩下的就会被严重饿死。存在什么样的解决方案？单主机限制不起作用，因为用户通过秃鹰读取。

Answer 1

在HTCondor中有几种方法可以做到这一点，这取决于您的工作和系统的性质。

首先，您可以使用并发限制功能来全局限制跨所有用户运行作业的数量。每个作业都需要声明它正在使用一定百分比的文件服务器带宽。在中央管理器配置中，可以设置限制，例如

IPSILON_LIMIT = 1000

然后，每个作业都可以通过添加职务描述来声明它们使用了一定数量的带宽。

concurrency_limits = ipsilon:100

声明此作业将使用可用的1000总带宽中的100。

第二种方法可以工作，当您的文件可以一次从远程文件服务器传输到本地划痕目录，在本地操作，并在工作完成后再传输回来。如果这符合您的使用模式，您可以查看自定义文件传输插件。然后，HTcondor会将文件从服务器复制到本地的划痕目录，但是这些活动传输的数量可以限制为每个调度。