哈希科普的游牧作为HTCondor的替代？

Question

我找不到任何关于这个信息，除了旋转一个游牧集群和实验，所以也许这里的人可以帮助。

表示您希望运行一个批处理java作业的100个迭代，每个迭代都有一个不同的参数集，并将得到的输出文件返回.

。

1)游牧民族是否接受input_files的概念，即你指向计算机上的一个本地文件，它就会分发这样的文件？

# in HTCondor would be something like this
transfer_input_files = MyCalculator.jar,logback.xml

( 2) Nomad是否带回了这样的计算结果，比如生成的*.csv文件？

# this would do it in HTCondor
should_transfer_files = YES
when_to_transfer_output = ON_EXIT
transfer_output_files = /output_dir

3)游牧民是否允许像秃鹰那样使用参数，允许您用n参数发送作业，然后将其作为多个作业分发到集群？

# this would do it in HTCondor
Arguments    = x=1
Queue 
(...)
Arguments    = x=100
Queue

Answer 1

容器被认为是无状态的，这意味着您将需要对您的过程进行额外的步骤才能工作。Condor为您添加了此功能，但我从未发现它有用，而且在我使用它时从未正常工作(上次是2009年)。为了绕开它，我把数据传输和秃鹰分开了。要做到这一点，您需要执行以下操作：

输出数据文件需要存储在某种类型的持久数据存储中，而不是容器本身中。有些容器允许安装主机的直接磁盘，甚至允许通过网络安装远程磁盘(NFS、Samba、SSHFS等)。在过去，我使用了分布式文件系统(或网络挂载系统)，比如AWS-S3，来处理这个需求。

当我在2009年为我的硕士论文与Condor一起工作时，我通过为我在批处理作业中运行的Java应用程序构建BASH包装脚本来处理这个需求。脚本将处理发送适当的输入变量(从分布式文件系统资源下载)，当作业完成后，脚本将启动输出文件到同一个分布式文件资源的数据传输(带有作业名称、作业编号、运行作业的主机名和文件输出名称中的日期时间戳)。

HTCondor、Nomad甚至Kubernetes可以为您处理这个问题集。您需要在作业运行器包装脚本中添加某种逻辑，以便在启动和关闭应用程序本身之前处理数据传输。

我希望这能帮到你。