gnu在不同实例上并行处理多个文件

Question

我想在许多数据库实例上处理许多文件。实例分布在不同的计算机上，一台计算机最多可以承载4个实例。

进程通过bash shell在实例上运行：

process-on.sh <file_to_process> <instance_name>

process-on.sh知道如何从instance_name访问实例(服务器、脚本名称等)。同一个unix客户端用于为一台主机上的所有实例运行进程，只是远程脚本名称有所不同。

我希望实例充当处理器池，并希望使用gnu-parallel作为实例之间的文件分配器。

我想使用gnu-parallel，但它主要是在计算机之间分配，而不是ISNI...也许还有另一个工具可以与池一起工作……

任何提示都将不胜感激。

最好的，克里斯托夫

Answer 1

您需要一种将数字转换为实例的方法--也许是某种查找表。

instances=13
parallel -j$instances 'sleep 0.$RANDOM; echo this is file {} being processed on instance {%}' ::: {1..100}