Talos多gpu功能

Question

我正在尝试为我的CNN运行Talos超参数搜索。有了6个图形处理器来运行更快的实验，Talos的功能multi_gpu似乎很方便。

my_new_model = multi_gpu(my_new_model, gpus=6)
my_new_model.compile(...)

需要在model.compile之前调用函数。

但似乎仍然只有一个作业在同一时间被执行。我希望，一个有6条可能路径的实验应该同时进行。现在它还在一个接一个地工作。

有什么想法吗？

Answer 1

multi_gpu用于在一台机器上的多个GPU上运行单个任务。

根据您在数据集、体系结构、参数等方面所做的工作，这可以显著减少实验时间。即使排列仍然是“逐个”执行的，但每次排列的执行时间都更短。