如何在chainer.training.extensions.Evaluator中使用多个图形处理器？

Question

因为我的训练模型在多个GPU上，所以在训练期间，我使用trainer.extend在每个时期验证我的模型，但是chainer.training.extensions.Evaluator只有一个设备参数，但我的模型网络参数在两个GPU上。在这种情况下如何验证？

Answer 1

Evaluator的device参数指示输入数据应该放到哪个设备上。它对模型参数没有任何影响。

如果您的模型还需要将输入数据加载到多个GPU，则Evaluator不直接支持这种情况，因此您必须对其进行自定义。最简单的方法是设置自定义转换函数(负责将数据复制到适当的设备)。有关converter的详细信息，请参阅Evaluator文档。https://docs.chainer.org/en/stable/reference/generated/chainer.training.extensions.Evaluator.html