用于DNN的Pytorch和Optuna的结果重现性

Question

我找到了7个超参数的最优结果，即：

• optimizer

1. 层数、
2. 节点大小、
3. 激活函数、
4. 学习速率、
5. 动量、H 210<代码>H 111批次大小

使用Optuna多目标优化。我把培训和验证损失最小化作为我的目标。由于调优参数的数量更多，所以我将每个路径的历元数减少为50。然后，我得到了最佳的参数，后Optuna优化。我增加了时代的大小，并使用torch.manual_seed构建了相同的模型。但是，在相同的50年代之后所得到的结果与我在Optuna结果中得到的结果不同。

我错过任何东西的原因是什么？我想在相同的条件下复制相同的结果！

Answer 1

最后，我找到了不恰当的重现性的原因。在我的代码中，我使用了两个不同的目标函数: def训练(试用)和def层(试用)。我把第二个目标函数转到火车上(试用)。此外，指定手动种子也很重要。无论如何，会有0.0001%的轻微偏差。