合成梯度，良好的层数和神经元

Question

我想用“合成梯度”来训练我的LSTM。

如何决定我的DNI的层数和神经元数？通过尝试错误或更糟糕的是，通过遗传算法来寻找它们，遗传算法似乎超过了碳化硅，从而挫败了合成梯度的目的。而且，如果我的DNI本身就是一个LSTM，那么确定它的最佳结构似乎需要更长的时间。

SG加快训练速度，允许多次向前传球(立即调整重量)，因为DNI已经预测了未来的梯度。

然而，我们会浪费时间“经历”几百次训练，最终找到一个最优的DNI结构，它将用它来预测梯度的最佳方式。

到那个时候，我们已经完成了我们的训练与一个旧的学校背靠背，通过时间。

此外，我们应该如何避免我们的DNI过度安装，如何监测和确保它不会发生？

Answer 1

几个月后，我对此有几点见解：

此外，我们应该如何避免我们的DNI过度安装，如何监测和确保它不会发生？

我认为这并不重要，因为DNI在梯度上的过度拟合实际上是我们想要的。我们希望它能以最快的方式减少数据的错误。然而，与往常一样，我们在这样做的时候应该注意对整个网络的验证。

这可能意味着DNI神经元越多越好，只要指定的训练数据保持不变的o_O。

如果新的或额外的数据被用于培训，我们应该扔掉我们的DNI，只是再一次训练，以适应他们在这个新的“调整”的培训-数据。

还有，这里有更多关于合成梯度的信息

希望有一个更好的答案，所以如果你有更好的答案，就不要选择这个帖子。