求解VAE中的爆炸梯度

Question

如何解决深度生成模型(VAE)中的爆炸梯度？

注意:数据集在列中包含大量的NaNs值

Answer 1

我不确定爆炸梯度对于VAE来说是典型的。这可能是代码中的另一个问题。但是，分解梯度通常通过梯度裁剪来解决：

weights = weights*clipping_threshold/l2_norm(weights)

其中clipping_threshold等于1。

Answer 2

默认情况下，VAEs不能处理丢失的数据。首先清理数据，或者尝试应用一些方法来处理丢失的数据，例如：

https://arxiv.org/abs/2006.05301