用SELU激活函数改进变分自动编码器结构

Question

在变分自动编码器架构中，我们使用了µ和sigma全连接层。然后是潜在变量层，即来自高斯分布的样本，即来自下面层的µ和sigma的样本。在成本函数中，我们使用KL散度来确保潜在变量的激活遵循单位高斯分布。

因此，由于SELU被设计为确保单位高斯激活，我们是否可以移除µ和sigma全连接层，而改为使用SELU激活函数。

谢谢！！

Answer 1

您使用的激活函数在这里并不重要，因为编码器网络中的最后一层不应该有任何激活。因此，即使SELU收敛到单位高斯分布，如果在生成潜在变量的层上没有激活，它也不是单位高斯分布。

此外，编码器网络的输出是潜在变量分布的均值和方差，而不是潜在变量本身。因此，我们希望第一列编码器输出为0，第二列编码器输出为1，而不是让它们为单位高斯。SELU会让均值和方差的分布遵循单位高斯分布，这在这里没有意义。