训练前用乙状结肠，训练用ReLU？

Question

使用RBM预先训练一个深网，如本例中的成果管理制，激活函数为sigmoid，使计算变得更加容易。

在使用sigmoid激活函数学习初始权重以切换到列车阶段的ReLU之后，有什么意义？

我想，在任何一个阶段(列车前或列车)和乙状结肠或ReLU在另一个阶段使用会引起很大的问题，但由于ReLU和乙状结肠是相似的小值，它还会使列车前阶段无用吗？

从使用乙状结肠激活函数的神经网络向结构相同但使用ReLU激活函数的神经网络传递多少知识，这个问题可能更为普遍。

Answer 1

既然RBM只有一层权重，那么为什么要在1层网中将乙状结肠改为ReLU呢？在这么浅的网中，梯度消失是不可能发生的。

你也可以训练高斯-伯努利或高斯-高斯RBM (更多的这里)，它具有身份激活函数，它比乙状结肠更接近ReLU，如果你有实值数据，而不是二进制数据，那么更合理的是什么。然而，由于这种无约束的激活，这些类型的网络训练起来有点不稳定。