基于RBM的深度自动编码器

Question

我正在使用RBM实现深度自动编码器。我知道，为了展开网络，我们需要使用编码器的转置权值作为解码器。但我不确定我们该用哪种偏见来做解码器。如果有人能给我详细说明或者给我发一个伪码链接，我会很感激的。

Answer 1

我相信Geoff在his website上提供了他所有的源代码。他是这种技术的RBM版本的上进者。

基本上，如果你有一个维数为10000 x 100的输入矩阵M1，其中10000是你有的样本数，100是特征数，你想把它转换成50维空间，你就会训练一个有限的波兹曼机器，它的权重矩阵是维数101x50，额外的行是总是开着的偏置单元。在解码端，你会取101x50矩阵，把额外的一行从偏置变成一个100×50矩阵，转到50x100，然后为偏置单元加上另一行，使它成为51x100。然后，您可以通过反向传播来运行整个网络，以训练整个网络的权重。