带有NRLU隐藏单元的高斯RBM(在DBN中)？

Question

我正在研究用于图像分类的RBM (用于DBN)。我和两个RBM层一起工作。前者具有高斯可见单元和二进制隐藏单元，后者具有二进制可见单元和softmax隐藏单元。效果很好。我现在想尝试使用噪声校正线性单元作为隐藏层，但我不知道如何实现它们。我所做的一切都带来了可怕的结果。

现在，如果我正确地理解:一个ReLU的激活概率仅仅是p= max(0，x+ N(0，1))，那么我如何采样这些值来激活可见单元呢？噪音应该只用于取样而不是激活概率吗？

另一件事:在一些论文中，我看到噪声是N(0,1)，还有一些使用N(0，sigmoid(x))。

那么，激活函数应该是什么，以及如何采样值呢？

Answer 1

显然：

使用max(0, x)作为激活概率函数，使用max(0, x + N(0, Sigmoid(x))作为抽样似乎适用于RBM。