重建和反向传播有什么区别？

Question

我正在学习一个关于理解限制Boltzmann机器 (RBM)的教程，我注意到他们同时使用了术语reconstruction和backpropagation来描述更新权重的过程。它们似乎在引用输入和第一个隐藏层之间的链接时使用重构，然后在引用到输出层的链接时使用反向传播。

这些术语是互换使用的，还是不同的概念？

Answer 1

重构用于概念约束Boltzmann机器(RBM)，它描述了结构从层的隐藏状态重构(生成)可见样本的一个阶段。有关更多细节，请参阅：https://stackoverflow.com/questions/4105538/restricted-boltzmann-machine-reconstruction

反向传播完全不同；您可以在深层神经网络、卷积网、RBMs (在某种程度上)等中找到反向传播。假设有N个隐藏层的深层神经网络。在训练时，我们通过随机初始化的权值将输入传递到最后一个神经元。从最后一个神经元的输出，我们使用一个成本函数来计算我们的损失，这个函数计算了预测输出和真实输出之间的误差。这是前向传播。

了解损失和损失函数后，我们开始使用链规则向后求出每一层的权重和偏差的梯度，所有这些都返回到输入侧。这就是所谓的反向传播。在反向传播后，我们根据我们计算的每一层的梯度更新N层的所有权重和偏差。然后，我们再次向前传播，再次反向传播，再次更新，直到我们达到我们的目标(这通常是最小的误差，希望解决一个凸优化问题)。你也可以参考：

反向传播的https://www.youtube.com/watch?v=x_Eamf8MHwU

最后指出: RBM算法的梯度不能通过经典的反向传播来计算，因此采用了一种比较散度的计算方法。您还可以查看关于这一问题的成果管理制文件，以及Geoffrey Hinton编写的更多文件：

https://www.cs.toronto.edu/~hinton/absps/guideTR.pdf

希望我能帮忙，祝你好运！