blocks|key|674989|text|Geoff+Hinton的演讲：|type|unstyled|depth|inlineStyleRanges|entityRanges|data|674990|http://www.youtube.com/watch?v=AyzOUbkUf3M|offset|length|674991|entityMap|0|LINK|mutability|MUTABLE|url^0|0|0|16|0|0^^$0|@$1|2|3|4|5|6|7|M|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|N|8|@]|9|@$D|O|E|P|1|Q]]|A|$]]|$1|F|3|-4|5|6|7|R|8|@]|9|@]|A|$]]]|G|$H|$5|I|J|K|A|$L|C]]]]

A talk by Geoff Hinton:

<a href="http://www.youtube.com/watch?v=AyzOUbkUf3M" rel="nofollow">http://www.youtube.com/watch?v=AyzOUbkUf3M</a>

blocks|key|165084|text|我想你指的是在自动编码器的上下文中用于回忆输入的RBM，更像是一个联想记忆网络。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|165085|在学习阶段，输入单元和输出节点(单元)被钳制为在训练集中找到的值，之后重复的Boltzmann采样(例如，通过Metropolis+Hastings和模拟退火的组合)与梯度下降一起使用，以优化输入、隐藏和输出节点之间的所有连接的权重。经过训练后，受限Boltzmann网络可用于1)分类/预测或2)在自由运行模式下生成内存。|165086|在分类/预测模式中，部分或全部输入单元被钳位，而隐藏和输出节点则使用Boltzmann采样进行采样。输出节点的统计属性(本质上是平均值)是预测或分类。如果RBM的结构类似于单层自动编码器，具有类似于输出层的输入层和稀疏或更小的隐藏层，则有限数量的输入导致训练输入的完全恢复将构成“重构”。|165087|Hinton在2006年的科学论文中讨论了其中的一些想法：|165088|http://www.cs.toronto.edu/~hinton/science.pdf|offset|length|165089|本文是RBMs和神经网络的一个比较具体的应用。在本文中，他使用RBMs来预训练一个深度(多层)神经网络。|165090|entityMap|0|LINK|mutability|MUTABLE|url^0|0|0|0|0|0|19|0|0|0^^$0|@$1|2|3|4|5|6|7|U|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|V|8|@]|9|@]|A|$]]|$1|D|3|E|5|6|7|W|8|@]|9|@]|A|$]]|$1|F|3|G|5|6|7|X|8|@]|9|@]|A|$]]|$1|H|3|I|5|6|7|Y|8|@]|9|@$J|Z|K|10|1|11]]|A|$]]|$1|L|3|M|5|6|7|12|8|@]|9|@]|A|$]]|$1|N|3|-4|5|6|7|13|8|@]|9|@]|A|$]]]|O|$P|$5|Q|R|S|A|$T|I]]]]

I think you mean an RBM used in the context of an autoencoder for recalling inputs, rather like an associative memory network.

During the learning phase, the input units and output nodes (units) are clamped to values found in the training set, after which repeated Boltzmann sampling (e.g. via combination of Metropolis Hastings and Simulated Annealing) is used in conjunction wit gradient descent to optimize the weights over all connections between input, hidden and output nodes. After training, the restricted Boltzmann network can be used to either 1) classify/predict or 2) generate memory in free running mode.

In the classify/predict mode, some or all of the input units are clamped while the hidden and output nodes are sampled with Boltzmann sampling. The statistical properties (essentially the means) of the output nodes are the predictions or classifications. If the RBM is structured like a single layer autoencoder, with an input layer that resembles the output layer and a sparse or smaller hidden layer, then a limited number of inputs resulting in complete recovery of a training input would constitute a "reconstruction".

Hinton's 2006 Science paper discusses some of these ideas:

<a href="http://www.cs.toronto.edu/~hinton/science.pdf" rel="nofollow">http://www.cs.toronto.edu/~hinton/science.pdf</a>

This paper is a rather specific application of RBMs and neural networks though. In this paper he uses RBMs to pretrain a deep (many layered) neural network.

blocks|key|2595467|text|受限Boltzmann机器是生成模型，可以为给定的隐藏单元生成样本。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|2595468|对于重建，首先将输入数据钳制到可见单元，并利用模型的权重计算隐藏状态。在第二步中，通过使用最近计算的隐藏状态来计算可见单元。在第二步中得到的可见状态是重建的样本。|2595469|输入数据和重建样本的比较(元素比较等)给出重建错误。|2595470|entityMap^0|0|0|0^^$0|@$1|2|3|4|5|6|7|H|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|I|8|@]|9|@]|A|$]]|$1|D|3|E|5|6|7|J|8|@]|9|@]|A|$]]|$1|F|3|-4|5|6|7|K|8|@]|9|@]|A|$]]]|G|$]]

Restricted Boltzmann Machines are generative models that can generate samples for given hidden units.

For reconstruction, firstly, the input data is clamped to visible units and hidden states are calculated by using model's weight. In second step, the visible units are calculated by using recently calculated hidden states. Visible states that you get in second step are reconstructed sample. 

Comparison of the input data and reconstructed sample(element-wise comparison etc.) gives reconstruction error.

blocks|key|2595457|text|在Hinton's+algorithm中，他们使用RBM进行预训练，以便初始权重接近于确保梯度下降收敛性的良好解决方案。|type|unstyled|depth|inlineStyleRanges|offset|length|style|BOLD|entityRanges|data|2595458|在下一步中，初始网络(例如，1000+500+100+2)是展开的，以给出一个自动编码器网络(1000+500+100+2+100+500+1000)。编码器(1000,500,100，2)和解码器(2,100,500,1000)部分最初使用相同的权重。|2595459|最后一个阶段是微调。它使用通过整个自动编码器(1000+500+100+2+100+500+1000)的反向传播来微调权重(通过最小化输入与其重建之间的误差)以实现最佳重建。自动编码器的输出是输入的重构。|2595460|entityMap|0|LINK|mutability|MUTABLE|url|http://www.cs.toronto.edu/~hinton/science.pdf^0|U|3|1|I|0|0|U|3|0|7|2|0^^$0|@$1|2|3|4|5|6|7|R|8|@$9|S|A|T|B|C]]|D|@$9|U|A|V|1|W]]|E|$]]|$1|F|3|G|5|6|7|X|8|@$9|Y|A|Z|B|C]]|D|@]|E|$]]|$1|H|3|I|5|6|7|10|8|@$9|11|A|12|B|C]]|D|@]|E|$]]|$1|J|3|-4|5|6|7|13|8|@]|D|@]|E|$]]]|K|$L|$5|M|N|O|E|$P|Q]]]]

In <a href="http://www.cs.toronto.edu/~hinton/science.pdf" rel="nofollow">Hinton's algorithm</a>, they use RBM for pre-training so that the initial weights are close to a good solution ensuring convergence of gradient descent. 

In the next step, the initial network(say, [1000 500 100 2]) is unfolded to give an auto-encoder network([1000 500 100 2 100 500 1000]). The encoder([1000 500 100 2]) and decoder([2 100 500 1000]) parts initially use the same weights.

The last stage is fine-tuning. It uses backpropagation through the whole auto-encoder([1000 500 100 2 100 500 1000]) to fine-tune the weights(by minimizing the error which is the difference between input and its reconstruction) for optimal reconstruction. The output of auto-encoder is the reconstruction of the input.

I read some articles about restricted Boltzmann machines. These machines were tested for their reconstruction capabilities. I understand how training works, but not how this reconstruction is done. Can anybody give me some hints ?

Restricted Boltzmann Machine - reconstruction

翻译质量差，导致语言生硬或混乱。

没有提供实际的解决方法或示例。

解答不清晰，无法理解或解决问题。

页面排版不美观，阅读体验差。

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

我读了一些关于受限玻尔兹曼机器的文章。对这些机器的重建能力进行了测试。我知道训练是如何工作的，但不知道重建是如何进行的。有人能给我一些提示吗？

问受限玻尔兹曼机-重构
EN

回答 4

Stack Overflow用户

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问受限玻尔兹曼机-重构EN

回答 4

Stack Overflow用户

Stack Overflow用户

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问受限玻尔兹曼机-重构
EN