对于每一个贝叶斯网络，是否有一个提供相同输出的神经网络？

Question

在思考了一个问题贝叶斯网络与神经网络的比较之后，我现在想知道它们是否是一回事！

在这一点上，我的数学(不使用了20多年，我失败了！)但是...

• 如果使用无限随机测试数据
• 为每个数据项找到贝叶斯网络的输出
• 然后神经网络就被训练了

神经网络会不会与贝叶斯网络一样？

Answer 1

我们不需要做任何疯狂的事情来证明这一点，我们可以简单地利用UAT。

通过普适逼近定理，是的，你可以知道一个与你的贝叶斯网络完全匹配的神经网络。

Answer 2

我会说是的。

正如雅各布整齐地指出的那样，万能近似也差不多了。可以用来证明事实。

事实上，由于神经网络具有高度的灵活性，由于它们的便携结构定义和大量的激活函数可以从中选择，我不明白为什么贝叶斯网络不能被神经网络模仿。但是，根据我在研究和编码深信度网络方面的经验，我建议你不要在家里尝试。因为，你往往会以痛苦的复杂网络而告终。:D

但是，我对反之亦然的过程表示怀疑。(由于我对贝叶斯网络的了解有限)

Answer 3

正如Jacob所指出的，万能近似定理给出了答案。所以..。

是。但请注意，无论如何这对GLMs，SVMs有效.所以..。

神经网络会不会与贝叶斯网络一样？

是的，就像其他型号一样。

请注意，情况并非如此，贝叶斯网络不能建模某些类型的依赖关系，例如循环依赖关系。此外，所有的贝叶斯网络结构学习算法都是可信的，因此它们在某些类型的独立和条件因变量上表现很差:参见这种情况有概率图形模型吗？。

注意:请不要误以为你只应该学习和使用神经网络。统计学习导论彻底解释了原因。