神经网络中的神经元在哪里共享它们的预测结果(学习函数)？

Question

这绝对是一个菜鸟的问题，但这里是：

我了解到，神经网络中的一层神经元都用不同的(本质上是随机的)输入特征权值初始化，以此改变它们的反向传播结果，以便它们能够收敛到描述输入数据的不同函数。然而，我不明白这些神经元在什么时候或如何产生独特的功能来描述输入数据“传递”他们的结果，就像在集成ML方法中所做的那样(例如，用随机的初始决策准则种植一大片树木，然后确定森林中最具鉴别性的模型)。在树集合示例中，所有的树一起工作，以概括每个模型所学习的规则。

神经元是如何、在何处、何时传递其预测功能的？我知道单个神经元使用梯度下降来收敛到它们各自的功能，但它们是独特的，因为它们以独特的权重开始。他们是如何传达这些差异的？我想，在这种通信发生的输出层，组合神经元的结果会有一些微妙的行为。而且，这是迭代训练过程的一部分吗？

评论部分(https://datascience.stackexchange.com/questions/14028/what-is-the-purpose-of-multiple-neurons-in-a-hidden-layer)的某个人问了一个类似的问题，但我没有看到答案。

我们将非常感谢您的帮助！

Answer 1

在传播过程中，每个神经元通常参与形成下一层的多个神经元的值。在反向传播中，每一个下一层神经元都会试图将参与的神经元的重量推到最小，以减小误差。差不多就是这样。

例如，假设你试图得到一个NN来识别数字。比方说，隐藏层中的一个神经元开始获得识别垂直线的想法，另一个神经元开始发现角质线，等等。负责寻找1的下一层神经元将看到，如果它想要更精确，它应该注意垂直线的家伙；而且，角质线的人喊的越多，就越不是1。这就是权值的含义:告诉每个神经元，它应该有多强烈地关心每一个输入。反过来，垂直线家伙将学习如何更好地识别垂直线，通过调整其输入层的权重(例如单个像素)。

(不过这是相当抽象的。没人告诉垂直线人他应该识别垂直线。不同的神经元只是为了不同的东西而训练，而由于数学的优点，它们最终选择了不同的特征。其中一种可能是垂直线，也可能不是垂直线。

在同一层上的神经元之间没有“通信”(在基本情况下，层之间的流动是线性的)。这都是关于一个层上的神经元在预测下一层发现有用的特征方面越来越好。

在输出层，1的人可能会说“我72%肯定这是1"，而7的人可能会说"I give 7 a B+"，而第三人可能会说”一个可怕的3，不会看两次“。相反，我们通常要么接受谁最响亮的话，要么我们规范输出层(除以所有输出的总和)，这样我们就有了实际的可比较的概率。然而，这种正常化实际上并不是神经网络本身的一部分。