神经网络模型如何对单个层中的每个神经元学习不同的权重？

Question

我对神经网络的工作方式有了很大的了解，并提出了一些相互关联的问题，但我无法找到答案。

考虑一个隐层前馈神经网络:如果每个隐层神经元的函数是相同的。

a1 = relu (w1x1+w2x2), a2=relu(w3x1+w4x2), ...  

如何使模型学习不同的权重值？

我不知道人工建立神经元间联系的意义。如图片人工建立神经元间的连接所示，通过这种方式，我们定义了功能的可能功能(即房屋大小和卧室数相加可能代表了房屋可能容纳的家庭大小)。但是完全连接的网络对我来说没有意义。

我明白，一个完全连接的神经网络应该以某种方式自动定义哪些函数是有意义的，但它是如何实现的呢？

由于不能回答这个问题，我也不明白为什么要增加神经元数量来提高模型预测的准确性

Answer 1

如何使模型学习不同的权重值？

通过在培训开始前初始化参数。如果是完全连接的神经网络，否则我们将对每个参数进行相同的更新步骤--这就是您的困惑之处所在。初始化，无论是随机的还是更复杂的(例如，Glorot)解决了这个问题。

为什么要增加神经元的数量来提高模型预测的准确性？

这只是部分正确，增加神经元数量会提高你的训练准确性(这对于你的验证和测试性能来说是一个不同的游戏)。通过添加单元，您的模型能够存储更多信息或将异常值合并到您的网络中，从而提高预测的准确性。想一想一个2D问题(预测某一房产的每平方米房屋奖)。有了两个参数，你可以拟合一条线，用三条曲线等等，越多的参数，你的曲线就能越复杂，通过你的每个训练点。

伟大的下一步深潜-卡帕在斯坦福大学的计算机视觉讲座。