是否有可能解码哪个神经元代表哪个特征，以及为什么它表示它？

Question

在神经网络中，网络中的每个神经元都代表了输入的某些非线性特征。例:和mnist数据一样，考虑到9的茎被切割成多个片段，不同的部分由第一个隐藏层中的不同神经元表示(仅是3B1B神经网络视频中的一个例子)。我的问题是：

是什么决定了哪个神经元可以代表干细胞的哪个部分？

如果我们多次通过相同的输入，每个神经元都能代表茎的不同部分吗？还是说它是链规则的全部魔力(即在开始时，所有神经元都代表一些垃圾特征，随着权重的上升，然后特定的特征已经成为特定神经元的同义词)。如果是的话，这是如何发生的？

提前感谢

Answer 1

简短回答:不。

想想看，你可以有5到5000个神经元，每个神经元在不同的模型中代表不同的东西，有不同的输入。

神经网络的一个问题是，很难理解它们内部发生了什么，它们有点像黑匣子。其他技术，如决策树，更容易理解或向非技术人员解释。

你能做的最接近的事情就是可视化隐藏的图层，这可能会给你一些洞察力。

Answer 2

首先，正如3B1B所指出的，神经元不一定以这样干净的特征结束，比如片段然后循环，然后是整数。

是什么决定了哪个神经元可以代表干细胞的哪个部分？如果我们多次通过相同的输入，每个神经元都能代表茎的不同部分吗？还是说它是链规则的全部魔力(即在开始时，所有神经元都代表一些垃圾特征，随着权重的上升，然后特定的特征已经成为特定神经元的同义词)。如果是的话，这是如何发生的？

它是最初分配给神经元的权重，然后是梯度下降(涉及实体链规则的应用)。每个神经元开始使用的“垃圾特征”是可怕的预测因子，但它们“接近”不同的有用预测器。当应用梯度下降时，它们会被推向各自的“最接近”的改进特征。

除非我不熟悉流行实现中的一些额外的随机性，否则如果您确定了初始权重和输入的顺序/批数，那么最终您将得到相同的网络。但是，如果输入是以不同的顺序传递的，这是可能的(很可能吗？)梯度下降会以不同的方式施加重量，以至于最终的特征被分配给不同的神经元，甚至与第一次跑步的特征完全不同。