在CNN中，如何为特定类的过滤器保留权重。

Question

我是CNN的新手，到目前为止，我对过滤器的了解是，当我们给我们的模型提供一个训练示例时，我们的模型通过梯度下降来更新权重，以最小化损失函数。那么，我的问题是，如何为特定的类标签保留权重？

问题是模糊的，正如我的知识是模糊的。这是我到CNN的第四个小时。

例:如果我说的是有10个标签的MNSIT数据集，让我们说我最初是给我的模型一个图像。这将是一个更大的损失前传。让我们说，现在它是为了回传而来的，并调整了标签的重量，并将损失函数降到最低。现在，当一个新的标签到达培训，它将如何更新过滤器的权重，已经根据以前的标签更新？

请帮帮忙

Answer 1

梯度下降最小化了培训集中所有数据点的成本之和。网络中的权值是通用的(不是特定于任何类别)，通过梯度下降可以使每个损失函数的所有训练数据最小化。

还有多个梯度下降算法。你在这里描述的是所谓的学术梯度下降。SGD每次接收一个标签，并根据一个标签近似于整个训练集的梯度。现在这个近似是一个相当弱的近似，因为它是你训练的一个很小的百分比，所以在每一个时代都会有很大的噪音和成本波动。所谓的小批处理梯度下降是更常用的，并采取n个标签的数量，以近似梯度和预制件更新。这需要更长的时间来收敛，因为你采用N个随机标签，而不是1预先形成一个更新，这需要更多的计算时间。由于速度慢的权衡，它更准确，也是为什么调整权重的方式，使所有培训成本功能的成本最小化。