神经网络优化数学直觉

Question

当我查看下面的偏导数时，我认为它是任何优化算法的关键元素。如果我错了，请纠正我，但是这得到了损失函数的斜率，所以我们可以与那个斜率相反，从而最小化损失。

\frac{\partial \theta}{\partial \mathcal{L}}

其中：\theta是权重，\mathcal{L}是损失；

这有意义吗？除了这个导数，还有其他的计算步骤可以说是优化神经网络的基础吗？

这个话题现在对我来说特别重要，因为我在考虑纹身这个派生词，作为一个很酷的人工智能纹身，我希望它是基本的，简单的。

Answer 1

请注意，\frac{\partial L}{\partial \theta}与\frac{\partial \theta}{\partial L}不同。您试图描述的似乎是\frac{\partial L}{\partial \theta}，其中\theta是一个变量。如果\theta是高维的，有时我们只使用\nabla表示法。

梯度下降

\theta_{n+1}=\theta_n-\gamma \nabla L(\theta_n)

• 不是所有的东西都是可微的，对于某些优化问题，梯度可能没有很好的定义。
• 在存在约束的情况下，L可能需要充当朗格朗日函数而不是目标函数。
• 梯度下降只是寻找模型参数的一种方法。基于梯度的方法似乎是目前的常态，但情况可以改变。

你建议纹身的只是“坡度”或“斜度”。不是反对，只是想让你知道你在做什么。

Answer 2

除了你的纹身，在梯度下降，损失函数需要最小化，这是我们的目标函数在这种情况下。

渐变更新规则指出，

\Large \theta_{ij} = \theta_{ij} - \frac{\partial L}{\partial \theta_{ij}}

其中\theta是需要优化的参数。这是梯度下降的基本方程，它是几乎所有AI/ML任务的优化算法。