ReLU函数如何导致收敛？

Question

梯度下降算法是基于梯度随着我们向最优点的移动而减小的事实。但是，在ReLU函数的激活中，梯度将是恒定的，并且不会随着输入的变化而改变。

我不清楚这将如何最终导致趋同。如果你能用数学推导来解释这一点，我将不胜感激。谢谢

Answer 1

ReLU并不是应用于数据以产生输出的唯一函数。每一层都是最后一层的线性变换，然后是RELU。即使所有的东西都是负的，而且ReLU对梯度没有贡献，对于所有模型权重的梯度几乎肯定是非零的，除非你已经收敛到一个临界点。

Answer 2

简短的回答:当更新机器学习体系结构的权重(或参数)时，您沿着应用于经验数据和模型预测的数据的损失函数的梯度移动。这个梯度可以(也希望如此，但不一定)随着时间的增加而减少，所以训练会进行得很好。

举例说明。考虑一个最简单的“机器学习”问题:给定一组点S=\{(x_1,y_1),(x_2,y_2),\dots, (x_N, y_N)\}\subset \mathbb R^2, N\in\mathbb N,

我们想要找到这些点的最合适的线，即我们想要找到这样的m,b\in\mathbb R

f_{m,b}:\mathbb R\to\mathbb R, f_{m,b}(x)=mx+b

最小化二次损失

\mathcal L(m,b;S)=\sum_{k=1}^N (f_{m,b}(x_k)-y_k)^2.

现在，请注意，对于固定的S，\mathcal L是一个凸函数(实际上我没有检查这个函数，请告诉我这里是否弄错了)，如果您可以检查为一个练习，如果存在一个极小化(m^*,b^*) of \mathcal L，那么“梯度下降”将收敛到这个最小化函数(注意，在我的公式中有一个不幸的bug，它导致最小化者并不总是存在:当最合适的是垂直线时，这个bug就会发生，这条直线不能用y=mx+b表示)。

请注意，如果以g_{m,b}=\operatorname{Relu}(mx+b)为例，同样的情况也是如此，即使\operatorname{Relu}和mx+b的梯度不必像收敛到最小化器那样收敛到0。

更普遍地说，在关于损失函数如何作用于权值的某些假设下(见定理2.2 这里)，如果存在梯度下降，它总是收敛于极小元。