深入理解学习率

Question

我正在努力理解为什么学习率不能普遍发挥作用。我有两个不同的数据集，并测试了三个学习率0.001 ,0.01和0.1。对于第一个数据集，我能够通过使用随机梯度下降来实现所有学习速率的优化结果。

对于第二个数据集，学习速率0.1没有收敛。我理解其背后的逻辑，超越梯度，然而，我没有理解为什么这是一个数据集，而不是另一个？我无法在网上找到更多关于这方面的信息，但有人告诉我，这是由于数据的形状，可能需要对数据有更深入的洞察。

如果有任何相关的文献可阅读，将不胜感激。

Answer 1

这取决于损失函数，数据集1的损失函数可能与不同数据集的损失函数有不同的形状，例如，它们可能是一个简单的凸函数，而另一个可能是带有鞍点和物质的疯狂的非凸函数，因此一个数据集的学习速率可能导致它的最优，但相同的学习速率可能不适合于另一个损失函数。尝试可视化不同的损失功能，这将是明确的。