如何解决深度学习中的非凸优化问题？

Question

这些天，我正在研究一个非凸优化，关于非凸优化在深度学习中的应用这个问题浮现在我的脑海中。如何确定我们的目标函数是凸的？谢谢

Answer 1

标准定义是0θ1的f(−θx+ (1−θ)y)≤θf(X)+ (1−θ)f(Y)，且x，y的区域也是凸的。

所以如果你能证明你的函数，你就会知道它是凸的。

在深入学习中，很难确定目标函数是非凸函数，这就是为什么初始化和超参数调整变得非常重要的原因。