多指标学习的“替代优化”方法

Question

在度量学习的训练过程中，如果代价函数是凸的，则可以使用梯度下降方法，并获得最优解。

现在，我想从训练集中训练N个(N可能很大，比如100)个指标，一种方法是调整成本函数，使这些N个指标组合成一个大的指标矩阵，并使用梯度下降方法，但是，如果N很大，这个方法就不是很好，在这种情况下，有什么“替代优化”方法可以使用吗?我可以确定2~N个指标，然后只对1个指标进行梯度下降，然后对1，3~N个指标进行梯度下降，然后只对2个指标进行梯度下降吗？这种“替代优化”方法有没有一些必要条件？

Answer 1

AO方法不能得到最优解，甚至局部最优解也不能得到。因为N个凸问题不能同时达到KKT条件。