学习进度计划是一个超参数吗？

Question

我相信“学习进度表”是调节学习速度的一种解决办法。但同时，计算参数本身的每一个参数都可以称为超参数。那么，学习速度计划能被称为超参数吗？

Answer 1

超参数本质上是你必须手动调优而不是学习的参数。

时间表可以被认为是一个超参数，以及所有调度器的参数(耐心、衰变等)。甚至使用或不使用调度程序的决定也可以被认为是一个超参数。

Answer 2

学习速率调度可以通过1周期、功率、性能等多种方式来实现。

选择该方法首先是超参数。

然后，为该方法选择合适的参数值将是另一组超级参数。例如eta0、步长等。