MXNet-Caret训练和优化

Question

我正在使用RStudio中的MXNet库来训练神经网络模型。

在使用插入符号训练模型时，我可以调优"momentum“参数(其中包括)。这与随机梯度下降优化器有关吗？

我知道这是使用"mx.model.FeedForward.create“训练时的默认优化器，但是当我使用插入符号:train？？

Answer 1

动量与SGD相关，并控制算法改变下降方向的倾向。有几个公式可以做到这一点，请在此处阅读更多信息：https://towardsdatascience.com/stochastic-gradient-descent-with-momentum-a84097641a5d

Caret包被认为是通用的，所以它可以与MXNet一起工作。当你调用cret::train时，它可以接受method参数。它应该从当前支持MXNet的插入符包的存储库中获取。例如:来自Adam的https://github.com/topepo/caret/issues/887或用于常规SGD的https://github.com/topepo/caret/blob/master/RegressionTests/Code/mxnet.R。