回答情况：
提问时间：
问题标签：
我正在调查一个损失平台和克服它的各种技术，这使我看到了这一页和声明：
一旦学习停滞，模型通常会从将学习率降低2-10倍中获益。这个回调监视一个数量，如果没有看到一个“耐心”时代的改善，学习率就会降低。如果我的学习率是0.001，那么我是将学习率降低到0.001，还是降低到0.0001？一开始我会从0.001 > 0.0001开始考虑后者，但是当一个模型达到一个平台时，将学习率改变成一个更小的值
浏览 0提问于2022-04-05得票数 0
8回答
我目前正致力于利用反向传播实现神经网络的随机梯度下降( SGD )，虽然我理解它的目的，但我有一些关于如何为学习速率选择值的问题。简单地说:我如何选择SGD的学习率？
浏览 0修改于2018-01-17得票数 114
回答已采纳
我试图使用GridSearchCV在CNN中找到最佳参数，但当我试图找到学习率和批量大小的最佳组合时，代码不起作用(如果我使用学习率而不是学习率，那么它就会起作用)。你知道为什么它不工作吗？grid_result = grid.fit(X,Y)
我得到的错误是'ValueError: learn_rate不是一个合法的参数‘，但我这样做了，就像我在一个例子中发现的那样，它适用于纪元，但不适用于学习率
浏览 18提问于2020-07-31得票数 0
如何动态地找到最佳学习率和衰减率？
像tf.train.exponential_decay这样的函数不能根据不同的情况动态改变，因为起始率和衰减率是预先定义的。
浏览 1修改于2019-02-23得票数 1
我试图在Keras中同时使用LearningRateScheduler和ReduceLROnPlateau回调，这会给学习速度带来问题吗？如果是这样的话，该模型使用的学习率是多少？你认为那个时候的学习率是多少？
浏览 3提问于2018-12-03得票数 1
回答已采纳
我必须使用学习率预热，您可以使用学习率预热开始训练CIFAR-10的VGG-19 CNN，在前10000次迭代(或大约13个时期)中从0.00001到0.1%的学习率。然后对于剩余的训练，您使用学习率0.01，其中学习率衰减用于在80和120个时期将学习率降低10倍。该模型必须训练总共144个时期。如何在代码中同时使用学习率预热和学习</
浏览 62修改于2020-08-02得票数 3
1回答
我试图通过将学习率乘以一个恒定因子来找到最佳学习率，然后他们在变化的学习率上训练模型，.I需要在损失再次开始增加的转折点选择学习率。要做到这一点，我需要可视化学习率与损失图。我该怎么做。变化率的方法是l_rates = [] lr_new = lr * math.exp(math.log10(math.pow
浏览 10修改于2021-09-05得票数 1
1回答
我希望为Keras的每一层应用不同的学习率(就像Fastai中所做的那样)。在接近这一点的过程中，我所发现的是通过修改中的这一行self.optimizer.apply_gradients(zip(gradients, trainable_vars))，将梯度乘以其相应的学习率(并将全局学习率设置为1)。另一个想法是拥有与学习率相同数量的优化器，并在自定义模型内的train_step函数中更新它们。
浏览 16提问于2020-05-10得票数 2
1回答
我在Medium上读了一篇名为Differential Learning Rates的文章，想知道这是否可以应用到Keras中。我能够找到在pytorch中实现的这种技术。这可以在Keras中实现吗？有没有人可以提供的示例代码？
浏览 54修改于2021-10-01得票数 3
回答已采纳
在原有的中，引入了思想2消除了学习速度。
那么，学习率在tensorflow 中的意义是什么呢？
浏览 0修改于2018-01-22得票数 0
回答已采纳
1回答
由于它不需要手动调整学习速率，据我所知，在声明优化器之后，我们不必设置任何计划。self.optimizer = torch.optim.Adadelta(self.model.parameters(), lr=1)current_lr = self.optimizer.param_groups有人能告诉我怎样才能得到真正的学习速度，这样我才能画出lr/epch曲线吗？
浏览 2提问于2018-11-21得票数 3
回答已采纳
1回答
直到现在，我在所有的实验中都用0.0001作为学习速率(这给了我丢失和准确的正常值)。
当我使用0.1和0.0 1等高学习率时，一切都变得疯狂起来。
浏览 2提问于2017-12-08得票数 0
回答已采纳
1回答
我正在努力理解为什么学习率不能普遍发挥作用。我有两个不同的数据集，并测试了三个学习率0.001 ,0.01和0.1。对于第一个数据集，我能够通过使用随机梯度下降来实现所有学习速率的优化结果。对于第二个数据集，学习速率0.1没有收敛。我理解其背后的逻辑，超越梯度，然而，我没有理解为什么这是一个数据集，而不是另一个？
浏览 0提问于2022-04-04得票数 1
2回答
我在配置文件中看到，学习率应该是自适应的。momentum_optimizer_value: 0.9 epsilon: 1.0 } 然后，我在训练过程中使用了TensorBoard，它告诉我，每个训练步骤的学习率都是恒定的有没有可能，TensorBoard只能看到学习率的初始值，优化器会实时计算学习率的实际值？
浏览 38提问于2019-04-16得票数 1
回答已采纳
在使用LSA等其他技术时，我知道我可以调整学习率，以便忘记较旧的文档或使其变得不那么重要。有没有什么方法可以让我用TfIdf做类似的事情？如果我能定义一个与文档的“日期”成比例的权重，那就更好了。
浏览 0提问于2016-10-27得票数 0
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号