如何打印“实际”学习率

Question

简写为：

由于optimizer.param_groups[0]['lr']总是返回相同的值，所以在pytorch中使用adadelta优化器时，我无法绘制lr/epoch曲线。

详细

Adadelta只使用一阶信息就能动态地适应时间的变化，除了普通的随机梯度下降1外，计算开销最小。

在py手电筒中，Adadelta的源代码在这里modules/torch/optim/adadelta.html#Adadelta。

由于它不需要手动调整学习速率，据我所知，在声明优化器之后，我们不必设置任何计划。

self.optimizer = torch.optim.Adadelta(self.model.parameters(), lr=1)

检查学习率的方法是：

current_lr = self.optimizer.param_groups[0]['lr']

问题是它总是返回1(初始lr).

有人能告诉我怎样才能得到真正的学习速度，这样我才能画出lr/epch曲线吗？

1

Answer 1

检查：self.optimizer.state。这是与lr优化，并用于优化过程。

从文件来看，lr只是：

lr (浮动，可选)：在参数应用之前缩放增量的系数(默认值: 1.0)

modules/torch/optim/adadelta.html

编辑:您可以在acc_delta值中找到self.optimizer.state值，但是您需要阅读本词典所包含的字典：

dict_with_acc_delta = [self.optimizer.state[i] for i in self.optimizer.state.keys() if "acc_delta" in self.optimizer.state[i].keys()]
acc_deltas = [i["acc_delta"] for i in dict_with_acc_delta]

我在acc_deltas列表中有八个层和元素的形状如下

[torch.Size([25088]),
 torch.Size([25088]),
 torch.Size([4096, 25088]),
 torch.Size([4096]),
 torch.Size([1024, 4096]),
 torch.Size([1024]),
 torch.Size([102, 1024]),
 torch.Size([102])]