tensorflow Adadelta的学习率

Question

在原有的纸中，引入了思想2消除了学习速度。

那么，学习率在tensorflow 实现中的意义是什么呢？

Class AdadeltaOptimizer

__init__(
    learning_rate=0.001,
    rho=0.95,
    epsilon=1e-08,
    use_locking=False,
    name='Adadelta'
)

Answer 1

它只是将变量更新乘以(请参阅更新op实现)。

对于任何“自动学习速率”方案，您都可以使用常量来扩展结果更新(是否有必要这样做是一个单独的问题)。

Answer 2

Adadelta优化器可以自适应地改变学习速度，但仍然需要一个学习速率的初始值。尽管正如您在tensorflow 源代码中看到的那样，为了实现Adadelta论文的确切结果，您应该将其设置为1.0：

learning_rate：Tensor或浮点值。学习率。要匹配原始论文中的确切形式，请使用1.0。