ReLU与LeakyRelu的实现差异

Question

我知道这些激活的定义不同，但是在读取雷鲁文件时，它以参数alpha作为输入，0作为默认值，并说

relu 重力线(x，alpha=0.0，max_value=None)校正线性单位。 参数 x：输入张量。阿尔法:负部分的斜率。默认为零。max_value:输出的最大值。返回 (漏)校正线性单元激活:x如果x> 0，α*x如果x< 0。如果定义了max_value，则将结果截断为此值。

还有一个带有LeakyReLU的类似文件，但是作为其他模块的一部分(高级激活)

他们之间有什么区别吗？我应该如何导入relu来用alpha实例化它呢？

from keras.layers.advanced_activations import LeakyReLU
..
..
model.add(Dense(512, 512, activation='linear')) 
model.add(LeakyReLU(alpha=.001)) # using Relu insted of LeakyRelu

注意，当使用LeakyReLU时，我会得到以下错误：

AttributeError: 'LeakyReLU' object has no attribute '__name__'

但是，当我使用ReLU时，它起作用了：

model.add(Activation('relu')) # This works correctly but can't set alpha

总之:什么是差异，我如何导入ReLU来传递aplha给它？

Answer 1

就实现而言，它们打电话具有相同的后端函数K.relu。区别在于relu是一个激活函数，而LeakyReLU是在keras.layers下定义的Layer。所以区别在于你如何使用它们。对于激活函数，您需要在层(如Activation )中包装或使用，但是LeakyReLU为您提供了一个带有alpha值的函数的快捷方式。