"relu“在tf.nn.relu中代表什么？

Question

在它的API documentation中，它说“计算校正后的线性”。

它是Re(ctified) L(线性)...那么你是什么呢？

Answer 1

Re(ctified) L(线性) (U)nit

通常，神经网络中的一层具有一些输入，例如向量，并将其乘以权重矩阵，即再次生成向量。

然后将结果中的每个值(通常是浮点数)视为一个输出。然而，如今神经网络中的大多数层都涉及非线性，因此一个附加功能，您可能会说，增加了这些输出值的复杂性。很长一段时间以来，这些都是sigmoids和tanh。

但最近人们使用一个函数，如果输入为负，则结果为0，如果输入为0或正，则结果为输入本身。这个特定的附加功能(或者更好的“激活功能”)被称为relu。

Answer 2

除了弗里塞尔的回答之外，我还想补充一下Relu的两个重要特性。

1.它不可微。

Relu的图表:它是尖状的，而不是曲线状的。

​

​

它被定义为f(x) = max(0,x)，因此它是不可微的。

2. ReLU的导数非常简单！比sigmoid更简单，它是x(1-x)。

The derivative of ReLU:
 1 if x > 0
 0 otherwise 

这是最简单的非线性函数，我们主要在隐藏层上使用。想想看反向传播是多么容易！