带ReLU导数的NumPy

Question

import numpy as np

def relu(z):
    return np.maximum(0,z)

def d_relu(z):
    z[z>0]=1
    z[z<=0]=0
    return z

x=np.array([5,1,-4,0])
y=relu(x)
z=d_relu(y)
print("y = {}".format(y))
print("z = {}".format(z))

上面的代码打印出来：

y = [1 1 0 0]
z = [1 1 0 0]

而不是

y = [5 1 0 0]
z = [1 1 0 0]

据我所理解，我使用的函数调用应该只执行按值传递的操作，传递变量的副本。

为什么我的d_relu函数会影响y变量？

Answer 1

第一个错误是假设python按值传递对象..。它不-它是通过分配(类似于通过引用传递，如果你熟悉这个概念)。但是，正如名称所示，只有可变对象才能就地修改.除其他外，这包括numpy数组。

您不应该让d_relu修改z，因为通过z[...] = ...语法，它现在就是这样做的。尝试使用广播比较构建一个掩码，然后返回它。

def d_relu(z):
    return (z > 0).astype(int)

这将返回一个新数组，而不是就地修改z，您的代码将打印出来。

y = [5 1 0 0]
z = [1 1 0 0]

如果您正在构建分层体系结构，则可以在向前通过阶段利用计算掩码：

class relu:
    def __init__(self):
        self.mask = None

    def forward(self, x):
        self.mask = x > 0
        return x * self.mask

    def backward(self, x):
        return self.mask

如果导数仅为1，如果前馈期间的输入大于0，则为Where 0。