当在CNN中使用此代码作为swish时，反向传播是否会像预期的那样工作？

Question

我想在CNN中使用swish (作为层)。

我不确定这是否是实现这样一个激活函数的正确方式。

使用这段代码反向传播能正常工作吗？

class Swish(nn.Module):
    def forward(self,x):
        return x * F.sigmoid(x)

关于我使用的编程语言的相关信息可以在标签中找到。

Answer 1

是的，它将开箱即用。

我不明白为什么你要让它成为一个对象，像这样的函数会更容易，更具可读性(而且它会更好地反映它的函数性质)：

def swish(x):
    return x * torch.nn.functional.sigmoid(x)

如果您不使用任何权重(如可学习的torch.nn.Linear权重、CNN或其他)，则不需要torch.nn.Module。