激活函数

Question

是否可以定义一个激活函数？我试着做：

def activation():
    # return nn.Sin()
    # return nn.Tanh()
    # return nn.Sigmoid()
    # return nn.Tanhshrink()
    return nn.HardTanh(-1,1)
    # return nn.Hardswish()
    # return nn.functionnal.silu()

但是当我试图调用它时，我会出错。下面是一个示例：

def f():
  return nn.Tanh()
input = torch.randn(2)
output = f(input)
print(output)

它输出"TypeError: f()接受0的位置参数，但给出了1“。即使我给了它一个论据，它也没用。

Answer 1

您可以使用面向对象的方法：

>>> f = nn.Tanh()
>>> output = f(x)

或者函数式方法，您可以在nn.functional中找到与tanh等价的tanh。

>>> f = nn.functional.tanh
>>> output = f(x)

Answer 2

实际上，您没有为函数提供参数。这就是你想做的吗？

def f(x):
  return nn.Tanh(x)