凸激活函数实例

Question

对于特定的任务，我需要具有以下属性的凸激活函数：

• f''(x) >0
• 0 <= f(x) <= 1
• f(x)是单调的
• f(x)不是“爆炸”，即避免像f(x) =x 2这样的函数

我想到的唯一例子是软加激活函数。你还想要点什么吗？

Answer 1

没有这样的功能。

在所有\mathbb{R}上定义的具有有界是常数的凸函数。

Softplus并不像第二颗子弹所要求的那样被限制在上面。