激活函数

Question

线性激活函数在keras中的目的是什么，难道激活函数的全部目的不是引入非线性吗？

Answer 1

多线性函数的组合可以帮助建立一个复杂的决策区域。两个或多个线性函数可以组合成一个非线性函数的分段逼近。在一个非常深的网络上，非线性激活函数的计算可能是昂贵的(因为涉及指数项)。ReLu激活函数是一种线性激活函数，几乎被每个模型所使用，并得到了较好的结果。

f(x) = max(0,x-1) + max(0,x+1)

考虑上面的函数，它是两个reLu的组合，这近似于sigmoid函数(尝试绘制相同的函数)，而且计算成本很低。