我在Tensorflow上做了一个AutoEncoder,它把输入作为3D矩阵,它的值在-1,1的范围内。这个场景的最佳激活函数是什么?
另外,选择输入范围的激活函数w.r.t的经验法则是什么?
发布于 2018-05-15 05:33:42
首先,通常建议使用批量归一化来启动网络,这或多或少会将值限制在-1和1之间。
隐藏层的激活函数应该具有非线性,以便能够处理更高级别的复杂性。所以我会选择relu或者它的一个变种。
在网络的末端,在最后一层,您可以有一个不具有激活功能的密集层,以允许映射负值。
发布于 2018-05-15 06:01:59
当涉及到选择激活函数时,没有“经验法则”。
我使用this指南根据复杂度选择激活函数
有关更多指导,请参阅this answer
https://stackoverflow.com/questions/50339261
相似问题