PELU激活:它是如何工作的，以及如何实现？

Question

我在文献中遇到了PELU (参数指数线性单位)，但我无法找到它的实际应用。

此外，我还有一些关于它是如何工作的问题：

• 它的参数是学习的，还是它们是超参数？
• TensorFlow实现是否需要Keras自定义层？
• 在原纸中，它仅适用于卷积模型。您能分享到计算机视觉之外的应用程序的链接吗？
• 撇开计算负担不谈，它的性能是否被证明(除了原始论文之外)优于ReLU家族中更经典的激活？

Answer 1

我没有自己使用PELU激活函数，所以我不知道它的性能效益，但可以说

• a、b和c看起来仅仅是超参数。
• 它可以在tensorflow 2.0中直接实现为tf.cond(h，lambda:c*h，lambda:a(tf.exp(h/b)-1))