Keras "Tanh Activation“函数--编辑:隐藏层

Question

Tanh激活函数将输出限制为-1,1。我想知道如果输入(功能和目标类)是以1-hot编码的形式给出的，它是如何工作的？

keras (在内部管理)激活函数的负输出以将它们与类标签(以一热编码形式)进行比较--仅表示0和1(没有"-"ive值)

谢谢!

Answer 1

首先，你不应该在你的输出层使用它们。根据你的损失函数，你甚至可能得到一个错误。像mse这样的损失函数应该能够接受tanh的输出，但这没有多大意义。

但是如果我们讨论的是隐藏层，你就完全没问题了。还要记住，在将层的输出提供给激活函数之前，有一些偏差可以训练到层的偏移量。