在什么情况下，非线性的加入会降低神经网络的性能？

Question

我有一个简单的模型，它学得很好。这是一个双塔推荐，在这里，我们最大的点乘积之间的正对。目前的结构只是一个嵌入层，然后是一个致密层，没有非线性。

为了在数据中了解更复杂的模式，我尝试在模型中添加一个激活(relu)，但这会降低模型在AUC和分解Top上的性能。

所以我的问题是，在什么情况下添加激活会降低模型的性能？这是否意味着我的数据集太简单，不需要非线性激活？

我读过这个问题 --我现在正在尝试learns和Batch Norm，但是我的问题与我的模型在激活时学习的不同，但是在没有激活的情况下，我只获得了大约70%的性能。

Answer 1

“当前的结构只是一个嵌入层，然后是一个没有非线性的致密层。”--根据这一点，你的模型目前是线性的。如果它的性能不佳，您应该从添加另一个密集层开始。你的整体结构将变成：

• 嵌入，
• 致密层(随后是ReLU激活)
• 第二层致密层。

确保隐藏层足够宽(即有足够多的神经元)来获取不同的模式。

您使用当前架构描述的问题很可能是，以ReLU作为最后一层，您不能输出负数(ReLU将负值剪辑为0)。因此，在深度学习模型的最后一层之后，ReLU很少被使用。