关于Keras文档的几个问题

Question

在名为activations.md的Keras文档中，它指出“激活可以通过激活层使用，也可以通过all forward layer 支持的激活参数使用。”那么，转发层的含义是什么？我认为有些层没有激活参数。辍学层)

“比简单的TensorFlow/Theano/CNTK函数(例如，可学习激活，维护状态的)更复杂的激活可以作为高级激活层使用，可以在模块keras.layers.advanced_activations中找到。这些激活包括PReLU和LeakyReLU。”那么，在这种情况下，状态的含义是什么？

Answer 1

在这种情况下，我不确定“前向层”是否有严格的定义，但它的基本意思是，“经典”、角化内建的层类型包含一个或多组用于将输入矩阵转换为输出矩阵的权重集，其中包含一个activation参数。通常，Dense层有一个层，以及各种类型的RNN和CNN层。

对于Dropout层来说，有一个激活功能是没有意义的:它们只是添加了一种在训练中触发的机制，以(希望)提高收敛速度和减少过度拟合的机会。

至于“保持状态”的概念，它指的是激活函数，它不会在每个输入样本上独立运行，而是保留一些可学习的信息(所谓的状态)。通常，对于LeakyReLU激活，您可以通过培训来调整泄漏参数(在文档的术语中，它将被称为此激活函数的状态)。