dropout是否适用于Keras中的正则化项？

Question

我有一个自定义的正则化术语my_reg。

model = Sequential()
model.add(Dense(128, activation='relu'))
model.add(Dense(64, activation='relu'))
# The last layer is regularized with a custom regularizer
model.add(Dense(10, activation='softmax', W_regularizer=my_reg))
model.add(Dropout(0.5))

在培训过程中，Dropout(0.5)是否也适用于my_reg？如果不是，我怎么才能让它成为真的呢？提前感谢！

Answer 1

Dropout的工作原理是丢弃神经元，将其激活设置为零，因此从概念上讲，这也会影响与该神经元关联的权重，您可能会将其视为“应用”到任何正则化项，但请注意，权重从未显式设置为零，因此您将看到正则化系数效果几乎没有变化。