CIFAR-10 python档案

Question

我正在学习本教程这里。

model = Sequential()
model.add(Conv2D(32, (3, 3), activation='relu', kernel_initializer='he_uniform', padding='same', input_shape=(32, 32, 3)))
model.add(Conv2D(32, (3, 3), activation='relu', kernel_initializer='he_uniform', padding='same'))
model.add(MaxPooling2D((2, 2)))
model.add(Conv2D(64, (3, 3), activation='relu', kernel_initializer='he_uniform', padding='same'))
model.add(Conv2D(64, (3, 3), activation='relu', kernel_initializer='he_uniform', padding='same'))
model.add(MaxPooling2D((2, 2)))
model.add(Conv2D(128, (3, 3), activation='relu', kernel_initializer='he_uniform', padding='same'))
model.add(Conv2D(128, (3, 3), activation='relu', kernel_initializer='he_uniform', padding='same'))
model.add(MaxPooling2D((2, 2)))

model.add(Flatten())
model.add(Dense(128, activation='relu', kernel_initializer='he_uniform'))
model.add(Dense(10, activation='softmax'))

我试图理解使用CIFAR-10数据集的给定代码。

• 他为什么要用kernel_initializer='he_uniform'?
• 为什么他选择128作为稠密层？
• 如果我们在代码中添加更密集的层，会发生什么情况： model.add(Dense(512, activation='relu', kernel_initializer='he_uniform'))
• 有什么方法可以提高模型的准确性吗？
• 合适的辍学率是多少？

Answer 1

他为什么要用kernel_initializer='he_uniform'？

神经网络层中的权值是随机初始化的。不过怎么回事？它们应该遵循哪个分布？he_uniform是一种初始化该层权重的策略。

为什么他选择128作为稠密层？

这是任意选择的。

如果我们在代码中添加更密集的层，会发生什么情况： model.add(Dense(512, activation='relu', kernel_initializer='he_uniform'))

我的意思是，把它们加到其他128个神经元密集层的位置(不会破坏模型)，模型会变得更深，并且有一个更高的数的参数(即你的模型会变得更复杂)，不管它带来什么积极或负面的影响。

合适的辍学率是多少？

通常你看到的利率在0.2，0.5之间。更高的比率可以减少过度适应，但可能会导致训练变得更加不稳定。