Tensorflow中的Dropconnect

Question

我在找TensorFlow中所谓的“TensorFlow”。我知道如何在Tensorflow神经网络中使用"DropConnect"，但是我不知道哪种方法用于“”，或者如果它不可用，有人能建议我如何实现吗？

无论如何，我试过“辍学”、“体重衰减”和“早停”，但我仍然受到过度适应的困扰。在TensorFlow中有什么更好的解决方案吗？

Answer 1

DropConnect将网络中随机选择的权重子集设置为零。您可以通过在训练期间将每一层的权重分数视为零，并在反向传播过程中更新所有权重来实现它。

此外，你也可以使用经典的技术，以避免过度适应。

1. 收集更多数据，或通过各种数据转换方法创建数据。
2. 减少功能的数量。
3. 降低模型的复杂性。