取多个神经网络的平均值？

Question

我用一个非常小的数据集来拟合一个神经网络，所以试着把数据分成训练和验证集。(有一个单独的测试集)如果我将训练/验证随机分成几次，为每个训练/验证分裂构造一个神经网络，并取测试集上神经网络预测值的平均值，它是否可以称为集成模型？或者，这种技术是否有一个特定的名称？

编辑:我刚刚发现一种类似的技术叫做“重复随机次抽样验证”，但是RRSSV将数据分成训练和测试集(根据维基百科，它被称为“验证数据”，实际上是测试数据)。我的方法将给定的数据分割成训练和验证集，并使用单独的测试数据。我认为我的方法也可以称为RRSSVRRSSV。

Answer 1

我认为甚至这种方法也被称为集成方法。

我怎么能得出结论呢？

• 您可能听说过这个名为随机林的算法，它是做什么的？它在行级和列级随机获取数据，构建不同的树并取其平均值。它也被认为是预测和分类的最佳算法之一。可以通过这个解释来更好的理解。随机森林被称为集合模型(指树木)。

一个建议，正如你在问题中提到的，你有非常少的数据，在那个时候，模型不能很好的概括，你也不能取得好的结果。如果您有任何方法通过收集更多的数据来增加数据集的大小，它可以帮助您获得更高的精度。这也解释了所附的链接(解释)。请过问，如果你还有其他问题，请告诉我。

Answer 2

您可以尝试扩展您的方法，将随机噪声添加到您的培训数据中，有时称为噪声注入。通过这样做，您可以从理论上扩展您几乎无限地拥有的培训数据，并避免对一个小的训练样本进行过度拟合。互联网搜索将出现几篇关于这个主题的论文，例如前馈神经网络中的高斯自适应噪声正则化