噪声数据鲁棒性- NN与决策树

Question

我们正在研究一种利用医院病人数据的生理指标预测器。我们使用了一种改进的决策树算法，该算法对训练数据中的噪声非常敏感。公平地说，神经网络对含噪数据的敏感性比决策树低吗？

Answer 1

与神经网络相比，数据中的决策树对噪声更加敏感，这是不公平的。

这取决于你的模型类型(DT，NN，SVM，.以及模型的复杂性。一般情况下，复杂模型有较高的过拟合倾向(过拟合==对数据中的噪声敏感)。您可以调整DT的参数，例如最大深度，并查看这是否影响您的结果。

如果你正在训练一个分类器，试着使用随机森林，随机森林是已知的非常抗噪音(过度拟合)。

如果你给神经网络更大的容量，更多的层和更宽的层，如果你训练了很长一段时间，网络也会变得过度适应，变得对噪音敏感。

请注意: DT培训是基于控制型号大小的特定标准而停止的。根据这些参数，如最大深度，模型可超拟合，训练时间较长。

NN训练根据训练参数停止，例如迭代次数、停止准则，而不是复杂度。为了适应，你将需要有复杂的模型和长期的训练。如果模型对噪声不敏感，可能是因为它不够复杂或训练次数很少。