决策树(例如C4.5)是否是非参数学习？

Question

我是机器学习的新手，正在尝试将决策树归纳放到事情的宏伟计划中。决策树(例如，使用C4.5或ID3构建的决策树)是参数化的还是非参数化的？我猜测它们可能确实是参数的，因为实际值的决策分割点可能是根据特征值的一些分布确定的，例如均值。然而，它们并不共享必须保留所有原始训练数据的非参数特征(就像使用kNN一样)。

Answer 1

术语“参数”指的是定义数据分布的参数。由于决策树(如C4.5 )不对数据的分布进行假设，因此它们是非参数的。高斯最大似然分类(GMLC)是参数化的，因为它假设数据遵循多变量高斯分布(类由均值和协方差表征)。关于你的最后一句话，保留训练数据(例如，基于实例的学习)并不是所有非参数分类器都通用的。例如，人工神经网络(ANN)被认为是非参数的，但它们不保留训练数据。

Answer 2

术语参数是指模型的参数数量与数据之间的关系。

如果参数数量是固定的，则模型是参数化的。

如果参数的数量随着数据的增加而增加，则该模型是非参数化的。

决策树是非参数的，但是如果你为了正则化而限制它的大小，那么参数的数量也是有上限的，可以认为是固定的。所以对于决策树来说并不是那么清晰。

KNN绝对是非参数的，因为参数集就是数据集:要预测新的数据点，KNN模型需要访问训练数据点，而不需要访问其他数据点(除了超参数K)。