利用交叉熵建立决策树分类器

Question

熵和交叉熵是否与基本定义相同？

如果有不同之处：

决策树分解取熵或基尼指数，可以用交叉熵来分割决策树吗？或者，在运行决策树算法之后，我应该使用它作为评估指标吗？

此外，决策树算法是否假定有任何分布？

如果是，

那么我们如何使用KL发散度呢？

我只是想把几个概念从更广泛的角度联系起来。

以下是我对多类决策树的关注。

Answer 1

熵和交叉熵是不同的概念。熵量化了单个随机变量中的不确定性。交叉熵量化了两个分布之间的不确定性。

决策树算法对分布不作任何假设。