如何在建立决策树时找到分割点的熵？

Question

给定一个二进制分类问题：

​

​

有四个积极的例子和五个消极的例子。因此，P(+) = 4/9，P(−) = 5/9。训练样本的熵为−4/9 log2(4/9)−5/9−(5/9)= 0.9911。

对于a3，它是一个连续属性，我希望为每一个拆分找到信息增益。

所以我按升序对a3值进行排序，找出它们的分裂点。但是如何计算它们的熵呢？

答案是：

​

​

上述图像中的信息增益列仅为0.9911 -熵.

但是我怎么找到熵呢？

熵的公式是：

​

但我不明白如何用这个公式来求分裂点的熵。

Answer 1

例如，当您通过a3 = 3.5拆分数据时，您的两个实例被分成一个实例，其余的7个实例进入另一个实例。你应该计算每个分裂的熵，然后对这两个熵做一个加权平均值。对于a3 = 3.5，python中的以下代码为您执行此操作：

import numpy as np
entropy1 = -(1/2)*np.log2(1/2) - (1/2)*np.log2(1/2)
entropy2 = -(3/7)*np.log2(3/7) - (4/7)*np.log2(4/7)
entropy = (2/9)*entropy1 + (7/9)*entropy2