如何利用香农熵产生的信息区分低熵和高熵

Question

我计算了一天内用户行为的熵水平，计算了其可能出现的状态(H:=Home、w:=Work或E:=Elsewhere)。假设用户A以{H，W，E，E，H，H}表示一天中每小时的可能状态

P(H)=13/24=0.54

P(W)=9/24=0.38

P(E)=2/24=0.08

使用shannon的熵，我想计算一个用户的熵级别，以了解用户的可预测性。

H(A)=(-P(H)*log2 2(H))+(-P(W)*log2 2(W))+(-P(E)*log2 2(E))

=0.48 + 0.53 + 0.29

=1.3

如何区分比特中的低熵和高熵信息？

Answer 1

当所有事件的概率相等时，就会获得最大熵，因此结果具有最高的不确定性。

​

​

在您的例子中，最大熵是：

Hn = log2(24) = 4.5849625007

最小值是0。由你来决定结果是高熵还是低熵。