互信息的计算

Question

假设M是一组对象m，每个对象都具有属性X和Y。现在，如果对于给定的m，X和Y只能有一个值(即X，Y是具有P(X=x_i|M=m_i)，P(Y=y_i|M=m_i)的随机变量)，则可以计算X和Y的互信息。但如果X可以同时具有多个结果呢？例如，对于m_3 X={x1，x2} -通常X的结果是所有可能结果的子集。在这种情况下，是否可以测量相互信息或其他一些相关性度量？

是否可以将X拆分成二进制随机变量X_1，X_2等，其中X_1=1 X包含x1，否则包含X_1=0，然后计算所有组合i，j的I(X_i，Y_j)，并将信息相加，以获得I(X，Y)？

谢谢。

示例：

m_1: X={a,b}, Y={x,y}; m_2: X={c}, Y={z,x}

Answer 1

如果我没记错，你设定的前提是：

If M is a set of objects { m1, m2, ... },
and each mi has two attributes X, Y,
and X, Y can be a set of { x1, x2, ... } , { y1, y2, ... } respectively

然后你想要定义

*(X, Y) based on each mi's X, Y

好吧，这在计算方面大大增加了问题的复杂性，但你仍然可以做相同类型的关联，除非你不是关联两个值X和Y，而是关联两个子集X和Y。

Answer 2

根据集合的含义和您希望使用交互信息的目的，您可以将集合视为原子值。那么你的事件空间就是V_X的powerset，你可以用通常的方式计算更大的事件空间上的互信息(想想位串)。

有互信息的多变量概括，例如交互信息或总相关性，但我不认为它们是您正在寻找的。你最好看看其他的，非信息论的多变量相关性度量。