马尔可夫链--“看不见”的样本的似然概率(概率为0)

Question

我有一个很大的马尔可夫链和一个样本，我想要计算它们的可能性。问题是样本中的一些观察或转换不会发生在马尔可夫链中，这使得总的可能性为0(或对数似然无穷大)。不可能使用更多的数据来构建马尔可夫链。我想知道是否有一种方法仍然有意义的可能性。

我已经试着在样本中过滤掉这些“未知”的观察结果，并分别报告它们。但这样做的问题是，我想比较样本的可能性与相同样本的可能性，但在转换之后。转换后的样本具有不同数量的“未知”观察值。所以我不认为我可以比较这两种可能性，因为它们是用不同数量的观察值计算出来的。

有没有办法仍然可以计算出一个可以比较的有意义的可能性？我在考虑平均样本中观察到的概率，但我找不到任何关于这是正确的。

提前感谢！

Answer 1

简单地说，概率模型中的关键是概率分布估计器。看起来你使用的是最微不足道的--经验估计器，其形式是

p(event) = count(event) / [count(event) + count(not-event)]

对于看不见的事件，估计概率为0，这导致了明显的问题。有几十个估计器没有这个问题，其中最简单的一个是拉普拉斯平滑，在这种情况下，您假设对于未知事件有一定的概率限制。

p(event) = [count(event) + alpha] / [count(event) + count(not-event) + alpha * #event-types]

这样，即使是不发生的事件也有非零概率。