马尔可夫链是如何工作的，什么是记忆缺失？

Question

马尔可夫链是如何工作的？我曾为马尔可夫链阅读过维基百科，但我不明白的是没有记忆。“无记忆”声明：

下一个状态只取决于当前状态，而不是它之前的事件序列。

如果马尔可夫链具有这种性质，那么链在马尔可夫模型中的作用是什么？

解释一下这个属性。

Answer 1

你可以想象马尔可夫链，就像青蛙在池塘里从百合花跳到百合花。青蛙不记得它以前去过哪个百合花垫。对于I和j的所有可能组合，它也有一个从百合垫Ai跳到百合垫Aj的给定概率。马尔可夫链允许你计算青蛙在任何给定时刻出现在某个百合垫上的概率。

如果青蛙是素食主义者，每次落在它身上时都会咬它的百合垫，那么它从百合花垫Aj降落在百合花垫上的可能性也将取决于以前艾去过多少次。然后，你将无法使用马尔可夫链来模拟行为，从而预测青蛙的位置。

Answer 2

记忆无记忆是马尔可夫链成功的根本。这并不意味着我们不关心过去。相反，这意味着我们只保留过去最相关的信息来预测未来，并利用这些信息来定义现在。这篇好文章提供了一个关于主题http://www.americanscientist.org/issues/pub/first-links-in-the-markov-chain的良好背景

在您对过去的描述的准确性和关联的状态空间的大小之间有一种权衡。比如说，附近有三家酒吧，每天晚上你都会选择一家。如果你随机选择那些酒吧，这不是一个马尔可夫链(或者一个琐碎的零级链)--结果是随机的。更准确地说，它是一个独立的随机变量(建模依赖关系是马尔可夫思想的基础，是马尔可夫链的基础)。

在选择酒吧时，你可以考虑最后一个选择，即你前一天晚上去哪家酒吧。例如，您可能希望避免连续两天去同一家酒吧。而在现实中，这意味着记住你昨天去过的地方(也就是回忆过去！)，在你的建模级别上，你的时间单位是一天，所以你现在的状态是你昨天去过的酒吧。这是典型的(一阶)马尔可夫模型，它有三个状态和3乘3的转移矩阵，为每个置换提供条件概率(如果你昨天去了pub I，你今天“跳”到pub J的变化是什么)。

但是，您可以定义一个“记住”过去两天的模型。在这个二阶马尔可夫模型中，“现在”状态将包括昨晚和前一天晚上的酒吧知识。现在，您有9个可能的状态描述您的当前状态，因此，您有一个9乘9的转换矩阵。值得庆幸的是，这个矩阵没有完全填充。

要理解为什么，考虑一个稍微不同的设置，当你是如此良好的组织，你作出坚定的计划，无论是今天和明天的酒吧选择的基础上，最后两次访问。然后，你可以选择任何可能的排列的酒吧访问了连续两天。结果是一个完整的9×9矩阵，它将你过去两天的选择映射到接下来的两天。然而，在我们最初的问题中，我们每天都要做出决定，所以我们的未来状态受到今天发生的情况的制约:在下一步(明天)，今天变成了昨天，但它仍将是你当时对“今天”的定义的一部分，并与第二天发生的事情相关。这种情况类似于移动平均，或后退的地平线程序。因此，从给定的状态，您只能移动到三种可能的状态(指示您今天选择的酒吧)，这意味着您的转换矩阵的每一行将只有三个非零项。

让我们总结出描述每个问题的参数数:具有三个状态的零阶马尔可夫模型有两个独立的参数(击中第一个和第二个发布的概率，因为访问第三个发布的概率是前两个的补充)。一阶马尔可夫模型有一个完全填充的3×3矩阵，每列的总和可达一列(同样，表示在任何一天都会访问其中一家酒吧)，因此我们最终得到了六个独立的参数。二阶马尔可夫模型有9×9矩阵，每行只有3个非零项，所有列加到一个，因此我们有18个独立的参数。我们可以继续定义高阶模型，我们的状态空间也会相应增长。

重要的是，我们可以通过识别过去的重要特征来进一步完善这一概念，并且只使用这些特征来定义现在，即压缩关于过去的信息。这就是我一开始提到的。例如，我们不能记住所有的历史，而只能跟踪一些影响我们选择的难忘事件，并使用这个“足够的统计数据”来构建模型。

这一切归结为定义相关变量(状态空间)的方式，马尔可夫概念自然是从基本数学概念中得出的。一阶(线性)关系(以及相关的线性代数运算)是当前大多数数学应用的核心.你可以用一个变量在n上看一个多项式方程，或者你可以通过定义辅助变量来定义一个等价的一阶(线性)n方程组。同样，在经典力学中，可以使用二阶拉格朗日方程，也可以选择导致(一阶)哈密顿公式力学的正则坐标。

最后，关于马尔可夫问题的稳态解与瞬态解的注记.大量的实际应用(例如，页面排名)依赖于找到稳定的解决方案.事实上，这种收敛到稳定状态的存在是马尔可夫创建链的最初动机，目的是将中心极限定理的应用推广到因变量。马尔可夫过程的瞬态效应(如命中次数)研究较少，也较为模糊。然而，考虑马尔可夫预测的结果在未来的特定点(而不仅仅是收敛的“均衡”解)是完全有效的。