这个马尔可夫链的状态空间是什么？

Question

考虑一个系统，两个人坐在一张桌子上分享三本书。在任何时候，两人都在读一本书，还有一本书留在桌子上。当一个人读完他/她现在的书时，他/她会把它和桌子上的书互换，然后开始阅读。阅读时间呈指数分布，以bi表示，j表示人的平均读书时间j。

Let b = [1 2 4]
        [5 1 2]

这个马尔可夫链的状态空间是什么，如何构造速率矩阵q ?。

我从我的讲稿中得到了这个练习，不知怎么地，我觉得状态空间很混乱，因为它是一个连续的时间马尔可夫链。

这些是我能想到的可能的状态：

Person i1和i2，书A，B，C

i1,A
i1,B
i1,C
i2,A
i2,B
i2,C

但我怎么能用图形来表示呢？我试过了，但是每个用户都有一个单独的马尔可夫链(可还原的)，我怀疑这是正确的。我认为，从这里开始，基于矩阵b上的速率来构造比率矩阵应该是可行的。

Answer 1

这是最适合http://stats.stackexchange.com的问题之一，即使您计划编写一段代码来解决这个问题。其中一个原因是，你有一个容易使用的数学模式，而你却没有，但无论如何，我会在这里给出一个答案。

当你想要构造你的马尔可夫链时，不管它是连续的还是离散的，因为这些都是基于相同的概念，并且是通过形式上简单的转换来联系的(就像当长度变成无限小时，差商变成了导数一样)。相反，重要的是正确获取状态的信息内容。因此，我们需要评估这里需要什么才能进行转换。

为此，您提出的状态变量是不够的:它只包含一个读取器，并且缺少时间。显然，您需要两个读取器加上状态变量中的书籍。但也需要他们开始的时间，否则你将不知道他们什么时候完成这本书。

因此，最终会有一个状态变量。

S = ({book_reader_1, start_time_1}, {book_reader_2, start_time_2})

然后，可以通过积分从start_time到当前时间t的指数分布来计算转换函数，这就给出了读取器在time t上完成的概率。你需要为两位读者做这件事，但你可以分开做，因为他们不影响他们的阅读时间。