MDP -生成转移概率的技术

Question

我正在处理一个MDP汽车供需问题，如下所示，并在考虑是否有任何技术可以自动生成转移概率矩阵，而不是手动生成。

假设需求如下：

time、station1、station2

1000、3、1

1030、3、1

1100、2、3

假设来自station1的汽车，有60%的可能性在station1下车，40%的可能性在station2下车。假设来自station2的汽车，有80%的可能性在station1下车，20%的可能性在station2下车。

我已经手动计算了以下内容。

在时间步骤1，

P(car at station1 = 2,car at station2 = 8) = 0.0432
P(car at station1 = 3,car at station2 = 7) = 0.2016
P(car at station1 = 4,car at station2 = 6) = 0.1344
P(car at station1 = 5,car at station2 = 5) = 0.0896
P(car at station1 = 6,car at station2 = 4) = 0.0512

因此，我想检查是否有人可以提供洞察力来自动计算时间步骤2的概率，而不是手动计算。

对于您的建议，请联系我们。

Answer 1

我不太明白你的问题。

如果在平稳的马尔可夫过程中，状态变量x_t (这里是汽车所在的车站)在给定时刻t的分布仅是转移矩阵P和时刻t-1的状态的函数。

您可以为任何t编写x_t = x_{t-1} * P，这意味着x_t = x_0 * P^t。

知道x_0 (汽车在开始时的分布，例如，如果汽车在两个车站x_0 = [0.5 0.5]之间均匀分布)并使用P = [ 0.6 0.4 ; 0.8 0.2 ]，您就可以获得任何时间的汽车分布t > 0 as x_t = x_0 * P^t。