为什么“不需要马尔可夫链”来获得梯度是一个优势呢？

Question

在原始GAN (生成对抗性网络)论文)，生成对抗性网络由I.古德费罗，J. Pouget，M.阿尔。他们指出，GAN的一个优点是“根本不需要马尔可夫链，只使用后备技术获得梯度，在学习过程中不需要推理”(论文第6节)。

我不明白为什么这是个优势？如果我们从另一个角度来看这个说法，为什么使用马尔可夫链会是一个劣势呢？

Answer 1

实现注意事项

马尔可夫链是连续的，因为它们描述了基于先前状态t_-1的一个状态t_0。当你有很长的马尔可夫链时，你基本上有一个很长的计算序列，每个计算都依赖于要计算的前一个状态。由于这种顺序性，不可能像对神经网络中的梯度和推理那样并行化计算。

体系结构考虑事项

在本文中，他们用马尔可夫链阐述了几个问题：

1. “基于马尔可夫链的...方法要求分布有点模糊，以便链能够在模式之间混合。”。
   • 此外，在第6节中，他们指出马尔可夫链需要“模糊”数据分布，而不是GANs，后者也可以表示“尖锐”分布。

2. 第二节，第一段:他们讨论马尔可夫链作为逼近深度/受限Boltzman机器的分拆函数的一种方法，否则将是难以解决的。然而，他们说混合在这里是一个问题。我不知道他们在这里混在一起是什么意思。
3. 正如我所理解的图2的标题，他们说马尔可夫链混合导致相关的样本。这可能是由于种子，即初始状态，你必须提供从马尔可夫链中取样。