tensorflow中LSTM的分布式训练

Question

LSTM是一个算法还是一个节点？如果在模型中使用它，如果我使用分布式训练，反向传播会发生冲突吗？

Answer 1

LSTM也不是。这是一个递归的神经网络(参见这个职位)。就tensorflow而言，您可能会感到困惑，因为有一个单元(例如，BasicLSTMCell)的概念，它基本上是一个工厂，用于创建一个或多个层的单元格。最后，将其转化为计算图中的节点。您可以在这个笔记本中找到一个很好的用法示例。顺便说一句，训练的算法也是一样的--后盾。

现在，关于分布式训练，有两种类型的并行性:数据并行和模型并行，没有一种能破坏支持。唯一的例外可能是具有异步更新的数据并行，这确实需要某些技巧才能工作，但是在tensorflow中没有对它的一流支持。我认为使用更简单的方法分发模型会更好(参见这个职位)。因此，答案很可能是:不，后盾会运作得很好。