与变压器相比，LSTM有什么实际优势吗？

Question

在“传统的”RNN(如LSTM)上有许多文章指出变压器有很大的优势。整个行业都在远离LSTM。我的问题是，在NLP领域，LSTMs (或GRUs)比变压器有什么实际的好处/优势吗？

Answer 1

与变压器相比，LSTMs/GRUs具有更低的计算和内存需求。

根据具体情况，使用LSTM代替转换器可能是有意义的，因为这些因素。例如，在移动设备或具有CPU和内存限制的嵌入式设备上使用Transformers并不容易。

此外，在机器翻译中，具有转换器编码器和LSTM解码器可能不会显着地影响最终的翻译质量。