对于回归问题，LSTM的替代方案是什么？

Question

我在一个回归问题上工作了一段时间--根据气象特征(湿度、温度、风速a.o.)预测城市的空气污染。我已经训练了一个LSTM模型来做预测，它在某种程度上是很好的，但是我并不是印象深刻--我的预测中的趋势总是落后于实际事实中的趋势。LSTM已经有20多年的历史了，所以我想知道是否有一些新的替代方案来解决我正在研究的回归问题？我曾经读到，注意力模型在文本预测中很流行，但它们也适用于空气污染预测吗？还有什么？尤其是在TensorFlow和Keras中实现的模型会让我感兴趣。谢谢!

Answer 1

在许多领域，变压器(又称“注意模型”)正在取代LSTM，因为它们通常能产生更好的效果和/或更快的训练速度。它们可以用于回归问题，就像分类或文本生成一样简单--只需相应地创建最终层。

问题是，它们在数据大小上是O(N平方)。您没有提到要分析的序列有多长，但是如果它们小于512项，那么在单个GPU上应该可以使用转换器。(不管怎么说，你的LSTM处理序列的效果可能很差。)

在使变压器的版本扩展到更大的N值方面，有许多积极的研究。如果你读了这些论文，O(N)或O(NlogN)的说法会有点误导，因为它们最终会为了效率而将事情组合在一起；但它们仍然设法处理数千个或更高的序列长度。

对于开箱即用的实现来说，https://github.com/huggingface/transformers是一个好的开始。为了处理更大的N值，我看到了其中提到的Longformer和BigBird；后者不仅用于文本，而且用于DNA测序。但我不知道有任何关于气象特征的研究，特别是。(如有发现，请留言！)