利用LSTMs进行时间序列预测:使时间序列平稳的重要性

Question

在这篇关于静态和差异的链接中，人们提到像ARIMA这样的模型需要一个平稳的时间序列来进行预测，因为它的统计特性如均值、方差、自相关等随着时间的推移是恒定的。由于RNN具有更好的学习非线性关系(如下所述:递归神经网络在时间序列预测中的应用前景)的能力，并且在数据大的情况下比传统的时间序列模型表现得更好，因此了解平稳数据对其结果的影响是非常必要的。我需要知道的问题如下：

1. 在传统的时间序列预测模型中，时间序列数据的平稳性使得预测变得更容易，为什么和如何？
2. 在利用LSTMs建立时间序列预测模型时，使时间序列数据平稳是否重要？如果是，那为什么？

Answer 1

一般来说，时间序列和其他机器学习问题并没有什么区别--你希望你的测试集看起来像你的训练集，因为你希望你在训练集上学到的模型仍然适合你的测试集。这是关于平稳性的重要的基本概念。时间序列具有额外的复杂性，即您的数据中可能存在长期结构，而您的模型可能不够复杂，无法学习。例如，当使用N的自回归滞后时，我们不能学习间隔比N更长的依赖关系，因此，当使用像ARIMA这样的简单模型时，我们希望数据也是局部平稳的。

1. 正如您所说的，平稳只是意味着模型的统计数据不会随时间而变化(“局部”平稳)。ARIMA模型本质上是回归模型，您使用过去的N值作为线性回归的输入来预测N+1st值。(至少，AR部分就是这么做的)。当您学习模型时，您正在学习回归系数。如果您有一个时间序列，您学习了过去的N点和下一个点之间的关系，然后将它应用到不同的N点集合中来预测下一个值，那么您就隐含地假定N个预测点与您要预测的下面的N+1st点之间的关系是相同的。这是平稳的。如果你把你的训练分成两个间隔，然后分别对它们进行训练，得到两个非常不同的模型，你会从中得出什么结论？你认为应用这些模型来预测新的数据，你会有信心吗？你会用哪一个？如果数据是“非平稳的”，就会出现这些问题。
2. 我对RNN的看法是--你仍然在从一个时间序列的一个片段中学习一个模式，并且你仍然想把它应用到时间序列的另一个部分来得到预测。该模型学习了时间序列的简化表示--如果该表示适用于训练集，但不适用于测试集，那么它将不能很好地执行。然而，与ARIMA不同，RNNs能够学习非线性，而像LSTM节点这样的专用节点在这方面甚至更好。特别是，LSTMs和GRUs非常善于学习长期依赖关系.例如，参见这篇博客文章。实际上，这意味着在RNN中，“平稳性”的含义不那么脆弱，因此它不太受关注。然而，为了能够学习长期依赖关系，您需要大量的数据来进行培训。

最终的证据是布丁。也就是说，进行模型验证，就像对任何其他机器学习项目一样。如果您的模型对持久数据有很好的预测，那么您可以对使用它有一定的信心。但是，就像任何其他ML项目一样--如果您的测试数据与您的培训数据有很大的不同，那么您的模型的性能就不会很好。