Python: pmdarima，autoarima不适用于大型数据

Question

我有一个大约每15分钟就有80.000次观测的数据。假设季节参数m为96，因为每24h重复一次。当我在我的auto_arima算法中插入这些信息时，需要很长时间(几个小时)才能发出以下错误消息：

MemoryError: Unable to allocate 5.50 GiB for an array with shape (99, 99, 75361) and data type float64

我使用的代码：

stepwise_fit = auto_arima(df['Hges'], seasonal=True, m=96, stepwise=True, 
                          stationary=True, trace=True)
print(stepwise_fit.summary())

我试着重采样到每小时的值，将数据量和m因子减少到24，但我的计算机仍然无法计算结果。

如何在处理大数据时用auto_arima找到加权因子？

Answer 1

我不记得我读到这篇文章的确切来源，但是auto.arima和pmdarima都没有真正优化到缩放，这可能解释了您所面临的问题。

但是，关于您的问题还有一些更重要的事情要注意:对于每15分钟的80K数据点，ARIMA可能不是最佳的用例模型类型：

• 根据数据的频率和密度，很可能存在多个周期/季节模式，ARIMA只能处理一个季节性成分。因此，您至少应该尝试一个可以处理STS或先知这样的多个季节的模型(R中的TBATS也可以处理多个季节性问题，但可能会遇到与auto.arima相同的问题，因为它在同一个包中)。
• 在80K点和15分钟的测量间隔内，我假设您最有可能处理的是“物理”时间序列，即传感器或其他计量/监视设备(负载、网络流量等)的输出。这些类型的时间序列通常是LSTM或其他基于深度学习的模型的非常好的用例，而不是ARIMA。

Answer 2

pmdarima不是很好的缩放。你应该试试autoarima of 状态预测。它是用numba编译成高效的机器代码。