比较经典时间序列预测方法(ARIMA/Prophet)与ML方法的最佳通用度量？

Question

我是时间序列预测的新手，我希望将ARIMA/Prophet模型与基于历史股票市场数据和社交媒体情绪评分的XGBoost模型进行比较，预测未来的股票市场价值。

我更熟悉机器学习，所以通常会使用像R^2这样的评估指标来评估这类问题的模型性能。

是否有像ARIMA/Prophet这样的预测方法来评估它们的准确性，这样我就可以和XGBoost的预测精度做类似的比较了吗？

Answer 1

MAPE和MASE是时间序列常用的度量标准，您可能不熟悉它们。

MAPE -平均绝对百分比误差：

MASE -平均绝对比例误差：

参考资料：

https://blogs.oracle.com/datascience/7-ways-time-series-forecasting-differs-from-machine-learning

您还可以考虑在您的评估中使用多个度量，而不仅仅是一个，因为每个度量的目的略有不同。

Answer 2

通常，几篇文章(就像这个)中提到的最常见的度量是相同的，我们也通常用于非时间序列预测：

• 平均绝对误差
• 均方误差
• RMSE均方误差

除了线性回归，我还没有看到R_2经常用来验证预测模型。事实上，它甚至不是用于区间规模预测任务的xgboost的开箱即用的指标之一。因此，您应该可以在任何事情上使用RMSE。

编辑：

先知，至少在R包包括RMSE，MAE和MAPE，所以你应该是好的。

Answer 3

请参阅Rob J. Hyndman的论文，他是时间序列的先驱，并在R：再看一看预测精度的度量中提供了预测包。

根据文件的结论：

我们提出，标度误差是衡量预报精度的标准标准，其中预报误差是用naıve预测法得到的样本内平均绝对误差来标度的。这是广泛适用的，总是定义和有限的，除非在不相关的情况下，所有的历史数据是相等的。这一新方法也很容易解释: MASE大于1的数值表明，预测值比朴素方法的一步预测平均差。

当然，在某些情况下，现有的一些措施可能仍然是可取的。例如，如果所有系列都是相同的规模，那么MAE可能是首选的，因为它更容易解释。如果所有的数据都是正的，并且大于零，那么出于简单的原因，MAPE仍然可能是首选的。然而，在存在非常不同的尺度(包括接近于零或负的数据)的情况下，我们认为MASE是衡量预测精度的最佳方法。