时序论文44 | TwinsFormer：通过两个交互组件重构时间序列内在依赖关系

这是ICLR2025的一篇论文，作者提出了Twinsformer，模型还是以Transformer架构为主，但通过两个交互组件进行趋势和季节的分解重构序列的内在依赖关系，然后用于时间序列预测。趋势和季节分解很常见，但论文比较有意思的点在于趋势和季节项的取舍。

研究背景

时间序列预测在天气、能源、市场和交通等众多现实场景中至关重要，其核心挑战是从历史观测数据中有效捕捉时间模式以预测未来变化。但由于现实世界或系统的复杂性与非平稳性，观测到的时间序列包含诸多变化，使得把握可靠稳定的时间依赖关系仍困难重重。

序列分解常被用于深度模型，其利用移动平均核平滑时间序列的短期波动或噪声。现有方法多采用两个独立分支分别突出时间序列的季节性和趋势性，再结合二者进行最终预测。然而，趋势 - 季节分解是不可训练的线性变换，移动平均核得到的分解分量无法精准反映时间序列的复杂模式，会导致独立分支学习的趋势和季节表示难以契合观测序列的时间模式。因此，合理的分解设计应考虑分解分量间的相互作用，以准确揭示观测值的内在依赖关系。

本文模型

如上图，本文提出了TwinsFormer，该模型采用仅编码器的双流结构，通过两个交互组件来明确探索内在依赖关系，用于时间序列预测。

首先，作者将观测到的时间序列（而非时间序列嵌入）分解为趋势和季节成分后分别嵌入，以便更好地捕捉时间序列本身的特征。其中，季节嵌入经减法机制送入注意力模块和前馈网络，并利用残差学习策略捕捉多变量依赖；趋势嵌入则在季节信息监督下进入交互模块，借助交互模块融合季节信息辅助学习，更新趋势嵌入。最后聚合两者的表示进行预测。在嵌入过程中，利用线性层、随机失活层和全局协变量处理分解后的序列。

同时，模型为两个分支设计门控机制调节信息传输，通过堆叠 TwinsBlock 学习相关表示，经线性投影得到最终预测。经分析，TwinsFormer 的交互策略能有效避免冗余信号，促进趋势和季节分量解耦，从而提升时间序列预测的准确性。

本文实验

通过这种交互设计，TwinsFormer能够成功聚合季节和趋势信息，学习不同成分之间的内在依赖关系，从而实现准确的预测。实验表明提出的TwinsFormer在图1所示的七个现实世界预测场景中实现了最先进的性能，并有效地为时间序列预测提供了一种交互式学习方案。