B站-懒羊羊吃辣条-2025-12-29
https://space.bilibili.com/434538583?spm_id_from=333.1007.0.0 
## 论文引用

TQNet
**论文标题**：Temporal Query Network for Efficient Multivariate Time Series Forecasting
**论文链接**：https://arxiv.org/abs/2505.12917 
Lin S, Chen H, Wu H, et al. Temporal Query Network for Efficient Multivariate Time Series Forecasting[J]. arXiv preprint arXiv:2505.12917, 2025.
CycleNet
**论文标题**： Cyclenet: Enhancing time series forecasting through modeling periodic patterns
**论文链接**：https://github.com/ACAT-SCUT/CycleNet 
Lin S, Lin W, Hu X, et al. Cyclenet: Enhancing time series forecasting through modeling periodic patterns[J]. Advances in Neural Information Processing Systems, 2024, 37: 106315-106345.
## 引言

在机器学习与数据领域，**时间序列预测**常被认为是“既简单又难”的任务。 简单，是因为每个人都懂“看趋势预测未来”；难，是因为真正做到**长期、稳定、可解释**的预测，却几乎没人能完美解决。
在前段时间，时间序列预测领域迎来两项具有里程碑意义的工作： 2024 年 NeurIPS 收录的 **CycleNet** 与 2025 年 ICML 收录的 **TQNet**。 两者均出自华南理工大学与鹏城实验室团队（Lin Shengsheng 等），围绕一个核心命题——**如何让模型真正理解时间序列的内在结构**。
这两篇论文像“前后篇”，一前一后，提出了**显式建模时间规律与变量相关性**的新范式。CycleNet 从「周期性」入手，TQNet 从「变量间相关性」切入，前者强化单变量的时间规律学习，后者提升多变量的协同建模能力。


## 一、CycleNet：周期，就是时间序列的灵魂

### 1.1 背景问题

![image-20251027153630774](https://developer.qcloudimg.com/http-save/yehe-11965265/0b5deaee7e10eb7a33957f7c918904a1.png)
在很多现实预测任务中——比如电力负荷ETT、气温变化weather、交通流量traffic等数据集都有非常明显的**周期性**。  每天都有白天黑夜、每周都有工作日与周末，特别是在光伏发电量预测领域，肯定是白天高晚上低这么一个周期，这些模式极其稳定。但奇怪的是，大多数深度学习模型并没有“直接”去建模这些周期，而是希望模型**自己学出来**。如图所示，其核心思路是建模数据中的周期性模式，并假定未来还会重复这种周期模式。
![image-20251027154020798](https://developer.qcloudimg.com/http-save/yehe-11965265/7a4dc1c4797803e40ac3d7ca6b0dfba7.png)
比如这张图就能很明显看到，ECL数据集的四个不同周期的数据，都有着相似的趋势。
iTransformer、PatchTST、TimesNet等复杂结构都在尝试隐式学习这些周期，但作者提出了一个更直接的问题：
>既然周期是时间序列的核心，那为什么不把“周期”这件事直接告诉模型？

### 1.2 让模型自己“记”住周期：Residual Cycle Forecasting (RCF)

![image-20251027153801066](https://developer.qcloudimg.com/http-save/yehe-11965265/1b0bc7fc5d075ee2df27ef7c5def6fe0.png)
如图所示，先把原始时间序列分成循环项+残差项，假设周期是不变的，那么可以单独建模循环项，然后从原始序列减去循环项，**只预测剩余的残差项**，得到结果后再对齐未来的循环项并相加，就得到了最终的预测项。这里有一个前提，就是我们要预测的时间序列存在显著的周期性模式，并且这种周期性模式具有相对稳定性
CycleNet 的关键技术叫 **Residual Cycle Forecasting (RCF)**。CycleNet 的核心是一个非常简洁的思想：  **把时间序列拆成周期部分 + 残差部分，再分别建模。**
具体方法：
1. 给每个时间序列通道一个可学习的**周期模板** QQQ。
2. 让模型在训练中自动更新这个模板，使它能表示“平均的日周期/周周期”。
3. 把真实数据减去周期部分，得到“残差”；
4. 用一个简单的线性层或小MLP预测残差，再把周期加回来。

这个过程称为 **Residual Cycle Forecasting (RCF)**，即为原序列 → 去周期 → 残差预测 → 恢复周期 → 输出结果。这本质是“**显式季节-趋势分解**”的一种极简实现，只是把季节项从卷积/滑窗，升级为**可学习的周期参数**。
此外，代码实现过程也很简单清晰，如图下所示，首先，CycleNet对输入的时间序列数据实例归一化（RevIN）；然后，学习循环周期项，并从输入序列中移除该周期分量得到残差分量，随后将残差分量输入Linear或MLP骨干网络，得到残差分量的预测结果；最后，生成与预测匹配的周期分量，与残差预测结果叠加，最终得到预测值。
![image-20251027153955822](https://developer.qcloudimg.com/http-save/yehe-11965265/6bf75bfe5b09302ad15c70decc9f8117.png)
### 1.3 效果与效率

在 ETT、Electricity、Solar、Weather 等6个主流数据集上，CycleNet 达到或超过 SOTA：
- MSE 较 DLinear、PatchTST、iTransformer 等显著降低。即便模型只有一层Linear或两层MLP，性能也能**超越Transformer系列模型**；
- 参数量仅为主流 Transformer 的 1/10 至 1/100。参数量减少 **90% 以上**；

CycleNet/Linear 仅 12 万参数、CycleNet/MLP 47 万参数，但性能优于上千万参数模型。CycleNet 证明了：**简单的显式周期建模，比盲目的深度堆叠更聪明。**其 RCF 模块更是可**插拔**：嵌入 PatchTST、iTransformer 也能提升 5%~10% 精度。
### 1.4 一个细节：周期长度W的重要性

CycleNet 有一个关键超参数——周期长度 W。  比如：
- 电力数据的主周期是 24×7 = 168 小时；
- 天气数据常设为 144（10分钟×24小时×1天）。

W 的选择
- 选**最大稳定周期**：小时级电力常用 W=168W=168W=168（7×24），10 分钟天气常用 W=144W=144W=144。
- 不确定就用 **ACF** 峰值辅助；设错会直接拉低性能。

错误设定 W 会让模型退化为普通线性预测器。论文里还提供了自动确定W的方式：用自相关函数（ACF）找到周期峰值。 如果W设错，模型几乎会“失忆”，预测能力立刻下降。
CycleNet的不足是假设所有样本共享一个周期，但实际每个样本周期往往不一致；其次依赖于先验特征确定周期长度，缺乏自动确定最优周期的能力，原文使用ACF技术确定周期，但该方法存在一定局限性，我自己实验的结果是ACF并不能找到最佳周期。

## 二、TQNet：用周期化查询机制建模多变量相关性

### 2.1 背景问题

如果 CycleNet 是为“时间规律”而生，那 TQNet 则解决了另一个棘手问题：**变量之间的关系**。
现实世界的时间序列往往是多变量的：比如交通预测有上百个路段，电力预测有上千个站点，天气预测有几十个指标。在多变量预测（Multivariate TSF）中，变量之间的关联（如不同电力节点、多个气象指标）至关重要。  但实际数据常受噪声、缺失值、极值扰动，导致局部样本间的相关性不稳定。
![image-20251027154201978](https://developer.qcloudimg.com/http-save/yehe-11965265/52d5984ed090ed5ec1265a41e357a30e.png)
上图中，(a)基于整个训练集得出的全局相关性；（b）是TQNet学习到的相关性；（c）单个样本的相关性 —— 这类相关性可能会受到非平稳扰动的干扰，例如极端值、缺失数据与噪声。通过对比（a）图与（b）图可发现，TQ 技术能有效捕捉全局相关性结构；而（c）图则体现了样本级相关性的不稳定性。
主流方法要么：
- **CI（Channel Independent）**：如 PatchTST、DLinear，只建模单变量，忽略相关；
- **CD（Channel Dependent）**：如 iTransformer、TimeXer，用自注意力捕获变量间关系，但易被噪声干扰。

TQNet 的目标是两者结合：**稳定捕获全局跨变量依赖，同时保持高效率。**
多变量相关在噪声、缺失、极值下**样本级相关不稳定**，导致注意力易“信错”。TQNet 把 **Queries 改为周期移位的可学习向量** ，在注意力里承载**全局跨变量相关**；而 **K/V 用输入数据**保留**局部样本信息**。两者融合出的权重更抗噪、更稳定。 
### 2.2 核心创新：Temporal Query (TQ)

![image-20251027154322086](https://developer.qcloudimg.com/http-save/yehe-11965265/99897ead901e37e06f3d9913030b086f.png)
TQNet 在注意力机制中引入周期移位的可学习查询向量（Temporal Query, TQ）：
在常规的注意力机制中：
- Queries、Keys、Values 全部来自输入数据；
- 但如果输入数据有噪声或缺失，模型就会“信错人”。

TQNet 的做法是：
- 把 Queries 换成**可学习的周期化向量**（类似 CycleNet 的周期 Q）。
- 通过时间步周期移位，每次预测时，按时间步取出一段，使相隔 W 步的样本共享同一查询向量。
- 这段 Query 代表模型对跨变量关系的“长期记忆”，Keys、Values 仍来自真实输入，用于补充局部信息。这样模型在计算注意力时，不仅依赖当前样本的局部特征（K,V），还结合了跨周期的全局相关先验（Q）。

效果：  TQNet 学到的通道相关矩阵与训练集的整体相关更一致，而非受噪声样本影响。
### 2.3 模型结构

![image-20251027154248278](https://developer.qcloudimg.com/http-save/yehe-11965265/22cdd8b3ee10a01375988469e4841f34.png)
**一层** TQ-MHA + **一丢丢** MLP +（可选）InstanceNorm。参数量接近线性模型，却在 12 个公开多变量数据集上总体 SOTA，尤其在电力、PEMS 等高维数据上**精度高且训练快**。
整个 TQNet 只有三部分：
1. **TQ增强的多头注意力层 (TQ-MHA)**：捕捉变量间关系；
2. **轻量 MLP**：提取时间依赖；
3. **可选 Instance Normalization**：消除分布漂移。

结构非常轻，但能力强。
TQNet = **TQ增强的多头注意力层 (TQ-MHA)** + **轻量 MLP** + **可选 Instance Normalization**。  参数量与 DLinear 相当，但能显式建模多变量依赖。
### 2.4 实验结果

![image-20251027154424287](https://developer.qcloudimg.com/http-save/yehe-11965265/e0a270f02e073eda2b2cb118fc903218.png)
上图表示使用t-SNE及其对应的原始信道序列的学习TQ表示的可视化。数据来源于交通数据集。
![image-20251027154518470](https://developer.qcloudimg.com/http-save/yehe-11965265/aad76d8d0ead32b94963ea1da2ba2f48.png)
TQNet在不同协变量信息量下的性能。预测目标是数据集的最后一个通道，结果在预测范围H ∈ {96，192，336，720}内求平均。
![image-20251027154639612](https://developer.qcloudimg.com/http-save/yehe-11965265/4dfd4e2d1f50743a9453e14fb622cbb1.png)
TQNet的计算效率。左：在Electricity数据集上比较预测精度、参数大小和训练时间（预测范围H = 720）。右：在Traffic数据集上比较不同通道数的训练时间，该数据集在完整设置中包括多达862个通道。

在 12 个真实数据集（ETT系列、PEMS系列、电力、交通、天气、Solar）上：
- 平均在 22/24 个指标上拿到 Top-2。
- 在高维数据（上千通道）中领先 iTransformer、TimeXer。
- 训练速度与线性模型接近（单epoch约30秒）。

消融实验表明：
- 若去掉TQ模块或只保留自注意力，性能显著下降；
- TQ可作为插件嵌入其他模型（PatchTST、iTransformer、DLinear）均能提升精度；
- 参数 ( W ) 对性能影响与 CycleNet 类似，周期设定越准确，模型越强。

### 2.5 直观解释

TQNet 是“轻量级多变量相关建模”的新思路。它像 CycleNet 一样高效，却能显式捕捉通道间的联系
 论文用 t-SNE 可视化：距离相近的通道在时序行为上也更相似，说明 TQ 学到了隐式的变量聚类结构。  这种建模方式不仅提升预测精度，也增强了模型可解释性。
### 2.6 仍有挑战

TQNet 仍依赖数据的周期先验 ( W )。  当数据周期模糊或多周期叠加时（如金融或医疗信号），性能可能退化。

## 三、CycleNet × TQNet：从时间规律到跨变量结构CycleNet × TQNet：时间结构 × 变量结构的统一

CycleNet 与 TQNet 分别代表时间序列建模的两个核心维度。TQNet继承了CycleNet的思路，但在骨干网络、注意力机制设计方面进行改进，**在注意力机制中引入周期性偏移的可学习向量作为查询（Query）**，同时从原始输入数据中提取键（Key）和值（Value），实现全局与局部相关性的融合，两者的异同可总结为以下表格。

|对比维度|CycleNet|TQNet|
|:-:|:-:|:-:|
|关注对象|单变量时间结构|多变量关系结构|
|核心思想|显式周期建模|显式变量相关建模|
|技术形式|可学习周期模板 Q|周期移位查询向量 θ_TQ|
|网络结构|Linear/MLP|Attention/MLP|
|共通点|利用周期先验，参数少，效率高，解释性强||
CycleNet 告诉我们：“长期预测的关键是周期”；TQNet 接着说：“多变量预测的关键是周期性关联。”
二者理念一致：**将时间序列的结构先验显式参数化，而非完全依赖深层网络去“隐式学习”。**

## 四、总结与展望

CycleNet 和 TQNet 的出现，预示着时间序列领域正在从“堆模型”走向“讲结构”。
- **CycleNet** 证明了：周期是长时序预测的根本。 简单结构 + 显式周期建模 → 超越复杂 Transformer。
- **TQNet** 证明了：周期化参数也能帮助捕获变量间长期依赖。 单层注意力 + 周期查询 → 高维数据SOTA。

**单变量长预测**：先上 CycleNet（RCF），再视需要叠加更强的残差骨干。
**多变量强相关**：上 TQNet，或把 **TQ 模块**插到现有骨干里（如 PatchTST、iTransformer、DLinear），常见到立竿见影的增益。
**“周期 × 相关”一体化**：先用 RCF 去掉显式周期，再在残差上用 TQ 做跨通道相关，**时间结构**与**变量结构**两头抓（论文结论也建议向这一方向演进）
## 五、常见问题（FAQ）

**Q1：数据多周期怎么处理？**  优先选**最大稳定周期**；若“周/月交织”且不规则，可做**多 W集成**或分数据块训练。
**Q2：异常值很多怎么办？**  先做异常抑制再训 RCF/TQ；否则周期均值与全局相关会被拉偏。
**Q3：高维多变量是否会很慢？**  TQNet 的单层注意力 + 小 MLP 设计，训练时间接近线性模型，但精度显著更高，适合 >100 通道场景。
**Q4：能和现有骨干结合吗？**  RCF 可插拔到 Transformer/MLP ；TQ 可作为注意力前端的“全局 Q”替换或增强模块

B站-懒羊羊吃辣条-2025-12-29https://space.bilibili.com/434538583?spm_id_from=333.1007.0.0

时间序列预测新革命：从CycleNet到TQNet，一场“周期”与“相关性”的新范式

在前段时间，时间序列预测领域迎来两项具有里程碑意义的工作： 2024 年 NeurIPS 收录的 **CycleNet** 与 2025 年 ICML 收录的 **TQNet**。 两者均出自华南理工大学与鹏城实验室团队（Lin Shengsheng 等），围绕一个核心命题——**如何让模型真正理解时间序列的内在结构**。
这两篇论文像“前后篇”，一前一后，提出了**显式建模时间规律与变量相关性*

人工智能

算法

大数据

华南理工大学团队提出CycleNet和TQNet两大时间序列预测模型：CycleNet通过显式周期分解实现高效单变量预测，TQNet利用周期化查询机制建模多变量相关性。两项工作均采用轻量级架构，在ETT、电力等数据集上超越Transformer类模型，为时序预测提供了"结构优先"的新范式。

机器学习

时序预测

深度学习

流数据

2026新春采购季

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

时间序列预测新革命：从CycleNet到TQNet，一场“周期”与“相关性”的新范式-腾讯云开发者社区-腾讯云

时间序列预测新革命：从CycleNet到TQNet，一场“周期”与“相关性”的新范式

时间序列预测新革命：从CycleNet到TQNet，一场“周期”与“相关性”的新范式

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐