B站-懒羊羊吃辣条-2025-12-24
论文名称：OLinear: A Linear Model for Time Series Forecasting in Orthogonally Transformed Domain
论文引用：Yue W, Liu Y, Li H, et al. OLinear: A Linear Model for Time Series Forecasting in Orthogonally Transformed Domain[J]. arXiv preprint arXiv:2505.08550, 2025.
论文链接：https://arxiv.org/abs/2505.08550 
代码链接：https://anonymous.4open.science/r/OLinear .
![img](https://developer.qcloudimg.com/http-save/yehe-11965265/f2d73fbc952196cecafa8830b2ec2947.png)
#### 引言：时间序列预测的挑战与现有解决方案

时间序列预测是机器学习和数据科学领域中的一个重要问题，广泛应用于天气预报、金融市场分析、电力需求预测等多个领域。随着深度学习技术的崛起，基于神经网络的时间序列预测方法逐渐成为主流。**OLinear模型**通过引入两项创新技术：**OrthoTrans**（正交变换模块）和**NormLin**（线性模块），成功地提升了时间序列预测的精度，并显著降低了计算复杂度。
#### 一、OLinear模型概述

OLinear是一种线性多变量时间序列预测模型，设计中结合了**OrthoTrans**和**NormLin**两个关键模块，使得该模型在高效性和预测精度方面都取得了突破性进展。
1. **OrthoTrans模块**：这一模块通过基于皮尔逊相关矩阵的正交变换，将时间序列数据转化为一个去相关的特征空间。通过这种变换，时间序列中的序列依赖性被有效消除，为后续的线性建模提供了更好的数据表示。
2. **NormLin模块**：NormLin是一个基于线性层的模块，通过**Softplus****激活函数**和**L1归一化**的结合，捕捉了多变量时间序列之间的相关性。与传统的自注意力机制相比，NormLin显著减少了计算复杂度，尤其是在长时间序列和大规模数据集上，提供了更高效的训练和推理能力。

![img](https://developer.qcloudimg.com/http-save/yehe-11965265/00a7f54c72e7e5ee5cdbdf04bb243efc.png)
#### 二、OrthoTrans：去相关化的正交变换

**OrthoTrans模块**是OLinear模型中的核心创新之一，旨在通过正交变换消除时间序列中序列之间的复杂依赖关系。大多数传统模型（如基于傅里叶变换和小波变换的方法）使用固定的基函数对数据进行变换，但这些方法未必能够有效利用数据集特有的时间依赖性。
**OrthoTrans的工作原理**：
**皮尔逊相关矩阵**：首先，计算时间序列的皮尔逊相关矩阵，描述不同时间序列变量之间的相关性。具体计算方式如下： [ \text{CorrMat}_j = \frac{\text{Cov}(s_p, s_q)}{\sqrt{\text{Var}(s_p) \cdot \text{Var}(s_q)}} ]  其中，(s_p) 和 (s_q) 是时间序列的第p和第q个变量，Cov为协方差，Var为方差。
1. **特征值分解**：通过对皮尔逊相关矩阵进行特征值分解，得到一个正交矩阵 (Q_i) 和一个对角矩阵 ( \Lambda )，使得原始的时间序列数据被投影到去相关的特征空间。
2. **去相关数据表示**：通过将原始时间序列数据与正交矩阵相乘，得到去相关后的特征表示： [ Z = X \cdot Q_i^T ] ,这里，(Z) 是去相关后的新特征空间，(X) 是原始时间序列数据，(Q_i) 是正交矩阵。

这种方法的优势在于，正交变换不仅去除了时间步之间的依赖性，还能增强模型对数据内部结构的理解，有助于提高预测精度。
![img](https://developer.qcloudimg.com/http-save/yehe-11965265/5fb88ba75648e722467daaa5e07c8f77.png)
#### 三、NormLin：高效的线性表示学习

在OLinear模型中，**NormLin模块**替代了传统的自注意力机制，采用了一种改进的线性层设计。该模块通过L1归一化的权重矩阵和Softplus激活函数，使得模型能够有效捕捉多变量时间序列之间的依赖关系，并且计算效率较高。
![img](https://developer.qcloudimg.com/http-save/yehe-11965265/ff41054e4ae8019a2c2b238e0297c302.png)
**NormLin模块的设计**：
- **Softplus激活函数**：Softplus函数具有平滑非线性关系的特点，避免了传统ReLU和Sigmoid函数可能带来的梯度消失问题。
- **L1归一化**：通过对权重矩阵的每一行应用L1正则化，保证了每一行的权重在捕捉多变量相关性时具有一定的稀疏性，从而提高了计算效率。

**NormLin模块的计算公式**： [ \text{NormLin}(x) = \text{RowNormL1}(\text{Softplus}(W)) \cdot x ] 
其中，(W) 是学习的权重矩阵，(x) 是输入数据。
与自注意力机制相比，NormLin模块在计算上的优势在于其低计算复杂度和更高效的内存使用，使得OLinear能够处理大规模数据集，尤其是在长时间序列预测中，表现优异。
![img](https://developer.qcloudimg.com/http-save/yehe-11965265/05ba372ff55b3610aceee7c255366d09.png)
#### 四、OLinear的实验与性能评估

在论文的实验部分，OLinear在多个数据集上的表现超过了传统的深度学习方法，尤其是在计算效率和预测精度方面。论文使用了24个基准数据集和140个预测任务，对OLinear的性能进行了全面评估。
![img](https://developer.qcloudimg.com/http-save/yehe-11965265/70f0588ecc22c4fabbd48c2b56ecd5c0.png)
**实验结果**：
- **预测精度**：在PEMS03数据集上，OLinear的平均MSE为0.095，显著优于基准模型（如傅里叶变换的基线模型，MSE为0.161）。这一结果表明，OrthoTrans的正交变换有效提高了数据的表示能力。
- **计算效率**：与传统的Transformer模型相比，OLinear在推理和训练时显著减少了计算和内存开销，尤其在长时间序列的预测任务中，优势更加明显。

![img](https://developer.qcloudimg.com/http-save/yehe-11965265/de96f13a8243f788b82cafd89c8b9aed.png)
#### 五、OLinear与其他模型的对比

与现有的传统方法（如傅里叶变换、小波变换）相比，OLinear的正交变换（OrthoTrans）能够有效去除序列中的依赖关系，并提供更加适合线性建模的数据表示。而与自注意力机制（Self-Attention）相比，OLinear的NormLin模块在减少计算复杂度的同时，仍能够有效建模多变量之间的相关性。
![img](https://developer.qcloudimg.com/http-save/yehe-11965265/b78dce8da3c743830efe6f5c15b5015f.png)
#### 六、OLinear的优势与未来展望

OLinear的核心创新：OrthoTrans和NormLin，不仅提升了时间序列预测模型的预测精度，还显著提高了计算效率。其模块化设计使其能够方便地集成到现有的预测模型中，进一步提升性能。未来，OLinear有望在大规模时间序列数据集上进一步优化，扩展到时间序列数据的缺失值填补、异常检测等任务中。
![img](https://developer.qcloudimg.com/http-save/yehe-11965265/9841822b06201a42d836d4b9018de2ea.png)
#### 七、结语

OLinear通过OrthoTrans和NormLin两个创新模块，在提高时间序列预测精度的同时，有效提升了计算效率。实验结果表明，OLinear在多个长时间预测任务中表现出色，尤其在大规模数据集上，具有显著的优势。OLinear的设计理念为简化和优化时间序列预测提供了新的方向，未来有望在更多领域得到应用。

B站-懒羊羊吃辣条-2025-12-24论文名称：OLinear: A Linear Model for Time Series Forecasting in Orthogonally Transformed Domain论文引用：Yue W, Liu Y, Li H, et al. OLinear: A Linear Model for Time Series Forecasting in Orthogonally Transformed Domain[J]. arXiv preprint arXiv:2505.08550, 2025.论文链接：https://arxiv.org/abs/2505.08550 代码链接：https://anonymous.4open.science/r/OLinear .

OLinear——基于正交变换的高效时间序列预测模型

OLinear模型通过引入两项创新技术：OrthoTrans（正交变换模块）和NormLin（线性模块），成功地提升了时间序列预测的精度，并显著降低了计算复杂度。

人工智能

大数据

算法

OLinear模型通过OrthoTrans正交变换和NormLin线性模块，显著提升时间序列预测精度并降低计算复杂度。实验显示其在PEMS03数据集上MSE仅为0.095，优于传统方法。该模型高效处理多变量时间序列，适用于天气预报、金融分析等领域，为时间序列预测提供创新解决方案。

机器学习

深度学习

2026新春采购季

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

OLinear——基于正交变换的高效时间序列预测模型-腾讯云开发者社区-腾讯云

OLinear——基于正交变换的高效时间序列预测模型

OLinear——基于正交变换的高效时间序列预测模型

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐