引用本文
谢元, 强保华, 张世豪, 陈锐东, 陈礼睿, 张文辉. 全局-局部特征融合的多变量时序预测方法. 模式识别与人工智能, 2026,39(5): 397-414
XIE Yuan, QIANG Baohua, ZHANG Shihao, CHEN Ruidong, CHEN Lirui, ZHANG Wenhui. Multivariate Time Series Forecasting Method with Global-Local Feature Fusion. PATTERN RECOGNITION AND ARTIFICIAL INTELLIGENCE, 2026,39(5): 397-414.  
Doi: 10.16451/j.cnki.issn1003-6059.202605002
Permissions
Copyright©2026, 《模式识别与人工智能》编辑部
《模式识别与人工智能》编辑部
全局-局部特征融合的多变量时序预测方法
谢元1, 强保华1, 张世豪1, 陈锐东1, 陈礼睿1, 张文辉1
1.桂林电子科技大学 计算机与信息安全学院 桂林 541004
通讯作者:

强保华,博士,教授,主要研究方向为大数据分析、时间序列预测、数据挖掘.E-mail:qiangbh@guet.edu.cn.

作者简介:

谢元,博士研究生,主要研究方向为时间序列表征学习、时间序列预测与异常检测、数据挖掘.E-mail:yuanxie@mails.guet.edu.cn.

张世豪,博士,讲师,主要研究方向为计算机视觉、时间序列分析.E-mail:zhangshihao@guet.edu.cn.

陈锐东,博士研究生,主要研究方向为深度学习、跨模态分析.E-mail:ruidongchen@mails.guet.edu.cn.

陈礼睿,博士研究生,主要研究方向为深度学习、计算机视觉.E-mail:LyricsChen@mails.guet.edu.cn.

张文辉,硕士,副教授,主要研究方向为数据挖掘、时间序列分析.E-mail:zhangwh@guet.edu.cn.

收稿日期: 2026-01-30 接受日期: 2026-05-18
资助项目: 国家自然科学基金项目(No.62262006)、广西重点研发计划项目(No.AB24010112,AB23026048)资助
摘要

Transformer在时间序列分析中展现巨大潜力,但其注意力机制常因聚合语义不相关的查询-键对而影响预测性能,同时,时间序列中存在的周期性、突发波动等复杂模式也增大建模难度.为此,文中提出全局-局部特征融合的多变量时序预测方法(Multivariate Time Series Forecasting Method with Global-Local Feature Fusion, MTS-GLFF).首先设计TopK-Transformer,根据可学习的传感器嵌入动态生成稀疏掩码,保留关键序列,进行特征聚合.在此基础上,构建双分支时间序列预测框架,包含全局分支网络和局部分支网络.全局分支网络通过跨变量注意力机制捕获全局的交互特征;局部分支网络采用多尺度架构,将时间序列分解成多粒度模式,精细化建模局部相关性.在10个基准数据集上的实验表明,MTS-GLFF在长短期预测任务中的性能均较优.

关键词: 时间序列; 稀疏掩码; 注意力机制; 特征融合; Transformer
中图分类号:TP183
Multivariate Time Series Forecasting Method with Global-Local Feature Fusion
XIE Yuan1, QIANG Baohua1, ZHANG Shihao1, CHEN Ruidong1, CHEN Lirui1, ZHANG Wenhui1
1. School of Computer Science and Information Security, Guilin University of Electronic Technology, Guilin 541004
Corresponding author:
QIANG Baohua, Ph.D., professor.His research interests include big data analytics, time series forecasting, and data mining.

About Author:
XIE Yuan, Ph.D. candidate.His research interests include time series representation learning, time series forecasting and anomaly detection, and data mining.
ZHANG Shihao, Ph.D., lecturer. His research interests include computer vision and time series analysis.
CHEN Ruidong, Ph.D. candidate. His research interests include deep learning and cross-modal analysis.
CHEN Lirui, Ph.D. candidate. His research interests include deep learning and computer vision.

Fund:Supported by National Natural Science Foundation of China(No.62262006), Guangxi Key Research and Development Program(No.AB24010112,AB23026048)
Abstract

The Transformer demonstrates considerable potential in time series analysis. However, the attention mechanism of the Transformer often aggregates semantically irrelevant query-key pairs, thereby resulting in the degradation of prediction performance. Moreover, complex patterns in time series, including periodicity and abrupt fluctuations, pose additional challenges for effective modeling. To address these issues, a multivariate time series forecasting method with global-local feature fusion(MTS-GLFF) is proposed. First, a TopK selection operator is designed. It dynamically generates sparse masks based on learnable sensor embeddings, thereby retaining key sequences for subsequent feature aggregation. Next, a dual-branch time series forecasting framework comprising global and local branch networks is constructed. The global branch captures global interaction features through a cross-variable attention mechanism, while the local branch adopts a multi-scale architecture that decomposes time series into multi-granularity patterns for fine-grained modeling of local dependencies. Experiments on 10 benchmark datasets demonstrate that MTS-GLFF achieves competitive performance.

Key words: Time Series; Sparse Mask; Attention Mechanism; Feature Fusion; Transformer

多变量时间序列预测为智能决策系统提供技术支撑.它通过解构历史数据的内在规律推演未来变化趋势, 在工业物联网与智慧城市等领域具有重要应用价值.传感技术的持续进步使其在时间序列数据采集上的应用更加广泛, 而各监测点位的变量值通常由独立传感设备进行采集, 这使得时间序列数据呈现显著的高维与非线性特性, 序列内部往往蕴含着时间维度自相关、变量间耦合依赖等多层次复杂关系.因此, 如何从时间序列中挖掘并整合多元依赖模式以支持模型进行准确预测成为当前研究的关键问题之一.

传统的时间序列预测方法以线性建模范式为理论基础, 典型代表包括自回归模型和状态空间模型.此类方法在平稳性假设条件下具有可解释性强的优势, 但受限于线性系统建模框架, 难以有效处理时间序列中的非线性关系.随着处理数据维度的增加, 传统方法也会产生维度灾难, 制约在高维数据场景中的应用.

深度学习的兴起为时间序列预测领域带来重大突破, 推动相关研究从传统统计方法向数据驱动范式的转变.因此, 大量的研究工作开始聚焦于利用神经网络开展时间序列的建模分析.当前主流的时间序列预测方法主要包括:基于循环神经网络(Re-current Neural Network, RNN)的方法[1, 2]、基于卷积神经网络(Convolutional Neural Network, CNN)的方法[3, 4]、基于多层感知机(Multilayer Perceptron, MLP)的方法[5, 6]、基于图神经网络(Graph Neural Network, GNN)的方法[7, 8]、基于Transformer的方法[9, 10, 11].

基于RNN的方法以长短期记忆网络(Long Short-Term Memory, LSTM)和门控循环单元(Gated Recu-rrent Unit, GRU)为代表, 引入门控机制和记忆单元的设计, 增强历史状态信息的记忆能力.然而, 此类方法在处理超长序列时, 存在梯度消失或爆炸的累积效应, 导致远距离依赖建模能力受限.基于CNN的方法通过卷积核在时序维度上的滑动操作, 有效提取时间窗口内的局部模式特征.然而, 受限于卷积操作的局部感受野, 单一的卷积层仅能建模有限的时间跨度.因此, 需要构建深层网络架构, 逐步扩大感受野, 捕获更长程的时序依赖关系.这种深度堆叠策略虽然提升模型的表达能力, 但会导致计算复杂度增加, 也会加大模型的训练难度.基于MLP的方法通常需要结合季节性趋势分解等预处理技术处理非线性特征, 而单一的线性模型可能难以捕获时间序列中各种复杂的模式.基于GNN的方法将多元变量建模为图中节点, 并利用消息传递机制显式捕获变量间的空间依赖关系, 在多传感器时间序列预测任务中优势显著.然而, 随着网络层数的增加, GNN易受平滑问题的影响, 制约深层GNN的表征能力[12].基于Transformer的方法通过注意力机制并行捕获时间序列中的长程依赖关系, 推动时间序列预测技术在准确性和处理长序列能力方面的跨越式发展.基于Transformer的方法主要可归纳为两类技术范式:

1)将注意力机制直接作用于原始时间序列, 动态捕获跨时间步的依赖关系;

2)引入Patch分块嵌入技术, 将连续时序信号分割为时间序列块, 并借助注意力机制实现对分块的层次化建模.

基于标准Transformer的架构在建模时间序列时, 会对每个查询词元计算它与所有键词元的注意力权重, 即依赖全量的查询-键对完成特征聚合.然而, 查询词元并不总是和所有键词元显著相关.这种密集的计算模式容易在特征聚合过程中引入噪声或与任务无关的信息.即使这些非关键词元对应的注意力权重很小, 但累积效应仍可能干扰模型, 使其难以聚焦于真正重要的信息.此外, 通过对时间序列的分析发现, 时序数据通常表现出两种关键依赖模式:全局依赖和局部依赖.全局依赖关系揭示序列的长期演化趋势; 局部依赖关系反映时间序列短周期变化规律及相邻变量之间的相互影响.因此, 在基于Transformer的时间序列建模中, 如何有效捕获全局依赖模式和局部依赖模式, 并同时减少无关信息影响, 对提升模型的预测准确性至关重要.

为了解决上述问题, 本文提出全局-局部特征融合的多变量时序预测方法(Multivariate Time Series Forecasting Method with Global-Local Feature Fusion, MTS-GLFF).首先, 设计TopK-Transformer, 引入TopK选择算子, 基于可学习的传感器嵌入, 动态生成稀疏掩码, 实现对关键序列的筛选, 促进特征的有效聚合.在此基础上, 构建双视角时间序列预测框架, 包含全局分支网络(Global Branch, G-Branch)和局部分支网络(Local Branch, L-Branch).G-Branch通过跨变量注意力机制建模全局依赖关系, 旨在捕获序列的整体变化趋势和长期模式.为了较好地提取局部语义特征, L-Branch采用多尺度架构, 将时间序列切分为不同粒度的时序片段, 捕获多层级的局部细节和短期依赖关系.在多个基准数据集上的实验表明, MTS-GLFF预测性能较优.

1 相关工作
1.1 基于深度学习的时间序列预测

深度学习是时间序列分析的一项重要技术, 凭借强大的特征提取能力与复杂的非线性建模优势, 实现对时间序列的有效预测.在各种深度学习方法中, RNN是经典且主流的方法之一, 通过循环结构的设计, 历史信息在隐藏状态中被递归编码, 从而实现跨时间步的信息传递.Bandara等[13]提出LSTM-MSNet(Long Short-Term Memory Multi-seasonal Net), 结合LSTM和统计分解技术, 实现对多季节模式时间序列的预测.Liu等[14]提出RVFL-LSTM(Random Vector Functional Link with Long-Short Term Memory), 是基于LSTM的轻量时序建模框架, 引入随机向量函数链接结构, 同时捕获时间序列中的长程依赖关系与短程依赖关系.虽然基于RNN的方法在时间序列建模上展现出特有的优势, 但RNN容易遭受梯度消失和梯度爆炸的影响, 不适合长距离的依赖关系建模.

CNN也是在时间序列挖掘领域中被广泛采用的深度学习架构之一, 通过卷积核在时间维度上的滑动, 有效建模序列的局部依赖关系.Yu等[15]提出SKND-TSACNN、Zhang等[16]提出CTFNet, 都利用CNN构建自适应的特征提取框架, 动态捕获时间序列中隐藏的多尺度时间模式.Giampaolo等[17]提出ENCODE(Ensemble Neural Combination for Optimal Dimensionality Encoding), 利用CNN和LSTM的混合架构提取时间序列的局部模式和时间依赖关系.Liu等[18]提出SCINet(Sample Convolution and Interaction Network), 设计下采样-卷积交互架构, 在网络的每个层级通过多组并行卷积滤波器对下采样序列进行特征建模, 实现对多粒度局部依赖关系的深度挖掘与层次化表达.虽然CNN可有效捕获局部细节信息, 但是在建模复杂时间序列时, 参数共享机制可能导致所有时间片段被赋予相似的关注度, 从而限制模型对关键信息的学习能力.

最近, MLP被广泛探索并应用于时间序列分析.Zeng等[5]提出DLinear, 采用趋势分解技术, 将时间序列分解为趋势项和残余项, 并分别利用两个MLP模块对这些分量进行独立建模.Das等[19]提出TiDE(Time-Series Dense Encoder), 构建基于MLP的编码器-解码器架构, 引入协变量, 提升预测精度.Jiang等[20]提出TCM, 设计串行堆叠的MLP结构, 有效捕获时间序列中的时间和通道的依赖模式.此外, Stitsyuk等[21]提出xPatch(Exponential Patch), 整合MLP和CNN, 同时捕获数据中的线性特征流和非线性特征流.上述方法展示MLP在时间序列建模中的灵活性与有效性.然而, MLP结构相对简单, 在处理复杂数据或高维数据时, 表征能力往往受限, 效果可能难以达到理想水平.

1.2 Transformer在时间序列预测中的应用

Transformer表现出的强大序列建模能力和可扩展性, 引起时间序列挖掘领域学者的兴趣, 并促使他们提出各种基于Transformer的架构, 应用于时间序列预测任务.Zhou等[22]提出Informer, 设计Prob-Sparse Self-Attention Mechanism, 能处理更长的输入序列.Liu等[23]提出Pyraformer(Pyramidal Attention Based Transformer), 设计金字塔式的注意力结构, 旨在高效建模时间序列的多分辨依赖关系.为了捕获时间序列中的复杂交织关系, Zhou等[24]提出FEDformer(Frequency Enhanced Decomposed Trans-former)、Su等[11]提出MSDformer(Autocorrelation Trans-former with Multiscale Decomposition), 两者都引入趋势分解方法, 将时间序列解耦为不同特性的子分量, 再对各分量设计独立的处理模块, 精准捕捉其内在模式.Wang等[25]提出CSformer, 结合时间注意力模块和空间注意力模块, 有效建模时间序列的时空依赖关系.近期的一些研究[5, 6]指出, Transformer在处理时间序列时, 通常将同一时间戳的不同变量嵌入不可区分的通道维度, 并添加时间标记以保持时间顺序.然后, 注意力机制被应用于这些带有标记的嵌入词元, 完成时间序列的预测.由于注意力机制具有排列不变性, 这种处理方式会导致时间信息的丢失, 限制其捕捉时序特征的能力.

为了应对这一挑战, Nie等[9]提出PatchTST(Cha-nnel-Independence Patch Time Series Transformer), 引入Patch分块技术, 将长时间序列划分成子序列块作为输入.在此基础上, Ding等[26]提出TimeMosaic, 采用自适应Patch嵌入策略, 根据局部信息密度动态调整分块粒度, 较好地处理时间序列中的异质性问题.Zhang等[27]提出Crossformer(Transformer Utilizing Cross-Dimension Dependency), 该研究进一步指出, 除了时间维度之外, 还应充分考虑变量间的跨维度关联.Liu等[28]提出iTransformer, 设计逆向策略, 将每个变量的完整序列作为输入, 用于学习以变量为中心的表征.上述方法通过改变输入数据的结构和建模方式, 有效缓解排列不变性带来的问题, 提升Transformer 在时间序列预测任务上的性能.

1.3 全局依赖学习和局部依赖学习

由于时间序列数据往往包含多样且复杂的时间模式, 协同建模整体趋势与局部细节已成为提升模型性能的关键, 这也推动该领域的诸多研究进展.Wu等[29]提出Lite Transformer, 采用并行的双分支结构, 其中CNN分支专注于局部特征的提取, 自注意力机制分支用于捕获全局特征间的关联性.Zhao等[30]提出GCformer, 集成多个基线模型, 捕获不同子空间下的局部依赖, 同时采用全局卷积核提取长程上下文信息.Wang等[31]提出MICN(Multi-scale Isometric Convolution Network), 先通过多个下采样卷积模块提取多尺度的局部细节, 再引入等距卷积建模不同片段间的全局相关性.Park等[32]提出GFT(Granularity Fusion Transformer), 设计基于交叉注意力的粒度融合机制, 旨在有效整合时间序列中的全局相关性与局部相关性, 实现对复杂时间模式更全面、鲁棒的建模.

虽然上述方法在时间序列预测中性能良好, 但在建模全局依赖关系和局部依赖关系时普遍引入CNN结构.由于CNN固有的平移不变性, 可能削弱模型对序列中关键位置信息的敏感性.此外, 在利用注意力机制聚合特征时, 上述方法依赖所有查询-键对之间的注意力关系.然而, 查询词元并不总是和所有键词元显著相关.这种“ 全连接” 的密集计算模式, 使模型对输入中的噪声或微小扰动较敏感, 特别是当噪声在某些维度上形成伪相关性时, 可能被误判为重要信号, 影响模型的鲁棒性和预测性能.

2 全局-局部特征融合的多变量时序预测方法
2.1 问题描述

多变量时间序列预测问题可定义如下.给定样本对(X, Y), 其中:X∈ Rn×H表示过去H个时间步的历史数据, 包含n个特征变量(也可对应称为通道); Y∈ Rn×T表示对应于X的标签, 为未来T个时间步的真实记录值.

时间序列预测的目的是找到最优函数F(·), 该函数以X作为输入, 并使映射得到的预测值 Y︿与Y之间的误差值最小.

2.2 方法架构

本文提出全局-局部特征融合的多变量时序预测方法(MTS-GLFF), 整体架构如图1所示.MTS-GLFF显式建模时间序列的全局依赖和局部依赖并进行预测, 其结构主要包括如下3部分:归一化和反归一化、主干网络、预测模块.

图1 MTS-GLFF整体架构Fig.1 Overall architecture of MTS-GLFF

为了消除特征间的量纲差异, 增强模型训练的稳定性, 首先, 对输入数据X进行归一化, 归一化后的数据表示如下:

Xnorm=X-μσ,

其中, μ 表示样本均值, σ 表示标准差.然后, 存储对应的统计量μ 和σ .最后, 在输出阶段, 利用存储的统计信息对预测结果进行反归一化处理, 反归一化后的结果为:

Y︿=σ (Y︿norm)+μ ,

其中 Y︿norm表示预测模块的输出.反归一化的目的是将预测模块的输出重构至原始数据的分布空间, 提高模型预测的准确性.

MTS-GLFF的主干网络采用双分支架构, 由全局分支网络(G-Branch)和局部分支网络(L-Branch)两个核心网络构成.G-Branch通过跨变量注意力机制建模全局的依赖关系, 旨在捕获序列的长期依赖性.L-Branch采用多尺度结构, 专注于提取不同尺度下的局部细节, 强化模型对序列短期依赖关系的建模能力.该主干网络以Xnorm作为输入, 提取的全局特征

ZGB=G-Branch(Xnorm),

局部特征

ZLB=L-Branch(Xnorm),

其中, G-Branch(·)表示全局分支网络, L-Branch(·)表示局部分支网络.

在预测模块中, 引入一个融合层, 旨在自适应聚合全局信息与局部信息.具体地, 先利用两个独立的线性层将输出的全局特征ZGB与局部特征ZLB映射至相同维度, 实现特征的维度对齐, 对齐后的全局特征

Z'GB=LinearGB(ZGB)∈ Rn×d,

局部特征

Z'LB=LinearLB(ZLB)∈ Rn×d.

其中:LinearGB(·)、LinearLB(·)表示线性投影层, 分别作用于ZGB和ZLB, 实现特征的维度对齐; d表示融合层的隐藏维度.再将Z'GB和Z'LB进行拼接, 构建联合特征:

ZC=[Z'GB‖ Z'LB]∈ Rn×2d.

然后, 利用一个全连接网络(Fully Connected Network, FCN)将ZC映射为n×2的重要性矩阵, 并经过softmax函数进行归一化处理, 生成Z'GB和Z'LB对应的重要性向量ω1∈ Rn和ω2∈ Rn, 则重要性向量集合为:

Ω =[ω1, ω2]=softmax(FCN(ZC))∈ Rn×2,

其中, softmax(·)表示归一化指数函数, FCN(·)表示全连接层.

在此基础上, 采用逐元素加权融合策略, 将ω1和ω2广播至n×d维度后, 对Z'GB和Z'LB进行加权聚合, 获得融合特征:

ZF=Z'GB☉ω1+Z'LB☉ω2∈ Rn×d.

最后, 通过一个FCN对ZF进行线性变换, 得到预测模块输出 Y︿norm.对 Y︿norm执行反归一化操作, 得到预测结果 Y︿.

2.3 TopK-Transformer

考虑到标准Transformer中的注意力机制是密集连接的, 需要计算所有查询-键对的注意力图.然而, 查询词元并不总是和所有键词元显著相关.这种密集计算模式容易使特征聚合过程受到隐性噪声的影响.此外, 依据流形假设, 尽管现实世界数据具有高维特性, 但其实际分布通常内嵌于低维流形之上, 这种内在的低维结构意味着数据具有近似的低秩性.因此, 在刻画时间序列的全局依赖结构时, 无需穷尽所有特征交互, 只需聚焦少数承载系统演化的关键变量, 就能以稀疏方式高效刻画整体趋势.

受此启发, 本文设计TopK-Transformer, 替代原有结构.TopK-Transformer的核心是引入TopK选择算子, 能根据传感器嵌入动态生成稀疏掩码, 实现对输入序列的稀疏化, 避免在特征交互过程中涉及不相关的信息.

虽然当前的一些工作[33, 34]已探索利用TopK策略优化Transformer架构, 但提出的TopK注意力主要应用于自然语言处理与计算机视觉任务, 大多基于数据自身特征计算重要性权重, 实现稀疏序列的选取.与上述工作不同, 本文主要聚焦于时间序列预测任务, 设计基于传感器嵌入的稀疏掩码策略, 重点解决多源传感器数据中的信息冗余问题.相比依赖数据特征的TopK选择策略, 基于传感器嵌入的策略能更鲁棒地捕获变量间的潜在依赖关系, 有效减少噪声对变量间关联分析的干扰.引入传感器嵌入主要是基于如下具体考虑.

1)时间序列通常包含多个特征变量, 各变量数据由独立的传感设备负责采集.值得注意的是, 传感设备的特性是影响变量间潜在关联性的一个重要因素.以两台发电机的数据采集为例, 每台发电机均配备轴承振动传感器与轴承温度传感器.在相同工况下, 两个振动传感器之间与两个温度传感器之间采集的数据会表现出相似性质.而且, 在同一发电机内部, 伴随轴承振动幅度的增强, 摩擦和损耗加剧, 轴承温度也会被影响.因此, 轴承振动传感器和轴承温度传感器收集的数据也会表现出强耦合关系.引入传感器嵌入, 主要是为了自适应表征和学习传感器特性.

2)传感设备固有的噪声可能会干扰多通道数据间的依赖性分析, 导致难以直接从原始观测数据中提取真实、稳健的关联模式.引入传感器嵌入策略可提供新的建模视角, 将其作为先验知识引导模型分析变量间的关联性.综上考虑, 可借助传感器嵌入策略挖掘和分析变量间的潜在依赖模式.

2.4 全局分支网络

基于TopK-Transformer, 构建全局分支网络(G-Branch), 用于建模全局依赖关系.G-Branch采用分层式架构, 通过堆叠的L层编码器逐步捕获深层的全局依赖关系.具体地, 在G-Branch中, 输入序列首先通过一个线性投影层, 将每个独立的变量序列映射至一个高维的输入嵌入矩阵:

XG=XnormWG∈ Rn×dG,

其中, WG∈ RH×dG表示可学习的权重矩阵, dG表示隐藏层维度.通过将数据映射至高维表征空间, 可增强特征的表达能力和可区分性, 有助于后续网络有效学习序列中的复杂依赖关系.

然后, XG被输入TopK选择算子.该算子首先为序列的每个变量赋予一个可学习的嵌入向量E:

E={e1, e2, …, en}=Embedding(1, 2, …, n),

其中, Embedding(·)表示嵌入操作, ei表示传感器i对应的嵌入向量.

这些嵌入向量被随机初始化, 并与整个网络共同优化.这一过程可引导嵌入向量逐步学习各传感器间固有的、与任务相关的特性, 有助于捕获变量间相关性较高的依赖模式, 实现更有效的特征聚合.利用E计算得到一个相似度矩阵:

S=diag(D)-1(EET)diag(D)-1,

其中, D表示一个n维向量, Di=‖ Ei‖2, diag(D)-1表示对角矩阵, 对角线元素为1/Di.

基于S, 构建掩码矩阵M, 其中第i行、第j列元素取值:

Mij=1, jinAi0, 其它

其中,

Ai={TopK(Sij:j∈ (1, 2, …, n))},

表示与传感器i对应的K个最大相似度值的索引集合, Sij表示相似度矩阵中第i行、第j列的元素取值.如果索引j包含于Ai中, Mij=1, 表示在计算传感器i的序列表征时, 将聚合来自传感器j的序列信息; 否则, Mij=0, 表示遮蔽来自传感器j的序列信息.

在获得掩码矩阵M的基础上, 将其与变量序列共同输入多头注意力(Multi-head Attention, MHA)模块, 旨在利用掩码引导MHA聚焦于最相关的变量特征.随后, 依次通过残差连接、层归一化和前馈神经网络层(Feedforward Neural Network, FFN), 得到第i层编码器的输出特征:

Xenci=LayerNorm(FFN(Zi)+Zi),

其中,

Zi=LayerNorm(MHA(Xenci-1, M)+ Xenci-1),

表示融合 Xenci-1的多头注意力输出, LayerNorm(·)表示层归一化操作, MHA(·)表示多头注意力操作, FFN(·)表示前馈神经网络, Xenci-1表示第i-1层编码器的输出, 当i=1时,

Xenci-1=XG.

最终, 提取最后一层编码器的输出特征作为G-Branch的输出特征ZGB.

2.5 局部分支网络

G-Branch旨在建模序列的全局相关性.然而, 时间序列的未来变化通常并非由单一模式决定, 而是受到多种模式的共同驱动.为此, 本文进一步设计局部分支网络(L-Branch), 捕捉序列中的短期依赖关系.L-Branch采用多尺度架构, 核心是由N个级联的单层TopK-Transformer构成.多尺度结构的设计能逐步解耦时间序列中复杂的局部模式, 有效提取不同尺度下的短期波动特征.

具体而言, 在第i个TopK-Transformer中, 是以前一个TopK-Transformer的剩余分量作为输入, 得到第i层TopK-Transformer输入:

XTKi=XTKi-1- ZTKi-1,

其中, XTKi-1和 ZTKi-1表示第i-1层TopK-Transformer的输入和输出.当i=1时,

XTKi-1- ZTKi-1=Xnorm.

首先, 输入 XTKi通过pi×pi的滑动窗口被分割成Ni个不重叠的分块.为了确保特征维和时间维均能被pi整除, 在进行分割之前, 分别在两个维度的末端执行复制填充.

再将处理后的分块数据重塑为二维空间中的张量 Xpi∈ RNi×pi2, 并输入TopK-Transformer, 用于提取局部依赖关系.然后, 通过分块重组操作将提取的局部特征还原至原始特征维度, 得到在pi尺度下的输出特征:

ZTKi=UnPatching(TopK-Transformer(Xpi)),

其中, TopK-Transformer(·)表示集成TopK算子的Transformer, UnPatching(·)表示分块重组操作.

在获得 ZTKi后, 计算 XTKi与 ZTKi的剩余分量, 并将其作为输入传递给下一级的TopK-Transformer, 进一步提取pi+1尺度下的特征分量.迭代这一过程实现多层级特征的逐步解耦, 从而有效提取不同时间尺度下的局部语义细节{ZTK1, ZTK2, …, ZTKN}.

最后, 通过对N个尺度的特征分量进行加和, 得到L-Branch的输出:

ZLB=∑i=1NZTKi.

3 实验及结果分析
3.1 实验环境

为了评估MTS-GLFF的有效性, 展开广泛的时间序列预测实验, 涵盖长期预测任务和短期预测任务.在长期预测任务中, 选取ETTh(包含ETTh1、ETTh2子数据集)、Weather、Electricity、Traffic、Solar- Energy[28]这6个常用数据集.在短期预测任务中, 选取PEMS基准数据集[28].PEMS数据集包含PEMS- 03、PEMS04、PEMS07、PEMS08子数据集.

所有实验遵循通用的数据划分协议:在ETTh、PEMS数据集上, 按照6:2:2的比例划分训练集、验证集和测试集, 其余数据集按照7:1:2的比例进行划分.所有数据集的详细统计信息如表1所示.

表1 实验数据集 Table 1 Experimental datasets

本文基于PyTorch2.0.0框架和Python3.10环境构建模型.所有实验均在配备NVIDIA V100 32 GB GPU的Ubuntu服务器上进行.实验采用L1损失函数和Adam(Adaptive Moment Estimation)优化器.批次大小设为32, 训练轮次设为30, 学习率lr=0.000 1, 0.000 5.滑动窗口尺寸从一组常用集合{8, 12, 16, 24, 32}中选取.为了公平对比, 将历史回溯窗口的长度H统一设为96.在长期预测任务中, 未来预测长度T设为96, 192, 336, 720.在短期预测任务中, T设为12, 24, 48, 96.其余超参数的详细配置如表2所示.

表2 MTS-GLFF详细超参数配置 Table 2 Detailed hyperparameter configuration for MTS-GLFF

实验采用均方误差(Mean Squared Error, MSE)和平均绝对误差(Mean Absolute Error, MAE)作为预测性能的量化评估指标.具体公式如下:

$\begin{array}{l} M S E=\frac{1}{N_{\text {test }} T} \sum_{i=1}^{N_{\text {test }}} \sum_{t=1}^{T}\left(\widehat{Y}_{i}(t)-Y_{i}(t)\right)^{2}, \\ M A E=\frac{1}{N_{\text {test }} T} \sum_{i=1}^{N_{\text {test }}} \sum_{t=1}^{T}\left|\widehat{Y}_{i}(t)-Y_{i}(t)\right|, \end{array}$

其中, Ntest表示测试样本的总数, Y︿i(t)和Yi(t)分别表示第i个样本的预测值和真实值, 都由T个时间步的数据构成.MSE和MAE指标值越小, 模型预测性能越优.

3.2 对比实验

本文选取如下10个主流的时间序列预测方法进行对比实验.1)基于Transformer的方法:Patch-TST[9]、FEDformer[24]、Time-Mosaic[26]、Crossformer[27]、iTransformer[28]、GCformer[30].2)其它深度学习方法:DLinear[5]、SCINet[18]、xPatch[21]、MICN[31].其中, GCformer和MICN使用融合全局视角和局部视角的建模策略.

各方法在长期预测任务和短期预测任务上的性能对比如表3~表6所示, 表中黑体数字表示最优值, 斜体数字表示次优值.

表3 各方法在长期预测任务上的MSE指标 Table 3 MSE of different methods on long-term forecasting task
表4 各方法在短期预测任务上的MSE指标 Table 4 MSE of different methods on short-term forecasting task
表5 各方法在长期预测任务上的MAE指标 Table 5 MAE of different methods on long-term forecasting task
表6 各方法在短期预测任务上的MAE指标 Table 6 MAE of different methods on short-term forecasting task

由表3和表5可见, 在长期预测任务上, MTS-GLFF在各个数据集及不同的预测长度上都获得有竞争力的结果.表3和表5总共列出48项指标值, MTS-GLFF在35项上排名第一, 在其余13项上排名第二.各对比方法在不同数据集上的表现存在差异.例如:TimeMosaic在低维数据集上展现出先进的预测性能, 但在高维数据集上, 性能逊于iTrans-former.相比之下, MTS-GLFF表现出更全面稳健的性能优势.总之:相比TimeMosaic, MTS-GLFF在MSE、MAE指标上分别降低5.14%和5.59%; 相比iTransformer, MTS-GLFF在MSE、MAE指标上分别降低4.09%和6.12%.这一性能优势主要得益于本文方法联合建模全局与局部相关性, 从而能更全面地捕获时间序列中的多种依赖模式.因此, MTS-GLFF在所有数据集上均表现出一致的优越性.此外, 与同样采用融合全局与局部依赖性的建模方式的GCformer相比, MTS-GLFF在MSE、MAE指标上分别降低15.54%和18.26%, 这表明TopK-Transformer组件在建模全局和局部关系方面的有效性.TopK-Transformer引入基于传感器嵌入的TopK选择算子, 能自适应学习传感器间的内在关联特性, 引导特征聚合, 增强方法表征能力.

由表4和表6可见, 在短期预测任务上, MTS-GLFF的性能总体最优, 在大部分数据集和不同预测长度上实现最低的MSE、MAE值.具体来说, 两表总共列出32个指标值, MTS-GLFF获得30个第一, 1个第二.与表现次佳的iTransformer相比, MTS-GLFF的MSE、MAE值分别下降11.75%和9.55%.MTS-GLFF在短期预测任务上的性能优势源于其对局部特征的精细化建模能力.由于短期预测对局部模式相对更敏感, MTS-GLFF通过将原始序列分解为不同尺度的局部分量, 从而有效捕捉其中复杂的短期依赖关系.

3.3 消融实验

为了评估和量化MTS-GLFF中各组件的贡献, 在ETTh1、Weather、Electricity数据集上进行消融实验.

在MTS-GLFF中, 设计TopK-Transformer, 基于可学习的传感器嵌入动态生成稀疏掩码, 自适应保留关键序列, 进行特征聚合.在此基础上, 构建G-Branch和L-Branch, 分别从全局和局部的角度建模时间序列的依赖关系.此外, 在L-Branch中引入多尺度结构.将输入序列分解成不同尺度下的特征分量, 全面捕获局部依赖对未来变化的影响.

围绕这些关键组件, 进行消融实验, 结果如表7所示, 表中黑体数字表示最优值.由表可知, 各组件的移除均使MTS-GLFF的预测性能有所下降, 由此表明每个组件的必要性.

表7 各组件的消融实验结果 Table 7 Ablation experiment results of each component

移除G-Branch对预测性能产生显著影响, MSE值平均上升8.45%.这是因为G-Branch提取的特征包含较多的全局表征信息, 而这类信息对于长距离时间序列的预测至关重要.因此, 如果将其移除, 方法将难以有效利用序列中的长期依赖关系, 导致预测性能下降.

移除L-Branch导致预测误差增加, 在MSE指标上平均上升3.91%.这是因为L-Branch的缺失削弱方法对局部细节和短期依赖的建模能力.特别是在瞬时事件发生或局部模式起主导作用的场景中, 该能力的缺失使方法难以充分捕捉序列中的关键动态特征, 导致预测误差增加.

移除TopK-Transformer后, MSE值平均上升2.39%, 这表明TopK-Transformer的重要性.该组件自适应选择相关性较高的序列, 促进更有效的特征聚合.

移除多尺度结构导致MSE指标平均上升1.55%, 这表明多尺度结构的有效性.该结构的引入使方法能捕获数据中多层级的局部相关性, 增强对复杂时间序列的建模能力.

3.4 变量相关性的可视化分析

为了验证传感器嵌入策略在噪声环境下的鲁棒性, 在Solar-Energy数据集上, 可视化分析原始变量与传感器嵌入表征的相关性热力分布.具体来说, 首先基于干净的时间序列训练MTS-GLFF, 并提取各变量对应的传感器嵌入表征.基于原始数据和提取的表征, 绘制正常条件下的余弦相关性图(图2(a1)和(b1)).然后, 随机选取时间序列中50%的特征变量, 添加均值为0、标准差为1的高斯噪声, 利用含噪数据重新训练方法并提取传感器嵌入表征, 进一步绘制噪声条件下的余弦相关性图(图2(a2)和(b2)).

图2 有无噪声时特征变量与传感器嵌入的余弦相似度热力图Fig.2 Cosine similarity heatmaps of feature variables and sensor embeddings with and without noise

由图2可见, 在正常条件下, 变量序列与传感器嵌入表征表现出相似的相关性分布模式, 这表明传感器嵌入通过与MTS-GLFF联合训练, 能有效捕获变量间的相关性.加入噪声后, 变量序列的相关性结构遭受破坏, 而传感器嵌入表征仍能较大程度保留变量间的相似性关联模式.这一结果表明传感器嵌入策略具有更好的噪声鲁棒性.

3.5 超参数分析

在Weather、Electricity数据集上, 系统评估窗口长度H、利用TopK算子选取的最相关序列个数K与聚合方式对MTS-GLFF性能的影响.

理论上, 随着回溯窗口长度H的增加, 预测误差应呈现下降的趋势.这是因为MTS-GLFF能从较长的输入序列中获取更丰富的信息, 促进对未来变化趋势的预测.设置H=48, 96, 192, 256, 336, 其对MTS-GLFF性能的影响如图3所示.由图可见, MTS-GLFF的MSE值随H的增加而持续降低.这表明MTS-GLFF具备从长输入序列中捕获关键信息的能力.随着H的增加, G-Branch能更充分地捕获序列中的全局模式, 精准建模序列的长期依赖性.同时, L-Branch对输入序列进行多尺度分解, 提取更细粒度的局部特征.通过G-Branch和L-Branch的协同工作, MTS-GLFF能从更广泛的历史数据中提取有用信息, 实现预测性能的提升.

图3 H对MTS-GLFF性能的影响Fig.3 Effect of H on MTS-GLFF performance

下面对利用TopK算子选取的最相关序列个数K进行敏感性分析, 量化其对MTS-GLFF性能的影响.具体来说, 将回溯窗口长度H固定为96, 设置K=0.1n, 0.2n, 0.4n, 0.6n, 0.8n, 1n, 其中n表示变量或分块的总数, K对MTS-GLFF性能的影响如图4所示.

图4 K对MTS-GLFF性能的影响Fig.4 Effect of K on MTS-GLFF performance

由图4可观察到, 随着K的增加, MSE值呈现先下降后上升的总体趋势.分析这一现象的主要原因在于:当K值过小时, MTS-GLFF难以充分捕获通道间的交互信息; 当K值达到适当水平时, 容量足以涵盖所有与预测任务相关的关键通道.因此, 持续增大K值不会显著改善性能, 反而可能会引入无关信息和噪声, 导致预测精度下降.因此, 将K的最佳取值设为0.6n.

MTS-GLFF采用双分支架构, 包括G-Branch和L-Branch.为了探索这两个网络输出的最佳融合方式, 对比多种常用的融合策略, 探究其对性能的影响, 包括逐元素相加、均值融合、通道维度拼接、加权融合, 结果如图5所示.由图可得如下结论.

图5 融合策略对MTS-GLFF性能的影响Fig.5 Effect of fusion strategy on MTS-GLFF performance

1)加权融合性能最佳.这是由于该策略能为不同分支的输出动态分配合适的权重, 实现自适应的特征融合, 从而在集成时能更有效地强调关键信息并抑制冗余特征.

2)均值融合性能次优.作为加权融合的一个特例, 均值融合通过平均操作, 在一定程度上平滑各分支的输出.然而, 静态的权重分配机制使方法无法捕获不同表征间的重要性差异, 导致在复杂数据分布下无法突出关键特征, 自身表现受到限制.

3)逐元素相加及通道拼接的效果相对较差.前者与均值融合类似, 但由于未进行尺度缩放, 融合后的特征稳定性较差, 更容易引入噪声.通道拼接会导致特征通道数膨胀, 增加训练难度.

最终选择加权融合策略集成G-Branch和L-Branch的输出表征.

3.6 效率分析

MTS-GLFF的计算开销主要集中于G-Branch和L-Branch, 二者均基于注意力机制构建.因此, MTS-GLFF的整体时间复杂度和空间复杂度为O(N2), 其中N表示输入的词元数量.

MTS-GLFF与PatchTST[9]、FEDformer[24]、TimeMo-saic[26]、Crossformer[27]、iTransformer[28]、GCformer[30]在计算复杂度方面的差异如表8所示.由表可见, 虽然大多数基于Transformer的方法具有O(N2)的理论时间复杂度和空间复杂度, 但在实际应用中, 为了优化模型表现, 通常会引入额外的新技术, 导致不同的实际资源消耗.

表8 各方法的计算复杂度对比 Table 8 Comparison of computational complexity among different methods

因此, 本节进一步通过实验记录并对比MTS-GLFF与基于Transformer的方法在实际运行过程中每个批次的时间消耗、总参数量及内存占用情况.在Weather、Electricity数据集上进行实验.实验中回溯窗口长度H=96, 批次大小固定为32, 未来预测长度T=96, 192, 336, 720.实验取各方法在4种未来预测长度下的平均结果.

各方法在训练阶段的运行时间和内存占用情况如图6所示.由图可见, MTS-GLFF在运行效率和资源消耗上优于TimeMosaic、GCformer、Crossformer及FED-former.值得注意的是, 尽管FEDformer具有线性的理论复杂度, 但其采用编码器-解码器架构, 同时引入混合专家分解策略, 导致实际的运行时间和内存占用高于MTS-GLFF.相比iTransformer和Patch-TST, MTS-GLFF虽然在运行效率上略有下降, 但其通过适当的额外计算开销, 获得更优的预测性能.

图6 各方法在训练阶段的效率对比Fig.6 Efficiency comparison of different methods in training phase

为了定量分析各方法在效率-精度上的权衡关系, 对训练耗时、训练内存占用、MSE指标进行Min-Max归一化, 消除量纲的影响, 并通过三维欧氏距离直观表征方法综合表现, 结果如图7所示.在图中, 代表方法的点距离原点(即理想点)越近, 表明该方法在训练时间、内存占用与预测误差之间实现的权衡越好.

图7 各方法的效率-精度权衡结果Fig.7 Efficiency-accuracy trade-off of different methods

由图7可见, MTS-GLFF在Weather、Electricity数据集上均取得最小欧氏距离, 这表明MTS-GLFF能更有效地平衡效率与精度.

进一步对比各方法的推理耗时、推理内存占用及总参数量, 结果如表9所示.由表可见, 训练阶段耗时更长、内存占用更高的方法, 在推理阶段通常也呈现相同趋势.此外, 虽然MTS-GLFF的总参数量并不是最少, 但仍在可接受的范围内.

表9 各方法在测试阶段的效率对比 Table 9 Efficiency comparison of different methods in testing phase

总之, MTS-GLFF在预测精度、计算效率及内存开销之间取得更好的平衡, 展现出优于现有方法的综合性能.

3.7 MTS-GLFF适用性分析

选取ETTh2、Weather、Electricity、PEMS07数据集, 分别绘制原始数据的时间序列图与自相关系数图, 具体如图8所示.由图可见, 相比ETTh2、Wea-ther数据集, Electricity、PEMS07数据集呈现出更显著的强周期特性.MTS-GLFF引入多尺度的L-Branch, 能自适应分解并捕获不同粒度下的周期模式, 提升对强周期性数据的表征能力.因此, MTS-GLFF在Electricity、PEMS07等强周期数据集上预测性能更优.

图8 MTS-GLFF在4个数据集上的时间序列图与自相关系数图Fig.8 Time series plots and autocorrelation coefficient plots of MTS-GLFF on 4 datasets

尽管MTS-GLFF在弱周期性数据集上的性能增益略有下降, 但并无显著退化, 表明其在处理周期性较弱的数据时仍能捕获关键的时间模式, 泛化性能良好.

4 结束语

本文提出全局-局部特征融合的多变量时序预测方法(MTS-GLFF).首先, 设计TopK-Transformer, 引入可学习的传感器嵌入, 动态生成稀疏掩码, 保留关键元素, 实现更聚焦的特征聚合.基于TopK-Transfor-mer, 进一步构建分支时间序列预测框架, 包含全局分支网络(G-Branch)和局部分支网络(L-Branch).G-Branch专注于建模序列中的长期依赖关系和全局特征; L-Branch将输入序列分解为不同尺度的多个时间模式, 捕获更丰富的局部细节信息.通过G-Branch和L-Branch的互补协同, MTS-GLFF实现更好的表征学习能力.在10个涵盖不同领域的基准数据集上进行广泛实验, 结果表明, MTS-GLFF在长期预测任务和短期预测任务上性能都较优.

虽然MTS-GLFF在时间序列预测任务中取得不错的性能, 但仍有改进空间.未来的研究可从如下两个方向进行深化与拓展:1)引入频域分析技术或季节-趋势分解策略, 弥补方法在弱周期数据建模方面的不足, 进一步扩展其适用范围; 2)融合领域知识, 指导生成更具解释性的稀疏掩码, 增强方法在跨任务与跨领域场景中的迁移能力.

本文责任编委 高阳

Recommended by Associate Editor GAO Yang

参考文献
[1] 杨祎玥, 伏潜, 万定生. 基于深度循环神经网络的时间序列预测模型. 计算机技术与发展, 2017, 27(3): 35-38, 43.
(YANG Y Y, FU Q, WAN D S. A Prediction Model for Time Series Based on Deep Recurrent Neural Network. Computer Technology and Development, 2017, 27(3): 35-38, 43.) [本文引用:1]
[2] LI J L, LIU D S, MA G F, et al. DBFF-GRU: Dual-Branch Temporal Feature Fusion Network with Fast GRU for Multivariate Time Series Forecasting. Applied Intelligence, 2025, 55(7). DOI: 10.1007/s10489-025-06447-9. [本文引用:1]
[3] 杜永萍, 牛晋宇, 王陆霖, 等. 基于时间卷积注意力神经网络的序列推荐模型. 模式识别与人工智能, 2022, 35(5): 472-480.
(DU Y P, NIU J Y, WANG L L, et al. Sequential Recommendation Model Based on Temporal Convolution Attention Neural Net-work. Pattern Recognition and Artificial Intelligence, 2022, 35(5): 472-480.) [本文引用:1]
[4] JO S H, WOO J, JEONG J H. TAMS: A CNN-Based Time Attention Network for Time Series Sensor Data with Feature Points of Bicycle Accident. Expert Systems with Applications, 2025, 272. DOI: 10.1016/j.eswa.2025.126739. [本文引用:1]
[5] ZENG A L, CHEN M X, ZHANG L, et al. Are Transformers Effective for Time Series Forecasting? Proceedings of the AAAI Confe-rence on Artificial Intelligence, 2023, 37(9): 11121-11128. [本文引用:4]
[6] LI Z, QI S Y, LI Y D, et al. Revisiting Long-Term Time Series Forecasting: An Investigation on Linear Mapping[C/OL]. [2026-02-10]. https://arxiv.org/pdf/2305.10721. [本文引用:2]
[7] CHEN L, CHEN D H, SHANG Z J, et al. Multi-scale Adaptive Graph Neural Network for Multivariate Time Series Forecasting. IEEE Transactions on Knowledge and Data Engineering, 2023, 35(10): 10748-10761. [本文引用:1]
[8] KIM S, LEE T H, LEE J. TMF-GNN: Temporal Matrix Factorization-Based Graph Neural Network for Multivariate Time Series Forecasting with Missing Values. Expert Systems with Applications, 2025, 275. DOI: 10.1016/j.eswa.2025.127001. [本文引用:1]
[9] NIE Y Q, NGUYEN N H, SINTHONG P, et al. A Time Series Is Worth 64 Words: Long-Term Forecasting with Transformers[C/OL]. [2026-02-10]. https://arxiv.org/pdf/2211.14730. 14730. [本文引用:4]
[10] TANG W J, XIAO Y L, ZHOU Y Z, et al. PerioDformer: Periodic Disposition Enhanced Transformer for Times Series Forecasting. Knowledge-Based Systems, 2025, 327. DOI: 10.1016/j.knosys.2025.114088. [本文引用:1]
[11] SU G Y, GUAN Y P. MSDformer: An Autocorrelation Transformer with Multiscale Decomposition for Long-Term Multivariate Time Series Forecasting. Applied Intelligence, 2025, 55(2). DOI: 10.1007/s10489-024-06105-6. [本文引用:2]
[12] ZHANG P Y, YAN Y C, ZHANG X, et al. TransGNN: Harne-ssing the Collaborative Power of Transformers and Graph Neural Networks for Recommender Systems // Proc of the 47th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York, USA: ACM, 2024: 1285-1295. [本文引用:1]
[13] BANDARA K, BERGMEIR C, HEWAMALAGE H. LSTM-MSNet: Leveraging Forecasts on Sets of Related Time Series with Multiple Seasonal Patterns. IEEE Transactions on Neural Networks and Learning Systems, 2021, 32(4): 1586-1599. [本文引用:1]
[14] LIU Q, WANG Q, WANG X Z. RVFL-LSTM: A Lightweight Model with Long-Short Term Memory for Time Series. Knowledge-Based Systems, 2025, 309. DOI: 10.1016/j.knosys.2024.112896. [本文引用:1]
[15] YU Z D, ZHANG C H, LIU J, et al. SKND-TSACNN: A Novel Time-Scale Adaptive CNN Framework for Fault Diagnosis of Rotating Machinery. Knowledge-Based Systems, 2023, 275. DOI: 10.1016/j.knosys.2023.110682. [本文引用:1]
[16] ZHANG Z Q, CHEN Y X, ZHANG D D, et al. CTFNet: Long-Sequence Time-Series Forecasting Based on Convolution and Time-Frequency Analysis. IEEE Transactions on Neural Networks and Learning Systems, 2024, 35(11): 16368-16382. [本文引用:1]
[17] GIAMPAOLO F, GATTA F, PREZIOSO E, et al. ENCODE-Ensemble Neural Combination for Optimal Dimensionality Encoding in Time-Series Forecasting. Information Fusion, 2023, 100. DOI: 10.1016/j.inffus.2023.101918. [本文引用:1]
[18] LIU M H, ZENG A L, CHEN M X, et al. SCINet: Time Series Modeling and Forecasting with Sample Convolution and Interaction // Proc of the 36th International Conference on Neural Information Processing Systems. Cambridge, USA: MIT Press, 2022: 5816-5828. [本文引用:2]
[19] DAS A, KONG W H, LEACH A, et al. Long-Term Forecasting with TiDE: Time-Series Dense Encoder[C/OL]. [2026-02-10]. https://arxiv.org/pdf/2304.08424. [本文引用:1]
[20] JIANG H W, LIU D S, DING X Y, et al. TCM: An Efficient Lightweight MLP-Based Network with Affine Transformation for Long-Term Time Series Forecasting. Neurocomputing, 2025, 617. DOI: 10.1016/j.neucom.2024.128960. [本文引用:1]
[21] STITSYUK A, CHOI J. xPatch: Dual-Stream Time Series Forecasting with Exponential Seasonal-Trend Decomposition. Proceedings of the AAAI Conference on Artificial Intelligence, 2025, 39(19): 20601-20609. [本文引用:2]
[22] ZHOU H Y, ZHANG S H, PENG J Q, et al. Informer: Beyond Efficient Transformer for Long Sequence Time-Series Forecasting. Proceedings of the AAAI Conference on Artificial Intelligence, 2021, 35(12): 11106-11115. [本文引用:1]
[23] LIU S Z, YU H, LIAO C, et al. Pyraformer: Low-Complexity Pyramidal Attention for Long-Range Time Series Modeling and Forecasting[C/OL]. [2026-02-10]. https://openreview.net/pdf?id=0EXmFzUn5I. [本文引用:1]
[24] ZHOU T, MA Z Q, WEN Q S, et al. FEDformer: Frequency Enhanced Decomposed Transformer for Long-Term Series Forecasting // Proc of the 39th International Conference on Machine Learning. San Diego, USA: JMLR, 2022: 27268-27286. [本文引用:3]
[25] WANG H X, MO Y P, XIANG K L, et al. CSformer: Combining Channel Independence and Mixing for Robust Multivariate Time Series Forecasting. Proceedings of the AAAI Conference on Artificial Intelligence, 2025, 39(20): 21090-21098. [本文引用:1]
[26] DING K Y, FAN F D, HOU C Y, et al. TimeMosaic: Temporal Heterogeneity Guided Time Series Forecasting via Adaptive Granularity Patch and Segment-Wise Decoding. Proceedings of the AAAI Conference on Artificial Intelligence, 2026, 40(25): 20790-20798. [本文引用:3]
[27] ZHANG Y H, YAN J C. Crossformer: Transformer Utilizing Cross-Dimension Dependency for Multivariate Time Series Forecasting[C/OL]. [2026-02-10]. https://openreview.net/pdf?id=vSVLM2j9eie. [本文引用:3]
[28] LIU Y, HU T G, ZHANG H R, et al. iTransformer: Inverted Transformers Are Effective for Time Series Forecasting[C/OL]. [2026-02-10]. https://arxiv.org/pdf/2310.06625. [本文引用:5]
[29] WU Z H, LIU Z J, LIN J, et al. Lite Transformer with Long-Short Range Attention[C/OL]. [2026-02-10]. https://arxiv.org/pdf/2004.11886. [本文引用:1]
[30] ZHAO Y J, MA Z Q, ZHOU T, et al. GCformer: An Efficient Framework for Accurate and Scalable Long-Term Multivariate Time Series Forecasting // Proc of the 32nd ACM International Confe-rence on Information and Knowledge Management. New York, USA: ACM, 2023: 3464-3473. [本文引用:3]
[31] WANG H Q, PENG J, HUANG F H, et al. MICN: Multi-scale Local and Global Context Modeling for Long-Term Series Forecasting[C/OL]. [2026-02-10]. https://openreview.net/pdf?id=zt53IDUR1U. [本文引用:2]
[32] PARK J, KANG H, HAN S, et al. Granularity Fusion Transfor-mer: Learning Multi-granularity Patterns for Time-Series Forecasting. Knowledge-Based Systems, 2025: 320. DOI: 10.1016/j.knosys.2025.113644. [本文引用:1]
[33] GUPTA A, DAR G, GOODMAN S, et al. Memory-Efficient Trans-formers via Top- k Attention // Proc of the 2nd Workshop on Simple and Efficient Natural Language Processing. Stroudsburg, USA: ACL, 2021: 39-52. [本文引用:1]
[34] WANG P C, WANG X, WANG F, et al. KVT: k-NN Attention for Boosting Vision Transformers // Proc of the 17th European Conference on Computer Vision. Berlin, Germany: Springer, 2022: 285-302. [本文引用:1]