对于项目集合V和用户集合U, 每个用户（u∈ U）和物品的交互记录按照时间顺序排列, 表示为seq=[ s1u, s2u, …, snu], 其中 siu∈ V表示用户u的第i个交互项目, n表示当前用户的交互序列长度.序列推荐模型的目标是根据用户交互序列seq, 为用户推荐下一个可能交互的项目 sn+1u.

本文设计多兴趣学习模块, 结构分为3个部分.1）多频段划分模块, 旨在通过Harr小波基变换区分历史交互嵌入中的多频段兴趣信息.2）自适应维度投影模块, 自适应学习划分的数据, 实现不同维度子带的统一特征映射.3）线性注意力学习模块, 实现扩散指导信号的提取.

同时, 为了方便模型处理, 本文对用户交互序列seq进行特定转换, 将前n-1条交互记录作为历史交互嵌入E∈ R^{B× L× D}, 最后一条交互记录作为目标嵌入E_target∈ R^{B× D}, 其中, B表示批次大小, L表示最大序列长度, D表示嵌入向量的维度.

1.2.1 多频段划分模块

在小波分析中, Haar小波基因其简单的矩形函数形式, 成为计算效率最高的离散小波变换基函数, 尤其适用于需快速提取序列多尺度特征的场景.其正交性保证信号能量在变换前后的守恒, 并能将序列分解为低频近似分量与高频细节分量.低频分量可近似反映用户的长期兴趣趋势, 高频分量用于捕捉短期动态变化.这种基于多分辨率分析的能力使Haar小波基在序列推荐任务中能有效区分用户历史交互中稳定的偏好模式与瞬时的兴趣波动.

多频段划分模块对历史交互嵌入E使用Haar小波基, 通过频域分析将历史交互拆分成不同频段的嵌入表示.本文对E在频域中进行逐层滤波与下采样, 将原始信号分解成不同频率成分的组合.分别使用低频分量滤波器

h_low=[ 12, 12]

和高频分量滤波器

h_high=[- 12, 12],

利用Harr小波基的正交性实现信号从粗粒度到细粒度的层次化特征提取.

对于用户原始交互嵌入E, 首先通过下采样操作Downsample（· ）和卷积操作Conv（· , · ）提取第一层低频分量L₁和高频分量H₁, 即

$\begin{array}{l} \boldsymbol{L}_{1}=\operatorname{Downsample}\left(\operatorname{Conv}\left(\boldsymbol{E}, \boldsymbol{h}_{\text {low }}\right)\right) \in \mathbf{R}^{B \times L \times \frac{D}{2}}, \\ \boldsymbol{H}_{1}=\operatorname{Downsample}\left(\operatorname{Conv}\left(\boldsymbol{E}, \boldsymbol{h}_{\text {high }}\right)\right) \in \mathbf{R}^{B \times L \times \frac{D}{2}}, \end{array}$

其中Conv（· , · ）中两个参数分别表示输入张量和对应滤波器.

低频分量L₁主要反映提取信号中缓慢变化的平稳趋势, 以近似反映用户的长期兴趣; 高频分量H₁专注于捕捉信号中突变点, 提取信号的细节信息.通过上述操作, L₁和H₁的维度减少为原始信号E的一半.

为了进一步细化高频细节并拓展频率分辨率, 对第一层分解的低频分量L₁进行递归分解, 从低频信号中进一步提取细节信息, 分解成多个不同的频段, 每个频段对应不同的频率范围, 从而实现多级兴趣的分解.设第i-1层低频分量L_i-1∈ RB×L×D2i-1, 则第i层分解定义如下：

L_i=Downsample（Conv（L_i-1, h_low））,

Hi₌Downsample（Conv（Li_-1, hh_igh））.

当分解层级达到预设的K层后停止分解, 最终获得K个不同频段的高频嵌入分量和1个低频近似分量, 构成完整的多频段兴趣表示

{H₁, H₂, …, H_N, L_K}.

随着层级i的增加, L_i对应的频率范围逐渐降低, 逐步逼近信号的长期稳态趋势, 最终形成用户的长期兴趣偏好L_K, 而{H_i}则对应K个不同频段的细节特征, 完整刻画用户兴趣的多尺度动态特征.

1.2.2 自适应维度投影模块

在基于小波变换的多频段划分模块中, 不同子带的维度呈现指数级衰减, 第j层分解后, 低频子带维度为原始信号的2^-j, 而高频子带维度保持为2^-j+1.分解K次后, 各子带的维度形成非对称结构

{ D2, D4, …, D2K+1}.

传统固定维度映射方法难以实现参数共享与特征对齐, 无法有效处理上述非对称结构.为此, 本文设计自适应维度投影模块, 动态建立跨频段的非线性映射关系.通过小波变换划分后, 子带嵌入的维度各不相同, 为了从所有的子带中获取信息, 通过全局平均池化器（Global Average Pooling, GAP）捕获子带嵌入维度大于 DK+1的跨空间特征分布, 将局部信息压缩为全局统计量, 消除位置敏感性并实现维度映射转换.对于嵌入维度小于 DK+1的子带, 通过Conv（· ）卷积和GeLU（· ）非线性激活函数将嵌入维度映射到目标维度.因此, 任意频段分量X_i∈ R^{B× L× W}, 经过自适应投影维度处理后, 输出对应维度的频率子带：

g_i= GAP(Xi), W≥DK+1GeLU(Conv(Xi)), WDK+1

其中W表示小波变换后输出的维度.

为了从不同频率子带g_i中提取用户的多元兴趣, 本文构造双层感知机, 在目标维度 DK+1下学习每个子带的映射关系：

Xiproj=（GeLU（g_iW_g+b_g））W_c+b_c,

其中, W_g、W_c表示权重向量, b_g, b_c表示偏置向量.最终将各子带投影特征沿通道维度拼接, 获得最终兴趣表示：

X_concat=（ X1proj|| X2proj||…|| XK+1proj）.

1. 2. 3 线性注意力学习模块

为了提升对多尺度特征的提取能力, 基于Trans-former架构设计线性注意力学习模块, 改进自注意力机制和深层特征学习, 有效捕捉序列中的全局上下文信息.通过多兴趣学习模块生成增强嵌入：

S^L=Attention（X_concatW_Q, X_concatW_K, X_concatW_V）,

其中,

Attention（Q, K, V）=softmax( QKTd)V,

W_Q、W_K、W_V分别表示3个向量对应的可学习权重参数矩阵, d表示缓解内积值过大的正则项.

同时, 在传统Transformer架构中, 自注意力机制需要计算所有查询和键之间的点积.Softmax注意力的计算复杂度为O（N²）, 导致在处理长序列时计算量和内存消耗急剧增加.为了缓解因Softmax运算导致矩阵规模过大的问题, 本文利用线性注意力机制, 近似计算点积以降低计算负担, 利用Elu（· ）激活函数和Norm（· ）归一化处理将查询与键映射到非负空间.首先计算键和值之间的乘积, 再与查询相乘, 从而避免直接进行高复杂度的计算, 可将增强嵌入改写为

S^L=LinearAttention（Q, K, V）=

Norm（Elu（Q））（Norm（Elu（K））T^V）.

为了提高模型的泛化能力和防止过拟合, 还采用Dropout层和LayerNorm层归一化缓解过拟合问题.

最后, 通过扩散指导比率λ _L将增强嵌入S^L叠加到原始嵌入中, 生成最终的多兴趣嵌入：

S^aug=E+λ _LS^L.

本文旨在利用扩散模型优异的生成能力生成预测项目, 受DiffuRec^[21]启发, 本文同样将目标嵌入E_label作为扩散模型原始特征x₀, 并在扩散过程中逐步注入高斯噪声, 生成阶段使用多兴趣嵌入S^aug, 指导生成历史项目 E︿的分布表示.

在正向扩散阶段中, 扩散模型通过马尔可夫链逐步向x₀中注入高斯噪声x_t, 经过T步迭代之后, 数据完全转化为噪声分布.具体来说, 每步注入的噪声都由预定义的噪声调度函数β _t控制, 其中0< β _t< 1, t=1, 2, …, T, 条件概率分布定义为

q（x_t|x_t-1）=N（x_t; 1-βtx_t-1, β _tI）.

递推后可获得任意时刻t的闭式采样概率：

$\begin{array}{c} q\left(\boldsymbol{x}_{t} \mid \boldsymbol{x}_{0}\right)=N\left(\boldsymbol{x}_{t} ; \sqrt{\overline{\alpha_{t}}} \boldsymbol{x}_{0}, \left(1-\overline{\alpha_{t}}\right) \boldsymbol{I}\right)= \\ \sqrt{\overline{\alpha_{t}}} \boldsymbol{x}_{0}+\sqrt{1-\overline{\alpha_{t}}} \boldsymbol{\epsilon}, \end{array}$

其中

$\begin{array}{l} \epsilon \sim N(0, \boldsymbol{I}) \\ \bar{\alpha}_{t}=\prod_{s=1}^{t} \alpha_{s}, \alpha_{s}=1-\beta_{t} \end{array}$

逆向重建的目标是逐步从完全噪声分布x_T~N（0, I）中恢复原始数据x₀.根据随机微分方程理论, 当扩散系数β _t足够小时, 逆向过程中的每步可近似定义为条件高斯分布：

p（x_s-1|}x_s, x₀）=N(x_s-1; μ˜s（x_s, x₀）, β˜sI),

其中

$\begin{array}{l} \widetilde{\mu}_{s}\left(\boldsymbol{x}_{s}, \boldsymbol{x}_{0}\right)=\left(\frac{\sqrt{\bar{\alpha}_{s-1}} \beta_{s}}{1-\bar{\alpha}_{s}}\right) \boldsymbol{x}_{0}+\left(\frac{\sqrt{\alpha_{s}}\left(1-\bar{\alpha}_{s-1}\right)}{1-\bar{\alpha}_{s}}\right) \boldsymbol{x}_{s} \\ \widetilde{\beta}_{s}=\left(\frac{1-\bar{\alpha}_{s-1}}{1-\bar{\alpha}_{s}}\right) \beta_{s} . \end{array}$

本文使用Transformer模型f_θ （· ）, 在多频段划分生成的多兴趣嵌入S^aug指导下, 直接生成每个时间步t的目标项：

x̂0=f_θ （x_t, S^aug, t）.

上述过程可通过最小化变分下界进行训练：

$\begin{array}{l} L_{\mathrm{vlb}}\left(\boldsymbol{x}_{0}\right)=E_{q\left(x_{1: t} \mid x_{0}\right)}\left[\ln \left(\frac{q\left(\boldsymbol{x}_{t} \mid \boldsymbol{x}_{0}\right)}{p\left(\boldsymbol{x}_{t}\right)}\right)+\right. \\ \left.\quad \sum_{s=2}^{t} \ln \left(\frac{q\left(\boldsymbol{x}_{s-1} \mid \boldsymbol{x}_{s}, \boldsymbol{x}_{0}\right)}{p\left(\boldsymbol{x}_{s-1} \mid \boldsymbol{x}_{s}\right)}\right)-\ln p\left(\boldsymbol{x}_{0} \mid \boldsymbol{x}_{1}\right)\right] . \end{array}$

DDPM（Denoising Diffusion Probabilistic Model）^[18]中对时间步t进行均匀采样, 提升训练的稳定性和效率.Li等^[21]指出忽略KL散度中的权重项可简化损失函数, 并在实际应用中获得更优效果.因此, 直接将p（x_t-1|x_t）和前向过程后验分布进行对比, 通过计算均方误差损失进行约束, 损失函数改写为

$\begin{array}{l} _{\text {diff }}= \\ \quad E_{t, x_{0}, \epsilon}\left[\left\|\boldsymbol{x}_{0}-f_{\theta}\left(\sqrt{\overline{\alpha_{t}}} \boldsymbol{x}_{0}+\sqrt{1-\overline{\alpha_{t}}} \epsilon, \boldsymbol{S}^{\text {aug }}, t\right)\right\|^{2}\right] .\end{array}$

为了提高模型的鲁棒性, 本文基于噪声对比估计设计对比损失函数.对于扩散生成的嵌入 x̂0, 通过sim（· ）计算相似度, 选取对角线元素为正样本对 x̂0+, 并通过掩码提取非对角线元素作为负样本对.通过最大化负样本之间的距离, 使来自不同序列中的去噪项目在特征空间中保持分离.具体对比损失函数公式如下：

$\begin{array}{l} L_{c}=-\frac{1}{B} \cdot \\ \sum_{i=1}^{B} \ln \left(\frac{\exp \left(\frac{\operatorname{sim}\left(\hat{x}_{0}^{i}, \hat{x}_{0}^{i+}\right)}{\tau}\right)}{\exp \left(\operatorname{sim}\left(\hat{x}_{0}^{i}, \hat{x}_{0}^{i+}\right)\right)+\sum_{j \neq i} \exp \left(\operatorname{sim}\left(\hat{x}_{0}^{i}, \hat{x}_{0}^{j}\right)\right)}\right), \end{array}$

其中τ 表示温度函数.

计算增强嵌入S^aug和原始嵌入S之间的均方误差损失：

L_a=MSE（S, S^aug）,

确保多兴趣学习模块在不同层次上输出的一致性, 减少模型对输入数据微小变化的敏感性, 并实现对多兴趣学习模块的联合训练.

为了防止多兴趣学习模块出现过拟合, 在模块中引入L2正则化惩罚项：

L_r= ‖Saug‖2.

最后, 结合扩散生成损失, 通过超参数权值α 、 β 整合上述损失, 得到网络的最终损失：

L=L_diff+α L_c+β L_a+L_r.

借助上述多任务学习模块, 模型既可同时学习去噪和特征增强任务, 又能在端到端网络框架下对去噪模型f_θ （· ）和多兴趣学习模块进行联合优化.

最后, 基于生成的预测项目表示 x̂0, 计算该表示与候选集所有项目嵌入E之间的内积, 选择前N个最相似的项目作为推荐.

本文选择在Amazon Beauty、Amazon Toys、Steam、ML-1M这4个真实世界的基准数据集上进行实验.Amazon Beauty、Amazon Toys数据集收集亚马逊平台中美容产品和玩具分区近2年来用户的评分数据.Steam数据集整合Steam平台上各类游戏的详细信息.ML-1M数据集源于电影领域, 涵盖4 000部电影与6 000位用户贡献的1× 10⁶条评分数据.本文采用与DiffuRec^[21]相同的方式, 对用户-物品交互数据按时间顺序进行排序, 并过滤交互次数少于5次的记录, 其余交互记录少于预设长度的历史交互序列会用0填充, 超过预设长度的数据会截断最早的交互记录.具体数据集信息如表1所示.

表1

Table 1

表1(Table 1)

表1 实验数据集 Table 1 Experimental datasets 名称 序列数 项目数 平均长度 稀疏性/% ML-1M 6040 3416 165.50 95.16 Amazon Beauty 22363 12101 8.53 99.93 Amazon Toys 19412 11924 8.63 99.93 Steam 281428 13044 12.40 99.90

表1 实验数据集 Table 1 Experimental datasets

所有实验都在NVIDIA GeForce RTX 4090D GPU上进行.模型基于PyTorch实现, 并使用学习率为0.001的Adam（Adaptive Moment Estimation）对模型进行优化.设置最大训练轮次为500, 嵌入维度为128, 批次为512.扩散模型中的Dropout系数设为0.1, 多兴趣学习模块中的Dropout系数设为0.2, 项目嵌入的Dropout系数设为0.3.扩散模型的时间步T设为32.除了ML-1M数据集上最大序列长度设为200, 其余数据集上最大序列长度均设为50.在多频段划分模块中, 小波变换划分次数K=1, 3, 7, 扩散指导比率λ _L=0.2, 0.4, 0.6, 0.8, 1.0.

在所有实验中, 保持上述参数设置在所有模型中均一致, 并且每五轮评估一次, 如果最高结果在10轮评估中保持不变, 提前停止训练.

为了评估模型性能, 采用序列推荐领域中常用的两个指标HR@N（Hits Ratio）和NDCG@N（Nor-malized Discounted Cumulative Gain）评估推荐性能.指标计算公式如下：

$ \begin{array}{l} H R @N=\frac{1}{M} \sum_{i=1}^{M} \sum_{j=1}^{N} r_{i, j} \\ N D C G @N=\sum_{i=1}^{M}\left(\frac{\sum_{j=1}^{N}\left(\frac{r_{i, j}}{\log _{2}(j+1)}\right)}{M \cdot I D C G_{i}}\right), \end{array} $

其中, M表示测试用户数量, 如果第i位用户的推荐物品排序列表中的第j个项目是正确样本, r_{i, j}=1, 否则r_{i, j}=0.NDCG的分子表示DCG@N（Discounted Cumulative Gain, DCG）, IDCG_i表示对第i位测试用户的最大可能DCG@N值, 其中N=5, 10, 20.

本文选择如下11种常用的序列推荐模型进行对比实验.

1）GRU4Rec^[8].利用门控循环单元捕获用户行为序列中的时间依赖性.

2）SASRec^[11].利用 Transformer 的自注意力机制处理用户历史交互序列中的偏好依赖关系.

3）ComiRec（Controllable Multi-interest Framework for the Sequential Recommendation）^[14].通过动态路由和自注意力机制, 从用户行为序列中提取多重兴趣.

4）CL4SRec（Contrastive Learning for Sequential Recommendation）^[15].通过序列级别的数据增强生成正样本对.

5）DuoRec^[16].结合正样本采样策略和对比学习优化, 缓解推荐系统中的表示退化问题.

6）DiffuRec^[21].利用去噪扩散概率模型对项目分布构建概率模型, 并通过由交互序列引导的去噪过程实现下一个预测项目的生成.

7）DreamRec^[25].完全抛弃负采样, 利用条件扩散模型将序列推荐任务重塑为理想物品的生成任务.

8）DIN（Deep Interest Network）^[29].利用注意力机制计算不同用户的交互行为权重.

9）BERT4Rec（Bidirectional Encoder Representa-tions from Transformers for Sequential Recommenda-tion）^[30].采用双向自注意力对用户行为序列进行建模, 捕获用户交互中的双向依赖.

10）TiMiRec（Target-Interest Distillation Frame-work for Multi-interest Recommendation）^[31].通过多兴趣提取器生成多个兴趣嵌入, 动态聚合兴趣嵌入以适应不同上下文.

11）STOSA（Stochastic Self-Attention）^[32].通过随机嵌入策略和自注意力模块捕获交互间的协同传递性.

各模型在4个数据集上的指标值如表2~表5所示, 表中黑色数字表示最优值, 斜体数字表示次优值.由表可见, WEG4Rec在HR、NDCG指标上明显优于对比模型.

表2

Table 2

表2(Table 2)

表2 各模型在Amazon Beauty数据集上的指标值对比 Table 2 Metric value comparison of different models on Amazon Beauty dataset 指标 GRU4Rec SASRec DIN BERT4Rec ComiRec TiMiRec STOSA DuoRec CL4SRec DreamRec DiffuRec WEG4Rec HR@5 1.01 3.27 4.92 2.13 2.05 1.90 3.55 5.37 5.25 5.31 5.33 5.57 HR@10 1.94 6.26 6.58 3.72 4.45 3.34 6.20 7.63 7.29 7.13 7.21 7.78 HR@20 3.85 8.98 8.72 5.79 7.70 5.17 9.59 10.72 10.58 10.62 10.51 10.81 NDCG@5 0.61 2.40 3.62 1.32 1.05 1.24 2.56 3.28 3.03 3.28 3.82 4.01 NDCG@10 0.90 3.23 4.15 1.83 1.83 1.70 3.21 4.19 3.99 4.19 4.43 4.70 NDCG@20 1.38 3.66 4.69 2.35 2.65 2.16 3.76 4.99 4.85 4.99 5.34 5.45

表2 各模型在Amazon Beauty数据集上的指标值对比 Table 2 Metric value comparison of different models on Amazon Beauty dataset

表3

Table 3

表3(Table 3)

表3 各模型在Amazon Toys数据集上的指标值对比 Table 3 Metric value comparison of different models on Amazon Toys dataset 指标 GRU4Rec SASRec DIN BERT4Rec ComiRec TiMiRec STOSA DuoRec CL4SRec DreamRec DiffuRec WEG4Rec HR@5 1.10 4.53 5.49 1.93 2.30 1.16 4.22 5.66 5.48 5.47 5.58 5.94 HR@10 1.85 6.55 6.84 2.93 4.29 1.82 6.94 7.16 6.87 7.25 7.22 7.72 HR@20 3.18 9.23 8.79 4.59 6.94 2.72 9.51 9.81 10.09 9.68 9.84 10.21 NDCG@5 0.70 3.01 4.06 1.16 1.16 0.71 3.10 3.11 3.34 4.04 4.18 4.40 NDCG@10 0.94 3.75 4.50 1.49 1.80 0.91 3.88 3.92 4.27 4.62 4.75 4.98 NDCG@20 1.27 4.33 4.99 1.90 2.46 1.14 4.38 4.71 5.08 5.22 5.35 5.65

表3 各模型在Amazon Toys数据集上的指标值对比 Table 3 Metric value comparison of different models on Amazon Toys dataset

表4

Table 4

表4(Table 4)

表4 各模型在Steam数据集上的指标值对比 Table 4 Metric value comparison of different models on Steam dataset 指标 GRU4Rec SASRec DIN BERT4Rec ComiRec TiMiRec STOSA DuoRec CL4SRec DreamRec DiffuRec WEG4Rec HR@5 3.01 4.74 6.27 4.74 2.29 6.02 4.85 5.69 5.62 5.96 6.72 6.98 HR@10 5.43 8.38 9.05 7.94 5.44 9.67 8.59 9.78 9.45 9.68 10.51 11.22 HR@20 9.23 13.61 15.69 12.73 10.37 14.89 14.11 15.61 15.06 15.08 16.09 17.24 NDCG@5 1.83 2.88 3.49 2.97 1.10 3.87 2.92 3.36 3.48 3.84 4.19 4.49 NDCG@10 2.60 4.05 4.81 4.00 2.11 5.04 4.12 4.68 4.71 5.03 5.50 5.85 NDCG@20 3.56 5.36 6.32 5.20 3.34 6.36 5.51 6.14 6.12 6.39 7.11 7.37

表4 各模型在Steam数据集上的指标值对比 Table 4 Metric value comparison of different models on Steam dataset

表5

Table 5

表5(Table 5)

表5 各模型在ML-1M数据集上的指标值对比 Table 5 Metric value comparison of different models on ML-1M dataset 指标 GRU4Rec SASRec DIN BERT4Rec ComiRec TiMiRec STOSA DuoRec CL4SRec DreamRec DiffuRec WEG4Rec HR@5 5.11 9.38 13.64 13.64 6.11 16.21 7.05 13.70 12.61 16.05 16.02 16.31 HR@10 10.17 16.89 22.50 20.57 12.04 23.71 14.39 21.41 20.17 24.63 24.28 24.88 HR@20 18.70 28.32 33.38 29.95 21.01 33.23 24.99 32.97 31.91 35.84 35.63 36.10 NDCG@5 3.05 5.32 8.87 8.89 3.52 10.88 3.72 7.92 7.58 10.61 10.41 10.91 NDCG@10 4.68 7.73 11.64 11.13 5.41 13.31 6.08 10.59 10.02 13.36 13.05 13.60 NDCG@20 6.82 10.59 14.38 13.48 7.65 15.70 8.72 13.50 12.97 16.20 15.90 16.38

表5 各模型在ML-1M数据集上的指标值对比 Table 5 Metric value comparison of different models on ML-1M dataset

在传统判别模型中, GRU4Rec利用门控循环单元对用户交互序列进行建模, 在一定程度上缓解传统循环神经网络中梯度消失的问题.然而, 在处理长序列时, 仍然难以保留有效信息.DIN的静态注意力机制难以适配用户兴趣的动态转移, 在局部兴趣建模和解决数据稀疏性问题上都存在一定的局限性.WEG4Rec利用小波卷积对用户历史交互序列进行细粒度划分, 可增强模型对长序列信息的捕捉能力, 在不同的时间序列数据上表现良好.此外, 在训练过程中引入额外约束, 可避免模型在特定数据集上的过拟合, 减少对输入分布的敏感度, 使模型更专注于学习数据的通用特征, 从而提升鲁棒性, 降低对数据噪声的敏感性.

使用Transformer架构作为主体网络的模型（SASRec、BERT4Rec）极其关注序列中元素的位置顺序, 这意味着如果序列中元素位置发生改变, 输出结果可能会有所不同.用户历史行为中可能存在与当前预测无关的噪声项, 这种机制也会导致模型过度关注无关特征, 尤其在长序列情况下, 会出现注意力权重分散问题.此外, 这类模型通过Softmax计算注意力, 注意力计算复杂度为O（N²）, 而BERT4Rec采用双向注意力, 实际计算中需要花费更多的成本.WEG4Rec在多兴趣学习中对历史交互进行细粒度切分和学习, 降低数据中的异常值和噪声点, 并且采用线性注意力进行合并, 避免常规Transformer架构中应该显式计算Softmax带来的开销, 最终将计算复杂度减少为O（N）, 同时也减少模型因为数据噪声和异常值引起的不确定性.WEG4Rec使用扩散模型搭建主体网络, 直接预测交互项目中更符合序列推荐的任务目标, 通过扩散模型加噪去噪的训练过程, 使模型天然具备一定的抗噪声能力.

ComiRec、TiMiRec、STOSA通过动态路由和注意力机制从用户历史交互中提取多兴趣指导信息, 提升推荐的准确性和泛化性, 但是通过静态聚类或注意力权重直接筛选兴趣, 容易导致兴趣演化建模不足.WEG4Rec通过多频段划分, 允许模型在不同时间尺度上捕捉兴趣的局部突变和长期趋势, 避免传统方法中因固定粒度划分导致的兴趣重叠问题.

基于对比学习方法的模型（DuoRec、CL4SRec）引入自监督对比任务与数据增强策略, 提升稀疏场景下模型的学习能力.WEG4Rec同样采用对比学习策略, 通过设计噪声对比学习损失优化生成任务, 实现模型性能的增强.

基于扩散模型的推荐模型（DiffuRec、Dream-Rec）将用户行为序列建模为连续分布生成过程, 突破传统固定向量表征的局限性.扩散模型采取双向去噪过程和时间感知机制, 实现对动态兴趣演化的捕捉.相比传统判别模型, 基于扩散模型的序列推荐模型性能具有大幅提升, 因此WEG4Rec同样选择使用扩散模型作为主体网络, 并且在扩散过程中, 通过多兴趣学习模块生成的信号, 指导扩散过程的数据生成.

为了评估WEG4Rec中各模块对整体性能的影响, 设计如下变体, 并保持其它条件不变：1）Base, 移除多兴趣学习模块和多任务学习模块; 2）-MI, 移除多兴趣学习模块; 3）-MS, 移除多任务学习模块.在Amazon Beauty、Amazon Toys、Steam、ML-1M数据集上的消融实验结果如表6所示.

表6

Table 6

表6(Table 6)

表6 各变体在4个数据集上的消融实验结果 Table 6 Ablation experiment results of various variants on 4 datasets 数据集 模型 HR@5 HR@10 HR@20 NDCG@5 NDCG@10 NDCG@20 Amazon Beauty Base 5.31 7.44 10.52 3.82 4.45 5.34 -MI 5.35 7.61 10.69 3.89 4.59 5.36 -MS 5.48 7.69 10.75 3.95 4.64 5.42 WEG4Rec 5.57 7.78 10.81 4.01 4.7 5.45 Amazon Toys Base 5.60 7.44 9.92 4.18 4.77 5.39 -MI 5.69 7.47 9.95 4.25 4.82 5.45 -MS 5.66 7.62 10.01 4.28 4.91 5.52 WEG4Rec 5.94 7.72 10.21 4.40 4.98 5.65 Steam Base 6.72 10.51 16.09 4.19 5.50 7.11 -MI 6.68 10.78 16.75 4.28 5.60 7.09 -MS 6.81 10.90 16.86 4.32 5.66 7.15 WEG4Rec 6.98 11.22 17.24 4.49 5.85 7.37 ML-1M Base 15.71 23.69 34.05 10.39 12.96 15.92 -MI 15.84 23.84 35.55 10.54 13.17 15.88 -MS 15.99 24.15 35.13 10.58 13.21 16.05 WEG4Rec 16.31 24.88 36.10 10.91 13.60 16.38

表6 各变体在4个数据集上的消融实验结果 Table 6 Ablation experiment results of various variants on 4 datasets

在WEG4Rec上移除多兴趣学习模块后, 各指标值均出现一定程度的下降.这是因为扩散模型本质上属于非条件生成模型, 若缺乏条件指导, 只能完全依赖从随机噪声中还原数据.此时, 模型训练结果完全取决于其从噪声中学到的数据分布, 会导致模型的稳定性和准确性降低, 结果不理想.

在WEG4Rec上移除多任务学习模块后, 在多个数据集上性能略有下降.多任务学习模块为模型提供对比学习等额外的损失函数, 有助于约束模型学习过程, 防止过拟合.去除多任务学习模块后, 多兴趣学习模块容易陷入过拟合状态, 无法有效提取具有指导意义的信号, 进而影响扩散模型的生成效果, 同时也会降低模型的鲁棒性, 最终导致性能和可靠性下降.

最后, 在WEG4Rec移除多兴趣学习模块和多任务学习模块后, 各项指标都有大幅削弱, 特别是在Amazon Beauty数据集上, 这是由于Amazon Beauty数据集上数据量较少的同时交互较多, 存在很多噪声干扰, 因此最终导致模型学习效果受到大幅影响.

2.4.1 小波变换划分次数K

小波变换通过迭代分解原始数据, 逐层提取高频细节信息和低频全局特征.理论上, 增加小波变换划分次数K可获取更多的细节信息, 提升模型对用户多兴趣信号的学习能力, 但也会增加模型的复杂度和训练时间.合适的参数选择有助于提高模型的泛化能力.

值得注意的是, 小波变换输出的高低频子带数量需与嵌入维度兼容, 因此实验设置小波变换划分次数K=1, 3, 7, 在4个数据集上对WEG4Rec性能的影响如图2所示.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 K对WEG4Rec性能的影响Fig.2 Effect of K on WEG4Rec performance

由HR@20指标的对比结果可知, K=3时, WEG4Rec在4个数据集上均取得最优值.在Ama- zon Beauty、Steam、ML-1M数据集上, K=7时WEG4- Rec性能小幅回落, 而在Amazon Toys数据集上呈现差异化趋势, 这可能与该数据集上用户兴趣分布相对集中, 低层次划分已能捕捉核心偏好有关.K=1时, 小波变换仅进行一次粗粒度分解, 难以从历史交互序列中提取足够的高频细节信息, 导致指导信号受限.K=7时, 尽管进一步细分的高频子带可能蕴含更丰富的局部细节信息, 但过度分解并不一定会带来性能提升.

为了探究K对序列信息结构的作用, 在Amazon Toys、ML-1M这两种规模数据集上, 统计不同K值下高频子带与低频子带的平均信息熵对比, 结果如图3所示.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 不同K值下高频子带与低频子带的平均信息熵Fig.3 Average information entropy of high and low frequency subbands with different K values

分析图3可知, 在两种不同规模的数据集上, 低频子带的信息熵均显著低于高频子带的信息熵, 说明Haar小波基可有效提取序列中的稳定趋势信息, 而高频分量则保留用户兴趣波动引入的不确定性.同时, 在序列更长的ML-1M数据集上高低频信息熵均低于在Amazon Toys数据集上的信息熵, 反映大规模数据中用户行为模式更具一致性, 信息密度更高.

值得注意的是, K=3时, 各子带信息熵处于相对均衡且较低的水平, 说明该尺度在捕捉关键局部突变与控制冗余之间取得较好平衡, 与性能实验结论一致, 进一步支持K=3作为最优分解层数的合理性.结果显示, 在序列较短的Amazon Toys数据集上, 高频子带熵值在K=1、3、7时波动范围较小, 表明其局部细节信息有限, 过度细分未能提取更多的有效信息, 反而可能引入冗余.在序列较长的ML-1M数据集上, K=3时高频子带信息熵最低, K=7时信息熵上升, 说明中等粒度分解能有效捕捉关键局部突变, 而更细粒度可能导致噪声放大.该现象侧面说明分解粒度需与序列长度及信息密度匹配.短序列本身突变信息较少, 宜采用较粗粒度分解; 长序列则需中等粒度以兼顾整体趋势与局部细节, 避免过度分解带来的信息冗余.

综合来看, 设定小波变换划分次数K=3时能实现性能峰值, 验证中等划分次数在细节提取与复杂度控制间的平衡优势.

2.4.2 扩散指导比率λ _L

多兴趣学习模块通过扩散指导比率λ _L实现学习嵌入与历史交互嵌入的融合, 改变λ _L能有效调控模型的特征表达能力.为了探究λ _L对WEG4Rec性能的影响, 在4个数据集上, 以NDCG@20为评估指标, 探究λ _L=0.2, 0.4, 0.6, 0.8, 1.0时的WEG4Rec性能变化, 结果如图4所示, 图中虚线表示移除多兴趣学习模块和多任务学习模块后WEG4Rec的NDCG@20指标值.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 λ L对WEG4Rec性能的影响Fig.4 Effect of λ L on WEG4Rec performance

由图4可知, λ _L在不同数据集上对WEG4Rec性能的影响呈现显著差异.在Amazon Beauty数据集上, WEG4Rec对参数变化较敏感, λ _L=0.2, 0.4时获得最优性能.在Amazon Toys数据集上, WEG4Rec整体波动较平稳, 鲁棒性较强.在Steam数据集上, λ _L=0.6为最优参数点.在ML-1M数据集上, λ _L=0.8时WEG4Rec获得最优性能.

2.4.3 多任务策略权重α 和β

为了探究多任务策略权重α 、 β 对推荐性能的影响, 设置α =0.1, 0.2, …, 0.5, β =0.1, 0.2, …, 0.5, 当α 或β 取任一值时, 另一个参数设为0, 其对WEG4Rec的性能影响如图5所示.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 α 、 β 对WEG4Rec性能的影响Fig.5 Effect of α and β on WEG4Rec performance

针对不同数据集上用户意图的直观程度差异, 优化模型权重系数可有效提升建模准确性.对于用户意图直观程度不同的数据集, 调整噪声对比损失权重α , 可有效提升模型对用户意图的捕捉精度.由图5可知, 随着α 增大, WEG4Rec性能呈现先增大后减小的趋势, 而随着β 增大, WEG4Rec性能出现下降趋势.这表明在模型训练中, 噪声对比损失对模型性能的影响更显著, 而均方误差损失在训练过程中容易出现数值过大的情况, 导致模型对多兴趣学习模块的过度拟合.因此, 适当降低均方误差损失权

重β , 有助于避免模型在训练过程中对多兴趣学习模块的过度拟合, 提高模型的泛化性和稳定性.同时α =0.2, 0.4时, WEG4Rec对不同规模数据集的泛化能力最优.

2.4.4 小波基

为了探究不同小波基对WEG4Rec的综合影响, 本文选取更高阶的Daubechies小波基（db4、db6）与Symlet小波基（sym2、sym4）作为对比组.这两类小波基均属于高阶小波基, 具有更长的支撑长度与更平滑的时频特性.Daubechies小波基因优异的信号去噪与特征保持能力被广泛应用, 同时Haar小波基是唯一不连续的Daubechies小波基.Symlet小波基通过对称化设计, 进一步降低信号重构中的失真.

首先, 为了评估不同小波基对WEG4Rec性能的影响, 在保持其它实验条件一致的前提下, 设置5组对比实验：

1）base, 原始WEG4Rec及Haar小波基.

2）db4, 将Haar小波基替换为4阶Daubechies小波基.

3）db6, 将Haar小波基替换为6阶Daubechies小波基.

4）sym2, 将Haar小波基替换为2阶Symlet小波基.

5）sym4, 将Haar小波基替换为4阶Symlet小波基.

为了确保实验可复现与结果一致性, 所有小波基均基于PyWavelets（pywt库）与PyTorch Wavelet Toolbox（ptwt库）实现, 并在4个数据集上进行测试, 结果如表7所示, 表中黑体数字表示最优值, 斜体数字表示次优值.

表7

Table 7

表7(Table 7)

表7 不同小波基对WEG4Rec性能的影响 Table 7 Effect of different wavelet bases on WEG4Rec performance 数据集 小波基 HR@5 HR@10 HR@20 NDCG@5 NDCG@10 NDCG@20 Amazon Beauty base 5.57 7.78 10.81 4.01 4.70 5.45 db4 5.47 7.69 10.84 3.90 4.62 5.41 db6 5.38 7.50 10.34 3.90 4.58 5.30 sym2 5.50 7.68 10.79 4.00 4.69 5.48 sym4 5.48 7.52 10.60 3.97 4.62 5.40 Amazon Toys base 5.94 7.72 10.21 4.40 4.98 5.65 db4 5.79 7.74 10.19 4.34 4.97 5.58 db6 5.83 7.76 10.14 4.32 4.94 5.54 sym2 5.71 7.56 9.96 4.35 4.94 5.55 sym4 5.87 7.70 10.14 4.32 4.90 5.52 Steam base 6.98 11.22 17.24 4.49 5.85 7.37 db4 6.64 10.77 16.73 4.23 5.56 7.06 db6 6.78 10.96 16.94 4.34 5.68 7.18 sym2 6.72 10.89 16.93 4.30 5.64 7.16 sym4 6.77 10.91 16.80 4.34 5.67 7.15 ML-1M base 16.31 24.88 36.10 10.91 13.60 16.38 db4 15.13 23.10 33.95 9.79 12.45 15.19 db6 15.79 24.34 35.14 9.91 12.87 15.71 sym2 14.91 23.17 33.72 9.86 12.52 15.11 sym4 15.56 23.76 34.45 10.11 13.23 15.86

表7 不同小波基对WEG4Rec性能的影响 Table 7 Effect of different wavelet bases on WEG4Rec performance

由表7可知, Haar小波基在绝大多数指标上表现最优, 尤其在中大型规模数据集（Steam、ML-1M）上, 各项指标值均实现大幅领先, 说明Haar小波基具备对大规模数据高效建模的能力.在部分数据集上, Haar小波基虽与其它小波基的性能差距较小, 但也展现出较强的普适性.

按数据集规模进一步分析可知, 在小规模数据集上, 相比高阶小波基（db6、sym4）, 低阶小波基（db4、sym2）表现出一定优势, 并且与Haar小波基性能差距较小.由于小规模数据存在用户行为模式有限且噪声占比较高的特点, 低阶小波基通过较少的分解层数可有效捕捉信号的主要成分, 同时抑制噪声, 而高阶小波基可能因为过度捕捉高频噪声而引入一定干扰.Haar小波基结构简单, 虽牺牲部分局部拟合能力, 但泛化性更强, 同样适应噪声主导的小规模数据集.

在中大型数据集上, 高阶小波基（db6、sym4）性能全面超越低阶小波基, 但与Haar小波基性能差异较大.此时用户兴趣呈现长尾分布, 高频兴趣占比显著提升.

Haar小波基凭借强阈值效应, 能有效过滤低频噪声, 突出高频信号, 而高阶小波基的缓变特性可能导致噪声累积, 削弱对关键模式的捕捉.

综合来看, 用户行为序列中包含大量突发性兴趣变化, Haar小波基具有时域局部化能力, 能有效捕捉高频信号, 为后续扩散模型的生成式建模提供足够的指导.相比之下, db系列小波基和sym系列小波基虽在连续信号重构中平滑性更优, 但其基函数的缓变特性更适用于音频、图像这类慢变连续信号, 在以离散突变为主导的用户行为序列中, 要求模型对时域局部化敏感, 缓变特性会导致突变处的系数离散, 弱化对突发信号的捕捉能力.

为了进一步评估不同小波基的计算效率, 在4个数据集上, 对比5种小波基在单轮训练和推理过程中的平均训练时长和测试时长, 结果如表8所示.

表8

Table 8

表8(Table 8)

表8 不同小波基单轮的训练时长和推理时长 Table 8 Training time and inference time per epoch for different wavelet bases s 小波基 Amazon Beauty Amazon Toys Steam ML-1M 训练时长 推理时长 训练时长 推理时长 训练时长 推理时长 训练时长 推理时长 base 13 06 21 12 230 147 358 16 db4 14 06 22 14 242 148 372 19 db6 17 11 30 18 305 178 407 27 sym2 14 06 21 13 241 147 368 18 sym4 16 09 26 19 394 258 393 22

表8 不同小波基单轮的训练时长和推理时长 Table 8 Training time and inference time per epoch for different wavelet bases s

由表8可知, 在Amazon Beauty、Amazon Toys小型数据集上, 各小波基的计算开销差异不大.然而, 在Steam、ML-1M中大型数据集上, 不同小波基的时间开销差异显著.具体而言, 滤波器长度较短的Haar小波基始终计算速度最快.随着滤波器长度的增加, 训练时长与预测时长均呈现明显的增长趋势.这一现象与小波变换的原理直接相关, 小波变换的计算开销主要取决于滤波器的长度, 虽然上述所有小波的时间复杂度均为O（N）, 但单次分解所需的计算量因滤波器长度而异.例如：Haar小波基的滤波器长度为2, 而db6小波基的滤波器长度为12, 单次分解的计算量理论上增加约6倍.在模型的训练和推理过程中, 单次操作计算的累加最终会导致计算开销的显著增长.当数据规模较小时, 这种计算差异可能被其它操作的开销所掩盖, 但随着数据集规模的扩大, 计算量的差异被放大, 从而在总耗时上体现出明显区别.

综合上述实验结果可发现, 对于用户行为序列这类富含突变信号的场景, 小波基的选择并非越复杂、越平滑越好.Haar小波基虽然在数学实现上最简单, 但其不连续性、时域局部化的特性和用户行为离散突变的特征高度匹配, 并且在保证性能优秀的同时, 拥有最低的计算复杂度.因此, 本文选择Haar小波基作为WEG4Rec的默认小波基.

2.4.5 注意力机制

为了进一步验证不同注意力机制在WEG4Rec中的建模能力与计算效率差异, 选取6种常用注意力机制进行对比实验.

1）base, 原始WEG4Rec, 默认使用线性注意力机制.

2）multi, 使用多头注意力机制.

3）adaptive, 使用自适应注意力机制^[33].

4）local, 使用局部注意力机制^[34].

5）sparse, 使用稀疏注意力机制^[35].

6）performer, 使用Performer注意力机制^[36].

7）mlp, 使用三层感知机.

为了确保实验可复现与结果一致性, 所有注意力机制均使用原始模型默认参数, 并在4个数据集上进行测试, 结果如表9~表12所示, 表中黑体数字表示最优值, 斜体数字表示次优值.

表9

Table 9

表9(Table 9)

表9 Amazon Beauty数据集上不同注意力机制对WEG4Rec性能的影响 Table 9 Effect of different attention mechanisms on WEG4Rec performance on Amazon Beauty dataset 注意力机制 HR@5 HR@10 HR@20 NDCG@5 NDCG@10 NDCG@20 base 5.57 7.78 10.81 4.01 4.70 5.45 multi 5.47 7.66 10.56 4.02 4.72 5.45 adaptive 5.41 7.51 10.47 3.98 4.65 5.39 local 5.47 7.78 10.75 3.95 4.70 5.45 sparse 5.43 7.69 10.7 3.92 4.65 5.43 performer 5.53 7.65 10.50 4.02 4.70 5.42 mlp 5.49 7.72 10.74 3.98 4.68 5.41

表9 Amazon Beauty数据集上不同注意力机制对WEG4Rec性能的影响 Table 9 Effect of different attention mechanisms on WEG4Rec performance on Amazon Beauty dataset

表10

Table 10

表10(Table 10)

表10 Amazon Toys数据集上不同注意力机制对WEG4Rec性能的影响 Table 10 Effect of different attention mechanisms on WEG4Rec performance on Amazon Toys dataset 注意力机制 HR@5 HR@10 HR@20 NDCG@5 NDCG@10 NDCG@20 base 5.94 7.72 10.21 4.40 4.98 5.65 multi 5.86 7.61 10.02 4.38 4.94 5.54 adaptive 5.86 7.59 10.05 4.38 4.93 5.55 local 5.77 7.66 10.14 4.31 4.92 5.55 sparse 5.87 7.81 10.17 4.40 5.03 5.62 performer 5.85 7.60 9.95 4.41 4.97 5.57 mlp 5.75 7.58 10.02 4.29 4.88 5.42

表10 Amazon Toys数据集上不同注意力机制对WEG4Rec性能的影响 Table 10 Effect of different attention mechanisms on WEG4Rec performance on Amazon Toys dataset

表11

Table 11

表11(Table 11)

表11 Steam数据集上不同注意力机制对WEG4Rec性能的影响 Table 11 Effect of different attention mechanisms on WEG4Rec performance on Steam dataset 注意力机制 HR@5 HR@10 HR@20 NDCG@5 NDCG@10 NDCG@20 base 6.98 11.22 17.24 4.49 5.85 7.37 multi 6.68 10.74 16.61 4.32 5.63 7.10 adaptive 6.70 10.79 16.72 4.31 5.63 7.12 local 6.81 11.00 16.98 4.36 5.71 7.21 sparse 6.70 10.86 16.82 4.29 5.63 7.13 performer 6.90 11.09 17.06 4.45 5.79 7.30 mlp 6.60 10.76 16.69 4.24 5.57 7.06

表11 Steam数据集上不同注意力机制对WEG4Rec性能的影响 Table 11 Effect of different attention mechanisms on WEG4Rec performance on Steam dataset

表12

Table 12

表12(Table 12)

表12 ML-1M数据集上不同注意力机制对WEG4Rec性能的影响 Table 12 Effect of different attention mechanisms on WEG4Rec performance on ML-1M dataset 注意力机制 HR@5 HR@10 HR@20 NDCG@5 NDCG@10 NDCG@20 base 16.31 24.88 36.10 10.91 13.60 16.38 multi 15.60 23.51 35.22 9.79 12.93 15.89 adaptive 14.1 22.0 32.59 9.32 11.87 14.52 local 14.54 22.01 32.24 9.16 11.57 14.15 sparse 14.90 23.30 34.01 9.79 12.49 15.17 performer 15.95 24.82 35.81 10.12 12.97 15.75 mlp 15.41 23.71 34.82 10.00 12.68 15.47

表12 ML-1M数据集上不同注意力机制对WEG4Rec性能的影响 Table 12 Effect of different attention mechanisms on WEG4Rec performance on ML-1M dataset

由表9~表12可知, 线性注意力（base）在整体性能上表现最优, 尤其在序列更长、用户行为更复杂的中大型数据集（Steam、ML-1M）上, 优势更明显.在Steam数据集上, 相比表现次优的performer, 线性注意力的HR@5、NDCG@5指标值提升约1.2%和0.9%.

在大规模数据集ML-1M上, 优势进一步扩大, HR@20、NDCG@20指标值提升约0.8%和4.0%, 展现出线性注意力在处理大规模序列数据时较强的建模能力.尽管在Amazon Beauty、Amazon Toys小规模数据集上, 各类注意力机制性能差距不大, 但线性注意力依然保持稳定且领先的表现, 表明其良好的适用性.

按数据集规模分析可发现, 在小规模数据集上, 由于用户行为模式相对简单且序列较短, 各类注意力机制均能有效捕捉主要特征, 性能差异不显著.在Steam、ML-1M中大型数据集上, 用户兴趣呈现长尾和突发性特点, 序列内部依赖关系复杂.值得注意的是, 在WEG4Rec中, 传递给线性注意力学习模块的数据已预先通过多频段划分模块处理.多频段划分模块将原始序列中的关键信号进行有效提取, 使序列的主要信息转换为更全局且平滑的特征表示.线性注意力机制能对这种经过提炼的全局特征进行高效聚合, 避免在原始稠密交互中直接捕捉高阶非线性特征.因此, 在WEG4Rec中, 序列建模的关键更侧重于高效捕获多频段划分模块提取的重要特征, 线性注意力学习模块因其计算高效且不易过拟合的特点, 在此特定任务中表现出良好的泛化能力.此外, performer作为另一种高效注意力机制, 性能紧随线性注意力之后, 也从侧面印证线性注意力对于WEG4Rec的适配性.

为了进一步验证线性注意力对多频段划分模块作用后的数据的增强和提取效果, 在Amazon Beauty数据集上绘制WEG4Rec各阶段特征空间的t-SNE（t-Distributed Stochastic Neighbor Embedding）可视化图像, 结果如图6所示.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 WEG4Rec各阶段特征空间的t-SNE可视化图Fig.6 T-SNE visualization of feature space in each stage of WEG4Rec

观察t-SNE图像可发现, 原始数据本身具备一定的聚类结构, 通过多频段划分模块处理之后数据变得更分散, 这反映小波变换将序列信息分解到不同频率子带, 增强特征的多样性或区分度.最后在经过注意力机制处理后, 特征重新聚集, 形成新的、与经过小波变换处理后的特征分布相适应的聚类趋势.

这一可视化结果与前述性能分析表明, 线性注意力机制并不需要直接从原始稠密的用户交互序列中捕获高阶特征, 而是能有效地对经过多判断划分模块提炼后的特征进行聚合与增强, 优化最终表征.

最后, 为了验证线性注意力的计算开销, 统计4个数据集上不同注意力机制的单轮训练时长、推理时长及内存开销, 结果如表13所示.

表13

Table 13

表13(Table 13)

表13 不同注意力机制中单轮计算开销 Table 13 Computational cost per epoch for different attention mechanisms 注意力 机制 Amazon Beauty Amazon Toys Steam ML-1M 训练 时长/s 推理 时长/s 内存 开销/G 训练 时长/s 推理 时长/s 内存 开销/G 训练 时长/s 推理 时长/s 内存 开销/G 训练 时长/s 推理 时长/s 内存 开销/G base 13 06 4.749 21 12 4.756 230 147 4.756 358 16 14.611 multi 11 05 4.679 19 10 4.679 226 139 4.681 352 16 14.277 adaptive 14 06 4.744 20 11 4.744 234 144 4.758 369 19 14.881 local 16 09 4.722 24 13 4.722 291 219 4.724 377 22 14.427 sparse 12 06 4.765 20 11 4.765 236 152 4.767 352 15 14.959 performer 19 10 4.773 29 17 4.773 235 141 4.775 387 27 14.929 mlp 11 05 4.679 19 11 4.679 226 138 4.689 347 18 14.277

表13 不同注意力机制中单轮计算开销 Table 13 Computational cost per epoch for different attention mechanisms

综合计算开销可知, 线性注意力在4个数据集上均展现出优异且稳定的计算效率, 尤其在处理中大规模数据集时, 训练速度与推理速度优于或持平于多数参与对比的注意力机制.尽管MLP与多头注意力（multi）在部分开销指标上与线性注意力相当, 但结合模块性能考量, 线性注意力仍具优势.局部注意力（local）因滑动窗口操作破坏计算连续性, 导致时间开销显著增加.performer虽同属线性注意力范畴, 但其随机特征映射引入额外的计算步骤, 实际效率低于本文的线性注意力.因此, WEG4Rec最终采用线性注意力, 在模型性能与计算开销间取得最优平衡.