会话推荐旨在根据匿名用户在当前会话中的点击序列, 预测用户下一次将要点击的商品.因此, 本文的推荐问题可定义如下.定义全局无重复商品集合

$ V=\left\{v_{1}, v_{2}, \cdots, v_{i}, \cdots, v_{|V|}\right\}, $

匿名用户点击商品的会话集合

$ s_{j}=\left\{v_{1}^{j}, v_{2}^{j}, \cdots, v_{i}^{j}, \cdots, v_{\left|s_{j}\right|}^{j}\right\}, $

对于任意匿名会话s_j, 将当前用户已点击的商品按时间顺序排列, 有

$ s_{j}=\left\{v_{1}^{j}, v_{2}^{j}, \cdots, v_{i}^{j}, \cdots, v_{\left|s_{j}\right|}^{j}\right\}, $

其中 vij∈ V.

对于会话序列s_j, 还可将其建模为有向会话图

G_j=(V_j, ε _j),

其中任何节点都可表示为目标会话记录的商品, 即有 vij∈ V_j.边集合ε _j反映目标会话中商品间的时序转换信息.例如:边( v1j, v2j)∈ ε _j表示在会话s_j中, 用户在点击商品 v1j后, 紧接着点击商品 v2j.任意G_j均存在相应的邻接矩阵:

$ \boldsymbol{A}_{j}=\left[\boldsymbol{A}_{j}^{\text {out }} \| \boldsymbol{A}_{j}^{\text {in }}\right] \in \mathbf{R}^{\left|s_{j}\right| \times 2\left|s_{j}\right|}, $

其中 Aoutj∈ Rsj×sj表示出度邻接矩阵, Ainj∈ Rsj×sj表示入度邻接矩阵.

邻接矩阵反映图的结构特征, 有助于更好学习各商品节点的特征和捕捉相关关系.

电商场景下基于会话的推荐任务目标是给定匿名用户当前的商品点击序列s_j, 预测|s_j|+1时刻该用户可能点击的商品 v̂sj+1j.参照此前相关工作, 对于任意目标用户可能点击的商品v_i, 基于会话的推荐模型将输出其在下一时刻与用户的交互概率y_i, 并取前k个值对应的商品形成推荐列表^[33].

本文提出循环神经网络和注意力增强的门控图神经网络会话推荐模型(RAGGNN), 整体框图如图1所示.RAGGNN主要由嵌入编码模块、时序短期特征提取模块、会话图链接长期特征提取模块和特征聚合预测模块构成.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 RAGGNN框架图Fig.1 Architecture of RAGGNN

嵌入(Embedding)技术可将大规模的稀疏特征投影到相对密集的空间中, 有利于模型深入学习商品特征.嵌入编码模块可通过线性变换得到目标商品的嵌入编码向量:

$ \boldsymbol{p}_{i}^{j}=\boldsymbol{W}_{\text {embedding }} \boldsymbol{v}_{i}^{j} \text {. }$

其中: vij为目标商品稀疏编码; W_embedding∈ R^{d× c}为可学习的参数矩阵, c为稀疏编码维度, d为嵌入维度; pij为目标匿名会话s_j中任意商品 vij的嵌入向量.经过嵌入编码的目标匿名会话可表示为

$ \boldsymbol{S}_{j}=\left\{\boldsymbol{p}_{1}^{j}, \boldsymbol{p}_{2}^{j}, \cdots, \boldsymbol{p}_{\mid s_{j}}^{j}\right\} .$

虽然普通RNN难以从较长序列中学习足够的特征, 但是LSTM(Long Short-Term Memory)^[34]可通过多门控机制捕捉长序列中各商品间的依赖关系.因此, 为了更充分学习商品的时序特征, 本文在采用LSTM的同时, 还引入双向机制, 使模型可从正向和反向捕捉商品间的时序关系.在t时刻下, 输入门向量

$ \boldsymbol{i}_{t}=\sigma\left(\boldsymbol{W}_{i i} \boldsymbol{x}_{t}+\boldsymbol{W}_{h i} \boldsymbol{h}_{t-1}+\boldsymbol{W}_{c i} \boldsymbol{c}_{t-1}+\boldsymbol{b}_{i}\right), $

遗忘门向量

$ \boldsymbol{f}_{t}=\sigma\left(\boldsymbol{W}_{i f} \boldsymbol{x}_{t}+\boldsymbol{W}_{h f} \boldsymbol{h}_{t-1}+\boldsymbol{W}_{c f} \boldsymbol{c}_{t-1}+\boldsymbol{b}_{f}\right), $

LSTM单元状态

$ \boldsymbol{c}_{t}=\boldsymbol{f}_{t} \boldsymbol{c}_{t-1}+\boldsymbol{i}_{t} \tanh \left(\boldsymbol{W}_{i c} \boldsymbol{x}_{t}+\boldsymbol{W}_{h c} \boldsymbol{h}_{t-1}+\boldsymbol{b}_{c}\right), $

输出门向量

$ \boldsymbol{o}_{t}=\sigma\left(\boldsymbol{W}_{i o} \boldsymbol{x}_{t}+\boldsymbol{W}_{h o} \boldsymbol{h}_{t-1}+\boldsymbol{W}_{c o} \boldsymbol{c}_{t-1}+\boldsymbol{b}_{o}\right), $

输出隐状态向量

$ \boldsymbol{h}_{t}=\boldsymbol{o}_{t} \tanh \left(\boldsymbol{c}_{t}\right) .$

其中:x_t为t时刻下LSTM的输入向量, 对于目标匿名会话内的任意商品, 有x₀= pij; σ (· )为逻辑激活函数; tanh(· )为双曲正切激活函数; W_ii∈ R^d, W_hi∈ R^d, W_ci∈ R^d, W_if∈ R^d, W_hf∈ R^d, W_cf∈ R^d, W_ic∈ R^d, W_hc∈ R^d, W_io∈ R^d, W_ho∈ R^d, W_co∈ R^{d× d}为可学习的参数矩阵; b_i∈ R^d, b_f∈ R^d, b_c∈ R^d, b_o∈ R^d为偏置向量.

加入双向机制后, ht⃗为正向LSTM的输出隐状态向量, ht⃖为反向的输出隐状态向量, 将两者拼接后即可得到最终输出隐状态向量:

$ \boldsymbol{H}_{t}=\left[\overrightarrow{\boldsymbol{h}_{t}} \| \overleftarrow{\boldsymbol{h}_{t}}\right]$

由于单层BLSTM对时序信息的学习能力有限, 因此可采用堆叠BLSTM的方式进行时序特征提取, 同时使用线性投影将特征维度转换为嵌入编码维度.第m层BLSTM的输出状态矩阵为:

$ \boldsymbol{H}^{(m)}=\boldsymbol{W}_{\mathrm{BL}}\left(\operatorname{BLSTM}\left(\boldsymbol{H}^{(m-1)}\right)\right)+\boldsymbol{b}_{\mathrm{BL}} \cdot$

其中:H^(m-1)为第m层BLSTM的输入矩阵, 且有

$ \boldsymbol{H}^{(0)}=\left(\boldsymbol{p}_{1}^{j}, \boldsymbol{p}_{2}^{j}, \cdots, \boldsymbol{p}_{\left|s_{j}\right|}^{j}\right) ; $

W_BL∈ R^{2d× d}为可学习的参数矩阵, b_BL∈ R^d为偏置向量.

对于目标匿名会话s_j, 可将该部分最终输出记为

$ \boldsymbol{H}_{j}=\left\{\boldsymbol{h}_{1}^{j}, \boldsymbol{h}_{2}^{j}, \cdots, \boldsymbol{h}_{\left|s_{j}\right|}^{j}\right\} .$

由于用户可能受到外界影响的干扰, 或无意识地进行误操作, 因此交互记录中存在一些噪声信息.如果将噪声信息视为正常的用户交互行为, 会导致模型难以学习用户的真正兴趣偏好.受Transformer模型^[30]的启发, 本文引入堆叠的多头自注意力块, 自动调整会话中不同商品间的关联权重, 降低噪声信息对模型学习的影响, 提升推荐精确度.

自注意力块由多头自注意力层、前馈神经网络(Feed Forward Network, FFN)和残差连接组成, 而多头机制使模型可从多个特征子空间分别学习特征, 有利于稳固自注意力机制的学习结果, 则

$ \text { ATT } \left.\text { Query }_{j}, \text { Key }_{j}, \text { Value }_{j}\right)=\frac{\text { Query }_{j} \text { Key }_{j}^{\mathrm{T}}}{\sqrt{d}} \text { Value }_{j} .$

其中:

$ \begin{array}{l} \text { Query }_{j}=\boldsymbol{H}_{j} \boldsymbol{W}_{j}^{Q}, \\ \text { Key }_{j}=\boldsymbol{H}_{j} \boldsymbol{W}_{j}^{K}, \\ \text { Value }_{j}=\boldsymbol{H}_{j} \boldsymbol{W}_{j}^{V}, \end{array}$

依次为目标匿名会话s_j中各商品对应的查询矩阵、键矩阵和值矩阵, $ \boldsymbol{W}_{j}^{Q} \in \mathbf{R}^{d \times k}, \boldsymbol{W}_{j}^{K} \in \mathbf{R}^{d \times k}, \boldsymbol{W}_{j}^{V} \in \mathbf{R}^{d \times k}$分别为三个向量对应的可学习权重参数矩阵; $\sqrt{d}$为缓解内积值过大的正则项.

多头机制输出矩阵为:

$ E=\left[A T T_{1}\left\|\boldsymbol{A T T} \boldsymbol{T}_{2}\right\| \cdots \| \boldsymbol{A T T} \boldsymbol{T}_{k}\right] \boldsymbol{W}_{E}, $

其中, k为多头数量, W_E∈ R^{d× d}为对应可学习权重参数矩阵.

由于多头自注意力机制仅采用线性投影算法进行计算, 因此本文使用两层FFN增强模型的非线性拟合能力.经典的线性修正单元(Rectified Linear Unit, ReLU)激活函数仅根据输入值的正负进行简单门控, 当输入值为负时会导致输出为0, 从而使神经元难以通过反向传播更新相应参数, 即发生神经元坏死问题, 所以本文采用高斯偏误线性单元(Gaussian Error Linear Unit, GELU)函数进行非线性变换.同时, 考虑到仅使用自注意力机制可能会丢失商品的原始特征, 本文还设置残差连接:

$ \boldsymbol{F}=G E L U\left(\boldsymbol{E} \boldsymbol{W}_{F}^{1}+\boldsymbol{b}_{F}^{1}\right) \boldsymbol{W}_{F}^{2}+\boldsymbol{b}_{F}^{2}+\boldsymbol{E} .$

其中: WF1∈ R^{d× 4d}, WF2∈ R^{4d× d}为两层FFN对应的可学习权重参数矩阵; bF1∈ R^d, bF2∈ R^d为对应偏置向量.此外, 本文采用暂退法(Dropout)缓解过拟合问题.

为了简洁起见, 将上述多头注意力机制记为

F=SAN(E).

同样, 为了增强模型对商品间复杂高阶特征的学习能力, 可对其进行堆叠:

F⁽ⁿ⁾=SAN(F^(n-1)),

其中n为当前多头自注意力块堆叠层数, 且有

F⁽⁰⁾=SAN(E).

对于目标匿名会话s_j, 最终输出为:

F_j={f 1j, f 2j, …, f ij, …, f sjj}.

在此过程中, 时序短期特征提取模块从交互历史中学习用户的动态兴趣, 因此可将最后的潜在特征f sjj视为用户在当前会话中表现出的短期兴趣.

GGNN采用GRU作为消息传递算法, 实现近邻商品节点和目标商品节点特征的融合^[35].受SR-GNN^[21]和GC-SAN^[22]的启发, 本文在学习商品间的近邻上下文特征时, 也使用GRU.首先, 将包含时序特征的商品向量序列构造为对应的会话图.对于目标匿名会话序列s_j, s_j中对应商品 vij在第t个时间步的会话上下文邻域特征为:

$ \boldsymbol{a}_{j, i}^{t}=\boldsymbol{A}_{j, i:}^{\mathrm{T}}\left[\boldsymbol{p}_{1}^{j}, \boldsymbol{p}_{2}^{j}, \cdots, \boldsymbol{p}_{\left|s_{j}\right|}^{j}\right]^{\mathrm{T}}+\boldsymbol{b}, $

其中,

$ \boldsymbol{A}_{j}=\left[\boldsymbol{A}_{j, i:}^{\text {out }} \| \boldsymbol{A}_{j, i:}^{\text {in }}\right]$

为目标匿名会话s_j对应会话图G_j的归一化邻接矩阵, Aoutj, i∶和 Ainj, i∶分别为s_j中对应商品 vij在出度矩阵A^out和入度矩阵Aⁱⁿ中对应的邻接信息列, [· ‖ · ]表示拼接操作.

当前时刻输出状态隐向量

$ \boldsymbol{q}_{j, i}^{t}=\left(\mathbf{1}-z_{j, i}^{t}\right) \boldsymbol{q}_{j, i}^{t-1}+z_{j, i}^{t} \hat{\boldsymbol{q}}_{j, i}^{t}, $

当前时刻候选状态隐向量

$ \hat{\boldsymbol{q}}_{j, i}^{t}=\tanh \left(\boldsymbol{W}_{1} \boldsymbol{a}_{j, i}^{t}+\boldsymbol{W}_{2}\left(\boldsymbol{r}_{t} \odot \boldsymbol{q}_{j, i}^{t-1}\right)\right), $

更新门向量

$ \boldsymbol{z}_{j, i}^{t}=\sigma\left(\boldsymbol{W}_{z, 1} \boldsymbol{a}_{j, i}^{t}+\boldsymbol{W}_{z, 2} \boldsymbol{q}_{j, i}^{t-1}\right), $

用于控制上一时刻状态信息影响当前状态的程度, 重置门向量

$ \boldsymbol{r}_{j, i}^{t}=\sigma\left(\boldsymbol{W}_{r, 1} \boldsymbol{a}_{j, i}^{t}+\boldsymbol{W}_{r, 2} \boldsymbol{q}_{j, i}^{t-1}\right), $

用于控制上一时刻状态信息影响当前候选状态的程度.其中:W_{z, 1}∈ R^{d× d}, W_{z, 2}∈ R^{d× d}, W_{r, 1}∈ R^{d× d}, W_{r, 2}∈ R^{d× d}, W₁∈ R^{d× d}, W₂∈ R^{d× d}为可学习参数矩阵, b∈ R^d为偏置向量, tanh(· )为双曲正切激活函数.

同理, 由于单层GGNN对会话图链接特征的学习能力有限, 因此本文也采用堆叠GGNN的方式进行会话图近邻特征提取.第N₁层GGNN的输出状态矩阵:

$ \boldsymbol{G}^{(e)}=G G N N\left(\boldsymbol{a}^{(e)}\right), $

其中, a^(e)为第n层GGNN的输入矩阵, 且有

$ \boldsymbol{a}^{(0)}=\boldsymbol{a}_{j, i}^{t} .$

对于目标匿名会话s_j, 该层最终输出

$ \boldsymbol{G}_{j}=\left\{\boldsymbol{g}_{1}^{j}, \boldsymbol{g}_{2}^{j}, \cdots, \boldsymbol{g}_{||_{j} \mid}^{j}\right\} .$

接下来, 同样基于堆叠的多头自注意力机制进行去噪和特征提取, 对于目标匿名会话s_j, 输出结果

$ \boldsymbol{L}_{j}=\left\{\boldsymbol{l}_{1}^{j}, \boldsymbol{l}_{2}^{j}, \cdots, \boldsymbol{l}_{i}^{j}, \cdots, \boldsymbol{l}_{\left.\right|_{s_{j}} ^{j}}^{j}\right\} .$

在此过程中, 会话图链接长期特征提取模块从交互历史中学习用户在会话中相对稳定的兴趣, 因此可将最后的潜在特征 lsjj视为用户在当前会话中表现出的长期兴趣.

为了聚合模型学习的商品间时序特征和近邻上下文特征, 采用自适应的门控聚合算法.当前会话s_j中用户对商品v_i表现出的综合兴趣偏好为:

$ \begin{array}{l} \text { Interest }_{i}^{j}=\boldsymbol{\gamma}_{i}^{j} \boldsymbol{f}_{\left|s_{j}\right|}^{j}+\left(\mathbf{1}-\boldsymbol{\gamma}_{i}^{j}\right) \boldsymbol{g}_{\left|s_{j}\right|}^{j}, \\ \boldsymbol{\gamma}_{i}^{j}=\sigma\left(\boldsymbol{W}_{\text {pre }}\left[\boldsymbol{f}_{\left|s_{j}\right|}^{j} \| \boldsymbol{g}_{\left|s_{j}\right|}^{j}\right]+\boldsymbol{b}_{\mathrm{pre}}\right), \end{array}$

其中, γij为平衡用户长短期兴趣的权重, γij越大, 用户的短期兴趣越重要, γij越小, 用户的长期兴趣越重要; W_pre∈ R^{d× d}为可学习参数矩阵, b_pre∈ R^d为偏置向量.

接下来, 通过Softmax函数对推荐得分进行归一化处理, 得到候选商品v_i在会话s_j中下一时刻的预测点击概率:

$ \hat{\boldsymbol{y}}_{i}^{j}=\operatorname{Softmax}\left(\text { Interese }_{i}^{\boldsymbol{j}^{j} \mathrm{v}} \boldsymbol{v}_{i}\right) .$

最后, 取概率最大的K个商品完成推荐.本文通过最小化如下交叉熵损失函数训练模型:

$ \begin{array}{l} \text { Loss }= \\ -\sum_{i=1}^{\left|s_{j}\right|}\left[\boldsymbol{y}_{i}^{j} \ln \left(\hat{\boldsymbol{y}}_{i}^{j}\right)+\left(\mathbf{1}-\boldsymbol{y}_{i}^{j}\right) \ln \left(\mathbf{1}-\hat{\boldsymbol{y}}_{i}^{j}\right)\right]+\lambda\|\boldsymbol{\theta}\|^{2}, \end{array}$

其中, λ 为正则项系数, θ ={W_embedding}为待正则化的参数集合.

为了保证实验的公平性, 选择会话推荐领域的基准公开电商数据集Diginetica、Yoochoose和天猫(Tmall).Diginetica数据集来源于2016年CIKM挑战赛, 包含匿名会话商品点击流数据和商品属性数据, 实验中仅使用商品点击流数据.Yoochoose数据集来源于2015年RecSys挑战赛, 包含商品点击流数据和商品购买记录数据, 实验中仅使用商品点击流数据.由于Yoochoose数据集较大, 并且过多的数据对模型性能的提升帮助较小^[13], 因此本文仿照相关工作^{[37, 38, 39, 40]}, 根据时间戳记录截取最近1/64的数据进行实验.Tmall数据集来源于2015年IJCAI挑战赛, 包含大量天猫电商平台上的匿名用户购物日志记录.同样地, 由于Tmall数据集中的商品数量过多, 仿照相关工作^[41], 根据时间戳记录截取最近1/64的数据进行实验.实验选用数据集的统计指标如表1所示.

表1

Table 1

表1(Table 1)

表1 实验数据集部分统计指标 Table 1 Some of statistical indexes of experimental datasets 统计指标 Diginetica Yoochoose 1/64 Tmall 1/64 商品点击数量 989204 507720 905213 会话总数量 204062 120354 69214 商品总数量 42172 8776 50455 平均会话长度 4.85 6.16 13.07

表1 实验数据集部分统计指标 Table 1 Some of statistical indexes of experimental datasets

参考相关工作的实验部分^{[37, 38, 39, 40]}, 本文在预处理时过滤2个数据集中出现次数小于5的商品, 并过滤仅包含1个商品的会话.对于Diginetica、Yoochoose数据集, 先以时间顺序对各会话进行排列, 然后按照80%、10%和10%的比例依次划分训练集、验证集和测试集.此外, 为了验证RAGGNN能有效缓解推荐的冷启动问题, 对于Tmall数据集, 先以时间顺序对各会话进行排列, 然后按照60%、20%、20%的比例依次划分训练集、验证集和测试集.受相关工作中数据增强技术的启发^[13], 采用序列增强的方式扩充训练集, 增强模型的学习能力.举例来说, 对于会话

$ s_{j}=\left\{v_{1}^{j}, v_{2}^{j}, \cdots, v_{i}^{j}, \cdots, v_{\left|s_{i}\right|}^{j}\right\}, $

可依次生成一系列子会话及其对应的目标预测商品:

$ \begin{array}{l} \left(\left[v_{1}^{j}\right], v_{2}^{j}\right), \left(\left[v_{1}^{j}, v_{2}^{j}\right], v_{3}^{j}\right), \cdots, \\ \quad\left(\left[v_{1}^{j}, v_{2}^{j}, \cdots, v_{\left|s_{i}\right|-1}^{j}\right], v_{\left|s_{i}\right|}^{j}\right) . \end{array}$

参考会话推荐的相关工作^{[21, 42, 43]}, 本文将嵌入编码维度设置为100, 使用Adam优化器^[44], 学习率设定为0.001, 最大会话长度设定为20.此外, 在{1, 2, 3}中搜寻最佳堆叠层数, 在{1, 2, 4}中搜寻最佳注意力头数, 在

$ \{0.005, 0.0005, 0.00005, 0.000005\}$

中搜寻最佳正则项系数.

为了探索模型参数量对于推荐性能的影响, 在{128, 256, 512}中对嵌入编码维度进行实验.为了缓解模型训练过程中的过拟合问题, 使用神经元失活率为20%的暂退法(Dropout)和提前停止策略(Early Stop):当平均倒数排序(Mean Reciprocal Rank, MRR), 即MRR@20在连续五轮训练中没有提升的情况下提前停止训练.

为了保证实验的公平性, 参照各基线模型的实验结果设置相应的最佳参数.

实验选取精准度(Precision)、命中率(Hit Rate, HR)、MRR和归一化折损累计增益(Normalized Discounted Cumulative Gain, NDCG)这4个指标评估模型性能.

Precision指标表示预测为用户感兴趣的商品中, 有多少是用户真正感兴趣的商品, 公式如下:

$ \text { Precision }=\frac{1}{M} \sum_{i=1}^{M}\left(\frac{\text { hit_num }(i)}{\operatorname{rec}(i)}\right) \text {, }$

其中, M表示测试集中的商品数量, hit_num(i)表示正确为用户i推荐的商品数量, rec(i)表示向用户i推荐的商品总数量.

HR指标表示在推荐列表中的商品包含多少用户感兴趣的商品, 公式如下:

$ H R=\frac{1}{M} \sum_{i=1}^{M} \operatorname{hit}(i) \text {, }$

其中, hit(i)表示是否成功为用户推荐符合个性化兴趣的商品, 若为用户进行准确的推荐, hit(i)=1, 否则hit(i)=0.

考虑到用户可能对推荐列表的前几个商品更感兴趣, 因此, 引入MRR和NDCG.MRR指标反映目标用户感兴趣的商品是否排在更靠前的位置, 公式如下:

$ \text { MRR@} K=\frac{1}{N} \sum_{n \in N} \sum_{\operatorname{rank}(i)< k}^{K}\left(\frac{1}{\operatorname{rank}(i)}\right), $

其中, N表示测试集上的商品数量, rank(i)表示商品i在Top-K推荐列表中的位次.

NDCG指标也是考虑推荐列表中的商品排序是否更符合用户偏好, 公式如下:

$ N D C G @K=\frac{1}{N} \sum_{n \in N} \sum_{i=1}^{K}\left(\frac{2^{\text {rel }(i)}-1}{\log _{2}(1+i)}\right) \text {, }$

其中, rel(i)表示第i个位次上的推荐商品是否出现在候选商品集合中, 若是, rel(i)=1, 否则, rel(i)=0.

4个性能评估指标均在[0, 1]上取值, 数值越大, 表示推荐系统的推荐精准度越高.考虑到大多数情况下, 用户仅会浏览首页的推荐结果, 因此参照相关工作^{[15, 16, 21, 42, 43, 45]}, 设置K=20.

受到会话推荐领域相关工作的启发, 选择14种基准模型进行性能对比.按照基准模型使用的核心算法, 可划分为如下3类.

1)传统机器学习算法.

(1)基于商品流行度的启发式算法(本文简记为POP).向用户推荐流行度最高的商品, 简单易行, 广泛应用于实际业务场景, 并在某些场景下具有一定竞争力.

(2)文献[46]模型.向用户推荐与当前点击商品最相似的K个商品, 使用余弦相似度进行度量.

2)基于RNN或注意力机制的模型.

(1)文献[9]模型.基于GRU进行会话推荐的模型, 采用基于排序的损失函数.

(2)NARM^[15].分别基于GRU和加性注意力机制捕捉商品间的全局特征与局部特征, 拼接后通过双线性相似度函数推断用户偏好.

(3)STAMP^[16].完全基于注意力的会话推荐模型, 通过加性注意力机制学习各商品特征.

(4)CL4SRec(Contrastive Learning for Sequential Recommendation)^[47].使用多种数据增强技术构建自监督信号, 设计基于对比学习的多任务学习框架进行序列推荐.

(5)DuoRec^[48].采用对比正则化技术, 缓解序列推荐系统中的商品嵌入编码退化问题.

(6)CORE(Consistent Representation Space)^[49].基于独特的编码器和具有鲁棒性的距离测度方法, 将会话与商品嵌入表征统一到相同特征隐空间中.

3)基于图神经网络机制.

(1)SR-GNN^[21].先将原始会话序列转换为会话图, 再通过GGNN根据商品节点的出度和入度矩阵学习商品特征.

(2)GC-SAN^[22].先基于GGNN捕捉商品间的局部近邻关系, 再基于自注意力块捕捉商品间的全局依赖关系.

(3)TAGNN(Target Attentive GNN)^[42].自适应激活不同用户对不同目标商品的兴趣.

(4)LESSR(Lossless Edge-Order Preserving Aggre-gation and Shortcut Graph Attention for Session-Based Recommendation )^[45].保留时序信息的会话图, 结合快捷图注意力网络学习商品特征.

(5)NISER(Normalized Item and Session Representations Model)^[50].对商品编码进行正则化, 提升模型的长尾推荐能力, 还基于位置编码学习商品的时序特征.

(6)SGNN-HN(Star GNN with Highway Net-works)^[51].提出星型会话图, 设计高效读出函数, 应对图神经网络的过拟合问题, 还考虑商品的位置编码.

SR-GNN、GC-SAN和TAGNN忽略商品的时序特征, NISER和SGNN-HN采用简单的位置编码学习商品的时序特征, LESSR基于保留时序信息的会话图学习商品的时序特征.

各模型对比实验结果如表2所示, 表中黑体数字表示最优值, 斜体数字表示次优值.由表可见, 基于传统机器学习的POP和文献[46]模型性能较差, 这是因为两种模型仅根据商品流行度和商品间的相似度为用户生成推荐结果, 未考虑商品间深层、复杂的关联关系.

表2

Table 2

表2(Table 2)

表2 各模型在3个数据集上的对比实验结果 Table 2 Result comparison of contrast experiment among different models on 3 datasets % 模型 Diginetica@20 Yoochoose 1/64@20 Precision HR MRR NDCG Precision HR MRR NDCG POP 0.08 1.58 0.35 0.61 0.65 12.77 3.39 5.38 文献[46]模型 1.98 39.03 12.91 18.63 2.20 42.80 18.62 23.97 文献[9]模型 2.41 48.22 16.99 23.90 3.27 65.29 29.07 37.45 NARM 2.59 51.76 18.83 26.13 3.39 66.88 30.24 39.13 STAMP 2.37 47.43 17.29 23.96 3.24 64.86 30.32 37.93 SR-GNN 2.56 51.11 18.54 25.75 3.39 67.79 30.44 38.97 GC-SAN 2.60 51.95 19.52 26.72 3.44 68.74 31.02 39.64 NISER 2.69 53.74 20.35 27.76 3.45 69.07 31.45 40.45 TAGNN 2.62 52.35 19.62 26.90 3.46 69.14 31.24 39.91 SGNN-HN 2.63 52.66 19.43 26.81 3.38 67.60 30.62 39.07 LESSR 2.70 53.92 20.44 27.89 3.44 68.70 31.63 40.13 CL4SRec 2.50 49.91 18.41 25.39 3.34 66.81 30.71 38.96 DuoRec 2.62 52.37 19.20 26.55 3.40 68.05 31.18 39.60 CORE 2.66 53.25 20.45 27.75 3.34 66.84 29.01 37.64 RAGGNN 2.71 54.13 20.88 28.29 3.49 69.70 32.04 40.67 提升值 0.01 0.21 0.43 0.4 0.03 0.56 0.41 0.22

表2 各模型在3个数据集上的对比实验结果 Table 2 Result comparison of contrast experiment among different models on 3 datasets %

所有基于神经网络模型的性能都超越传统机器学习算法, 从而验证深度学习技术在会话推荐中的有效性.文献[9]模型通过学习商品间的时序关联关系, 相比传统机器学习算法, 性能有大幅提升.NARM进一步采用加性注意力机制, 有效过滤会话中存在的噪声信息, 获得更高的推荐精准度.CORE统一编码和解码特征表示空间的策略, 增强模型对商品特征的学习能力.CL4SRec采用掩码、裁剪、重排等多种数据增强方法扩充训练数据, 并通过捕捉会话级的对比信号实现精准推荐.DuoRec基于对比正则化策略, 更好地保留会话中的语义特征, 实现对商品特征表征分布的优化.

GNN的优势在于突破序列数据结构的局限, 并且因为在模型训练时需要按照批次进行处理, 所以同个批次中的会话序列通常会被构建为一个局部会话图, 使模型在推荐时可从邻域范围中学习来自其它会话或是当前会话中商品间的非时序近邻上下文关系.因此, 在大多数情况下, SR-GNN和GC-SAN性能高于基于RNN或注意力机制的模型, 这得益于自适应地激活用户对不同商品的独特兴趣, TAGNN进一步获得更强的精准推荐能力.

然而, SR-GNN、GC-SAN和TAGNN都忽略商品间的时序信息, 推荐精准度还存在较大的提升空间.NISER、SGNN-HN和LESSR通过多种策略挖掘隐藏在商品时序转换间的用户兴趣, 具备较强的竞争力.

从噪声过滤的角度上分析, 由于用户的误操作或一些特殊的行为习惯, 历史行为记录中往往存在噪声信息.噪声信息会误导模型学习到虚假的用户兴趣, 导致推荐精确度的降低.注意力机制可使模型更关注对推荐结果有重要影响的部分, 从而减少对噪声敏感的用户行为产生的负面影响.通过动态调整注意力权重, 模型可更聚焦于反映用户兴趣偏好的商品交互行为, 同时减少对噪声记录的过度关注.对比文献[9]模型、NARM、SR-GNN和GC-SAN的结果, 无论是加性注意力还是自注意力机制, 都能有效过滤用户行为记录中的噪声.然而, 加性注意力作为一种浅层模型, 仅能过滤部分噪声信息.自注意力机制可帮助模型进行全局的特征交互, 更好地理解不同特征之间的关系.同时, 自注意力机制可结合残差连接、暂退法等策略进行堆叠, 进一步提升去噪能力, 增强模型的鲁棒性.此外, 无论是商品间的时序特征关联关系, 还是近邻上下文特征关联关系, 都充斥大量噪声.受此启发, RAGGNN引入自注意力机制, 并且双侧的自注意力提供更强的噪声过滤能力, 使学习的用户兴趣更具有表现力.

然而, 完全基于注意力机制的STAMP将会话视为不具有顺序关系的交互集合, 难以充分学习商品间的时序关联关系和上下文关联关系, 导致推荐精准度甚至低于文献[9]模型和SR-GNN.

总之, RAGGNN基于集成学习思想, 分别基于RNN和GNN捕捉商品间的时序关系与近邻上下文特征, 充分考虑商品间不同的关联关系中隐藏的不同用户兴趣, 因此获得强大的精准推荐能力.

冷启动问题为推荐系统在实际业务场景中的应用带来重大挑战.因此, 本节基于Tmall数据集进行实验, 并使用更少的训练集模拟冷启动场景, 探索各对比模型的推荐精准度变化.在基准模型的选取上, 基于对比实验结果, 选择3个具有竞争力的模型:LESSR、CL4SRec和DuoRec.

各模型冷启动实验结果如表3所示, 表中黑体数字表示最优值, 斜体数字表示次优值.由表可见, RAGGNN获得具有竞争力的结果, 相比其它基准模型, 在4个度量指标上均获得较大提升.这是因为RAGGNN在学习用户的个性化兴趣时, 既考虑动态多变的时序短期兴趣, 也考虑稳定多元的近邻上下文长期兴趣.LESSR虽然也考虑两种用户兴趣, 但是采用迭代优化的方式会造成不同类型兴趣的纠缠, 导致模型难以学习到真正的综合兴趣.CL4SRec和DuoRec均采用对比学习的方式, 从会话序列中捕捉用户兴趣, 这会导致模型过度依赖行为顺序信息, 从而被商品间的虚假依赖关系误导, 导致推荐结果的准确度较低.

表3

Table 3

表3(Table 3)

表3 各模型冷启动实验结果对比 Table 3 Result comparison of cold-start test of different models % 模型 Precision HR MRR NDCG LESSR 2.55 51.02 29.24 34.30 CL4SRec 1.33 26.67 16.45 18.77 DuoRec 2.08 41.61 22.58 26.94 RAGGNN 2.63 52.66 30.21 35.42 提升值 0.08 1.6 0.97 1.12

表3 各模型冷启动实验结果对比 Table 3 Result comparison of cold-start test of different models %

从数据集的特征上分析, 相比其它两个国外电商数据集, Tmall数据集虽然用户数量最少, 但是具有更长的平均会话长度.这说明中国在线用户更活跃, 能为平台提供更多的用户反馈信息, 使推荐系统更容易推断用户的兴趣偏好.此外, 可观测到Tmall数据集具有最多的商品数量, 在为用户提供广泛选择范围的同时, 也为精准推荐带来更大挑战.出于用户隐私政策的限制, 所有的信息均以匿名化形式呈现, 无法获得较多的用户侧信息.因此, 在会话推荐场景下, 对推荐系统的学习能力提出更高的要求.

总之, 冷启动实验结果表明RAGGNN具有较好的鲁棒性.即使在用户历史记录较少时, 仍能学习具有表现力的兴趣特征, 并将挖掘的知识运用于推断未出现在训练集上的用户兴趣, 具有较好的泛化能力.

为了验证RAGGNN各模块的有效性, 进行如下两组对照实验, 第1组实验可检验时序信息和注意力机制去噪的有效性, 第2组实验可检验门控聚合机制的有效性.

由于SR-GNN和GC-SAN已分别证实自注意力机制可增强GGNN的有效性, 因此对于第1组消融实验, 设置如下两种变体.

1)RAGGNN-RNN:移除RNN后的自注意力层.

2)RAGGNN-noise:移除GNN和RNN之后的自注意力层.

第1组消融实验结果如图2(a)所示, 在该组实验中, 仅对各变体模型结构进行相应调整, 并使用与RAGGNN一致的参数.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 两组消融实验结果Fig.2 Ablation experiment results of 2 groups

结合基准模型对比实验结果和本组消融实验结果可发现, RAGGNN性能表现最佳.正如2.3节中分析, SR-GNN和GC-SAN的对比体现注意力机制对GNN学习结果的明显提升作用.同时还观察到, RAGGNN-RNN的性能优于GC-SAN, 这说明在会话推荐中, 商品间的时序关系也是重要的信息源之一, 仅考虑商品间的会话图近邻信息难以精确捕捉用户兴趣.

此外, 对比RAGGNN-noise和RAGGNN的结果可发现, 当RAGGNN使用去除RNN和GNN后的注意力机制时, 模型性能下滑较严重, 这表明会话中存在的噪声信息会使模型错误学习商品间的虚假关联关系, 导致推荐的精准度较低.

综上所述, 在进行会话推荐时不仅需要考虑到多种特征, 还有必要对其进行噪声过滤, 才能精准学习真实的用户兴趣.

为了研究不同聚合模型对模型性能的影响, 在第2组消融实验中, 提出如下两种变体.

1)RAGGNN-avg:采用均值算法融合商品间的时序特征和会话图近邻特征.

2)RAGGNN-FFN:采用单层前馈神经网络融合商品间的时序特征和会话图近邻特征.

第2组消融实验结果如图2(b)所示, 在该组实验中, 未改动模型的框架结构和参数配置, 仅采用不同的特征聚合方式.

由图2(b)可见, 使用均值聚合算法的RAGGNN-avg性能最优, 其次是使用门控机制的RAGGNN, 表明简单的融合算法已足够学习用户在会话中表现出的综合兴趣.由于已进行充分的噪声过滤, 再增加模型深度会导致严重的过拟合问题, 因此RAGGNN-FFN的推荐精确度较低.RAGGNN之所以未采用均值聚合算法融合模型学习的去噪时序特征和近邻上下文特征, 是考虑到简单均值的泛化能力可能较弱, 很可能在不同的数据集上性能波动较大, 此时很可能会仿照GC-SAN的实验部分, 引入额外的权重参数进行调整.而门控机制的聚合权重完全由模型根据当前数据自主学习得到, 具有较强的自适应能力, 同时避免引入更多的超参数.此外, 门控机制可增强推荐结果的可解释性, 帮助判断用户在会话中的兴趣受到何种特征的影响较大.

本节分别探索RNN和GNN的堆叠层数、RNN侧和GNN侧自注意力机制的堆叠层数和头数、正则项系数和嵌入编码维度对推荐精准度的影响, 具体实验结果如表4所示.

表4

Table 4

表4(Table 4)

表4 超参数对模型性能的影响 Table 4 Effect of hyperparameters on model performance 名称 数值 Diginetica Yoochoose 1/64 HR@20/% MRR@20/% HR@20/% MRR@20/% RNN堆叠层数 1 2 3 54.13 53.60 53.99 20.88 20.72 20.89 69.58 69.70 69.57 32.03 32.04 32.03 GNN堆叠层数 1 2 3 54.13 54.03 53.80 20.88 20.75 20.63 69.58 69.56 69.33 32.03 32.02 32.06 RNN侧自注意力块头数 1 2 4 53.70 54.13 53.79 20.79 20.88 20.77 69.58 69.51 69.45 32.03 31.93 31.95 GNN侧自注意力块头数 1 2 4 54.09 54.13 53.72 20.92 20.88 20.74 69.58 69.40 69.38 32.03 31.99 31.96 RNN侧自注意力块堆叠层数 1 2 3 54.13 53.75 53.83 20.88 20.79 20.83 69.58 69.49 69.61 32.03 31.98 31.93 GNN侧自注意力块堆叠层数 1 2 3 54.13 53.36 53.87 20.88 20.68 20.60 69.58 69.51 69.39 32.03 32.03 32.06 正则项系数 0.000005 0.00005 0.0005 0.005 54.00 54.13 53.96 54.00 20.76 20.75 20.76 20.75 71.13 71.44 71.17 71.14 32.63 32.75 32.68 32.62 嵌入编码维度 64 100 128 256 53.93 53.98 53.89 52.76 20.57 20.75 20.75 20.05 71.17 71.44 71.21 70.78 32.80 32.75 32.53 32.24

表4 超参数对模型性能的影响 Table 4 Effect of hyperparameters on model performance

在RNN和GNN的堆叠层数实验中可发现, 随着堆叠层数的增加, HR@20和MRR@20指标出现小范围波动, 意味着较多层数的RNN和GNN不一定有助于提升模型性能, 反而可能会带来更严重的过拟合问题.在实验中还观察到, 堆叠RNN虽然可能会提升模型的推荐准确度, 如在Yoochoose数据集上堆叠两层RNN会带来更高的推荐精准度, 但是待训练参数量也会随之快速增加.因此, 如何权衡计算复杂度和推荐性能之间的关系, 仍值得进一步研究.

在注意力机制的头数实验中可发现, 适当增加注意力机制的头数有助于提升模型性能, 但是头数并非越多越好.例如:在Diginetica数据集上的实验中, 相比未使用多头机制(头数为1), 头数为2的多头注意力机制可在一定程度上提升模型性能.但是, 当头数增至4时, 模型性能并没有随之继续提升.根据多头机制的原理, 不同的注意力头可从不同的特征子空间学习商品间潜在的隐性关系, 因此适当增加注意力头数时, 性能会有所提升.但是模型在学习的过程中可能会出现偏差, 而过多的注意力头可能会导致偏误量增加, 并在接下来的聚合过程中积累更多的偏误, 导致模型性能降低.

在注意力机制的堆叠层数实验中, 在2个数据集上均可观察到如下现象.综合来看, 一层多头注意力机制的性能最佳, 堆叠三层的性能次之, 堆叠两层的性能相对较差.经分析, 这可能是由于模型在相对浅层的结构下即可拥有较强的特征学习能力, 过深的结构会带来更严重的过拟合问题, 导致推荐精准度的降低.

在正则项系数的实验中, 当正则化系数从0.000 005提至0.00 005时, 推荐精确度有所提升.然而, 随着正则化系数的进一步增加, 推荐的精确度有所降低.恰当的正则项系数可有效缓解过拟合问题, 提升模型的鲁棒性.然而, 过大的正则项系数会导致模型在学习过程中忽略一些重要的特征, 无法充分从行为记录中学习稳定的兴趣偏好表示, 限制模型的泛化能力.因此, 有必要根据用户行为记录数据分布的特点, 调整正则项系数.

在嵌入编码维度的实验中, 当维度从64提升到100时, 推荐精确度有所提高.然而, 当维度继续增加时, 推荐精确度反而持续降低.上述结果表明, 在一定范围内, 增加嵌入编码维度有助于提升模型的表征学习能力.对于本文而言, 适当增加嵌入维度可使模型从更多方面学习用户兴趣, 提升推荐精准度.然而, 过多的嵌入维度不仅会带来更大的计算开销, 显著提升模型的复杂度, 还会带来严重的过拟合问题, 限制模型对用户兴趣的学习能力.因此, 需要找到合适的嵌入编码维度, 权衡推荐精确度和模型复杂度.

总之, RAGGNN具有较强的稳健性, 性能不会因为部分参数的改动而产生较大波动.

为了更直观了解商品间的时序特征和会话图近邻特征, 本文随机选取数据集上5个匿名会话, 根据不同模型的学习结果进行点击率预测, 并进行热力图可视化展示, 具体如图3所示.图中每个方格表示当前所属会话中的一个商品, 颜色越深的方格表示该商品在会话中的目标特征越显著, 方格下面的坐标表示对应商品在相应会话中的ID, 越左侧的方格表示越早被用户点击的商品.对图中使用的模型说明如下.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 不同会话中商品的时序特征和近邻上下文特征的热力图可视化结果Fig.3 Visualization results of heat maps of temporal and contextualized feature for products in different sessions

1)未过滤噪声的时序特征:仅基于BLSTM的学习结果进行点击率预测, 即仅根据未过滤噪声的时序特征进行推荐.

2)未过滤噪声的上下文近邻特征:仅基于GG-NN的学习结果进行点击率预测, 即仅根据未过滤噪声的会话图近邻特征进行推荐.

3)过滤噪声后的时序特征:基于BLSTM和对应自注意力块进行点击率预测, 即根据过滤噪声后的时序特征进行推荐.

4)过滤噪声后的上下文近邻特征:基于GGNN和对应自注意力块进行点击率预测, 即根据过滤噪声后的会话图近邻特征进行推荐.

5)过滤噪声后的融合特征:基于RAGGNN进行点击率预测, 即根据过滤噪声后的融合特征进行推荐.

结合图3的可视化结果分析后, 可得到如下结论.

1)注意力机制可有效去除数据中的噪声, 提高模型的特征学习能力.

对比各会话中过滤噪声前后的推荐结果可知, 推荐系统学习的用户兴趣发生明显变化.例如, 对于时序特征:在图3(a)中, 推荐系统认为用户会对商品15602感兴趣; 而在过滤噪声后, 推荐系统认为商品15600比商品15602更能吸引用户的注意力.

从近邻上下文特征角度也可观察到相似现象.例如:在图3(e)中, 近邻上下文特征分布的峰值出现在会话中后期, 然而在过滤噪声之后, (e)中会话106714的可视化结果显示, 近邻上下文特征主要分布区域偏移至会话中前期.

类似的现象表明, 无论是原始的时序特征还是近邻上下文特征, 都存在不同程度的噪声, 这些无关信息可能会使模型难以学习真实的用户兴趣.尤其是在去噪前后具有较大幅度变化的会话, 变动幅度越大, 说明会话中的噪声信息越多.因此, 在实际业务场景下设计会话推荐系统时, 应当重点关注去噪算法, 提高推荐结果的精准度.

2)在大多数情况下, 相比会话中部和头部商品, 会话尾部商品的时序特征更重要.

除了会话17427之外, 最后一两个方格的颜色都较深, 这说明相应会话的最后一两个商品表示的时序特征较明显, 尤其在过滤噪声后, 携带重要时序特征的商品发生明显后移.

类似现象表明简单地将当前会话中用户交互的最后一个商品视为用户的短期兴趣在一定程度上是合理的.从普通序列推荐与会话推荐差异的角度上看, 目标用户过于久远的商品交互历史对于精准推荐的效用可能较低, 在电商推荐的场景下尤为明显.相关平台企业应当更关注用户的当前兴趣, 并适当考虑短期内用户浏览过的商品.

3)具有明显近邻上下文特征的商品具有多变性.

首先, 近邻上下文特征更明显的商品不一定固定出现在会话的某个部分.例如:在图3(b)的会话104669中, 颜色较深的方格出现在会话前期, 这说明用户在会话刚开始时, 就发现很感兴趣的商品, 并且用户对相关商品的兴趣保持较长时间; 在(c)的会话63336中, 颜色较深的方格出现在会话中后期, 这表明用户在经历一段时间的浏览后, 发现很感兴趣的商品, 但用户对相关商品的兴趣衰减较快; 在(e)的会话106714中, 颜色较深的方格分别出现在会话的前中期和末期, 这表明用户在经历一段时间的浏览后, 找到感兴趣的商品, 但是该商品并未表现足够的吸引力, 于是用户对此类商品的兴趣发生快速衰减, 又经过一段时间的浏览之后, 用户对其它商品产生兴趣.

其次, 具有吸引力的商品很可能会连续出现.例如:在图3(b)的会话104669中, 用户很可能在浏览完商品16071后发现非常感兴趣的商品16064, 并在此之后查看与此前商品弱相关的商品15928.

从商品相关性的角度分析, 在捕捉到用户兴趣时为其推荐与当前商品高相似度的商品在一定程度上是合理的, 因为用户可能在浏览惯性的作用下持续点击此类商品.这从一定程度上解释文献[46]模型虽然基于朴素的相似度度量和聚类算法, 但具有相当强的竞争力的原因.

同时也应当注意到, 电商平台不能仅推荐与用户当前交互商品高度相似的商品, 否则可能会引起用户对此类商品兴趣的快速衰减.例如:在图3(e)的匿名会话106714中, 用户可能在连续点击较相似的3个商品后, 出现审美疲劳, 并转而浏览其它商品.

4)时序特征与近邻上下文特征是不同角度下的特征, 需要注意辨识.

从特征区分的可视化结果上看, 时序特征与近邻上下文特征显然是两种不同角度下的特征, 该现象在图3(a)、(b)、(e)中表现得尤为明显.因此, 在设计会话推荐系统时, 应当对不同特征加以区分, 而不能简单地一概而论.

从特征融合的可视化结果上看, RAGGNN可自动调整时序特征和近邻上下文特征的权重占比, 有效实现不同角度下特征间的自适应融合.例如:在图3(a)的会话17427中, 商品15600表现更强的近邻上下文特征, 而商品15602则表现更强的时序特征.然而, RAGGNN认为商品15600确实表现更强的近邻上下文特征, 但是商品15602并不具有很强的时序特征.

类似的现象可以说明, RAGGNN可精准识别不同商品在会话序列中表现的不同特征, 并据此推断用户真正的兴趣偏好, 推荐更具有吸引力的商品.