受异质图神经网络模型在推荐系统领域成功应用^[22]的启发, 本文采用异质图神经网络捕捉用户和新闻之间的高阶关系.主题信息有助于更好地表示用户兴趣, 并减轻用户-新闻交互的稀疏性, 因此本部分首先采用LDA(Latent Dirichlet Allocation)^[23]获取主题分布, 随后构建一个包含用户完整浏览历史的用户-新闻-主题异质图.使用图卷积网络学习用户和新闻的嵌入, 在图上传播嵌入, 对用户与新闻之间的高阶信息进行编码.

如图2所示, 异质图G=(V, R)包含节点集合V和边集合R.在本文中, 节点集合V={V_u, V_d, V_t}, 包括用户节点集合V_u、新闻节点集合V_d和主题节点集合V_t.本文的边集合通过如下方式连接:若用户u_i浏览新闻d_j(即x_ij=1), 则用户u_i和新闻d_j之间有边, 新闻d_j与它的主题t_k相连.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 用户-新闻-主题异质图Fig.2 User-news-topic heterogenous graph

本文采用GNN捕获用户和新闻之间的高阶关系, 计算以用户为中心节点单层GNN的一般步骤如下.首先聚集用户的邻居节点, 将不同类型的邻居节点映射到同一空间, 通过GNN更新中心节点表示:

E_u=ReLU(W· (Mean(M· E_v))+b), (1)

其中, ReLU(· )表示ReLU激活函数, Mean(· )表示均值聚合函数, M表示将不同类型的节点转换到同一空间的可训练变换矩阵, W、b表示GNN层的权重矩阵和偏差, E_v表示中心节点E_u的邻居节点表示.同样地, 按照上述过程可得到新闻的特征表示E_n和主题的特征表示E_t.

再计算与用户相邻新闻的线性平均组合:

E_N= 1|N(u)|∑d∈N(u)W_n· n,

其中, n表示与用户u相邻新闻的表示, 可随机初始化, W_n表示新闻可训练转换矩阵, 映射到用户嵌入空间, N(u)表示与用户直接相连的新闻集合.

然后通过邻居节点嵌入对用户长期兴趣嵌入进行更新:

u_l=ReLU(W_l.E_N+b_l),

其中, ReLU(· )表示ReLU激活函数, W_l、b_l分别表示第1层GNN的转换权重和偏差.

用户长期兴趣的最终嵌入表示只与用户直接相连的邻居相关, 即用户浏览过的新闻.为了捕获用户和新闻之间的高阶关系, 可将GNN从一层扩展到多层.如图1左侧用户长期兴趣模块所示, 二阶的用户嵌入先通过式(1)均值聚合用户表示和主题表示, 得到与用户直接相邻的新闻表示n, 再均值聚合新闻表示n, 得到用户的二阶特征表示u_l.

短期兴趣在用户兴趣建模中具有重要作用^{[19, 20]}.图3列举某用户在一段时间内阅读新闻的标题序列, 用户在时刻 tj-5阅读一篇关于“ 北京冬奥会开幕式” 的新闻, 在时刻 tj-4阅读关于自己持续关注的“ 樊振东” 的新闻, 在时刻 tj-3阅读“ 谷爱凌在冬奥会上再获冠军” 的新闻, 而接下来分别阅读关于“ 世界卫生日” 和“ 新冠疫情” 的新闻, 之后再一次阅读关于“ 北京冬奥会” 的新闻.由图可看出, 用户近期阅读的6篇新闻中包含3篇关于“ 北京冬奥会” 的新闻, 显然该用户暂时被这个事情吸引, 即用户的短期兴趣.现有的短期兴趣建模方法大多采用LSTM或GRU进行编码, 将近期阅读的每条新闻看成同等重要, 但显然用户在时刻 tj-1阅读的新闻不如时刻 tj-3、 tj-4阅读的新闻包含的信息丰富.Transformer由于其强大的编码能力, 已成功应用于自然语言处理领域的很多任务^[22], 内部包含的多头注意力机制能有效提取重要的信息.因此在该部分本文采用Transformer对用户短期兴趣进行建模.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 用户阅读新闻的标题序列Fig.3 Title sequence of news read by user

Transformer的编码器由多块串联组成, 其中每块由多头注意力机制和前向反馈神经网络组成^[24].基于Transformer的用户短期兴趣编码结构如图4所示.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 基于Transformer的用户短期兴趣建模结构图Fig.4 Structure of user’ s short-term interest modeling based on Transformer

以用户u最近浏览的新闻{d_{u, n-m+1}, d_{u, n-m+2}, …, d_{u, n}}的特征表示矩阵

r¯=[r_{u, n-m+1}, r_{u, n-m+2}, …, r_{u, n}]∈ R^{m× k’}

为Transformer输入.Transformer每个模块的计算步骤如下.

Transformer中多头注意力机制通过3个矩阵实现, 即查询矩阵Q、键矩阵K和值矩阵V.首先将新闻的特征表示进行如下变换:

Q_i=ReLU( r¯· WQi), K_i=ReLU( r¯· WKi), Vi₌ReLU ( r¯· WVi)

其中, WQi∈ Rk'×dk, WKi∈ Rk'×dk, WVi∈ Rk'×dk表示第i头的权重矩阵.经过多头注意力机制, 可得近期阅读新闻的特征表示:

$\begin{array}{l} \boldsymbol{Z}_{\text {mul }}=\operatorname{Concat}\left(\boldsymbol{Z}_{i}\right) \cdot \boldsymbol{W}^{0}, i=1, 2, \cdots, \text { head, } \\ \boldsymbol{Z}_{i}=\operatorname{Softmax}\left(\frac{\boldsymbol{Q}_{i} \cdot \boldsymbol{K}_{i}^{\mathrm{T}}}{\sqrt{d_{k}}}\right) \boldsymbol{V}_{i}, \end{array}$

其中, head表示注意力头数, Z_i表示第i个注意力头, Concat(· )表示拼接操作, W^O表示附加的权重矩阵.接下来进行求和与层归一化:

o=Normalize（Z_mul+ r¯）.

随后将o传递到前馈神经网络, 再次进行求和与层归一化操作.

Transformer包含N层这样的操作, 每层的输出作为下一层的输入.最终得到用户最近浏览新闻的隐藏表示:

H=[h_n-m+1, h_n-m+2, …, h_n].

然后采用注意力网络进一步获取用户的短期兴趣表示u_s.

候选新闻建模与用户长期兴趣建模相似, 采用GNN捕捉用户和新闻之间的高阶关系, 不同的是本模块把候选新闻当作中心节点, 先通过式(1)均值聚合相邻的新闻嵌入, 得到与候选新闻直接相邻的用户嵌入u和主题嵌入t, 再聚合用户嵌入u和主题嵌入t, 得到候选新闻的二阶嵌入表示:

d˜u= 1|U(z)|∑u∈U(z)W_u· u+ 1|T(z)|∑t∈T(z)W_t· t,

其中, W_u表示用户可训练转换矩阵, W_t表示主题可训练转换矩阵, 将它们从不同的空间映射到相同的候选新闻嵌入空间, U(z)、T(z)分别表示与候选新闻直接相连的用户集合和主题集合.

现有的基于长短期兴趣的新闻推荐模型往往将长期兴趣和短期兴趣进行拼接以表示用户兴趣, 但用户长期兴趣和短期兴趣在用户兴趣建模时重要程度不一定相同.因此, 本文提出长短期兴趣感知的点击预测方法, 更准确地预测用户新闻点击.首先通过候选新闻嵌入 d˜u和用户的长期兴趣嵌入u_l之间的相关性计算长期兴趣相关性评分:

y︿l=u_l· d˜u.

然后通过

y︿s=u_s· d˜u

计算候选新闻 d˜u与用户短期兴趣u_s之间的相关性.统一的点击分数 y︿为两个分数的线性组合:

y︿=α y︿l+(1-α ) y︿s, (2)

其中α 表示一个可学习的参数.

令

X=（u, d˜u, y）

表示一个训练样本, 其中, d˜u表示用户u的候选新闻, y表示用户u是否会点击候选新闻 d˜u, 若用户点击 d˜u, 则y=1, X称为正样本, 否则y=0, X称为负样本.本文从用户浏览新闻历史中选择正样本, 从用户从未点击的新闻中随机选择等量的负样本, 平均每位用户的正负样本数约为4. y︿∈ [0, 1]表示模型预测用户u点击候选新闻 d˜u的概率.本文采用交叉熵损失函数训练本文模型:

L=-{ ∑X∈△+y ln y︿+ ∑X∈△-(1-y)ln(1- y︿)},

其中, △ ⁺表示正样本集, △ ^-表示负样本集.此外, 本文对使用注意力机制的权重参数进行L2正则化处理, 防止过拟合.

本文实验使用挪威新闻门户网站的真实数据集Adressa^[25], 数据集情况如表1所示.Adressa数据集分为2个数据子集:Adressa-1week和Adressa-10weeks.Adressa-1week数据集包含一周(从2017年1月1日至2017年1月7日)内用户浏览新闻的数据, Adressa-10weeks数据集包含10周(从2017年1月1日至2017年3月31日)内用户浏览新闻的数据.Adressa是一个基于事件的数据集, 对于每个事件, 本文使用如下7个属性:会话开始、会话结束、用户ID、新闻ID、时间戳、标题和概要文件, 用于生成数据集.本文根据时间戳对新闻进行排序.

表1

Table 1

表1(Table 1)

表1 实验数据集详细信息 Table 1 Description of experimental datasets 类别 Adressa-1week Adressa-10weeks 用户数 537627 590673 新闻数 14732 49994 事件数 2527571 23168411 词汇量 116603 279214 实体类型 11 11 标题平均单词数 4.03 4.10 新闻平均实体数 22.11 21.29

表1 实验数据集详细信息 Table 1 Description of experimental datasets

对于Adressa-1week数据集, 本文把前5天的历史数据用于构造图, 前5天用户最后浏览的n条新闻用于用户短期兴趣建模, 第6天的数据用于生成< 用户, 新闻> 对, 建立用户和新闻之间的边, 最后一天的数据中20%用于验证, 80%用于测试.类似地, 对于Adressa-10weeks数据集, 本文使用前50天的数据用于构造图, 接下来的10天用于生成训练对, 剩下10天的20%数据用于验证, 80%数据用于测试.

同先前的新闻推荐相关工作^{[18, 19, 20]}一致, 本文采用AUC(Area Under Curve)和F1作为评价指标.本文模型基于Tensorflow1.15实现.标题嵌入维度k₁、实体嵌入维度k₂和实体类型嵌入维度k₃均设置为50, 新闻嵌入维度、用户嵌入维度和主题嵌入维度均设为128.并行CNN的参数配置和DAN^[20]中一致, 用户最近浏览的新闻数m=10.Transformer中多头自注意力机制的头数设置为8.LDA中主题数设为20.在GNN中, 采样固定数量的相邻用户数L_u设置为10, 相邻新闻数L_d设置为30.本文采用均值为0、标准差为0.1的高斯分布进行随机初始化参数, 并采用Adam(Adaptive Moment Estimation)^[26]对参数进行优化, 将学习率设置为0.000 3, 失活率设置为0.5.模型在训练过程中, 采用验证集进行验证.上述参数是根据模型在验证集上性能最优时确定的, 保留在验证集上最优的模型, 并在测试集上进行测试.

为了测试本文模型性能, 选择如下经典的基准算法与近期效果突出的新闻推荐方法进行对比实验.同先前的工作一样^{[19, 20]}, 所有的对比模型采用相同的参数设置.

1)Wide& Deep(Wide& Deep Learning for Recom-mender Systems)^[7].经典推荐模型, 融合线性模型和前馈神经网络, 用于建模低阶和高阶的特征交互.线性模型用于提高模型的记忆能力, 但依赖于手动提取特征, 泛化能力较弱.前馈神经网络用于提高模型的泛化能力.

2)DeepFM(Factorization-Machine Based Neural Network)^[27].经典的推荐模型, 主要包括线性模型和深度模型两个模块, 分别用于提取低阶信息的因子分解机和提取高阶交叉特征的神经网络.

3)DKN^[2].基于深度知识感知的新闻推荐系统, 将单词和实体看作多个通道, 通过CNN合并语义和知识级的表示.

4)DAN^[18].基于深度注意力神经网络, 用于新闻推荐, 采用基于注意力的并行CNN提取用户特征, 并使用基于注意力的RNN捕获用户浏览的顺序特征.

5)GNewsRec^[19].结合用户长期兴趣和短期兴趣, 采用LSTM建模用户短期兴趣, 基于图神经网络建模用户长期兴趣, 拼接用户长期兴趣与短期兴趣, 用于用户最终表示.

6)AGNN(Attention-Based Graph Neural Network News Recommendation)^[28].基于注意力的图神经网络新闻推荐模型, 采用多通道CNN生成新闻表示, 并利用改进的LSTM和图神经网络建模用户表示.

各模型在两个数据集上的指标值对比结果如表2所示, 表中黑体数字表示最优值.观察和分析表2, 可得出如下结论.

表2

Table 2

表2(Table 2)

表2 各模型的性能对比 Table 2 Performance comparison of different models % 模型 Adressa-1week Adressa-10weeks AUC F1 AUC F1 Wide& Deep 68.25 69.32 73.28 69.52 DeepFM 69.09 61.48 74.04 65.82 DKN 75.57 76.11 74.32 72.29 DAN 75.93 74.01 76.76 71.65 GNewsRec 81.16 82.85 78.62 81.01 AGNN 80.23 81.16 79.08 80.93 NR-TrHGN 82.32 84.17 81.17 82.73

表2 各模型的性能对比 Table 2 Performance comparison of different models %

1)新闻推荐模型优于其它推荐模型(如Wide& -Deep和DeepFM).这验证在新闻推荐任务上新闻推荐模型比一般的推荐模型更有效.表中所有新闻推荐模型在Adressa-10weeks数据集上的性能均低于Adressa-1week数据集上的性能, 可能是因为Adressa-10weeks数据集记录用户十周阅读的新闻, 由于用户新闻更新的快速性, 时间相对较久的新闻可能对用户兴趣建模产生干扰.Wide& Deep和DeepFM虽然在Adressa-10weeks数据集上的性能优于在Adressa-1week数据集上的性能, 但其性能均低于新闻推荐模型, 此外, 这两个模型在线性模型输入部分均依赖于人工提取特征, 泛化能力较弱.

2)分别提取用户长期兴趣和短期兴趣的模型比只考虑用户单一兴趣的模型效果更优.GNewsRec、AGNN、NR-TrHGN在两个评价指标上均高于其它模型, 这说明同时考虑用户长短期兴趣是有必要的.

3)相比其它同时考虑用户长短期兴趣的模型(GNewsRec和AGNN), NR-TrHGN的各项指标值均最高.这主要是由于NR-TrHGN借助Transformer强大的编码能力对用户近期兴趣进行建模, 过滤近期兴趣中不重要的信息.此外设计长短期兴趣感知的点击预测机制, 自适应地学习长短期兴趣在新闻推荐中的重要程度, 进一步提高模型性能.

本节对比模型的变体, 由此验证各模块的有效性, 定义如下4个子模型.

1)NR-TrHGN_-t.表示从NR-TrHGN中去掉新闻主题信息, 即在GNN中不考虑新闻的主题信息.

2)NR-TrHGN_-s.表示从NR-TrHGN中去掉用户短期兴趣, 即式(2)修改为 y︿= y︿l.

3)NR-TrHGN_-a.表示从NR-TrHGN中去掉用户短期兴趣建模模块中的注意力机制, 由Transformer得到用户最近浏览新闻的表示

H=[h_n-m+1, h_n-m+2, …, h_n],

通过均值聚合的方式得到用户的短期兴趣表示u_s.

4)NR-TrHGN_-l.表示从NR-TrHGN中去掉用户长期兴趣, 即式(2)修改为 y︿= y︿s.

各模型在2个数据集上的指标值如表3所示, 表中黑体数字表示最优值.由表可看出, 当NR-TrHGN删除用户长期兴趣建模模块后, AUC和F1出现大幅下降, 这说明用户长期兴趣对用户兴趣表示影响程度更大.当NR-TrHGN删除用户短期兴趣建模模块后, AUC和F1下降超过2%, 这表明用户短期兴趣建模模块的有效性, 应同时考虑用户的长期兴趣和短期兴趣.当NR-TrHGN删除用户短期兴趣建模模块中的注意力机制后, 实验效果优于NR-TrHGN直接删除用户短期兴趣的效果, 这验证Transformer对NR-TrHGN的提升效果.相比没有新闻主题信息的模型, NR-TrHGN在两个指标上均有提升, 这是因为加入新闻主题信息可缓解数据稀疏性的问题.综上可见, 本文提出的各模块均是有效的.

表3

Table 3

表3(Table 3)

表3 消融实验结果 Table 3 Results of ablation experiment % 模型 Adressa-1week Adressa-10weeks AUC F1 AUC F1 NR-TrHGN-s 80.70 82.24 78.69 81.91 NR-TrHGN-a 81.39 82.73 78.84 80.89 NR-TrHGN-l 79.47 80.65 76.69 78.09 NR-TrHGN-t 81.44 82.78 79.32 82.36 NR-TrHGN 82.32 84.17 81.17 82.73

表3 消融实验结果 Table 3 Results of ablation experiment %

为了验证变量对实验结果的影响, 本节在Adressa-1week、Adressa-10weeks数据集上分析模型中GNN层数和Transformer层数对实验结果的影响, 并展示可学习参数α 的变化曲线.

不同GNN层数对实验结果的影响如表4和表5所示.表中黑体数字表示最优值; U-1 layer、U-2 layers分别表示在用户长期兴趣建模时, 以用户为中心节点的GNN层数分别设为1、2; N-1 layer、N-2 layers、N-3 layers分别表示在候选新闻建模时, 以候选新闻为中心节点的GNN层数分别设为1、2、3.当以用户为中心节点的GNN和以候选新闻为中心节点的GNN层数都为2时, 两个评价指标效果最优.当以新闻为中心节点的GNN层数从1层增至2层时, AUC值最高提升5.1%, F1值最高提升5%; 当以新闻为中心节点的GNN层数从2层增至3层时, AUC值最高下降3.7%, F1值最高下降4.6%, 以用户为中心节点的GNN层数变化表现出相同的趋势.这是因为一层的GNN不能捕获用户和新闻之间的高阶关系, 而三层的GNN可能会给模型带来更多的噪声, 影响模型性能.当推断节点间的相似性时, 更高的关系层数对实验结果意义不大^[2].

表4

Table 4

表4(Table 4)

表4 不同GNN层数的实验结果(Adressa-1week) Table 4 Experimental results of different GNN layers (Adressa-1week) % AUC F1 U-1 layer U-2 layers U-1 layer U-2 layers N-1 layers 77.39 78.09 79.16 79.99 N-2 layers 80.18 82.32 81.43 84.17 N-3 layers 78.39 79.24 79.01 80.34

表4 不同GNN层数的实验结果(Adressa-1week) Table 4 Experimental results of different GNN layers (Adressa-1week) %

表5

Table 5

表5(Table 5)

表5 不同GNN层数的实验结果(Adressa-10weeks) Table 5 Experimental results of different GNN layers (Adressa-10weeks) % AUC F1 U-1 layer U-2 layers U-1 layer U-2 layers N-1 layers 77.12 79.06 78.89 79.71 N-2 layers 79.60 81.17 82.02 82.73 N-3 layers 78.89 80.45 81.11 81.81

表5 不同GNN层数的实验结果(Adressa-10weeks) Table 5 Experimental results of different GNN layers (Adressa-10weeks) %

本文还考虑不同Transformer层数N对指标值的影响, 结果如图5所示.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 不同Transformer层数的实验结果Fig.5 Experimental results of different Transformer layers

由图5可看出, 当层数N=3时效果最优, 并且随着层数的增加模型效果逐渐下降.这是因为层数过多时, 可能引入噪声数据, 影响模型性能.因此本文将Transformer层数设为3.

学习参数α 不同时的变化曲线如图6所示.随着训练次数的不断增加, α 逐渐趋于稳定, 稳定在[0.8, 0.95]区间, 当在验证集上效果最优时, α =0.85.这说明用户长期兴趣和短期兴趣在用户兴趣建模中具有重要作用, 其中用户长期兴趣对用户兴趣的影响较大, 占主要作用, 用户短期兴趣在用户兴趣中起到补充作用.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 可学习参数α 的变化曲线Fig.6 Variation curve of learnable parameter α