社会化推荐旨在基于历史商品评分记录和社交关系, 预测用户对于候选商品的评分, 因此, 本文的推荐问题可定义如下.定义无重复用户集合

$U=\{{{u}_{1}}, {{u}_{2}}, \ldots , {{u}_{i}}, \ldots , {{u}_{\left| U \right|}}\}$,

无重复商品集合

$V=\{{{v}_{1}}, {{v}_{2}}, \ldots , {{v}_{j}}, \ldots , {{v}_{\left| V \right|}}\}$.

评分矩阵R∈ R^{|U|× |V|}记录所有用户对商品的评分记录, 元素r_ij∈ Q, 表示用户u_i对商品v_j的数字评分, 若未交互则记录为空值.社交关系矩阵S∈ R^{|U|× |U|}记录用户间是否建立社交关系, 元素s_ab∈ S为布尔值, 若s_ab=1, 表示用户u_a、u_b间存在社交联系.

给定评分矩阵R和社交关系矩阵S, 社会化推荐的目标是预测目标用户u_i对于候选项目v_j的可能评分值${{\hat{r}}_{ij}}$.

本文提出邻域扩展机制增强的图平行聚焦注意力社会化推荐系统(NEGA), 整体框图如图1所示.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 NEGA框架图Fig.1 Architecture of NEGA

NEGA主要由四个模块组成:图构建和嵌入编码模块、用户特征学习模块、商品特征学习模块和评分预测模块.

图构建和嵌入编码模块首先将评分矩阵R转换为用户-商品交互异构二部图G_UV=(U∪ V, δ , ω ), 其中, 节点集合{U∪ V}由用户节点集合U与商品节点集合V共同组成, 边集合δ 反映用户与商品是否存在交互关系, 边权重集合ω 表示用户对商品的评分.同时, 该模块将社交关系矩阵S转换为社交网络G_S=(U, ξ ), 其中, 节点集合U全部由用户节点组成, 边集合ξ 表示用户间是否存在社交关系.

然后, 分别将用户u、商品v和评分值r的独热编码转换为相应的嵌入(Embedding)特征向量, 可依次记为e_u∈ R^d、e_v∈ R^d、e_r∈ R^d, 其中d表示嵌入编码维度.

用户特征学习模块旨在根据目标用户对商品的评分记录学习其商品交互偏好特征$h_{{{u}_{i}}}^{I}\in {{R}^{d}}$, 同时根据目标用户与社交好友的偏好相似学习其社会化特征$h_{{{u}_{i}}}^{S}\in {{R}^{d}}$, 最后融合不同域的用户特征, 得到用户的综合偏好特征${{h}_{{{u}_{i}}}}\in {{R}^{d}}$.

从用户的视角上看, 目标用户对于商品的评分可表示其独特偏好.模型基于广义门控机制, 实现商品特征与评分特征的自适应融合, 用户u_i对商品v_j的消费偏好为:

${{p}_{ij}}={{\beta }_{ij}}\times {{e}_{{{v}_{j}}}}+(1-{{\beta }_{ij}})\times {{e}_{{{r}_{k}}}}$,

其中,

${{\beta }_{ij}}=Sigmoid({{W}_{\beta }}({{e}_{{{v}_{j}}}}\|{{e}_{{{r}_{k}}}}\|{{e}_{{{v}_{j}}}}\times {{e}_{{{r}_{k}}}})+{{b}_{\beta }})$,

${{e}_{{{v}_{j}}}}\in {{R}^{d}}$表示商品v_j的嵌入特征${{e}_{{{r}_{k}}}}\in {{R}^{d}}$表示评分值r_k的嵌入特征, × 表示哈达玛积运算, Sigmoid(· )表示非线性激活函数, W_β ∈ R^{3d× d}表示可学习的参数矩阵, b_β ∈ R^d表示可学习的偏置向量.

受到相关工作^{[47, 48]}的启发, 本文设计基于α -entmax函数的平行聚焦注意力机制, 将目标用户的消费偏好p_ij作为图平行聚焦注意力网络的初始输入.下面将以单个平行特征空间的用户偏好学习过程为例进行说明.

用户u_i在第z个平行特征空间中的偏好表示为:

$\hat{h}_{{{u}_{i}}}^{I, \left( z \right)}=ML{{P}_{neigh}}\left( \underset{j\in {{N}_{UI}}\ \left( {{u}_{i}} \right)}{\mathop \sum }\, \delta _{j}^{i}~{{p}_{ij}} \right)\in {{R}^{d}}$,

其中, MLP_neigh(· )表示三层多层感知机网络,

$\delta _{j}^{i}=\alpha -entmax\left( \overset{}{\mathop{\delta }}\, _{j}^{i} \right)=\arg \underset{x\in {{\Delta }^{d}}}{\mathop{\max }}\, {{x}^{T}}\overset{}{\mathop{\delta }}\, _{j}^{i}+h_{\alpha }^{T}(x)\in {{R}^{d}}$,

表示聚焦注意力概率,

${{\Delta }^{d}}:=\left\{ x\in {{R}^{d}}\, \!:\text{ }\!\!~\!\!\text{ }\underset{w}{\mathop \sum }\, {{x}_{w}}=1 \right\}$,

表示概率单纯形(Probability Simplex),

$\overset{}{\mathop{\delta }}\, _{j}^{i}=ML{{P}_{att}}({{e}_{{{u}_{i}}}}\|{{p}_{ij}})\in {{R}^{d}}$,

表示聚焦注意力分数, ${{e}_{{{u}_{i}}}}\in {{R}^{d}}$为用户u_i的特征表示, MLP_att(· )表示五层多层感知机网络,

$h_{\alpha }^{T}~(x)=\left\{ \begin{array}{* {35}{l}} \frac{1}{\alpha \left( \alpha -1 \right)}\underset{t}{\mathop \sum }\, \left( {{x}_{t}}-x_{t}^{\alpha } \right), & \alpha \ne 1 \\ -\underset{t}{\mathop \sum }\, {{x}_{t}}\cdot \text{log }\!\!~\!\!\text{ }x_{t}^{\alpha }, & \alpha =1 \\ \end{array} \right.$

表示萨里斯熵(Tsallis α -entropies)^[49], α ≥ 1表示注意力聚焦程度的标量, α =1时, 聚焦注意力机制退化为基于Softmax函数的软注意力机制.

经典的图注意力网络可广泛应用于社会化推荐, 系统基于浅层的MLP和软注意力机制, 为邻域中的节点分配注意力权重.然而, 这种结构存在如下问题.1)浅层MLP的特征拟合能力有限, 难以在具有复杂拓扑结构的图中学到精准的注意力分数.2)软注意力机制依赖Softmax函数计算归一化的注意力概率, 但该函数会为任何特征分配非零权重.

在本文研究情景下, 用户的历史商品交互数量越多, 经典的软注意力越容易受到注意力涣散问题的影响, 难以识别最符合用户偏好的商品.

为了解决问题1), 本文借鉴底层神经元多于顶层神经元的深层塔式结构设计方法^[50], 采用特征拟合能力更强的深层MLP学习注意力分数.为了解决问题2), 本文采用聚焦注意力机制.相比经典的软注意力, 聚焦注意力的特点在于它可以学习稀疏的后验分布, 并且能为不重要的特征分配零权重.该特点使该算法适合在邻域空间中探索少数关键近邻.此外, 相比固定参数的稀疏性, 自适应聚焦程度更有助于提高预测精度.受到文献[51]的启发, 本文采用自适应方法计算个性化的注意力聚焦程度, 用户u_i对于消费偏好p_ij的聚焦程度标量为:

${{\alpha }_{ij}}=Sigmoid({{W}_{\alpha }}({{e}_{{{u}_{i}}}}\|{{p}_{ij}})+{{b}_{\alpha }})+1$,

其中, W_α ∈ R^{d× d}表示可学习的参数矩阵, b_α ∈ R^d表示可学习的偏置向量.

为了防止过大的聚焦程度带来严重的过拟合问题, 本文采用Sigmoid激活函数和常数项, 将聚焦程度限制在(1, 2)内.

学到不同平行特征空间中的商品交互偏好表示后, 采用简单高效的均值池化算法融合各偏好特征:

$\hat{h}_{{{u}_{i}}}^{I}=Mean-pooling\left( \hat{h}_{{{u}_{i}}}^{I, \left( 1 \right)}, \hat{h}_{{{u}_{i}}}^{I, \left( 2 \right)}, \cdots , \hat{h}_{{{u}_{i}}}^{I, \left( y \right)} \right)$,

其中, Mean-pooling(· )表示均值池化运算, y表示平行特征空间的个数.

值得注意的是, 不同于解纠缠学习和经典多头机制将输入特征投影到子空间内, 平行注意力机制将输入特征投影到同样尺寸的平行特征空间, 从而避免特征降维带来的信息损失.

在学到综合的商品交互偏好之后, 还需要基于节点特征聚合算法, 考虑用户的自身偏好.系统仍基于广义门控机制, 自适应地更新商品交互偏好特征, 最终商品交互偏好为:

$h_{{{u}_{i}}}^{I}={{\gamma }_{{{u}_{i}}}}\times {{e}_{{{u}_{i}}}}+(1-{{\gamma }_{{{u}_{i}}}})\times \hat{h}_{{{u}_{i}}}^{I}\in {{R}^{d}}$,

其中,

${{\gamma }_{{{u}_{i}}}}=Sigmoid\left( {{W}_{\gamma }}\left( {{e}_{{{u}_{i}}}}\left\| \hat{h}_{{{u}_{i}}}^{i} \right\|{{e}_{{{u}_{i}}}}\times \hat{h}_{{{u}_{i}}}^{i} \right)+{{b}_{\gamma }} \right)$,

W_γ ∈ R^{3d× d}表示可学习的参数矩阵, b_γ ∈ R^d表示可学习的偏置向量.

简洁起见, 本文将上述过程定义为图平行聚焦注意力网络, 基于用户特征表示${{e}_{{{u}_{i}}}}$、历史交互商品${{e}_{{{v}_{j}}}}$及其相应评分${{e}_{{{r}_{k}}}}$的综合表示p_ij, 共同学习用户在商品交互历史中表现出的偏好:

$h_{{{u}_{i}}}^{I}=Parallel\_FGAT({{e}_{{{u}_{i}}}}, {{p}_{ij}})$.

在学到目标用户的商品交互偏好特征$h_{{{u}_{i}}}^{I}$后, 还需要基于目标用户与社交好友的偏好相似学习其社会化特征$h_{{{u}_{i}}}^{S}$.系统采用类似基于商品交互历史学习用户偏好的算法, 即

$\hat{h}_{{{u}_{i}}}^{S, \left( 1 \right)}=Parallel\_FGAT({{e}_{{{u}_{i}}}}, {{e}_{{{u}_{m}}}})$,

其中, ${{e}_{{{u}_{m}}}}\in N_{{{u}_{i}}}^{\left( 1 \right)}$表示目标用户u_i一阶自我中心网络邻域范围内的社交朋友, 即直接朋友.在此过程中, 系统可识别少数对目标用户决策具有较大影响的可信直接朋友.

然而, 直接朋友的数量有限, 无法全面反映目标用户的偏好.为了在更大范围内的邻域空间中探索间接朋友对于目标用户偏好的影响, 本文提出邻域扩展机制, 用于提升图平行聚焦注意力网络的学习效率.定义基于邻域扩展机制的图平行聚焦注意力网络:

$\hat{h}_{{{u}_{i}}}^{S, \left( l \right)}=Parallel\_FGA{{T}^{(l)}}({{e}_{{{u}_{i}}}}, {{e}_{{{u}_{n}}}})$,

其中, ${{e}_{{{u}_{n}}}}\in N_{{{u}_{i}}}^{\left( l \right)}$表示目标用户u_i在l阶自我中心网络邻域范围内的社交朋友, Parallel-FGAT^(l)(· )表示基于l阶邻域范围的图平行聚焦注意力网络.

如图2所示, 传统堆叠方法通过低阶邻域(图中蓝色实线表示)中的节点感知高阶邻域中的节点, 而邻域扩展机制可直接感知高阶邻域中的节点, 无需依赖于任何中间节点传递信息(图中蓝色虚线表示).因此, 相比通过堆叠的方式逐渐扩大邻域感受野, 并依赖多个中间用户节点传递社交信息, 才能捕捉远距离间接朋友对目标用户偏好的影响, 邻域扩展机制使系统可直接学习远距离间接朋友对目标用户偏好的影响强度, 避免消息传递过程中的信息损失.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 2种方法的感受野变化Fig.2 Receptive field changes of 2 methods

为了聚合不同阶自我中心网络邻域范围内的社交关系对目标用户偏好的影响, 本文借鉴LightGCN(Light Graph Convolution Network)^[52]简单高效的读出函数:

$h_{{{u}_{i}}}^{S}=Mean-pooling\left( \hat{h}_{{{u}_{i}}}^{S, \left( 1 \right)}, \hat{h}_{{{u}_{i}}}^{S, \left( 2 \right)}, \cdots , \tilde{h}_{{{u}_{i}}}^{S, \left( z \right)} \right)$,

其中z表示最大邻域阶数.通过上述函数, 系统从多个平行特征空间和不同自我中心网络邻域范围内, 共同学习目标用户的社会化特征.

最后, 基于三层MLP融合来自用户-商品交互域和社交域的用户偏好表示:

$MLP_{{{u}_{i}}}^{\left( 0 \right)}=W_{{{u}_{i}}}^{\left( 0 \right)}(h_{{{u}_{i}}}^{I}\|h_{{{u}_{i}}}^{S})+b_{{{u}_{i}}}^{\left( 0 \right)}$,

$MLP_{{{u}_{i}}}^{\left( 1 \right)}\text{=}Selu(MLP_{{{u}_{i}}}^{\left( 0 \right)})$,

${{h}_{{{u}_{i}}}}=W_{{{u}_{i}}}^{\left( 1 \right)}Selu(MLP_{{{u}_{i}}}^{\left( 1 \right)})+b_{{{u}_{i}}}^{\left( 1 \right)}+h_{{{u}_{i}}}^{I}+h_{{{u}_{i}}}^{S}$,

其中, $W_{{{u}_{i}}}^{\left( 0 \right)}\in {{R}^{2d\times d}}$、$W_{{{u}_{i}}}^{\left( 1 \right)}\in {{R}^{d}}^{\times d}$为可学习参数矩阵, $b_{{{u}_{i}}}^{\left( 0 \right)}\in {{R}^{d}}$ , $b_{{{u}_{i}}}^{\left( 1 \right)}\in {{R}^{d}}$为可学习偏置向量.

残差连接缓解系统学习过程中底层信息的丢失.

从商品的角度上看, 与其交互过的用户和他们给出的评分反映商品自身的特征.因此, 系统采用类似基于商品交互历史学习用户偏好的算法, 从商品-用户交互的角度学习商品特征, 学到的最终商品特征表示:

${{h}_{{{v}_{j}}}}=Parallel\_FGAT({{e}_{{{v}_{j}}}}, {{e}_{{{u}_{i}}}}, {{e}_{{{r}_{k}}}})\in {{R}^{d}}$.

基于广义门控机制与线性投影, 评分预测模块以最终用户特征和商品特征为输入, 预测目标用户u_i对候选商品v_j的评分:

$\hat{r}_{{{v}_{j}}}^{{{u}_{i}}}={{W}^{pre}}\tilde{r}_{{{v}_{j}}}^{{{u}_{i}}}+{{b}^{pre}}$,

其中

$\tilde{r}_{{{v}_{j}}}^{{{u}_{i}}}={{\eta }_{ij}}\times {{h}_{{{u}_{i}}}}+(1-{{\eta }_{ij}})\times {{h}_{{{v}_{j}}}}$,

${{\eta }_{ij}}=Sigmoid({{W}_{\eta }}({{h}_{{{u}_{i}}}}\left\| {{h}_{{{v}_{j}}}} \right\|{{h}_{{{u}_{i}}}}\times {{h}_{{{v}_{j}}}})+{{b}_{\eta }})$,

W_η ∈ R^{3d× d}表示可学习的参数矩阵, b_η ∈ R^d、W^pre∈ R^{d× 1}表示可学习的偏置向量, b^pre表示可学习的偏置标量.

最后, 通过最小化如下误差平方和(Mean Squared Error, MSE)目标函数以训练模型:

$Loss=\frac{1}{\left| O \right|}\underset{\left( {{u}_{i}}, {{v}_{j}} \right)\in O}{\mathop \sum }\, {{\left( r_{{{v}_{j}}}^{{{u}_{i}}}-\hat{r}_{{{v}_{j}}}^{{{u}_{i}}} \right)}^{2}}$,

其中, O表示评分集合, $r_{{{v}_{j}}}^{{{u}_{i}}}$为用户u_i对商品v_j打出的真实评分.

为了保证实验的公平性, 本文选择社会化推荐领域的基准公开数据集Filmtrust^[53]、CiaoDVD^[54]、Yelp^[55].Filmtrust数据集来源于某在线社交电影网站.CiaoDVD数据集来源于英国电商网站Ciao的DVD品类.Yelp数据集收集自美国著名商户点评网站Yelp.本文仅采用用户-商品评分数据与社交关系数据.为了尽可能还原真实的社会化推荐场景, 实验没有仿照此前相关工作过滤交互数量较少的用户和商品, 也没有去除出现在验证集和测试集, 但未出现在训练集中的用户和商品.

实验选用数据集的统计指标如表1所示.本文随机选取80%的数据作为训练集, 将其余数据平均划分为验证集与测试集.

表1

Table 1

表1(Table 1)

表1 实验数据集部分统计指标 Table 1 Some statistical indexes of experimental datasets 统计指标 Filmtrust CiaoDVD Yelp 用户数量 1508 17615 16239 商品数量 2071 16121 14284 评分数量 35497 72665 198397 评分密度/% 1.1366 0.0256 0.0855 社交关系发起用户数量 609 1438 10580 社交关系接受用户数量 732 4299 10580 社交关系数量 3264 44986 317180 社交关系密度/% 0.7322 0.7277 0.2834

表1 实验数据集部分统计指标 Table 1 Some statistical indexes of experimental datasets

实验使用AdamW(Adam with Decoupled Weight Decay)优化器^[56], 将初始学习率设定为0.001, 每训练3轮, 学习率衰减为原来的90%.此外, 在{1, 2, 3, 4, 5, 6}中搜寻最佳邻域扩展阶数, 在{8, 16, 32, 64, 128}中搜索最佳嵌入编码维度.为了缓解模型训练过程中的过拟合问题, 使用暂退法(Dropout), 神经元失活率设定为50%.

为了保证实验的公平性, 本文参照各基线系统的相关工作设置相应的最佳参数, 并记录各系统在各评估指标上的最优值.

由于本文关注社会化推荐系统在评分预测方面的准确性, 实验选取平均绝对误差(Mean Absolute Error, MAE)和均方误差(Root Mean Square Error, RMSE)评估系统性能:

$MAE=\frac{1}{\left| O \right|}\underset{\left( {{u}_{i}}, {{v}_{j}} \right)\in O}{\mathop \sum }\, \left| r_{{{v}_{j}}}^{{{u}_{i}}}-\hat{r}_{{{v}_{j}}}^{{{u}_{i}}} \right|$,

$RMSE=\frac{1}{\left| O \right|}\underset{\left( {{u}_{i}}, {{v}_{j}} \right)\in O}{\mathop \sum }\, \sqrt[]{\left( r_{{{v}_{j}}}^{{{u}_{i}}}-\hat{r}_{{{v}_{j}}}^{{{u}_{i}}} \right){{\text{ }\!\!~\!\!\text{ }}^{2}}}$.

这2个性能指标均衡量预测评分值与真实评分值之间的偏差程度, 并且均在[0, +¥ ]上取值, 指标值越小, 表示推荐系统的评分预测精准度越高.

受到社会化推荐领域相关工作的启发, 选择如下13个基准系统进行性能对比.这些基准系统可划分为3类.

1)传统机器学习推荐系统.

(1)MF(Matrix Factorization)^[57].作为一种广泛使用的协同过滤算法, 基于用户-商品交互矩阵学习用户偏好和商品特征.

(2)PMF(Probabilistic MF)^[58].基于高斯分布假设, 从用户-商品交互矩阵中学习用户偏好和商品特征.

(3)SVD++^[59].基于用户偏好、商品特征、评分偏置和用户对商品的隐式反馈进行评分预测.

2)考虑社交关系的机器学习推荐系统.

(1)SoRec^[19].基于特征共享的社交推荐系统, 联合分解评分矩阵和社交关系矩阵, 学习用户偏好.

(2)RSTE^[20].基于概率矩阵分解算法学习用户和社交朋友的偏好.

(3)SocialMF^[21].假设目标用户偏好与直接朋友的平均偏好相似.

(4)文献[39]系统.基于共同评分方法, 学习目标用户偏好与不同直接朋友的偏好相似度.

3)基于图的社会化推荐系统.

(1)REST^[11].将推荐问题转换为反事实推理问题, 基于显式曝光重构策略进行去偏社会化推荐.

(2)CUNE-MF^[22]:根据用户-商品评分矩阵, 采用随机游走和Skip-gram算法探索可靠的社交朋友.

(3)GraphRec^[23].基于GNN的社会化推荐系统, 将评分矩阵和社交关系矩阵转换为图, 并基于图注意力网络学习用户和商品特征.

(4)ConsisRec^[26].提出采样策略, 解决社交信息不一致性问题, 并基于关联注意力机制学习特征.

(5)GDSRec^[28].基于图注意力的社会化推荐系统, 额外考虑用户和商品的偏置特征.

(6)CDRSB(Causal Disentanglement-Based Frame-work for Regulating Social Influence Bias in Social Recommendation)^[60].基于解纠缠学习的因果推理框架, 调节社会推荐中的社会影响偏差.

各系统对比实验结果如表2所示, 表中黑体数字表示最优值, 斜体数字表示次优值.在大多数情况下, 传统机器学习推荐系统普遍在MAE和RMSE指标上高于考虑社交关系的机器学习推荐系统, 这表明社交信息对于提升评分预测准确性具有重要意义.

表2

Table 2

表2(Table 2)

表2 各系统在3个数据集上的对比实验结果 Table 2 Contrast experiment results of different systems on 3 datasets 系统 Filmtrust CiaoDVD Yelp MAE RMSE MAE RMSE MAE RMSE MF 0.7090 0.9616 0.8735 1.1845 1.0308 1.3562 PMF 0.6955 0.9370 0.8655 1.1634 1.0316 1.3518 SVD++ 0.6980 0.9401 0.8416 1.1328 1.0361 1.3673 SoRec 0.6824 0.9139 0.8503 1.1405 0.8778 1.1347 RSTE 0.7084 0.9548 0.8603 1.1424 0.8877 1.1483 SocialMF 0.6813 0.9163 0.8383 1.1288 0.8863 1.1402 文献[39]系统 0.6832 0.9141 0.7971 1.0871 0.9042 1.1690 CUNE-MF 0.6803 0.9148 0.8102 1.0823 0.8273 1.0498 GraphRec 0.7087 0.9221 0.7899 1.0207 0.8006 1.0344 ConsisRec 1.2886 1.6701 0.7537 0.9656 0.9017 1.1400 GDSRec 1.2813 1.6298 0.7448 0.9774 0.8100 1.0515 REST 0.7176 0.8841 0.7318 0.9552 0.8198 1.0392 CDRSB 0.7437 0.9002 0.7496 0.9467 0.8296 1.0413 NEGA 0.6746 0.8712 0.7278 0.9418 0.7906 1.0234

表2 各系统在3个数据集上的对比实验结果 Table 2 Contrast experiment results of different systems on 3 datasets

在现实世界的推荐场景中, 用户的决策往往受到其社交网络中其它个体的影响.这种影响可能表现为信任的朋友对某个商品的评价、推荐或讨论, 从而使目标用户形成对该商品的预期和偏好.在推荐系统中引入用户间的社交关系, 可使系统不仅考虑历史行为数据中隐藏的用户偏好, 还能考虑社交网络中的潜在偏好, 从而使学到的用户偏好更全面.

此外, 社交信息扩展可用于推荐的数据量, 在一定程度上缓解数据稀疏性问题, 使推荐系统能更准确地捕捉冷启动用户的潜在兴趣, 并提供更精准的推荐.总之, 即使目标用户未对某些商品进行评分, 社会化推荐系统也可通过分析其社交朋友的偏好推测目标用户的预期偏好.

由表2还可观察到, 相比基于矩阵分解的推荐系统, 基于图的社会化推荐系统普遍表现出更精准的评分预测能力.该现象表明基于图的社会化推荐系统能更准确地模拟用户的社交行为和偏好传播路径, 提升评分预测的准确性.

具体地, 用户在社交网络中的互动关系往往呈现复杂的拓扑结构, 而图数据结构为社交网络中的多维关系提供一种直观、灵活的表示方法.这种表示方法不仅反映用户间的社交关系, 还有助于揭示潜在的社交圈子和社区结构, 从而为推荐系统提供更丰富的社交上下文信息.

此外, 基于图的社会化推荐系统通常采用图神经网络算法处理图结构数据, 能以直接或间接的方式, 利用图的拓扑特性挖掘用户的潜在偏好.在社会化推荐系统中, 用户的行为和偏好可能受到多种因素的影响, 这些因素之间存在复杂的相互作用, 而神经网络通过其非线性结构学习这些复杂关系, 提供更准确的用户偏好预测.总之, 神经网络的适应性和灵活性使这类系统能更好地探索社交网络和用户-商品交互二部图中的复杂模式.

值得注意地是, NEGA在所有情况下均取得最优性能, 充分展示出NEGA在社会化评分预测方面的优越性.最重要的原因在于聚焦注意力机制具有在探索邻域中发现重要近邻的特点, 有效增强社会化推荐系统在用户-商品二部图和社交网络的图学习能力.现有基于GNN的社会化推荐系统大都基于经典的图注意力机制, 这类图注意力机制通常基于Softmax函数进行注意力分数的归一化.然而, Soft- max函数会产生相应的全局注意力分布, 这意味着系统对邻域范围内的每个节点都分配一定的注意力权重, 从而带来计算冗余问题.因为系统还需要基于所有的注意力权重进行特征学习, 即使很多权重非常接近于0, 对学习用户偏好特征的意义不大.聚焦注意力机制将注意力权重集中在近邻节点集合中的少数关键节点, 这种稀疏性的注意力机制使系统能更专注于和用户偏好最相关的特征, 从而提升NEGA应对冷启动问题的能力.此外, 聚焦注意力机制强大的信息过滤能力使系统能学到具有泛化能力的特征, 从而提升系统的鲁棒性.

自适应的聚焦程度、平行注意力机制和邻域扩展机制在提升NEGA的评分预测能力方面也起到重要作用.

为了验证NEGA各模块的有效性, 进行3组消融实验.实验仅对各变体系统的结构进行相应调整, 并使用与NEGA一致的参数.具体消融实验结果如表3所示, 表中黑体数字表示最优值, 斜体数字表示次优值.

表3

Table 3

表3(Table 3)

表3 各模块的消融实验结果 Table 3 Ablation experiment results of different modules 系统 Filmtrust CiaoDVD Yelp MAE RMSE MAE RMSE MAE RMSE NEGA-OE-MLP 0.6884 0.8782 0.7487 0.9665 0.8005 1.0243 NEGA-OE-VG 0.6850 0.8798 0.7375 0.9611 0.7972 1.0237 NEGA-FF-MLP 0.6786 0.8736 0.7590 0.9665 0.8053 1.0285 NEGA-FF-VG 0.6806 0.8808 0.7296 0.9610 0.7932 1.0234 NEGA-P-MLP 0.6898 0.8777 0.7287 0.9366 0.8031 1.0223 NEGA-P-VG 0.6987 0.8997 0.7441 0.9620 0.8068 1.0279 NEGA-MP-SA 0.7229 0.9316 0.7804 1.0027 0.7899 1.0406 NEGA-MP-IP 0.6870 0.8849 0.7319 0.9499 0.7934 1.0278 NEGA-OS-RAW 0.7115 0.9024 0.8661 1.0851 0.8038 1.0307 NEGA-OS-NORM 0.7010 0.8989 0.8599 1.0771 0.8023 1.0295 NEGA-OS-RES 0.7091 0.9017 0.8623 1.0805 0.8036 1.0305 NEGA 0.6746 0.8712 0.7278 0.9418 0.7906 1.0234

表3 各模块的消融实验结果 Table 3 Ablation experiment results of different modules

在第1组消融实验中, 设置6种变体系统, 分别采用三层MLP和经典门控机制在NEGA的不同关键位置替代原有的广义门控机制.各变体系统的详细描述如下.

1)NEGA-OE-MLP.采用三层MLP学习用户对商品的消费偏好以及隐藏在评分特征和用户特征中的商品特征.

2)NEGA-OE-VG.采用经典门控机制学习用户对商品的消费偏好以及隐藏在评分特征和用户特征中的商品特征.

3)NEGA-FF-MLP.采用三层MLP作为节点特征聚合函数.

4)NEGA-FF-VG.采用经典门控机制作为节点特征聚合函数.

5)NEGA-P-MLP.采用三层MLP替代评分预测模块中的广义门控机制.

6)NEGA-P-VG.采用经典门控机制替代评分预测模块中的广义门控机制.

根据表3中结果, 经典门控机制与三层MLP网络在系统的不同位置各有优劣.当三层MLP网络作为预测函数时, 系统性能优于经典门控机制; 当需要学习用户对商品的消费偏好时, 经典门控机制性能更优; 当需要聚合邻域特征与节点自身特征时, 三层MLP在Filmtrust数据集上表现更佳, 经典门控机制在其余两个数据集上性能更优.三层MLP由于可学习参数更多、结构更深, 比浅层的经典门控机制具有更强的特征拟合能力.然而, 在底层模块中采用MLP时, 可能会带来过拟合的风险.经典门控作为线性浅层网络, 未考虑输入特征间的非线性关系, 但它可轻量高效地融合不同特征, 从而降低过拟合的风险, 在底层模块更具有表现力.

由表3还可以观察到, 本文采用的广义门控机制在所有情况下均取得具有竞争力的性能.广义门控机制在经典门控机制的基础上, 额外考虑输入特征间的逐元素乘积对门控权重的影响, 而哈达玛积可以捕捉输入特征之间的逐元素乘积关系, 增强信息之间的交互和关联性.这有助于系统更好地理解输入数据之间的复杂关系, 提高系统的表达能力和泛化能力.总之, 广义门控机制作为一种通用架构, 参数量少于三层MLP, 同时保持门控机制的可解释性, 对于提升系统性能具有重要价值.

在第2组消融实验中, 本文设置2种变体系统, 分别采用经典的软注意力和三层MLP替代原有的聚焦注意力机制.各变体系统的详细描述如下.

1)NEGA-MP-SA.采用经典的软注意力作为图神经网络的消息传递系统.

2)NEGA-MP-IP.采用内积注意力作为图神经网络的消息传递系统.

相比2种基于Softmax函数的注意力机制, 本文的聚焦注意力机制在大部分情况下带来最优性能.随着阶数的提升, 邻域扩展机制迅速扩大系统的感受野, 使邻域范围内的节点数量快速增加.经典的软注意力和内积注意力机制缺乏强大的噪声过滤能力, 导致严重的注意力涣散问题.该问题使系统难以有效识别具有丰富语义信息的关键节点, 将注意力权重分散在过多具有较少语义特征的非关键节点, 导致系统的特征学习能力欠佳.而聚焦注意力机制将注意力集中在邻域范围中少数几个重要的节点上, 而不是依赖大量的低相关性的邻域节点, 提高系统特征学习的效率和准确度.

此外, NEGA-MP-SA在一些情况下的评分预测精准度甚至高于GraphRec.这表明本文提出的邻域扩展机制具有一定的通用性, 可有效缓解局部邻域的数据稀疏问题, 帮助系统以高效率的方式在高阶邻域空间中捕捉重要信息.

值得关注的是, 基于内积的无参数注意力机制同样具有较强竞争力, 在大多数情况下甚至优于软注意力机制.这一现象启发学者们在今后的研究中设计更稳健、性能更优、参数化更低的注意力机制.

在第3组消融实验中, 本文设置仅移除邻域扩展机制的变体系统作为对照组.此外, 本文还设置2种变体系统, 分别采用节点特征正则化算法^[44]和残差连接算法^[45]替代原有的邻域扩展机制, 缓解过度平滑问题.各变体系统的详细描述如下.

1)NEGA-OS-RAW.仅移除邻域扩展机制, 未采用任何方法缓解过度平滑问题.

2)NEGA-OS-NORM.采用节点特征正则化算法缓解过度平滑问题.

3)NEGA-OS-RES.采用残差连接算法缓解过度平滑问题.

根据表3结果, NEGA-OS-RAW在3个数据集上的性能相对最低, 表明深度图神经网络容易出现梯度消失问题, 导致不同节点的特征趋于相似, 即出现严重的过度平滑问题.NEGA-OS-NORM和NEGA-OS-RES分别采用特征正则化和残差连接的方法, 有效缓解梯度消失带来的过度平滑问题, 并获得比NEGA-OS-RAW更优的性能.然而, 这两种系统仍依赖于多次消息传递才能感知远距离节点的影响, 性能仍有待提升.NEGA在3个数据集上均获得最佳性能, 表明邻域扩展机制能有效缓解过度平滑问题.相比依赖多个中间节点传递远距离信息, 邻域扩展机制添加目标节点与远距离节点间的快捷连接, 直接捕获远距离节点的影响, 避免多次消息传递带来的信息损失.在本文研究情景下, 邻域扩展机制提升系统捕获高阶社交信息的能力, 助力图平行聚焦注意力网络表现出强大的特征过滤能力, 从而使评分预测更精准.

为了分析NEGA对于关键参数变动的敏感性, 本节实验在3个数据集上, 探索嵌入编码维度、注意力聚焦程度、邻域阶数和平行空间数量对于评分预测任务精准性的影响.

首先分析嵌入编码维度, 设置维度值为8, 16, 32, 64, 128, 在Filmtrust、CiaoDVD、Yelp数据集上分别计算MAE和RMSE, 结果如图3所示.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 嵌入编码维度不同时的超参数敏感性实验结果Fig.3 Results of sensitivity experiment of hyperparameters with different embedded dimensions

由图3可见, 适当增加嵌入编码维度时, 评分预测精准度有所提高.当维度继续增加时, 评分预测精准度反而持续降低.结果表明, 在一定范围内, 增加嵌入编码维度有助于提升系统的表征学习能力.然而, 过多的嵌入编码维度不仅会带来更大的计算开销, 显著提升系统的复杂度, 还会带来严重的过拟合问题, 限制系统对用户兴趣的学习能力.因此, 需要找到合适的嵌入编码维度, 以权衡评分预测精准度和系统复杂度.

在注意力聚焦程度的实验中:auto表示系统采用自适应的聚焦程度学习方法; 在其它情况下, 聚焦程度被简单地视为超参数.设置聚焦程度为1, 1.25, 1.5, 2, 4, 在3个数据集上的MSE和RMSE结果如图4所示.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 注意力聚焦程度不同时的超参数敏感性实验结果Fig.4 Results of sensitivity experiment of hyperparameters with different degrees of focused attention

由图4可见, 自适应算法在所有情况下均取得较优性能.尤其当聚焦程度为1, 即注意力基于Soft- max函数时, 自适应方法取得绝对优势, 表明Soft- max函数识别重要特征的能力有待提升.随着自我中心网络的扩张, 需要考虑的近邻节点数量快速增加, 基于Softmax函数的注意力机制倾向于为每个近邻节点分配非零权重, 使近邻之间的特征差异越来越小, 最终导致严重的注意力涣散问题.自适应方法可根据目标节点和近邻节点的特征动态调整注意力的聚焦程度, 有助于提升参数调整效率和泛化能力.

受到小世界现象研究的启发^[61], 本文假定用户最多通过五个间接朋友即可找到具有强同质性的社交朋友.因此, 本组实验最高探索六阶自我中心网络中的社会信息对目标用户偏好的影响, 具体实验结果如图5所示.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 邻域阶数不同时的超参数敏感性实验结果Fig.5 Results of sensitivity experiment of hyperparameters with different neighbourhood ranges

由图5可见, 当邻域阶数为1, 即仅考虑直接朋友对目标用户的偏好影响时, 系统的评分精准度普遍较低, 表明间接朋友对于学习目标用户的偏好具有重要意义.在推荐系统中考虑更广泛的社交关系有助于捕获更多的社交信息, 从而提高评分预测的准确性.随着邻域范围的扩大, 系统能在更广泛的自我中心网络内探索同质性和社交影响传播对目标用户偏好的影响, 从而考虑到更多来自其他用户的社交偏好信息.通过分析这些社交信息, 推荐系统可以更好地理解自我中心网络中的整体趋势和偏好, 提供更准确的评分预测结果.在达到最佳邻域范围后, 继续扩大自我中心网络会导致系统性能出现波动.这是因为系统受到过拟合问题的影响, 对于间接朋友的识别出现偏差.

此外, 在不同数据集场景中的最佳邻域范围不同, 这可能是由于不同数据集的社交网络密度不同.聚焦注意力机制的核心在于寻找邻域范围中最重要的社交朋友.当社交网络较稀疏时, 在更高阶的自我中心网络内才能发现对消费者决策具有重要影响的社交朋友.当社交网络较密集时, 低阶自我中心网络内的用户数量相对较多, 因此找到具有相似偏好的消费者的概率更高.

设置平行空间数量为1, 2, 3, 4, 在3个数据集上计算MAE和RMSE, 结果如图6所示.由图可见, 当平行空间数量为1, 即不考虑用户的多方面细粒度兴趣时, 系统的评分精准度较低.随着平行空间数量的逐渐增加, 评分精准度也逐渐提升.这表明平行注意力机制有助于系统从不同的特征空间中学习用户的多方面偏好, 提高系统对用户偏好的理解能力.此外, 由于平行机制在多个特征空间中进行学习, 即使某个平行空间中学到的特征出现偏误, 其它平行空间仍可提供有用的信息.一定程度的特征冗余提高系统的鲁棒性, 使系统在面对噪声信息时仍保持较高的性能.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 平行空间数量不同时的超参数敏感性实验结果Fig.6 Results of sensitivity experiment of hyperparameters with different numbers of parallel spaces

相比解纠缠学习, 平行机制避免额外的特征降维过程, 减少计算资源的消耗, 并且每个特征空间都保留输入数据的全部维度, 这对于捕获数据中的细微模式和复杂关系至关重要.然而, 过多的平行空间反而会带来严重的过拟合问题, 导致系统预测评分能力的降低.

本文从Filmtrust数据集上随机选取3位用户, 并可视化他们对各自评分过商品的偏好特征, 如图7所示.由图可看出, 无论用户是否真正对商品感兴趣, 基于Softmax函数的软注意力机制倾向于为所有交互过的商品分配非零权重.

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 聚焦注意力权重与经典注意力权重的热力图可视化Fig.7 Heatmap visualization of focused attention weights and traditional attention weights

随着用户-商品交互数量的增加, 基于Softmax函数的注意力越来越难以捕捉用户最感兴趣的商品.本文将这一现象称为注意力涣散, 即系统认为用户最感兴趣和最不感兴趣商品的特征差异逐渐趋向于0.相比而言, 聚焦注意力机制能为用户不感兴趣的商品分配更低权重, 甚至是零权重, 从而保证系统始终专注于用户最感兴趣的商品, 有效提升NEGA的偏好特征学习能力.

以Filmtrust数据集上ID为29的用户为实验对象.根据3.4节的超参数实验, 当邻域阶数为4时, NEGA取得最优评分预测精度, 因此依次可视化目标用户在一阶到四阶自我中心网络内最有影响力的5位社交朋友, 具体如图8所示.

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 不同阶自我中心网络中社交权重可视化Fig.8 Visualization of social weights in ego networks of different orders

由图8可见, 在一阶自我中心网络中, 各直接朋友对目标用户决策的影响力不同, 表明不同社交关系存在差异性.因此, 平等看待所有直接朋友的社会化推荐系统往往性能较差, 如基于矩阵分解的社交推荐系统和基于图卷积网络的社交推荐系统.随着邻域的逐渐扩大, 自我中心网络内的用户节点数量迅速增加, 这为基于经典图注意力网络的社交推荐系统带来挑战.因为这些方法普遍假设邻域中的任何朋友都会影响目标消费者的偏好.然而, 用户偏好更有可能受到少数关键社交朋友影响^[62].因此, 基于经典图注意力网络的社交推荐系统往往局限于低阶自我中心网络内, 难以在更大范围内探索更多社交信息的作用.

虽然现有的社交推荐相关工作^{[5, 6, 7, 8, 9, 10, 11, 12, 13, 14]}均认为社交关系有助于提升推荐精准度, 但并未明确解释社交朋友如何影响目标消费者的偏好.受到相关研究^{[63, 64, 65]}的启发, 在社交网络中影响用户偏好的3种主要机制分别是:社会影响(Social Influence)、同质性(Homophily)、两者同时存在.本文提出的邻域扩展机制能快速扩大系统的感受野, 促使系统分辨出不同社交朋友对目标用户偏好的影响机制.在图8(a)中, 在一阶邻域中, 不同机制纠缠在一起, 难以区分各社交朋友的影响机制.在(b)中, 在二阶邻域中, 一些直接朋友的影响力有所减弱, 同时系统识别到一些具有影响力的间接朋友.在(c)、(d)中, 随着邻域的继续扩大, 不同社交朋友的影响机制逐渐明晰.具体地, 直接朋友969和1 159与目标用户始终具有较高的社交链接权重, 表明他们通过同质性和社会影响同时作用于目标用户偏好, 而间接朋友666、702和812之所以能影响目标用户的决策, 只是因为他们具有相似的偏好特征, 即同质性.与目标用户存在直接或间接社交链接, 且社交链接权重不趋近于0的社交朋友, 对目标用户偏好的作用机制仅基于社会影响.

值得注意的是, 图中标识的社交链接权重为0并不表示用户之间无社交关系, 社交链接仅用于表示两位用户偏好的相似性.完全偏好不同的两位用户有可能偶然形成社交关系.例如:显性朋友509和目标消费者的行为模式不相似, 但他们之间仍存在社会影响.

另外, 各因素对目标用户偏好的影响力不同, 其稳定性也有所不同.根据社交链接的权重, 双重因素效应往往比单一的同质性更强, 而单一的社会影响机制作用最弱.从稳定性的角度上看, 具有双重因素的社交朋友稳定性最强.例如:社交朋友969和1 159在目标用户的1阶至4阶自我中心网络内, 都具有显著的影响力.

相比而言, 仅基于同质性因素影响目标用户偏好的间接朋友变动较频繁, 并且会随着自我网络的扩大逐渐趋向稳定.出现该现象的主要原因是平台用户普遍更信任具有相似偏好的其他用户, 因此具有相似偏好的直接朋友更容易得到目标用户的信任.即使在没有建立社交关系的情况下, 具有相似偏好的间接朋友也容易获得目标用户的信任.因此, 同质性对于推断目标用户偏好具有重要意义.由于在更大的邻域中找到具有更高同质性社交朋友的可能性更大, 所以这类社会朋友没有表现出较强的稳定性.

以Filmtrust数据集上ID为29的用户为实验对象.目标用户在4个平行特征空间中, 对各商品的不同偏好程度如图9所示.由图可见, 用户在为商品评分时考虑不同方面的特征, 如价格^[66]、品牌^[67]和个性化程度^[68].

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 不同平行空间中的商品特征注意力权重热力图Fig.9 Heatmap of attention weights of product features in different feature hidden spaces

在不同平行特征空间中, 目标用户受到各直接朋友的不同影响如图10所示, 这可能是因为不同的朋友偏好各异, 目标用户往往会有选择地采纳来自不同朋友的建议.

图10

Fig.10

	Figure Option ViewDownloadNew Window
	图10 不同平行空间中的社交朋友注意力权重热力图Fig.10 Heatmap of attention weights of social friends in different feature hidden spaces

总之, 分析用户的多方面偏好不仅有助于提升评分预测精准度, 还有助于推断用户行为背后的逻辑.

随着可解释人工智能的快速发展, 可解释推荐系统逐渐成为具有发展潜力的前沿研究方向之一^[69].此类推荐系统在为用户提供推荐结果的同时, 还会提供相应的解释, 有效提升推荐系统的透明度与可信度.

现有的相关工作已尝试基于多种信息解释推荐结果, 如评论信息^[70]、商品图像^[71].在众多解释信息源中, 社会化推荐的相关研究表明^[72], 用户间的社交关系不仅有助于提升推荐准确度, 还可提升推荐的可解释性.例如:推荐系统常采用“ 您好友也感兴趣的商品” 这一类提示信息^{[73, 74]}, 利用社交认同感强化推荐的可接受性.

相比依赖商品属性或个体行为习惯的解释策略, 源自社交关系的解释更容易被用户理解和接纳^[75].因此, 社交信息作为解释信息具有较大的潜在研究价值.

根据相关工作中的用户偏好学习算法和解释策略, 现有的可解释社会化推荐系统可分为事前/事中解释和事后解释两类.

基于事前/事中解释的相关工作采用以用户为中心的人机交互设计理念, 赋予用户更多的自主选择权, 如用户可根据自己的偏好或信息需求进一步过滤或重新排序推荐^[72].然而, 此类工作往往基于传统机器学习方法或简单相似度计算, 从数据库中检索用户可能感兴趣的信息, 难以挖掘更深层次的用户偏好, 导致推荐精准度较低.

基于事后解释的可解释社会化推荐系统通常先采用因果推断^{[7, 11]}、解纠缠学习^{[60, 76]}等方式, 挖掘社交网络和历史交互记录中隐藏的用户偏好, 然后基于案例研究、特征可视化^[77]等方式进行深入分析.然而, 现有相关研究大多基于整体层面的社交影响进行解释, 未能深入分析不同社交朋友对用户多元偏好的影响.

相比现有的基于深度学习的可解释社会化推荐系统, NEGA关注反映用户不同方面偏好的少数关键信息, 在提升推荐准确性的同时, 为用户提供更充分的推荐结果解释.

具体来说, 相比现有的解纠缠学习相关工作^{[78, 79]}, 本文的多方面偏好挖掘基于平行注意力机制, 在多个更大的特征空间中学习用户不同方面的细粒度偏好, 在一定程度上避免偏好不一致问题.此外, 相比将社交信息作为推荐结果解释的相关工作^{[76, 78]}, NEGA不仅能识别广泛邻域范围内的少数关键社交朋友, 还进一步揭示不同社交朋友对目标用户偏好的影响机制, 分别强调社会影响和同质化因素的独特意义.

最后, 本文研究结果为社交媒体平台进行精准营销提供重要依据.具体来说, 社交平台展示推荐结果时, 应优先考虑与目标用户具有相似偏好的直接朋友感兴趣的商品, 其次考虑与目标用户具有相似偏好的间接朋友感兴趣的商品.尽管一些直接朋友与目标用户的偏好并不一致, 但是适当考虑他们感兴趣的商品有望提升推荐结果的多样性与新颖性, 从而进一步提升用户对推荐结果的满意度.