构建超图是为了将普通用户-商品交互和用户-用户社交关系图转换成超图, 使用户和用户之间的关系具有更多样化、更详细的表示和描述.未标记样本集通过边扰动获得损坏的图, 以获得未标记样本集.

1.1.1 构建超图

假设用户集

$ U=\left\{u_{1}, u_{2}, \cdots, u_{m}\right\}, $

m为用户数量, 商品集

$ V=\left\{v_{1}, v_{2}, \cdots, v_{n}\right\}, |v|=n, $

用户-商品交互矩阵

$ \boldsymbol{R}=\left[r_{i j}\right]_{m \times n} \in \mathbf{R}^{m \times n}, $

若用户u_i和商品v_j有评分, r_ij=1, 否则r_ij=0.用户间社交关系矩阵S∈ R^{m× m}, 如果用户u_i、u_j有社交关系, s_ij=1并且s_ji=1, 否则, s_ij=0并且s_ji=0.

首先将用户-商品交互关系构建成用户-商品交互图G_r, 把用户间社交关系表示成用户-用户社交图G_s, 即图2中的偏好视图和社交网络, 偏好视图后续用于用户、商品初始嵌入学习和自监督未标记样本集的构建.从G_r和G_s中可得到2类三角关系:3位用户彼此均有社交关系(如图2中的u₁, u₂和u₄)和2位用户既有社交关系也对同一件商品有评分(如图2中的u₁, u₂和v₁).基于协同过滤和社会化推荐下启发性假设^[7], 如果2位具有社交关系的用户拥有共同的朋友或共同感兴趣的交互商品, 他们就更有可能具有更亲密的关系.因此将上述两个三角关系作为超图.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 用户-商品交互图和用户社交关系Fig.2 User-item interaction graph and user social relationship

可通过矩阵运算的方式提取上述两种类型的三角关系.两类三角关系表示的超图中的用户邻接矩阵表示为En_f∈ R^{m× m}和En_s∈ R^{m× m}.

首先, 计算用户与其他用户之间存在的三元未闭合的社会关系数量, 三元未闭合的社会关系表示3位用户两两配对, 其中有2对用户一定存在社会关系, 但第3对不一定存在社会关系.三元未闭合的社会关系矩阵:

$ \begin{array}{l} \boldsymbol{E n}_{f}^{\prime}=\boldsymbol{S} \boldsymbol{S}=\left[s_{i j}^{\prime}\right], \\ s_{i j}^{\prime}=\sum_{k=1}^{m} s_{i k} s_{k j}=s_{i 1} s_{1 j}+s_{i 2} s_{2 j}+\cdots+s_{i m} s_{m j}, \end{array}$ (1)

其中, s_ik表示用户-用户社交矩阵S中的元素, 若s_ik=1, 表示用户u_i、u_k有社交关系, 若s_ik=0, 表示用户u_i、u_k无社交关系, s_kj解释同上.

由式(1)可得, 若s_iks_kj=1表示用户u_i、u_k、u_j在社会关系中存在一个三元未闭合的社交关系, 即用户u_i、u_k有社会关系并且用户u_k、u_j有社会关系, 但是不能确定用户u_i、u_j是否存在社会关系.通过En'_f可找到任意2位用户u_i、u_j间的三元未闭合的社会关系个数s'_ij.

3位用户彼此均有社交关系的用户邻接矩阵为:

$ \boldsymbol{E n}_{f}=\boldsymbol{E n}_{f}^{\prime} \odot \boldsymbol{S}, $ (2)

其中$\odot $表示矩阵对应元素相乘.En_f可确定用户u_i、u_j是否可组成三元闭合的社会关系, 即由式(1)计算出的用户u_i、u_j中的三元未闭合的社会关系个数s'_ij.只需要确定u_i、u_j是否存在社会关系, 如果存在社会关系(s_ij=1), 那么用户u_i、u_j的三元闭合的社会关系个数为s'_ij, 如果不存在社会关系(s_ij=0), 用户u_i、u_j不存在三元闭合的社会关系.

同理, 计算用户与其他用户之间存在的三元未闭合的商品评分关系.三元未闭合的商品评分关系表示在2位用户和1个商品之间, 2位用户对该商品有评分关系, 但是不能确定2位用户之间是否存在社会关系.三元未闭合的商品评分关系矩阵为:

$ \begin{array}{l} \boldsymbol{E n}_{s}^{\prime}=\boldsymbol{R R}^{\mathrm{T}}=\left[r_{i j}^{\prime}\right], \\ r_{i j}^{\prime}=\sum_{k=1}^{n} r_{i k} r_{j k}=r_{i 1} r_{j 1}+r_{i 2} r_{j 2}+\cdots+r_{i n} r_{j n}, \end{array}$

其中, r_ik表示用户-商品交互矩阵R中的元素, 如果r_ik=1, 表示用户u_i对商品v_k有评分, 如果r_ik=0, 表示用户u_i对商品v_k无评分, r_jk解释同上.

由式(2)可得, 若r_ikr_jk=1, 表示用户u_i、商品v_k和用户u_j在商品评分上存在一个三元未闭合的商品评分关系, 即用户u_i对商品v_k有评分关系并且用户u_j对商品v_k有评分关系, 但是不能确定用户u_i、u_j是否存在社会关系.由En'_s可找到用户u_i、u_j中的三元未闭合的商品评分关系个数r'_ij.

2位用户既有社交关系也对同一件商品有评分的用户的邻接矩阵为:

$ \boldsymbol{E n}_{s}=\boldsymbol{E n}_{s}^{\prime} \odot \boldsymbol{S}, $ (3)

其中$\odot $表示矩阵对应元素相乘.

r'_ijs_ij表示用户u_i、u_j中的三元闭合的商品评分关系个数, 即用户u_i、u_j存在社会关系的前提下, 对相同商品有评分的商品评分关系个数.

将En_f和En_s看作S和R的补充, 通过构建超图拥有3个从不同角度描述用户偏好的视图, 分别表示用户本身的商品偏好、用户和好友有共同好友、用户和好友有共同偏好的商品, 将3个视图分别命名为用户-商品偏好视图、三角社交关系朋友视图和三角关系朋友分享商品视图, 分别表示为G_r、En_f和En_s.

1.1.2 构建未标记样本集

图自监督学习任务需要以边扰动或节点掩藏等方式^{[27, 28]}构建数据增强集.这里以概率ρ 扰动用户分享视图和朋友视图, 创建扰动图:

$ \widetilde{G}=\left(N_{r} \cup N_{s}, P_{\rho} \otimes\left(E_{r} \cup E_{s}\right)\right), $ (4)

其中, ρ 表示边扰动率, 是可调超参数, N_r表示G_r的全部节点, N_s表示G_s的全部节点, E_r表示G_r的全部边, E_s表示G_s的全部边, $ P \in\{0, 1\}^{\left|E_{r} \cup E_{s}\right|}, P_{\rho} \otimes\left(E_{r} \cup\right.\left.E_{s}\right)$表示以概率ρ 随机丢失G_r和G_s中的边.在扰动图中学习到的用户节点嵌入称作未标记样本嵌入.

自监督三重训练主要步骤如下.

1)利用编码器在偏好视图(用户-商品交互图)上学习用户嵌入和商品嵌入, 以及在上述构建的两个超图上学习用户嵌入和未标记样本集的用户嵌入.

2)层组合.组合多层节点表示, 获得最终用户嵌入.

3)构建自监督信号, 利用自编码器在3个视图上学习到用户嵌入, 根据三重训练的思想^[26], 如果其它2个视图均将未标记样本预测为正样本, 将该未标记样本置为第3个视图的正样本, 否则视为负样本.

4)对比学习策略, 对于由上述获取的预测正样本和预测负样本, 最大化与正样本之间的相似性并最小化与负样本之间的相似性, 从而构建三重训练自监督信号.

1.2.1 编码器

使用用户-商品偏好视图和构建的2个超图, 构建3个编码器.采用轻量级图卷积神经网络(Light Graph Convolution Network, LightGCN)^[29]作为编码器的基本结构.

首先, 初始化可训练的用户嵌入E_U∈ R^{m× d}和商品嵌入E_V∈ R^{n× d}, 其中, e_u∈ E_U表示任一用户u_i的初始嵌入, e_v∈ E_V表示任一商品v_k的初始嵌入, d表示嵌入向量维数. zu(l)表示l层传播后用户u_i的嵌入, zv(l)表示l层传播后商品v_k的嵌入.

从偏好视图G_r上学习偏好视图上第l层用户u_i的嵌入:

$ \begin{aligned} \boldsymbol{z}_{u}^{r(l)}= & \sum_{v \in N_{u}^{r}}\left(\frac{1}{\sqrt{\left|N_{u}^{r}\right|} \sqrt{\left|N_{v}^{r}\right|}} \boldsymbol{z}_{v}^{(l-1)}\right)= \\ & \sum_{v \in N_{u}^{r}}\left(\left(\sqrt{\sum_{h=1}^{n} I\left(r_{u h}\right)} \sqrt{\sum_{h=1}^{m} I\left(r_{h v}\right)}\right)^{-1} \boldsymbol{z}_{v}^{(l-1)}\right), \end{aligned}$

商品v_k的嵌入:

$ \begin{aligned} \boldsymbol{z}_{v}^{(l)}= & \sum_{u \in N_{v}^{r}}\left(\frac{1}{\sqrt{\left|N_{v}^{r}\right|} \sqrt{\left|N_{u}^{r}\right|}} \boldsymbol{z}_{u}^{r(l-1)}\right)= \\ & \sum_{u \in N_{v}^{r}}\left(\left(\sqrt{\sum_{h=1}^{m} I\left(r_{h v}\right)} \sqrt{\sum_{h=1}^{n} I\left(r_{u h}\right)}\right)^{-1} \boldsymbol{z}_{u}^{r(l-1)}\right) . \end{aligned}$

其中:N ur表示在偏好视图G_r上与用户u有交互的商品集; | Nur|表示在偏好视图G_r上与用户u有交互的商品集中的商品个数, 即在偏好视图G_r的邻接矩阵R中用户u所在行中不为0的个数, | Nur|利用$\sum_{h=1}^{n} I\left(r_{u h}\right)$进行累加计算, 当r_uh=0, I(r_uh)=0, 当r_uh≠ 0, I(r_uh)=1; Nvr表示在偏好视图G_r上与商品v有交互的用户集; | Nvr|表示在偏好视图G_r上与商品v有交互的用户集中的用户个数, 即在偏好视图G_r的邻接矩阵R中商品v所在列中不为0的个数, | Nvr|利用$\sum_{h=1}^{m} I\left(r_{h v}\right)$进行累加计算, 偏好视图G_r上学习第l层的用户u_i的嵌入和商品v_k的嵌入均是利用它们在偏好视图G_r上的邻居节点计算得到的, 因此| Nur|和| Nvr|不可能为0; zur(0)表示用户u_i的初始嵌入e_u; zv(0)表示商品v_k的初始嵌入e_v.

从三角社交关系朋友视图En_f上学习朋友视图上第l层的用户u_i的嵌入:

$\begin{array}{l} z_{u}^{f(l)}= \\ \sum_{j \in N_{u}^{f}}\left(\frac{1}{\sqrt{\left|N_{u}^{f}\right|} \sqrt{\left|N_{j}^{f}\right|}} z_{j}^{f(l-1)}\right)= \\ \sum_{j \in N_{u}^{f}}\left(\left(\sqrt{\sum_{h=1}^{m} I\left(s_{u h}^{\prime} s_{u h}\right)} \sqrt{\sum_{h=1}^{m} I\left(s_{h j}^{\prime} s_{h j}\right)}\right)^{-1} z_{j}^{f(l-1)}\right) . \end{array}$

其中: Nuf( Njf)表示在三角社交关系朋友视图En_f上与用户u_i(u_j)有交互的用户集; | Nuf| (| Njf|)表示在三角社交关系朋友视图En_f上与用户u_i(u_j)有交互的用户集中的用户个数; | Nuf| (| Njf|)利用$\sum_{h=1}^{m} I\left(s_{u h}^{\prime} s_{u h}\right)\left(\sum_{h=1}^{m} I\left(s_{h j}^{\prime} s_{h j}\right)\right)$进行累加计算, s'_uhs_uh(s'_hjs_hj)

在式(2)中分别表示三角社交关系朋友视图En_f的邻接矩阵中用户u_i(u_h)和u_h(u_j)之间是否存在关系; zjf(0)表示用户u_j的初始嵌入e_j.

从三角关系朋友分享商品视图En_s上学习分享视图上第l层的用户u_i的嵌入:

$\begin{array}{l} z_{u}^{s(l)}= \\ \sum_{j \in N_{u}^{s}}\left(\frac{1}{\sqrt{\left|N_{u}^{s}\right|} \sqrt{\left|N_{j}^{s}\right|}} z_{j}^{s(l-1)}\right)= \\ \quad \sum_{j \in N_{u}^{s}}\left(\left(\sqrt{\sum_{h=1}^{m} I\left(r_{u h}^{\prime} s_{u h}\right)} \sqrt{\sum_{h=1}^{m} I\left(r_{h j}^{\prime} s_{h j}\right)}\right)^{-1} z_{j}^{s(l-1)}\right) . \end{array}$

其中: Nus( Njs)表示在三角关系朋友分享商品视图En_s上与用户u_i(u_j)有交互的用户集; | Nus| (| Njs|)表示在三角关系朋友分享商品视图En_s上与用户u_i(u_j)有交互的用户集中的用户个数, | Nus|(| Njs|)利用$\sum_{h=1}^{m} I\left(r_{u h}^{\prime} s_{u h}\right)\left(\sum_{h=1}^{m} I\left(r_{h j}^{\prime} s_{h j}\right)\right)$进行累加计算, 其中r'_uhs_uh(r'_hjs_hj)在式(3)中表示三角关系朋友分享商品视图En_s的邻接矩阵中用户u_i(u_h)与用户u_h(u_i)是否存在关系; zjs(0)表示用户u_j的初始嵌入e_j.

在三角社交关系朋友视图En_f和三角关系朋友分享商品视图En_s上只负责通过图卷积学习用户嵌入, 并给出预测正样本集, 而在偏好视图G_r上也承担生成推荐的任务, 从而学习用户嵌入和商品嵌入, 并且也需要从扰动图$\widetilde{G}$中学习未标记样本的嵌入.在扰动图$\widetilde{G}$中学习到的用户节点嵌入被用作未标记样本嵌入, 因此从扰动图$\widetilde{G}$中学习第l层的用户u_i的嵌入:

$\begin{array}{l} \widetilde{z}_{u}^{(l)}=\sum_{g \in N_{u}^{\tilde{R}}}\left(\left(\sqrt{\left|N_{u}^{\tilde{R}}\right|} \sqrt{\left|N_{g}^{\tilde{R}}\right|}\right)^{-1} \tilde{z}_{g}^{(l-1)}\right)+ \\ \sum_{j \in N_{u}^{\tilde{S}}}\left(\left(\sqrt{\left|N_{u}^{\tilde{S}}\right|} \sqrt{\left|N_{j}^{\tilde{S}}\right|}\right)^{-1} \tilde{z}_{j}^{(l-1)}\right)= \\ \sum_{g \in N_{u}^{R}}\left(\left(\sqrt{\sum_{h=1}^{n} I\left(\tilde{r}_{u h}\right)} \sqrt{\sum_{h=1}^{m} I\left(\tilde{r}_{h g}\right)}\right)^{-1} \tilde{z}_{g}^{(l-1)}\right)+ \\ \sum_{j \in N_{u}^{\tilde{S}}}\left(\left(\sqrt{\sum_{h=1}^{m} I\left(\tilde{s}_{u h}\right)} \sqrt{\sum_{h=1}^{m} I\left(\tilde{s}_{h j}\right)}\right)^{-1} \tilde{\boldsymbol{z}}_{j}^{(l-1)}, \right. \\ \end{array}$

第l层的商品v_k的嵌入:

$\begin{array}{l} \left.\tilde{\boldsymbol{z}}_{v}^{(l)}=\sum_{t \in N_{v}^{\tilde{R}}}\left(\sqrt{\left|N_{v}^{\tilde{R}}\right|} \sqrt{\left|N_{t}^{\tilde{R}}\right|}\right)^{-1} \tilde{\boldsymbol{z}}_{t}^{(l-1)}\right)= \\ \sum_{t \in N_{v}^{R}}\left(\left(\sqrt{\sum_{h=1}^{m} I\left(\tilde{r}_{h v}\right)} \sqrt{\sum_{h=1}^{n} I\left(\tilde{r}_{t h}\right)}\right)^{-1} \tilde{z}_{t}^{(l-1)}\right) . \\ \end{array}$

其中:$ \tilde{r}_{u h}$表示扰动的用户-商品交互矩阵$\widetilde{R}$中的元素, 如果$ \tilde{r}_{u h}$=1, 用户u_i和商品v_h在扰动的用户-商品交互图中有关系, 否则$ \tilde{r}_{u h}$=0, 用户u_i和商品v_h在扰动的用户-商品交互图中没有关系; $\tilde{s}_{h j}$表示扰动的用户-用户社交矩阵$\widetilde{S}$中的元素, 如果$\tilde{s}_{h j}$=1, 用户u_h、u_j在扰动的用户-用户社交图中有关系, 否则$\tilde{s}_{h j}$= 0, 用户u_h、u_j在扰动的用户-用户社交图中无关系; $ N_{v}^{\tilde{R}}$表示在扰动的用户-商品交互图上与用户u_i有关系的商品集, $ N_{v}^{\tilde{R}}$表示在扰动的用户-商品交互图上与商品v_k有关系的用户集, $ N_{u}^{\tilde{S}}\left(N_{j}^{\tilde{S}}\right)$ 表示在扰动的用户-用户社交图上与用户u_i(u_j)有关系的用户集; $ \widetilde{\boldsymbol{z}}_{u}^{(0)}$表示用户u_i的初始嵌入$\boldsymbol{e}_{u} ; \widetilde{z}_{v}^{(0)}$表示商品v_k的初始嵌入e_v.

由式(4)可知, 扰动图的邻接矩阵由两个部分组成:扰动的用户-商品交互矩阵 R˜和扰动的用户-用户社交矩阵$\widetilde{S}$.

1.2.2 层组合

经过l层图卷积处理后, 对每层的嵌入进行组合, 构建最终的节点嵌入.在偏好视图G_r、三角关系朋友分享商品视图En_s和三角社交关系朋友视图En_f上, 经过l层后的用户u_i的嵌入为:

$z_{u}^{t}=\sum_{h=0}^{l}\left(\frac{1}{h+1} z_{u}^{t(h)}\right), $ (5)

偏好视图G_r的商品v_k的嵌入为:

$z_{v}=\sum_{h=0}^{l}\left(\frac{1}{h+1} z_{v}^{(h)}\right)$ (6)

其中:t∈ {r, s, f}, 表示3个视图中的其中一个; zut(h)表示在视图上第h层的用户u_i的嵌入, zv(h)表示在偏好视图G_r上第h层的商品v_k的嵌入.因为在扰动图$\widetilde{G}$中学习到的用户节点嵌入被用作未标记样本嵌入, 未标记样本集经过l层后的未标记样本嵌入$\widetilde{z}_{u}$也使用相同的方法得到, 即

$\widetilde{z}_{u}=\sum_{h=0}^{l}\left(\frac{1}{h+1} \widetilde{z}_{u}^{(h)}\right) .$

将学习得到的所有未标记样本u_i的嵌入$\tilde{z}_{u}$进行拼接, 得到全部未标记样本的嵌入$\widetilde{\boldsymbol{Z}} \in \mathbf{R}^{m \times d}$.

1.2.3 构建自监督信号

通过在3个视图上执行图卷积, 编码器学习3组用户嵌入.由于每个视图都反映用户偏好的不同方面, 因此可从另外两个视图中寻求自监督信号.给定用户u_i, 使用来自其它2个视图的用户嵌入, 预测未标记样本集中为正的样本, 即只有在其它2个视图上都一致将未标记样本标记为正样本, 未标记样本才能在本视图上被标记为正样本, 否则视为负样本.

将各个视图上用户u_i的嵌入与未标记样本集上每个节点的嵌入进行余弦相似性计算, 再对所有结果进行Softmax归一化, 得到未标记样本集中每个节点是用户u_i的正样本的概率.未标记样本集上的节点是三角关系朋友分享商品视图En_s、三角社交关系朋友视图En_f和偏好视图G_r中用户u_i利用自身嵌入在本视图上的正样本的预测概率 y-u+s、 y-u+f和 y-u+r:

$\begin{aligned} \bar{y}_{u+}^{s}= & \operatorname{Softmax}\left(\phi\left(\widetilde{\boldsymbol{Z}}, z_{u}^{s}\right)\right)= \\ & \operatorname{Softmax}\left(\left[\phi\left(\widetilde{z}_{1}, z_{u}^{s}\right), \phi\left(\widetilde{z}_{2}, z_{u}^{s}\right), \cdots, \phi\left(\widetilde{z}_{m}, z_{u}^{s}\right)\right]\right), \\ \bar{y}_{u+}^{f}= & \operatorname{Softmax}\left(\phi\left(\widetilde{\boldsymbol{Z}}, z_{u}^{f}\right)\right)= \\ & \operatorname{Softmax}\left(\left[\phi\left(\widetilde{z}_{1}, z_{u}^{f}\right), \phi\left(\widetilde{z}_{2}, z_{u}^{f}\right), \cdots, \phi\left(\widetilde{z}_{m}, z_{u}^{f}\right)\right]\right), \\ \bar{y}_{u+}^{r}= & \operatorname{Softmax}\left(\phi\left(\widetilde{\boldsymbol{Z}}, z_{u}^{r}\right)\right)= \\ & \operatorname{Softmax}\left(\left[\phi\left(\widetilde{z}_{1}, z_{u}^{r}\right), \phi\left(\widetilde{z}_{2}, z_{u}^{r}\right), \cdots, \phi\left(\widetilde{z}_{m}, z_{u}^{r}\right)\right]\right) . \end{aligned}$

其中:ϕ 表示余弦相似性; zus、 zuf和 zur分别表示在三角关系朋友分享商品视图En_s、三角社交关系朋友视图En_f和偏好视图G_r上学习到用户u_i的嵌入; $ \widetilde{Z}$表示通过图卷积得到的未标记样本集上全部节点的嵌入, 在扰动图$\widetilde{G}$中学习到的用户节点嵌入被用作未标记样本嵌入.

进一步地, 利用另外2个视图上的预测概率, 计算每个未标记样本集上节点是三角关系朋友分享商品视图En_s、三角社交关系朋友视图En_f和偏好视图G_r中用户u_i的正样本的预测概率 yu+s、 yu+f和 yu+r, 即利用另外2个视图上预测概率的平均值表示第3个视图的预测概率:

$\begin{array}{l} y_{u+}^{r}=\frac{1}{2}\left(\bar{y}_{u+}^{s}+\bar{y}_{u+}^{f}\right), \\ y_{u+}^{s}=\frac{1}{2}\left(\bar{y}_{u+}^{r}+\bar{y}_{u+}^{f}\right), \\ y_{u+}^{f}=\frac{1}{2}\left(\bar{y}_{u+}^{s}+\bar{y}_{u+}^{r}\right) . \end{array}$

由此获得在偏好视图G_r上top-K个预测的正样本集

$P_{u+}^{r}=\operatorname{top}-K\left(y_{u+}^{r}\right), $

在三角关系朋友分享商品视图En_s上top-K个预测的正样本集

$P_{u+}^{s}=\operatorname{top}-K\left(y_{u+}^{s}\right), $

在三角社交关系朋友视图En_f上top-K个预测的正样本集

$P_{u+}^{f}=\operatorname{top}-K\left(y_{u+}^{f}\right) .$

1.2.4 对比学习策略

由于把在扰动图$\widetilde{G}$中学习到的用户节点嵌入用作未标记样本嵌入, 因此预测负样本集为全部用户集合中不属于预测正样本集的部分, 表示为{U- Pu+t}, t∈ {r, s, f}, 给定用户u_i, 最大化其节点嵌入 zut与来自 Pu+t的预测正样本节点p的嵌入$\widetilde{z}_{p}$之间的相似性, 并最小化其节点嵌入 zut与预测负样本节点j的嵌入$\widetilde{z}_{j}$之间的相似性, 借助于InfoNCE损失^[30], 构建自监督三重训练学习目标函数:

$\begin{array}{l} L_{\text {ssl }}= \\ -\sum_{t \in\{r, s, f\}} \log _{2}\left(\frac{\sum_{p \in P_{u+}^{t}} \psi\left(z_{u}^{t}, \widetilde{z}_{p}\right)}{\sum_{p \in P_{u+}^{t}} \psi\left(z_{u}^{t}, \widetilde{z}_{p}\right)+\sum_{\left.j \in \mid U-P_{u+}^{t}\right\}} \psi\left(z_{u}^{t}, \widetilde{z}_{j}\right)}\right), \end{array}$

其中

$\psi\left(z_{u}^{t}, \widetilde{z}_{p}\right)=\exp \left(\frac{1}{\tau} \phi\left(z_{u}^{t}, \widetilde{z}_{p}\right)\right), $

ϕ (· )∶ R^d× R^d|→ R表示余弦相似性函数, τ 表示自监督损失温度系数.

社会不一致问题是指2位用户之间虽然存在社交连接, 但对商品兴趣偏好并不一致.聚合不一致的社会好友可能会使图神经网络学习到有损推荐性能的节点表示^{[18, 23]}.本文利用用户-商品偏好视图中学习的用户嵌入和商品嵌入构建一个查询层.然后利用查询层对邻居进行采样, 获得与节点一致的邻居.最后再将筛选得到的与节点一致的邻居嵌入与节点嵌入进行加权聚合, 以此聚合一致邻居嵌入.

1)嵌入层.连接用户-商品偏好视图和用户社交网络, 构成一个用户-商品异构网络, 利用式(5)和式(6)拼接偏好视图上学习到的用户嵌入 zut和商品嵌入z_v, 生成一个嵌入层Z∈ R^{d× (m+n)}, 其中每行表示每个节点的嵌入.不失一般性, z_x∈ R^d为节点x∈ U∪ V的嵌入表示, 即节点x表示任意节点, 可以是用户也可以是商品.此外, 除了用户间的社交连接以外, 还利用用户对商品的评分值区分用户和商品之间的连接关系, 关系嵌入表示为z_g.

例如, 假设数据集上有5个评级值, 即评分在{1, 2, 3, 4, 5}中, 因此节点之间有6种关系, 即除了用户-用户的社交关系, 还有5种基于评分值的用户-商品评分关系.

2)查询层.针对每对(u_i, v_k), 利用在偏好视图上的用户初始嵌入e_u和商品初始嵌入e_v的拼接进行映射, 构建查询嵌入:

$\boldsymbol{q}_{u, v}=\operatorname{Relu}\left(\boldsymbol{W}_{q}^{\mathrm{T}}\left(\boldsymbol{e}_{u} \| \boldsymbol{e}_{v}\right)\right), $

其中, ‖ 表示向量拼接操作, W_q∈ R^{2d× d}表示参数矩阵.

3)邻居采样.为了聚合偏好一致邻居, 可采用邻居采样方法选择那些一致的邻居.查询层中节点z_x(用户或商品)的第l层邻居节点 zn(l)的被采样概率由其对应查询嵌入q_{x, n}与所有第l层邻居的一致性得分决定:

$\operatorname{prob}_{n}^{(l)}=\left(\boldsymbol{z}_{n}^{(l)}, \boldsymbol{q}_{x, n}\right)=\frac{c\left(\boldsymbol{z}_{n}^{(l)}, \boldsymbol{q}_{x, n}\right)}{\sum_{j \in N b_{x}} c\left(\boldsymbol{z}_{j}^{(l)}, \boldsymbol{q}_{x, j}\right)}, $

其中, Nb_x表示节点x的第l层邻居节点集, c( zn(l), q_{x, n})表示第l层邻居节点 zn(l)与查询嵌入q_{x, n}的一致性得分,

$c\left(\boldsymbol{z}_{n}^{(l)}, \boldsymbol{q}_{x, n}\right)=\exp \left(-\left\|\boldsymbol{q}_{x, n}-\boldsymbol{z}_{n}^{(l)}\right\|_{2}\right) .$

被采样邻居的数量与邻居总数呈正比, 比值设置为γ ∈ [0, 1], 为实验超参数.

每个近邻节点的被采样概率反映它被选中的可能性, 采样概率越高, 选中的可能性越大.

4)关系自注意力.进一步地, 为了区分近邻节点之间不同连接关系, 采用一个关系自注意力模块, 学习这些采样节点的重要性权重.关系自注意力为节点z_x的第l层邻居节点 zn(l)分配一个重要性权重:

$a_{n}^{(l)}=\frac{\exp \left(\boldsymbol{W}_{a}^{\mathrm{T}}\left(\boldsymbol{z}_{n}^{(l)} \| \boldsymbol{z}_{g}^{(x, n)}\right)\right)}{\sum_{j=1}^{J} \exp \left(\boldsymbol{W}_{a}^{\mathrm{T}}\left(\boldsymbol{z}_{j}^{(l)} \| \boldsymbol{z}_{g}^{(x, j)}\right)\right)}, $

其中, J表示节点z_x在第l层采样的邻居总数, W_a表示关系注意力权重, zg(x, n)∈ z_g表示z_x的第l层邻居节点 zn(l)关系类型嵌入.

5)聚合一致邻居.节点z_x的第l层聚合一致邻居的节点:

$\boldsymbol{z}_{x}^{(l)}=\operatorname{ReLU}\left(\boldsymbol{W}^{\mathrm{T}}\left(\boldsymbol{z}_{x}^{(l-1)} \| \sum_{j=1}^{J} a_{j}^{(l)} \boldsymbol{z}_{j}^{(l)}\right)\right), $

其中W表示权重矩阵.通过上式可学习到用户和商品聚合一致邻居后最后一层L的嵌入表示 zu(L)和 zv(L), 那么用户对商品的预测评分为:

$\hat{r}_{u v}=z_{u}^{(L)} \cdot z_{v}^{(L)} .$

模型学习目标包括两个任务:推荐主任务和基于自监督三重训练的对比学习任务.以贝叶斯个性化排序^[31]为基础构建推荐主任务优化目标:

$L_{\text {main }}=\sum_{\substack{v_{k} \in N_{u}^{r} \\ v_{j} \notin N_{u}^{r}}}\left(-\log _{2}\left(\operatorname{sigmoid}\left(\hat{r}_{u v}-\hat{r}_{u j}\right)\right)\right), $

其中 Nur表示用户u_i交互过的商品集合.将上式与自监督三重训练学习目标函数L_ssl联合, 得到模型总体学习优化目标:

$L=L_{\text {main }}+\beta L_{\mathrm{ssl}}, $

其中, β 表示一个超参数, 用来控制自监督三重训练的强度.

为了验证SR-STCNA性能, 选择CiaoDVD、FilmTrust、Last.fm、Yelp这4个公开社会化推荐的数据集, 数据集的具体信息如表1所示.

表1

Table 1

表1(Table 1)

表1 数据集统计信息 Table 1 Datasets statistics 名称 用户数 商品数 评分数 社交关系 评分范围 CiaoDVD 17615 16121 72665 40133 [1, 5] FilmTrust 1508 2071 35497 1853 [1, 5] Last.fm 1892 17632 92834 25434 [1, 5] Yelp 16239 14284 198397 158590 [1, 5]

表1 数据集统计信息 Table 1 Datasets statistics

本文选取如下2类5个对比模型.

1)图神经网络基本框架模型LightGCN^[29].

LightGCN是基于图神经网络的通用推荐模型, 利用用户-商品的接近度学习节点表示并生成推荐.

2)社会化推荐模型.

(1)GDMSR^[19].基于图降噪的社会化推荐方法, 为了降低社交网络中的噪声影响, 提出基于自纠正课程学习的自适应降噪策略, 获得更可信的社交近邻.

(2)MHCN(Multi-channel Hypergraph Convolutio-nal Network)^[21].基于多通道超图卷积网络的社会化推荐方法, 对用户与超边之间的复杂相关性进行建模.

(3)SEPT(SElf-Supervised Tri-Training)^[26].自监督三重训练的社会化推荐方法, 利用超边对用户进行建模, 同时利用自监督三重训练训练模型, 但未聚合一致邻居.

(4)DiffNet++^[32].基于增强型扩散网络的社会化推荐方法, 利用扩散模型将用户社交影响力和兴趣偏好融合在一个框架中.

所有的对比模型都按照原论文或源码中的最佳参数设置进行实验分析.SR-STCNA中失活率设置为0.2, Adam(Adaptive Moment Estimation)优化器的学习率设置为0.001, 批尺寸设置为512.在FilmTrust数据集上设置边扰动概率ρ =0.2, 其它3个数据集上设置ρ =0.6.在CiaoDVD数据集上设置邻居采样比γ =0.8, 在FilmTrust数据集上γ =0.4, 在Last.fm数据集上γ =0.4, 在Yelp数据集上γ =0.6.在CiaoDVD、Yelp数据集上设置top-K正样本数为40, 在FilmTrust数据集上top-K正样本数为50, 在Last.fm数据集上top-K正样本数为15.

评价指标选择社会化推荐对比模型^{[19, 21, 26, 32]}中常采用的精确度(Precision)、召回率(Recall)和归一化折损累积增益(Normalized Discounted Cumulative Gain, NDCG), 并截取top-10 作为推荐结果, 因此3个评价指标依次为Precision@10、Recall@10和NDCG@10.

为了更好地学习用户节点和商品节点的嵌入表示, 在模型中使用l层网络聚合节点的高阶邻居节点信息.现探究网络层数l对模型性能的影响.l表示节点所能聚合到的节点信息的范围.在实验中, 为了验证l对模型性能的影响, 在4个数据集上定义l=1, 2, 3, 4, 求得的指标值如表2所示, 表中黑体数字表示最优值.

表2

Table 2

表2(Table 2)

表2 网络层数l对模型性能的影响 Table 2 Effect of network layer l on model performance 数据集 网络 层数 Precision@10 /% Recall@10 /% NDCG@10 /% 数据集 网络 层数 Precision@10 /% Recall@10 /% NDCG@10 /% CiaoDVD 1 2 3 4 1.11 1.18 0.73 0.55 5.40 5.45 3.15 2.43 3.46 3.48 2.00 1.50 Last.fm 1 2 3 4 17.70 20.00 18.08 15.67 17.93 20.29 18.35 15.88 21.81 24.67 22.29 18.97 FilmTrust 1 2 3 4 27.87 29.67 29.17 29.10 50.61 55.33 54.52 54.38 59.56 63.55 62.29 62.08 Yelp 1 2 3 4 2.17 2.19 1.81 1.53 5.82 6.01 4.58 3.70 4.50 4.72 3.64 2.92

表2 网络层数l对模型性能的影响 Table 2 Effect of network layer l on model performance

从表2可看出, 当图神经网络层数l=2时, 指标值最高, 而l=3, 4时, Precision@10、Recall@10和NDCG@10的值也会随之减小.通过对二阶邻居节点的信息进行聚合, 可获得更优性能, 但如果将更高阶的邻居节点的信息聚合在一起, 就会在中心节点聚合到更多冗余信息, 导致性能变得不理想.这完全符合目前主流图神经网络框架^{[29, 33]}一般不会聚合超过3层近邻的作法.

用户节点和商品节点的嵌入维数d是模型中一个重要的超参数.为了验证d对性能的影响, 在4个数据集上选取不同d值进行实验, 结果如表3所示, 表中黑体数字表示最优值.

表3

Table 3

表3(Table 3)

表3 节点嵌入维数d对模型性能的影响 Table 3 Effect of node embedding dimension d on model performance 嵌入 维数 网络 层数 Precision@10 /% Recall@10 /% NDCG@10 /% 嵌入 维数 网络 层数 Precision@10 /% Recall@10 /% NDCG@10 /% CiaoDVD 70 80 90 100 110 120 130 1.19 1.18 1.18 1.19 1.20 1.19 1.19 5.35 5.29 5.37 5.36 5.40 5.41 5.40 3.51 3.48 3.49 3.49 3.51 3.50 3.50 Last.fm 60 70 80 90 100 110 120 19.99 20.02 20.03 20.12 20.17 20.16 20.13 20.29 20.31 20.33 20.40 20.46 20.47 20.42 24.69 24.70 24.66 24.85 24.85 24.81 24.70 FilmTrust 10 20 30 40 50 60 70 28.38 28.79 29.10 29.41 29.50 29.40 29.50 52.02 52.93 54.19 54.83 55.05 54.73 54.84 59.34 61.77 62.83 63.55 63.88 64.13 63.75 Yelp 50 60 70 80 90 100 110 2.13 2.12 2.15 2.13 2.16 2.15 2.11 5.60 5.63 5.76 5.68 5.78 5.76 5.78 4.43 4.41 4.49 4.47 4.50 4.49 4.52

表3 节点嵌入维数d对模型性能的影响 Table 3 Effect of node embedding dimension d on model performance

从表3可看出, 在CiaoDVD数据集上最佳d=110, FilmTrust数据集上最佳d=50, Last.fm数据集上最佳d=100, Yelp数据集上最佳d=90.节点嵌入维数d对于表示节点信息至关重要, 过小将导致节点的信息表示不充分, 过大会导致过拟合问题.

自监督训练强度β 是模型总体学习目标函数L中的超参数, 用于控制自监督训练在联合学习中的影响强度.为了验证β 对性能的影响, 定义β =0, 0.001, 0.002, 0.005, 0.01, 0.02, 0.05, 0.1, 0.5, 在4个数据集上进行实验, 结果如表4所示, 表中黑体数字表示最优值.从表4可看出, CiaoDVD数据集上最佳β =0.002, FilmTrust数据集上最佳β =0.005, Last.fm数据集上最佳β =0.002, Yelp数据集上最佳β =0.001.较小的自监督训练强度β 可使模型得到较优性能, 而较大β 会使得模型性能大幅降低.

表4

Table 4

表4(Table 4)

表4 自监督训练强度β 对模型性能的影响 Table 4 Effect of self-supervised training Intensity β on model performance 数据集 β Precision@10 /% Recall@10 /% NDCG@10 /% 数据集 β Precision@10 /% Recall@10 /% NDCG@10 /% CiaoDVD 0 0.001 0.002 0.005 0.01 0.02 0.05 0.1 0.5 1.24 1.26 1.28 1.22 1.15 1.02 0.77 0.58 0.32 5.65 5.75 5.81 5.50 5.12 4.54 3.45 2.71 1.56 3.66 3.73 3.75 3.56 3.36 2.92 2.26 1.77 1.05 Last.fm 0 0.001 0.002 0.005 0.01 0.02 0.05 0.1 0.5 19.94 20.07 20.21 20.17 19.79 19.21 16.90 14.15 5.61 20.23 20.39 20.50 20.48 20.07 19.53 17.18 14.40 5.71 24.73 24.82 24.96 24.87 24.45 23.75 21.02 17.54 6.82 FilmTrust 0 0.001 0.002 0.005 0.01 0.02 0.05 0.1 0.5 28.46 29.02 29.18 29.23 29.53 29.83 28.09 27.13 17.61 52.41 53.83 54.36 54.52 54.46 54.45 49.89 48.69 35.57 61.51 63.38 63.80 63.58 62.67 59.84 54.21 52.15 39.51 Yelp 0 0.001 0.002 0.005 0.01 0.02 0.05 0.1 0.5 2.36 2.38 2.36 2.34 2.34 2.28 2.08 1.85 0.79 6.19 6.27 6.18 6.14 6.17 6.00 5.72 5.35 3.04 4.90 4.98 4.91 4.91 4.92 4.76 4.47 4.10 2.15

表4 自监督训练强度β 对模型性能的影响 Table 4 Effect of self-supervised training Intensity β on model performance

SR-STCNA与5个对比模型在4个数据集上的指标值对比如图3所示.由图可看出, SR-STCNA在4个数据集上总体性能最佳, 这充分说明SR-STCNA在推荐任务上的有效性.在5个对比模型中, DiffNet++性能最差, 这可能与模型参数较多难于训练有关.相比LightGCN, MHCN、SEPT和GDMSR表现更优, 表明将用户社交关系融入图神经网络中对推荐性能是有帮助的.相比MHCN, SEPT和SR-STCNA表现更优, 表明利用自监督三重训练可显著提升推荐性能.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 各模型在4个数据集上的对比结果Fig.3 Result comparison of different models on 4 datasets

此外, 相比SEPT和GDMSR, SR-STCNA在4个数据集上的Precision@10、Recall@10和NDCG@10值都略优.相比SEPT, SR-STCNA和GDMSR在3个评价指标上都更优, 说明在节点表示学习过程中, 考虑聚合兴趣一致近邻而删除不可信近邻是提高模型推荐性能的有效途径, 这并非实验扰动所致.相比GDMSR, SR-STCNA也有一定优势, 说明在社会化推荐模型聚合兴趣一致邻居比寻找更可信近邻更有效, 原因可能在于很难为所有用户制定统一的信任好友评价指标.

在SR-STCNA中, 构建两个超图视图和一个用户-商品偏好视图, 利用三重训练挖掘自监督信号.本节消融每个视图以研究视图对模型性能的贡献程度.当仅使用偏好视图和一个增强视图时, 模型变为自监督联合训练, 即两个视图相互判断另一个视图的预测正样本集; 当仅使用用户-商品偏好视图时, 模型变为自训练, 即利用自身预测自己的正样本集.使用SS w/o ENS表示仅有用户-商品偏好视图和三角社交关系朋友视图、无三角关系朋友分享商品视图的模型, 使用SS w/o ENF表示仅有用户-商品偏好视图和三角关系朋友分享商品视图、无三角社交关系朋友视图的模型, 使用SS w/o ENS & ENF表示仅有用户-商品偏好视图的模型.因为Light-GCN是SR-STCNA中的基本编码器, 因此将Light-GCN也进行消融实验, 验证所有视图对模型的贡献, 即表示无自监督三重训练模块的模型.为了充分验证聚合一致邻居的有效性, 使用SS w/o CAN 表示没有聚合一致邻居模块的模型.

各模型的具体消融实验结果如表5所示, 表中黑体数字表示最优值.由表可看出, 在4个数据集上使用不同视图的结果均优于LightGCN.在Last.fm、Yelp数据集上, 利用3个视图进行自监督三重训练的效果最优, 因此所有视图都有贡献.在FilmTrust数据集上, 利用2个视图进行自监督联合训练的效果最优.在CiaoDVD数据集上, 利用用户-商品偏好视图进行自训练的效果最优.由FilmTrust、CiaoDVD数据集上消融实验结果可得出, 在模型中利用1个用户-商品偏好视图进行自训练和利用2个视图进行自监督联合训练, 也可以生成较好的自监督信号.增加视图的数量可带来更好地性能提升(如在Last.fm、Yelp数据集上), 但是这个观点并不适用于所有数据集(如在FilmTrust、CiaoDVD数据集上).

表5

Table 5

表5(Table 5)

表5 各模型的消融实验结果 Table 5 Ablation experiment results of different models 数据集 模型 Precision @10 Recall @10 NDCG @10 数据集 模型 Precision @10 Recall @10 NDCG @10 CiaoDVD LightGCN SS w/o ENS SS w/o ENF SS w/o ENS & ENF SR-STCNA w/o CNA SR-STCNA 1.19 1.25 1.26 1.22 1.20 1.26 5.45 5.69 5.69 5.43 5.67 5.70 3.51 3.70 3.67 3.58 3.65 3.69 Last.fm LightGCN SS w/o ENS SS w/o ENF SS w/o ENS & ENF SR-STCNA w/o CNA SR-STCNA 19.20 20.10 20.09 20.04 19.89 20.15 19.48 20.41 20.38 20.32 20.12 20.51 23.39 24.85 24.90 24.84 23.58 24.89 FilmTrust LightGCN SS w/o ENS SS w/o ENF SS w/o ENS & ENF SR-STCNA w/o CNA SR-STCNA 26.33 30.13 30.14 29.32 29.28 29.42 50.16 56.12 56.19 54.18 54.37 54.57 58.10 64.84 64.77 63.51 62.09 63.63 Yelp LightGCN SS w/o ENS SS w/o ENF SS w/o ENS & ENF SR-STCNA w/o CNA SR-STCNA 1.94 2.36 2.38 2.36 2.23 2.38 5.19 6.18 6.19 6.16 5.86 6.20 4.08 4.92 4.94 4.93 4.81 4.94

表5 各模型的消融实验结果 Table 5 Ablation experiment results of different models

在CiaoDVD数据集上, 三角社交关系朋友视图及三角关系朋友分享商品视图对推荐性能的提升无帮助作用, 可能是在数据集上, 用户数/评分数和用户数/社交关系较少, 用户和商品以及用户和用户的交互数量过少, 导致2个增强视图中包含的信息过少且不准确, 对推荐产生负面影响.在FilmTrust数据集上, 三角关系朋友分享商品视图对推荐性能的提升起到帮助作用, 但是, 三角社交关系朋友视图对推荐性能的提升无帮助作用, 可能是在数据集上, 用户数/社交关系较少, 用户和用户的交互数量过少, 导致三角社交关系朋友视图中包含的信息过少且不准确, 对推荐结果产生负面影响.此外, 未考虑聚合一致邻居的模型SS w/o CAN 在4个数据集上的消融结果表明, 聚合一致邻居确实能提高SR-STCNA的性能.