多模态推荐旨在综合利用文本、视觉等多模态信息, 挖掘用户偏好, 为其推荐物品.在本文中, 设U为用户集合, I为物品集合, M为用户数量, N为物品数量, 每位用户u∈ U根据用户历史交互矩阵

$ \boldsymbol{Y} \in \mathbf{R}^{M \times N}=\left\{y_{u i} \mid u \in U, i \in I\right\}$

与物品i∈ I关联, 若用户u和物品i存在交互记录, $y_{ui}=1$, 否则$y_{ui}=0$.设$ \boldsymbol{x}_{u} \in \mathbf{R}^{d}$为初始用户u的嵌入, $ \boldsymbol{x}_{i} \in \mathbf{R}^{d}$为初始物品i的嵌入, d为嵌入维度.此外, 本文使用物品的文本和视觉的模态信息, 基于预训练模型的特征提取, 得到物品i在m模态下的原始特征$ \boldsymbol{o}_{i}^{m} \in \mathbf{R}^{d_{m}}, d^{m}$为物品在模态m下的嵌入维度, m∈ 为文本模态, 为视觉模态. 为了实现有效的多模态推荐, 本文结合多模态特征$ \boldsymbol{o}_{i}^{m}$和用户历史交互信息, 将用户u和物品i的初始嵌入$x_u$ 和$x_i$ 作为模型参数训练, 通过训练推荐模型建模用户u和物品i.再通过预测函数, 得到用户u对集合I中每个物品i的偏好得分, 根据得分为用户u推荐物品.

1.2.1 潜在关联挖掘

为了从多模态特征中挖掘物品之间的潜在关联, 本文基于物品的多模态特征, 计算在不同模态下物品间的相似度, 构建模态m下的物品-物品图

$\mathcal{G}_{m}=\left(\boldsymbol{I}, \widetilde{\boldsymbol{S}}^{m}\right), $

用于揭示多模态特征中潜在的物品间关联, 其中$\widetilde{\boldsymbol{S}}^{m}$为模态m下归一化的物品间相似度矩阵.为了得到矩阵$\widetilde{\boldsymbol{S}}^{m}$, 首先根据多模态特征$\boldsymbol{o}_{i}^{m}$计算不同物品之间的相似度分数, 本文采用余弦相似度.具体地, 物品i、i'在模态m下的相似度为:

$S_{i i^{\prime}}^{m}=\frac{\left(\boldsymbol{o}_{i}^{m}\right)^{\mathrm{T}} \boldsymbol{o}_{i^{\prime}}^{m}}{\left\|\boldsymbol{o}_{i}^{m}\right\|\left\|\boldsymbol{o}_{i^{\prime}}^{m}\right\|} .$

此时得到加权的相似度分数矩阵$S^m$, 随后对其进行kNN稀疏化^[18], 对于每个物品i, 仅保留相似度分数排名前k(top- k)的边, 从而得到矩阵$\widehat{\boldsymbol{S}}^{m}$:

$\widehat{S}_{i i^{\prime}}^{m}=\left\{\begin{array}{ll} S_{i i^{\prime}}^{m}, & S_{i i^{\prime}}^{m} \in \operatorname{top}-k\left(\boldsymbol{S}_{i}^{m}\right) \\ 0, & \text { 其它 } \end{array}\right.$

其中$S_i^m$ 表示$S^m$ 的第i行.随后将$\widehat{\boldsymbol{S}}^{m}$进行归一化, 得到归一化的相似度矩阵:

$\widetilde{\boldsymbol{S}}^{m}=\left(\boldsymbol{D}^{m}\right)^{-\frac{1}{2}} \widehat{\boldsymbol{S}}^{m}\left(\boldsymbol{D}^{m}\right)^{-\frac{1}{2}}, $

其中$\boldsymbol{D}^{m} \in \mathbf{R}^{N \times N}$为$\widehat{\boldsymbol{S}}^{m}$的度矩阵,

$D_{i i}=\sum_{i^{\prime}} \widehat{S}_{i i^{\prime}}$

本文使用物品的文本特征和视觉特征, 构建文本 和视觉 模态下的物品-物品图 和 之后为了构建多模态物品-物品图

根据不同模态的重要性, 加权求和得到图 的邻接矩阵:

$\widetilde{\boldsymbol{S}}^{-\mu}=\sum_{m} \alpha_{m} \widetilde{\boldsymbol{S}}^{m}, $

其中, $α _m$ 为模态m的权重系数, 不同模态的权重和为1.

同样, 为了探索用户间的潜在关联, 根据用户间共同交互的物品数计算用户间的相似度, 进而挖掘用户间的潜在关联, 并构建用户-用户图

用于显式揭示用户-物品-用户这种高阶关系.

为了得到邻接矩阵$\widetilde{\boldsymbol{S}}^{u}$, 首先根据用户历史交互记录, 统计用户u、u'共同交互物品的个数$S_{u u^{\prime}}^{u}$, 从而得到$S^U$, 之后保留共同交互个数前k(top-k)的边, 即

$\widehat{S}_{u u^{\prime}}^{u}=\left\{\begin{array}{ll} S_{u u^{\prime}}^{u}, & S_{u u^{\prime}}^{u} \in \operatorname{top}-k\left(\boldsymbol{S}_{u}^{u}\right) \\ 0, & \text { 其它 } \end{array}\right.$

其中$\boldsymbol{S}_{u}^{u}$表示$\boldsymbol{S}^{u}$的第u行.

得到$\widehat{\boldsymbol{S}}^{\mathcal{U}}$之后, 为了能更好地捕捉节点之间的关联并提高图卷积操作的执行效率, 使用Softmax函数计算每位用户与邻居节点的权重, 得到$\widehat{\boldsymbol{S}}^{\mathcal{U}}$, 并建立用户-用户图 .

1.2.2 潜在结构学习

通过潜在关联挖掘可发现物品间和用户间的潜在关联.为了进一步利用这些潜在结构信息优化用户表示和物品表示, 本文使用图神经网络学习这些潜在结构信息.将物品和用户嵌入基于不同潜在结构进行图卷积, 利用挖掘的潜在结构对用户表示和物品表示执行消息的传递与聚合操作, 使图中节点能利用不同的潜在关联更新自身的信息, 得到信息更全面的用户表示和物品表示.

具体地, 本文将物品的初始嵌入$x_i$ 作为图卷积第0层的输入$\boldsymbol{x}_{i}^{(0)}$, 分别在物品-物品图 上执行图卷积操作.为了提高图卷积的效率, 采用LightGCN进行图卷积, 去除特征变换和非线性激活, 提高执行效率.第l层的物品表示为:

其中, 为物品i在物品-物品图 中的邻居节点.

经过图卷积操作后, 将最后一层的输出$\boldsymbol{x}_{i}^{\left(L_{i i}\right)}$ 作为学习潜在结构的物品表示$\boldsymbol{x}_{i}^{\mathcal{Z}}$, 即

$\boldsymbol{x}_{i}^{\mathcal{L}}=\boldsymbol{x}_{i}^{\left(L_{i i}\right)}, $

其中$L_{ii}$ 为图卷积的层数.由此得到学习不同潜在结构的物品表示 对于用户间的潜在结构学习, 同样使用图卷积神经网络, 学习用户-用户图上的图结构, 通过消息传递与聚合更新用户表示, 学习用户之间的潜在关联.具体地, 本文将用户的初始嵌入$x_u$ 作为图卷积第0层输入$\boldsymbol{x}_{u}^{(0)}$, 并在用户-用户图 上执行图卷积操作, 使用LightGCN简化图卷积的过程.图卷积第l层输出的用户表示:

其中 为用户u在用户-用户图 上的邻居节点.同样将最后一层的输出$ \boldsymbol{x}_{u}^{\left(L_{u u}\right)}$作为学习潜在结构的用户表示$ \boldsymbol{x}_{u}^{u}$, 即

$ \boldsymbol{x}_{u}^{u}=\boldsymbol{x}_{u}^{\left(L_{u u}\right)}, $

其中$L_{uu}$ 为图卷积的层数.

通过图卷积操作, 可得到学习潜在结构的用户表示和物品表示.为了更好地融合这些结构信息, 设计潜在结构融合机制, 聚合这些表示.对于物品表示, 根据不同模态的权重系数将物品表示进行加权求和, 融合后得到物品表示:

$ \boldsymbol{x}_{i}^{f}=\boldsymbol{x}_{i}^{\llcorner\mu}+\sum_{m} \boldsymbol{\alpha}_{m} \boldsymbol{x}_{i}^{m} .$ (1)

对于用户表示, 考虑用户间的潜在结构学习与之后学习历史交互使用的数据同为用户历史交互记录, 为了缓解多轮的消息传递和聚合过程中梯度减小的问题, 对用户的潜在结构融合采用残差机制, 在传播时更容易保持梯度, 有利于提高用户表示的质量.最终得到融合之后的用户表示:

$ \boldsymbol{x}_{u}^{f}=\boldsymbol{x}_{u}+\boldsymbol{x}_{u}^{u} .$ (2)

在得到融合潜在结构的用户$ \boldsymbol{x}_{u}^{f}$和物品表示$ \boldsymbol{x}_{i}^{f}$之后, 为了进一步学习用户的历史行为, 本文根据用户的历史交互记录构建用户-物品二部图 =(V, E).其中:$ \boldsymbol{V}=\boldsymbol{U} \cup \boldsymbol{I}$, 表示用户-物品二部图节点集合; E由归一化交互矩阵Y得到.

为了更好地表示用户和物品, 使用户表示和物品表示能将潜在结构和历史交互二部图结构互补融合, 将融合潜在结构的用户表示和物品表示在用户-物品二部图上执行图卷积操作.考虑到图剪枝技术已被证明是有效的^[10], 因此本文在用户-物品二部图 上也进行图剪枝操作, 得到剪枝后的图 之后将融合潜在结构的用户表示$ \boldsymbol{x}_{u}^{f}$和物品表示$x_i$作为图卷积的输入$\boldsymbol{h}_{u}^{(0)}$和$\boldsymbol{h}_{i}^{(0)}$, 在剪枝后的用户-物品图 上采用LightGCN执行图卷积操作.图卷积第l层的输出为:

其中 和 分别为用户u和物品i在图 上的邻居节点.

最后通过READOUT函数, 得到最终的用户表示和物品表示:

$\begin{array}{l} \boldsymbol{h}_{i}=\operatorname{READOUT}\left(\boldsymbol{h}_{i}^{(0)}, \boldsymbol{h}_{i}^{(1)}, \cdots, \boldsymbol{h}_{i}^{\left(L_{u i}\right)}\right), \\ \boldsymbol{h}_{u}=\operatorname{READOUT}\left(\boldsymbol{h}_{u}^{(0)}, \boldsymbol{h}_{u}^{(1)}, \cdots, \boldsymbol{h}_{u}^{\left(L_{u i}\right)}\right), \end{array}$

其中$L_{ui}$ 为在用户-物品图上执行图卷积的层数.READOUT函数可采用加和、拼接和平均等函数, 本文使用平均函数.

多模态特征中的语义信息是指物品从不同感官(如文本、视觉等)提取的能表达语义含义的特征, 这些特征有助于丰富用户和物品的向量表示.融合不同模态下表现的语义信息, 可使推荐系统进一步理解物品的各种属性.本文使用物品的文本特征和视觉特征, 包含物品在不同模态下获得的关于物品的高层次语义内容, 每个模态的特征都提供独特的信息视角.例如:文本特征提供关于物品的文本描述, 而视觉模态提供有关物品外观、形状、颜色等方面的视觉信息.

为了融合潜在结构信息与多模态特征中的语义信息, 利用对比学习中维持向量之间一致性的特点, 使学习潜在结构的物品表示h_i与其多模态特征对齐, 从而实现多模态中潜在结构与语义信息的融合.物品的多模态特征 oim具有物品多模态的语义信息, 但使用不同的预训练模型, 可提取不同模态特征, 导致不同模态下的特征具有不同的维度和特征空间.本文使用多层感知机(Multilayer Perceptron, MLP)将物品i在模态m下的原始特征 oim进行映射, 从而得到与物品表示h_i维度相同的多模态表示:

$\boldsymbol{e}_{i}^{m}=\boldsymbol{o}_{i}^{m} \boldsymbol{W}_{m}+\boldsymbol{b}_{m}, $ (3)

其中, $ \boldsymbol{W}_{m} \in \mathbf{R}^{d_{m} \times d}$为多层感知机中的线性变换矩阵, b_m∈ R^d为偏置项.

之后将物品多模态表示 eim作为图卷积第0层的输入 him(0)在模态m的物品-物品图G_m上执行图卷积操作, 即

$\boldsymbol{h}_{i}^{m(l)}=\sum_{i^{\prime} \in \mathcal{N} m} \widetilde{\boldsymbol{S}}_{i i^{\prime}}^{m} \boldsymbol{h}_{i^{\prime}}^{m(l-1)}, $

其中N_m(i)表示物品i在物品-物品图上G_m的邻居节点.并将最后一层的输出 him(Lii)作为物品i在模态m下的表示 him, 即

$\boldsymbol{h}_{i}^{m}=\boldsymbol{h}_{i}^{m\left(L_{i i}\right)}$

其中卷积层数与潜在结构学习的层数同为L_ii, 并得到物品在两种模型下的表示 hTi、 hVi.

为了更好地对齐融合潜在结构的物品表示h_i与其模态m下的表示 him, 设计对比损失函数:

$\begin{array}{l} \mathcal{L}_{s s l}^{m}= \\ \qquad \sum_{\substack{i \in I \\ j \neq i}}-\ln \left(\frac{\exp \left(\frac{s\left(\boldsymbol{h}_{i}, \boldsymbol{h}_{i}^{m}\right)}{\tau}\right)}{\exp \left(\frac{s\left(\boldsymbol{h}_{i}, \boldsymbol{h}_{i}^{m}\right)}{\tau}\right)+\exp \left(\frac{s\left(\boldsymbol{h}_{i}, \boldsymbol{h}_{j}^{m}\right)}{\tau}\right)}\right), \end{array}$

其中, s(· , · )表示计算两个向量之间的相似度, 本文使用余弦相似度, τ 为对比损失的温度系数.

最后将不同模态的对比损失根据权重加和, 得到总的对比损失:

$\mathcal{L}_{s s l}=\sum_{m} \alpha_{m} \mathcal{L}_{s s l}^{m} .$ (4)

本文通过用户表示和物品表示计算内积, 得到用户u对物品i的偏好分数:

$\hat{\boldsymbol{y}}_{u i}=\boldsymbol{h}_{u}^{\mathrm{T}} \boldsymbol{h}_{i} .$

采用BPR(Bayesian Personalized Ranking)损失函数^[19], 该函数鼓励正对的用户-物品对的偏好得分高于其负对的得分, 并构建三元组集合T, 每个三元组(u, i, j)满足y_ui=1并且y_uj=0. BPR具体定义如下:

$\mathcal{L}_{b p r}=\sum_{(u, i, j) \in T}-\ln \sigma\left(\hat{\boldsymbol{y}}_{u i}-\hat{\boldsymbol{y}}_{u j}\right), $ (5)

其中σ (· )为Sigmoid激活函数.结合对比损失和BPR损失, 得到最终的损失函数:

$\mathcal{L}=\mathcal{L}_{b p r}+\lambda \mathcal{L}_{s s l}, $ (6)

其中λ 为对比损失的权重系数.

算法1 MISS训练过程

输入 多模态数据, 用户行为数据

输出 MISS

预处理 构建用户-用户图、物品-物品图、用户-物品图

初始化 随机初始化用户和物品嵌入等模型参数 For epoch = 1 to N

在物品-物品图执行图卷积操作得到 xTi, xVi, xMi

在用户-用户图执行图卷积操作得到 xuu

由式(1)和式(2)计算得到 xif和 xuf

在用户-物品二部图执行图卷积操作, 得到h_i

和h_u

多模态特征 oim通过式(3)进行映射, 得到 eim

eim在物品-物品图执行图卷积操作, 得到 hTi

和 hVi

由式(4)计算对比损失L_ssl

由式(5)计算BPR损失L_bpr

由式(6)计算总损失L

应用梯度下降更新模型参数

End for

本文在Amazon的Baby; Sports and Outdoors(简记为Sports); Clothing, Shoes, and Jewelry(简记为Clothing)这3个公开数据集^[20]上进行实验.历史交互数据通过筛选过滤, 确保每位用户至少有5条交互记录.3个数据集的统计情况如表1所示.对于多模态数据, 文本和视觉的多模态特征使用公开并广泛使用的版本^[9], 均通过预训练模型提取得到, 文本特征为384维, 视觉特征为4 096维.

表1

Table 1

表1(Table 1)

表1 实验数据集统计 Table 1 Statistics of experimental datasets 名称 用户个数 物品个数 交互数量 稀疏度/% Baby 19445 7050 160792 99.88 Sports 35598 18357 296337 99.95 Clothing 39387 23033 278677 99.97

表1 实验数据集统计 Table 1 Statistics of experimental datasets

为了便于算法性能对比分析, 本文将数据集按照8∶ 1∶ 1的比例划分为训练集、验证集和测试集, 并使用广泛采用的评价指标— — 召回率(Recall)和NDCG(Normalized Discounted Cumulative Gain)评价推荐性能, 简记为R@K和N@K.嵌入维度d设为64维, 使用文献[21]中方法初始化用户和物品的ID嵌入.在模型优化上, 设置批次大小为2 048, 并使用Adam(Adaptive Moment Estimation)优化器^[22]优化模型参数, 最大迭代次数设为1 000, 在连续20次无性能提升时提前停止.为了保证公平性, 所有模型在MMRec(Simplifying Multimodal Recommenda-tion)框架^[23]上实现, 并在NVIDIA RTX A5000显卡上进行实验.

为了验证MISS的有效性, 本文选择如下推荐方法进行对比.

1)协同过滤模型.

(1)LightGCN^[5].去除图卷积中的特征变换和非线性激活, 提高计算效率和性能.

(2)BPR^[19].设计BPR损失, 优化矩阵分解模式下的用户表示和物品表示.

2)多模态推荐模型.

(1)VBPR^[2].在BPR的基础上, 融合视觉特征与物品嵌入, 丰富物品特征语义.

(2)MMGCN^[6].利用图卷积得到不同模态的用户表示和物品表示, 融合后得到最终的表示.

(3)GRCN^[7].利用多模态特征对用户-物品二部图进行剪枝, 减少二部图中的噪声.

(4)DualGNN^[8].从用户-物品图中提取用户-用户图, 增强用户表示.

(5)LATTICE^[9].从多模态特征中学习物品之间的潜在结构, 挖掘物品之间的关联.

(6)FREEDOM^[10].冻结来自多模态特征的物品-物品图, 并采用图剪枝实现最佳性能.

(7)SLMRec^[16].在多模态推荐中使用自监督学习方式, 并提出3种数据增强的方式.

各对比方法在K=10, 20时的性能如表2所示, 表中黑体数字表示最优值, 斜体数字表示次优值.

表2

Table 2

表2(Table 2)

表2 各方法在3个数据集上的性能对比 Table 2 Performance comparison of different methods on 3 datasets 数据集 指标 BPR LightGCN VBPR GRCN DualGNN LATTICE SLMRec FREEDOM MISS Baby R@10 R@20 N@10 N@20 0.0357 0.0575 0.0192 0.0249 0.0479 0.0754 0.0257 0.0328 0.0423 0.0663 0.0223 0.0284 0.0532 0.0824 0.0282 0.0358 0.0513 0.0803 0.0278 0.0352 0.0547 0.0850 0.0292 0.0370 0.0521 0.0772 0.0289 0.0354 0.0627 0.0992 0.0330 0.0424 0.0673 0.1026 0.0360 0.0450 Sports R@10 R@20 N@10 N@20 0.0432 0.0653 0.0241 0.0298 0.0569 0.0864 0.0311 0.0387 0.0558 0.0856 0.0307 0.0384 0.0599 0.0919 0.0330 0.0413 0.0588 0.0899 0.0324 0.0404 0.0620 0.0953 0.0335 0.0421 0.0663 0.0990 0.0365 0.0450 0.0717 0.1089 0.0385 0.0481 0.0743 0.1140 0.0403 0.0505 Clothing R@10 R@20 N@10 N@20 0.0206 0.0303 0.0114 0.0138 0.0361 0.0544 0.0197 0.0243 0.0281 0.0415 0.0158 0.0192 0.0421 0.0657 0.0224 0.0284 0.0452 0.0675 0.0242 0.0298 0.0492 0.0733 0.0268 0.0330 0.0442 0.0659 0.0241 0.0296 0.0629 0.0941 0.0341 0.0420 0.0642 0.0952 0.0352 0.0430

表2 各方法在3个数据集上的性能对比 Table 2 Performance comparison of different methods on 3 datasets

由表2可见, MISS的性能优于对比方法.与现有模型相比, MISS学习潜在结构和二部图结构, 有效融合各图的结构信息, 并利用对比学习机制, 将物品表示与其多模态特征对齐, 从而融合多模态中的潜在结构和原始语义, 进一步提高推荐性能.

为了验证MISS中各组件的有效性, 单独移除各组件以评估不同组件的贡献, 从而得到MISS的3种变体.

1)MISS_ii.移除物品-物品图潜在结构学习的MISS.

2)MISS_uu.移除用户-用户图潜在结构学习的MISS.

3)MISS_cl.移除对比学习机制的MISS.

3种变体和MISS在3个数据集上的性能对比如图2所示.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 MISS和3个变体的性能对比Fig.2 Performance comparison among MISS and 3 variants

由图2可看出, 物品-物品图的潜在结构学习在3个数据集上均为贡献度最大的组件, 在用户和物品数量更多的数据集Sports、Clothing上, 用户-用户图的潜在结构学习和对比学习贡献度相似.在不同数据集和指标下, MISS始终优于其它变体, 这表明每个组件对于性能的提升都是有益的, 也表明融合潜在结构和语义信息的有效性.

为了探究不同模态的贡献, 本文对比使用多模态时和使用单一模态时性能, 并将仅使用文本特征的MISS称为MISS_T, 仅使用视觉特征的MISS称为MISS_V.使用多模态的MISS与使用单一模态的MISS_T和MISS_V的性能对比如图3所示.由图可看出, 使用多模态的MISS在性能上始终优于使用单模态的MISS_T和MISS_V, 这表明结合多种模态更有利于推荐性能的提升.此外, 文本之间相似的置信度往往高于视觉之间相似的置信度, 正如图中观察到的, 仅使用文本特征时比仅使用视觉特征时具有更优的推荐性能.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 MISS在多模态和单模态时的性能对比Fig.3 Performance comparison of MISS in multiple modalities and single modality

本文中不同模态的权重和为1, 为了研究不同视觉权重对模型性能的影响, 将视觉权重$α _v$的取值范围设为0至1, 并以0.1作为步长, 此时文本权重为$1-α _v$.MISS在3个数据集上不同视觉权重$α _v$ 下的推荐性能对比如图4所示.

从图4可看出, 在$α _v≤ 0.3$时, MISS在数据集上取得最佳性能, 之后随着$α _v$ 取值增大, 模型性能呈下降趋势.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 MISS在不同视觉权重下的性能对比Fig.4 Performance comparison of MISS with different visual weights

此外, 本文还研究模型在学习率和对比损失权重上的敏感性, 设置学习率

lr=1e-1, 1e-2, 1e-3, 1e-4,

对比学习损失权重系数

λ=0.1, 0.2, 0.3, 0.4, 0.5.

在Baby、Sports数据集上, 不同学习率和对比损失权重组合下的MISS性能对比如表3和表4所示.由表可发现:MISS对 lr的变化更敏感, 并且在 lr=1e-3时性能最佳; MISS对 λ不太敏感, 但选取恰当的 λ对模型性能仍是有益的.

表3

Table 3

表3(Table 3)

表3 Baby数据集上不同学习率和对比损失权重组合下的MISS性能对比 Table 3 Performance comparison of MISS under different combinations of learning rate and contrastive loss weight on Baby dataset lr R@20 N@20 λ =0.1 λ =0.2 λ =0.3 λ =0.4 λ =0.5 λ =0.1 λ =0.2 λ =0.3 λ =0.4 λ =0.5 1e-1 0.0710 0.0718 0.0724 0.0714 0.0733 0.0308 0.0313 0.0315 0.0311 0.0318 1e-2 0.0954 0.0972 0.0963 0.0962 0.0964 0.0417 0.0424 0.0422 0.0419 0.0419 1e-3 0.1017 0.1026 0.1026 0.1003 0.1002 0.0450 0.0450 0.0449 0.0438 0.0439 1e-4 0.0650 0.0651 0.0637 0.0636 0.0630 0.0285 0.0284 0.0278 0.0273 0.0268

表3 Baby数据集上不同学习率和对比损失权重组合下的MISS性能对比 Table 3 Performance comparison of MISS under different combinations of learning rate and contrastive loss weight on Baby dataset

表4

Table 4

表4(Table 4)

表4 Sports数据集上不同学习率和对比损失权重组合下的MISS性能对比 Table 4 Performance comparison of MISS under different combinations of learning rate and contrastive loss weight on Sports dataset lr R@20 N@20 λ =0.1 λ =0.2 λ =0.3 λ =0.4 λ =0.5 λ =0.1 λ =0.2 λ =0.3 λ =0.4 λ =0.5 1e-1 0.0695 0.0715 0.0702 0.0706 0.0709 0.0314 0.0319 0.0316 0.0321 0.0320 1e-2 0.1038 0.1031 0.1050 0.1040 0.1031 0.0462 0.0458 0.0466 0.0464 0.0461 1e-3 0.1140 0.1133 0.1134 0.1126 0.1117 0.0505 0.0499 0.0501 0.0499 0.0492 1e-4 0.0729 0.0743 0.0756 0.0760 0.0756 0.0311 0.0320 0.0327 0.0328 0.0331

表4 Sports数据集上不同学习率和对比损失权重组合下的MISS性能对比 Table 4 Performance comparison of MISS under different combinations of learning rate and contrastive loss weight on Sports dataset

为了进一步探究MISS性能提高的原因, 本文分别将LightGCN和MISS生成的用户最佳表示和物品最佳表示进行可视化(随机抽样2 000位用户和2 000个物品).

采用单位圆可视化方法^[24], 首先使用t-SNE(t-Distributed Stochastic Neighbor Embedding)^[25]将用户表示和物品表示分别映射为二维空间中的单位向量, 再使用高斯核密度估计计算用户特征和物品特征的分布情况, 并可视化不同角度的密度.LightGCN和MISS的用户表示和物品表示在单位圆上的分布情况如图5和图6所示.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 LightGCN学到的特征分布Fig.5 Feature distribution learned by LightGCN

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 MISS学到的特征分布Fig.6 Feature distribution learned by MISS

对比图5和图6可看出, LightGCN学到的表示呈现局部的高度聚集, 而MISS学到的特征分布更均匀, 可更全面考虑各种用户兴趣和物品特征, 提高推荐准确率.同时均匀的用户表示和物品表示分布可促使模型考虑更广泛的用户兴趣和物品特征, 从而提高推荐系统的多样性.实验表明融合多模态结构和语义信息对于提高模特推荐性能是有效的.