本文将知识库定义为G={E, R, T}, 其中, E为实体的集合, R为关系的集合, T为知识的集合.一个知识也称为一个三元组(h, r, t)∈ T, 其中, h∈ E为头实体, t∈ E为尾实体, r∈ R表示关系.

本文定义3种不同模态的特征向量, 其中实体包含结构特征向量、文本特征向量和图像特征向量, 关系只有结构特征向量.具体定义如下:实体的结构特征向量e_stru∈ EstructureM, 关系结构特征向量r_stru∈ RstructureM, 实体的文本特征向量e_text∈ EtextN, 经过降维操作的文本特征向量e'_text∈ EtextM, 实体的图像特征向

量e_image∈ EimageP, 经过降维操作的图像特征向量e'_image∈ EimageM, 文本与图像特征向量连接后降维得到的特征向量e'_{text; image}∈ EconM.实体的多模态表示定义为e_multi∈ EmultiM, 由实体的结构特征向量、文本特征向量和图像特征向量融合而成, 其中, e包括头实体向量h和尾实体向量t, E为实体特征向量集合, R为关系特征向量集合, M、N、P表示特征向量维度.

本文的目标是学习一个评分函数

φ ∶ E× R× E→ score∈ [0, 1],

评估给定的三元组(h, r, t)是否为有效三元组.

Conv-AT整体架构如图1所示.本文方法由5个部分组成:多模态表示生成模块、卷积神经网络模块、通道注意力模块、空间注意力模块、输出三元组评分.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 Conv-AT整体框图Fig.1 Architecture of Conv-AT

1.2.1 多模态表示生成模块

本文主要考虑结构知识及结构知识中实体对应的文本信息和图像信息.首先将实体对应的文本特征向量e_text和图像特征向量e_image分别经过一个全连接层, 映射到与实体结构特征向量相同维度的空间中, 得到降维后的文本特征向量e'_text和图像特征向量e'_image:

e'_text=e_textW₁+b₁, e'_image=e_imageW₂+b₂,

其中, W₁∈ R^{N× M}、W₂∈ R^{P× M}为映射矩阵, b₁、b₂为偏参.具体如图2(a)所示.

统一这些特征向量, 生成实体的多模态表示.本文提出3种融合方式:

1)相加(Add).将降维后的文本特征向量e'_text和图像特征向量e'_image、结构特征向量e_stru相加, 如图2(b)所示.实体的多模态表示定义为

e_multi=e'_text+e'_image+e_stru.

2)注意力(Attention).简单地将实体对应的所有模态进行相加, 可能会带来一些噪声, 使部分特征失去重要信息.因此, 本文在相加的基础上提出基于注意力的多模态表示学习方法, 自动地从不同的模态信息中选择重要特征.具体操作如下:将文本特征向量、图像特征向量和结构特征向量在通道维度上进行拼接, 形成一个宽度为1、高度为M、通道数为3的特征映射, 作为卷积神经网络的输入.使用大小为1× M、输出通道数为3的卷积核, 在进行特征提取后, 经过激活函数Sigmoid, 得到每个模态特征向量的权重.将得到的权重与对应的模态特征向量相乘后再相加, 此时实体的多模态表示为

e_multi=α ₁e'_text+α ₂e'_image+α ₃e_stru.

具体操作如图2(c)所示.

3)连接映射(Connection and Map, ConMap).将实体对应的文本特征向量e_text和图像特征向量e_image进行连接操作, 将连接后的向量经过全连接层, 映射到与实体结构特征向量相同的维度空间, 得到e'_{text; image}.将降维的向量与结构特征向量e_stru相加.如图2(d)所示, 实体的多模态表示为

e_multi=e'_{text; image}+e_stru, e't_{ext; image=}[et_ext; ei_mage]W3₊b3_,

其中, [; ]为连接操作, W₃∈ R^{(N+P)× M}为映射矩阵, b₃为偏参.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 实体的多模态表示Fig.2 Framework of multimodal representation of entities

1.2.2 卷积神经网络层

给定一个三元组(h, r, t), 使用实体和关系的结构特征向量对其初始化, 得到矩阵

A=[h_stru, r_stru, t_stru]∈ R^{M× 3}.

通过1.2.1节方式, 获得头尾实体的多模态表示, 得到矩阵

A=[h_multi, r_stru, t_multi]∈ R^{M× 3}.

同时为了捕获矩阵A的边缘信息, 对其左右边界填充0, 得到矩阵A'.使用大小为1× 3的过滤器ω , 有助于捕获头实体、关系和尾实体在相同维度下的交互特征, 经过卷积后获得和A形状相同的特征映射.过滤器的数量为τ , 对于第k(k=1, 2, …, τ )个过滤器, 生成特征映射V^k.V^k第i行第j列的特征

Vi, jk=f ∑m, nA'i+m-1, j+n-1ωm, nk+b,

其中, ω m, nk表示第k个过滤器的第m行第n列元素, A'_{i, j}表示矩阵的第i行第j列元素, b为偏参, f(· )表示激活函数, 这里使用RELU.

1.2.3 通道注意力模块

本文引入通道注意力和空间注意力, 帮助模型过滤噪声特征, 关注那些更重要的特征.将三元组特征映射V输入通道注意力模块M_c中, 获得每个特征映射的权重.具体操作如图3所示.首先将特征映射V分别通过平均池化(Average-Pooling, AvgPool)和最大池化(Max-Pooling, MaxPool)操作, 聚合每个特征映射的不同维度的信息, 得到 Favgc和 Fmaxc.然后分别经过具有一个隐藏层的多层感知机(Multi-layer Perceptron, MLP), 感知机隐藏层的神经元个数为τ /q, 其中q为缩小比率.使用元素求和并合并MLP输出的特征向量, 经过Sigmoid激活函数, 得到每个特征映射的权重.通道注意力

M_C(V)=f(MLP(AvgPool(V))+MLP(MaxPool(V)))=f(W_aout(W_ahidden( Favgc))+W_mout(W_mhidden( Fmaxc))),

其中, W_aout、W_ahidden、W_mout、W_mhidden为MLP权重参数矩阵, f(· )为Sigmoid函数.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 通道注意力模块框图Fig.3 Flow chart of channel attention module

1.2.4 空间注意力模块

将通道注意力模块得到的特征权重M_C(V)和特征映射V进行元素乘法操作, 得到特征映射

L₁=M_C(V)􀱋V,

其中􀱋表示元素乘.

将特征映射L₁作为空间注意力模块M_S的输入.空间注意力模块可计算特征映射不同空间位置的权值大小.首先, 在通道维度上进行平均池化和最大池化操作, 聚合不同特征映射的通道信息, 得到 Favgs和 Fmaxs.将池化后的特征按通道维度进行连接,

得到一个宽度为3、高度为M、通道数为2的特征映射.然后使用单个卷积核进行卷积, 卷积得到的特征映射与特征映射L₁在空间维度上保持一致.最后经过Sigmoid层, 得到空间位置的权重.空间注意力模块

M_S(L₁)= f(convolve[AvgPool(L1₎; MaxPool(L1₎])= f(convolve( [Favgs; Fmaxs]),

其中, [; ]为连接操作, f(· )为Sigmoid函数.

空间注意力模块具体过程如图4所示.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 空间注意力模块框图Fig.4 Flow chart of spatial attention module

1.2.5 输出三元组评分

将空间注意力模块计算得到的M_S(L₁)和特征映射L₁进行元素乘操作, 得到特征映射

L₂=M_S(L₁)􀱋L₁.

再将L₂与原始特征映射V按位相加, 经过形状变换操作(Reshape)后, 得到高度为3Mτ 、宽度为1的特征向量.然后与权重向量w∈ R^{3Mτ × 1}进行点积操作, 得到三元组(h, r, t)的评分.本文将Conv-AT的评分函数F定义为

F(h, r, t)=reshape(L₂􀱇V)w.

在训练的过程中, 最小化损失函数Loss, 损失函数为

Loss= θ2w‖22+ ∑(h, r, t)∈{G⋃G'}ln(1+exp(lab(h, r, t)F(h, r, t))),

其中

lab(h, r, t)= 1, (h, r, t)∈G-1, (h, r, t)∈G'

G为正确的三元组集合, G'为不正确的三元组集合, 是经过随机替换G中三元组的头实体或尾实体生成的, θ 为正则化参数, w为权重向量, ‖ · ‖22为L2正则化.

本文在如下3个多模态数据集上进行实验:WordNet Combined with Images(WN9-IMG)^[16]、Freebase Combined with Images(FB-IMG)^[16]和Freebase Combined both Image and Text(FB-IMG-Text).

1)WN9-IMG数据集.基于WordNet, 包含如下4部分:知识三元组、结构特征向量、实体文本特征向量和实体图像特征向量.结构特征向量使用TransE训练, 按照Bordes等^[9]建议设置超参数值, 维度为100.实体文本特征向量使用扩展词嵌入模型(Extending Word Embeddings to Embeddings for Synsets and Lexemes, AutoExtend)^[17]进行训练, 维度为300.实体图像特征向量的维度为4 096, 使用深度为19的视觉几何组模型(Visual Geometry Group, VGG19)^[18]进行训练.

2)FB-IMG数据集.基于FB15K, 包含如下4部分:知识三元组、结构特征向量、实体文本特征向量和实体图像特征向量.对数据进行过滤, 删除出现在验证集和测试集但不出现在训练集的一些实体和关系.结构特征向量采用和WN9-IMG数据集结构特征向量相同的训练方式.实体文本特征向量维度为1 000, 使用单词嵌入模型^[19]进行训练.实体图像特征向量使用中型架构VGG模型(VGG-Medium-128, VGG-M-128) CNN^[20]训练, 维度为128.

3)FB-IMG-Text数据集.本文在FB-IMG数据集上添加Veira等^[14]提供的实体描述和非结构化的语料库.对于实体描述, 使用与每个实体关联的维基百科文章的摘要部分.非结构化文本语料库使用谷歌新闻数据集, 然后运用词向量模型(Word to Vector, word2vec)对其进行预训练.FB-IMG数据集上实体的一些名称和维基百科文章不可用, 因此删除所有没有描述的实体及所有涉及它们的三元组.

3个数据集详细信息如表1所示.

表1

Table 1

表1(Table 1)

表1 实验数据集 Table 1 Experimental datasets 名称 实体 关系 训练集 验证集 测试集 WN9-IMG 6555 9 11741 1337 1319 FB-IMG 11754 1216 285850 29574 34851 FB-IMG-Text 9930 726 180270 18648 21993

表1 实验数据集 Table 1 Experimental datasets

在训练期间, 使用自适应矩估计(Adaptive Moment Estimation, Adam), 学习率λ =1e-5, 5e-5, 1e-4, 批处理大小为256, 过滤器ω 初始化为正态分布或[0.1, 0.1, -0.1].过滤器数量τ =64, 128, 256.感知机隐层的缩小比率q=16.空间注意力模块中单卷积核大小为1× 3, 1× 2, 2× 3, 3× 3, 3× 2.θ =0.001.为防止过拟合, 在最后连接向量与权重向量点积前, 设置连接向量的丢失率为0.8和1.

Conv-AT的最优参数设置如下:学习率为1e-4, 过滤器初始化采用正态分布, 过滤器数量为128.空间注意力中卷积核大小如下:在WN9-IMG数据集上, ConMap为3× 3, Add为2× 3, Attention为2× 1.在FB-IMG数据集上, ConMap为1× 2, Add为3× 2, Attention为3× 2.

对比模型如下:TransE^[9]、IKRL^[15]、文献[16]模型、Veira等^[14]的3种文本增强实体嵌入方式(WWV、PE-WWV、FeatureSum).对于IKRL和文献[16]模型, 采用文献[16]中表现最优的IKRL(Concat)和文献[16]模型(Concat), 作为结合多模态方法的对比实验.对于WWV、PE-WWV和FeatureSum, 只展示表现最优的基于TransE嵌入模型的结果.

本文使用链路预测和三元组分类任务评价模型补全能力.对于测试集中每个有效的三元组, 使用实体集E中的每个实体替换真实的头实体h或尾实体t, 这会产生包含有效三元组的假三元组集合.上述这种设置记为Raw.如果删除上述创建的假三元组集合中有效的三元组, 即那些出现在训练集和验证集的三元组, 那么这种设置记为Filter.

本文将平均排名(Mean Rank, MR), 平均倒数排名(Mean Reciprocal Rank, MRR), Hits@10, Hits@3, Hits@1作为链路预测的评价指标, 使用精确度作为三元组分类的评价指标.

1)平均排名(MR).包括两部分.(1)评估头实体预测.使用实体集E中的每个实体替换正确三元组的头实体, 使用评分函数计算假三元组集合中每个三元组的得分, 并将假三元组集合的得分按升序排列, 记录原测试三元组在其中的排名.(2)以相同的方式评估尾实体.将测试三元组中的头实体排名和尾实体排名进行平均, 得到最终的平均排名.

2)平均倒数排名(MRR).和MR计算方式相同, 求出每个三元组的排名后, 将头实体排名的倒数和尾实体排名的倒数求均值.

3)Hits@N.测试三元组集合中实体排名小于等于N的比例.正确的头实体或尾实体排名在前N个命中次数(Hit Count)加1, 再对头实体和尾实体的命中数求均值.

4)精确度.预测正确样本占总预测样本的比例.预测为正实际样本为正的个数与预测为负实际样本为负的个数之和除以所有预测样本的个数.

本文研究模型的4种设置:1)Base.只使用结构知识.在训练过程中, 实体和关系向量使用随机初始化.2)Add.使用结构知识, 同时在实体结构特征向量中以Add融入文本特征向量和图像特征向量.3)Attention.使用结构知识, 同时在实体结构特征向量中以Attention融入文本特征向量和图像特征向量.4)ConMap.使用结构知识, 同时在实体结构特征向量中以ConMap融入文本特征向量和图像特征向量.

各模型在WN9-IMG、FB-IMG数据集上的链路预测结果如表2所示.在表中, 评估方式为Filter, 黑体数字表示最优结果, 斜体数字表示次优结果.

表2

Table 2

表2(Table 2)

表2 各模型在2个数据集上的链路预测结果 Table 2 Link prediction results of different models on 2 datasets 模型 WN9-IMG数据集 FB-IMG数据集 MR MRR Hits@10 /% Hits@3 /% Hits@1 /% MR MRR Hits@10 /% Hits@3 /% Hits@1 /% TransE 136 0.702 85.4 74.8 62.2 240 0.245 55.9 36.7 6.3 IKRL(Concat) 12 0.793 93.3 85.5 71.2 104 0.278 47.9 30.8 18.0 文献[16]模型(Concat) 9 0.762 94.8 86.3 64.6 48 0.446 66.7 49.4 33.6 Conv-AT(Base) 128 0.842 90.8 88.0 79.2 114 0.299 57.8 34.9 16.7 Conv-AT(Add) 21 0.706 90.4 81.5 57.8 50 0.451 69.9 53.2 31.5 Conv-AT(Attention) 26 0.762 91.8 87.0 64.7 48 0.456 70.9 54.0 31.7 Conv-AT(ConMap) 21 0.848 91.9 88.1 80.4 49 0.454 70.0 53.2 32.0

表2 各模型在2个数据集上的链路预测结果 Table 2 Link prediction results of different models on 2 datasets

由表2可见, 在WN9-IMG数据集上, Conv-AT(ConMap)在MRR、Hits@3和Hits@1指标上取得最优结果, 尤其在Hits@1指标上, 相比文献[16]模型(Concat), Conv-AT(ConMap)提高24.5%.采用ConMap的实体多模态表示模型在此数据集上表现优于本文提出的另两种模型.Conv-AT(Attention)的实验结果优于Conv-AT(Add), 说明注意力方法可自动选择不同模态中的重要特征, 过滤一些噪声, 帮助模型学习更有区分力的实体表示.

相比WN9-IMG数据集, FB-IMG数据集包含更多的实体和关系, 更复杂, 更接近于真实的知识图谱.在FB-IMG数据集上, 本文模型在MRR、Hits@10和Hits@3指标上最优, 表明本文模型的有效性.相比Conv-AT(Base), Conv-AT(Attention)的MR值提高66.4%, MRR值提高52.5%, Hits@10值提高22.7%, Hits@3值提高54.7%, Hits@1值提高89.8%.这显示实体多模态表示的好处, 可帮助模型学习更显著的特征.

为了进一步分析不同模型的特性, 参考文献[9]的方法, 对WN9-IMG、FB-IMG测试集上的关系类型进行统计.计算每个关系的平均头实体个数和尾实体个数, 将测试集划分为4部分:一对一关系(1-to-1)、一对多关系(1-to-N)、多对一关系(N-to-1)、多对多关系(N-to-N).如果平均个数小于1.5, 标记为1, 否则标记为N.例如, 对于一个关系, 头实体的平均个数为1.1, 尾实体的平均个数为2.5, 这个关系标记为一对多关系.2个数据集统计结果如表3所示.从统计结果可看到, 2个数据集的测试集包含较多的复杂关系, 即1-to-N、N-to-1和N-to-N关系.

表3

Table 4

表3(Table 4)

表3 测试集关系类型统计 Table 4 Statistics of relational type on test sets 关系类型 WN9-IMG数据集 FB-IMG数据集 1-to-1 158 647 1-to-N 610 3661 N-to-1 551 5641 N-to-N 0 24902 合计 1319 34851

表3 测试集关系类型统计 Table 4 Statistics of relational type on test sets

WN9-IMG数据集上不同关系类型的链路预测结果如表4所示, 表中黑体数字表示最优结果.斜体数字表示次优结果.

由表4可见, Conv-AT(ConMap)在MRR、Hits@3和Hits@1指标上均有明显提升, 但在Hits@10指标上不如基线模型, 主要原因在于WN9-IMG数据集包含较少的关系, 文献[16]模型(Concat)能充分利用翻译嵌入模型的关系平移特性, 提升前10的命中率.

表4

Table 4

表4(Table 4)

表4 各模型在WN9-IMG数据集的不同关系类型上的链路预测结果 Table 4 Link prediction results of different models for different relationship types on WN9-IMG dataset 关系类型 模型 MR MRR Hits@10/% Hits@3/% Hits@1/% 1-to-1 文献[16]模型(Concat) Conv-AT(Add) Conv-AT(Attention) Conv-AT(ConMap) 14 25 27 25 0.599 0.570 0.616 0.737 89.87 85.44 86.71 87.34 71.20 70.89 77.53 79.11 44.30 39.24 43.67 65.51 1-to-N 文献[16]模型(Concat) Conv-AT(Add) Conv-AT(Attention) Conv-AT(ConMap) 10 21 28 19 0.785 0.703 0.771 0.857 95.49 89.92 91.80 92.70 88.28 80.90 85.16 89.18 67.54 57.46 67.13 81.15 N-to-1 文献[16]模型(Concat) Conv-AT(Add) Conv-AT(Attention) Conv-AT(ConMap) 7 23 24 20 0.783 0.732 0.777 0.844 95.55 92.47 93.38 92.29 88.48 86.30 89.92 87.93 67.06 59.44 65.34 79.76

表4 各模型在WN9-IMG数据集的不同关系类型上的链路预测结果 Table 4 Link prediction results of different models for different relationship types on WN9-IMG dataset

FB-IMG数据集上不同关系类型的链路预测实验结果如表5所示, 表中黑体数字表示最优结果, 斜体数字表示次优结果.本文模型在1-to-1、1-to-N和N-to-1关系类型上的预测结果总体优于文献[16]模型(Concat).但是在N-to-N关系类型的预测中, 本文模型出现部分负例三元组和正例三元组得分相同的情况, 使模型无法正确区分它们, 因此本文模型在该类型预测的Hits@1指标上不如文献[16]模型(Concat).

表5

Table 5

表5(Table 5)

表5 各模型在FB-IMG数据集的不同关系类型链路上的预测结果 Table 5 Link prediction results of different models for different relationship types on FB-IMG dataset 关系类型 模型 MR MRR Hits@10/% Hits@3/% Hits@1/% 1-to-1 文献[16]模型(Concat) Conv-AT(Add) Conv-AT(Attention) Conv-AT(ConMap) 98 48 42 44 0.544 0.588 0.577 0.596 72.02 78.44 79.91 80.83 58.27 66.38 66.46 67.54 45.83 47.14 44.82 47.91 1-to-N 文献[16]模型(Concat) Conv-AT(Add) Conv-AT(Attention) Conv-AT(ConMap) 66 76 77 77 0.433 0.500 0.495 0.501 62.58 67.84 68.60 67.78 47.57 56.21 56.31 55.80 33.38 39.70 38.32 40.07 N-to-1 文献[16]模型(Concat) Conv-AT(Add) Conv-AT(Attention) Conv-AT(ConMap) 89 100 94 97 0.467 0.488 0.486 0.496 64.87 64.39 65.60 65.49 51.05 53.84 53.66 54.57 37.13 40.00 39.17 40.74 N-to-N 文献[16]模型(Concat) Conv-AT(Add) Conv-AT(Attention) Conv-AT(ConMap) 36 35 34 35 0.441 0.432 0.440 0.435 67.64 71.22 72.16 71.13 49.15 52.24 53.44 52.27 32.53 27.98 28.65 28.48

表5 各模型在FB-IMG数据集的不同关系类型链路上的预测结果 Table 5 Link prediction results of different models for different relationship types on FB-IMG dataset

为了进一步评估不同模态的知识对实体表示的影响, 在FB-IMG、FB-IMG-Text数据集上进行实验.在FB-IMG-Text数据集上, 剔除图像模态, 将实体对应的结构特征向量和文本特征向量直接相加作为实体的多模态表示, 将这种方法记为Text.Ling和Vis为文献[16]中的实验设置, Ling表示仅使用文本特征向量作为外部模态, Vis表示仅使用图像特征向量作为外部模态.

本文与Veira等^[14]提出的3种文本增强实体嵌入方式进行对比, 采用与其相同的评估方式Raw, 并设置相同的训练次数(200).链路预测结果如表6所示, 表中黑体数字表示最优结果, 斜体数字表示次优结果.相比3种文本增强嵌入方式表现最优的FeatureSum(TransE), 本文模型的MR值提高28%, MRR值提高15.4%, Hits@10值提高7%, Hits@3值提高10.7%, Hits@1值提高35.6%.IKRL是针对图像信息帮助知识表示学习而建模的, 当只有文本嵌入作为辅助模态时, IKRL(Ling)性能明显下降, 而文献[16]模型(Ling)和本文模型依然保持相对稳定的结果.一定程度上说明针对多模态建模的模型比针对单模态建模的模型更稳定.

表6

Table 6

表6(Table 6)

表6 各模型在FB-IMG-Text数据集上的链路预测结果 Table 6 Link prediction results of different models on FB-IMG-Text dataset 模型 MR MRR Hits@10/% Hits@3/% Hits@1/% Raw Filter Raw Filter Raw Filter Raw Filter Raw Filter WWV(TransE) 138 - 0.232 - 43.7 - 25.2 - 13.4 - PE-WWV(TransE) 136 - 0.242 - 45.7 - 26.4 - 14.0 - FeatureSum(TransE) 123 - 0.272 - 55.2 - 32.7 - 13.5 - IKRL(Ling) 155 107 0.209 0.280 39.0 47.6 22.6 30.7 12.4 18.3 文献[16]模型(Ling) 98 47 0.284 0.441 51.5 67.6 31.5 49.3 17.5 32.4 Conv-AT(Text) 95 43 0.314 0.479 59.1 75.2 36.2 58.4 18.3 32.2

表6 各模型在FB-IMG-Text数据集上的链路预测结果 Table 6 Link prediction results of different models on FB-IMG-Text dataset

在FB-IMG数据集上, 剔除文本模态, 将实体对应的结构特征向量和图像特征向量直接相加作为实体的多模态表示.本文将这种方法记为Image.实验结果如表7所示, 表中黑体数字表示最优结果, 斜体数字表示次优结果.在FB-IMG数据集上采用Filter评估方式.

由表7可见, 本文模型最优.只加入图像表示的方法优于本文模型, 这表明图像信息可帮助Conv-AT捕获更显著的特征.另外可发现, 当文本特征向量或图像特征向量失去作用时, 基线模型的实验结果都有所影响, 而本文模型依然能保持较稳定的预测结果.

表7

Table 7

表7(Table 7)

表7 各模型在FB-IMG数据集上的链路预测结果 Table 7 Link prediction results of different models on FB-IMG dataset 模型 MR MRR Hits@10/% Hits@3/% Hits@1/% IKRL(Vis) 201 0.225 37.9 24.3 14.9 文献[16]模型(Vis) 82 0.341 55.2 37.7 23.7 Conv-AT(Image) 44 0.478 72.2 56.3 34.0

表7 各模型在FB-IMG数据集上的链路预测结果 Table 7 Link prediction results of different models on FB-IMG dataset

为了分析通道注意力模块和空间注意力模块对模型预测能力的影响, 进行Conv-AT网络结构消融实验.在该项实验中, M_CONV表示卷积神经网络模块, M_C表示通道注意力模块, M_S表示空间注意力模块.Conv-AT(M_CONV)表示直接使用卷积神经网络模块提取的特征映射计算三元组的得分, 它是最基础的模型.Conv-AT(M_CONV+M_C)表示使用卷积神经网络模块和通道注意力模块得到的特征映射计算三元组得分.Conv-AT(M_CONV+M_C+M_S)为完整的Conv-AT.本文进行链路预测任务, 使用Filter评估方式, 统一使用ConMap获得实体的多模态表示.

表8为2个数据集上Conv-AT网络结构消融实验的结果, 表中黑体数字表示最优结果, 斜体数字表示次优结果.

由表8可知, Conv-AT(M_CONV+M_C+M_S)在链路预测的各项指标上均有不同程度提高.由此验证通道注意力和空间注意力可帮助模型捕获对预测更有帮助的特征, 提升模型的补全能力.

表8

Table 8

表8(Table 8)

表8 Conv-AT网络结构在2个数据集上的消融实验结果 Table 8 Ablation experiment results of Conv-AT model network structure on 2 datasets 模型 WN9-IMG数据集 FB-IMG数据集 MR MRR Hits@10/% Hits@3/% Hits@1/% MR MRR Hits@10/% Hits@3/% Hits@1/% Conv-AT(MCONV) 26 0.814 91.2 85.9 75.2 51 0.443 69.1 52.1 30.8 Conv-AT(MCONV+MC) 25 0.831 91.7 86.8 77.8 51 0.444 69.2 52.4 30.9 Conv-AT(MCONV+MC+MS) 21 0.848 91.9 88.1 80.4 49 0.454 70.0 53.2 32.0

表8 Conv-AT网络结构在2个数据集上的消融实验结果 Table 8 Ablation experiment results of Conv-AT model network structure on 2 datasets

根据给定的度量, 判断三元组(h, r, t)是否为正确的三元组.本文采用与文献[16]相同的评估方式:为每个关系学习一个阈值.当三元组的得分小于阈值, 认为它是正确的, 否则认为是错误的.使用验证集确认阈值.对于验证集和测试集上的每个正确三元组, 随机替换头实体或尾实体, 生成不正确三元组.对于三元组分类, 进行10次测试.本文给出三元组分类精确度的最大值、最小值、平均值和标准差, 如表9~表11所示, 表中黑体数字表示最优结果, 斜体数字表示次优结果.

表9

Table 9

表9(Table 9)

表9 各模型在WN9-IMG数据集上的三元组分类精确度 Table 9 Triple classification accuracies of different models on WN9-IMG dataset% 模型 最大值 最小值 平均值 标准差 IKRL(Concat) 95.40 91.77 93.56 1.03 文献[16]模型(Concat) 97.16 94.93 96.10 0.87 Conv-AT(Add) 98.12 95.03 96.75 1.05 Conv-AT(Attention) 98.41 94.66 97.18 1.21 Conv-AT(ConMap) 98.22 95.79 97.44 0.79

表9 各模型在WN9-IMG数据集上的三元组分类精确度 Table 9 Triple classification accuracies of different models on WN9-IMG dataset%

表10

Table 10

表10(Table 10)

表10 各模型在FB-IMG数据集上的三元组分类精确度 Table 10 Triple classification accuracies of different models on FB-IMG dataset% 模型 最大值 最小值 平均值 标准差 IKRL(Concat) 66.57 65.40 65.91 0.35 文献[16]模型(Concat) 68.57 68.15 68.41 0.13 Conv-AT(Add) 97.67 96.85 97.38 0.26 Conv-AT(Attention) 97.72 97.05 97.37 0.21 Conv-AT(ConMap) 97.82 96.88 97.35 0.26

表10 各模型在FB-IMG数据集上的三元组分类精确度 Table 10 Triple classification accuracies of different models on FB-IMG dataset%

表11

Table 11

表11(Table 11)

表11 各模型在FB-IMG-Text数据集上的三元组分类精确度 Table 11 Triple classification accuracies of different models on FB-IMG-Text dataset% 模型 最大值 最小值 平均值 标准差 WWV(TransE) 65.48 63.17 64.50 0.71 PE-WWV(TransE) 67.26 65.47 66.22 0.61 FeatureSum(TransE) 75.49 73.42 74.53 0.79 Conv-AT(Add) 97.28 96.53 96.86 0.21 Conv-AT(Attention) 97.72 97.04 97.31 0.20 Conv-AT(ConMap) 97.22 96.23 96.79 0.32

表11 各模型在FB-IMG-Text数据集上的三元组分类精确度 Table 11 Triple classification accuracies of different models on FB-IMG-Text dataset%

表9为各模型在WN9-IMG数据集上的三元组分类结果.由表可知, 本文模型最优.相比文献[16]模型(Concat), 本文模型的最高精确度提高1.3%, 平均精确度提高1.3%.表10为各模型在FB-IMG数据集上的三元组分类结果.表11为各模型在FB-IMG-Tex数据集上的三元组分类结果.由表10、表11可知, 在包含更多实体和关系的数据集上, 本文模型依然具有明显优势.为此, 对比基线模型, Conv-AT对于正确的三元组和不正确的三元组具有较强的区分力, 正确三元组的得分为负数, 而不正确三元组会得到一个正数的评分.