LSTM在建模序列数据时具有一定优势, 因此本文使用LSTM建模时间序列和关系之间的特征表示.给定四元组(s, r, o, t), 时间戳t将根据年月日划分成时间序列.时间戳t有时间点和时间段2种形式.如果t是一个时间点, 如“ 2020-12-29” , t被划分成长度为3的时间序列, 即seq={2020, 12, 29}.如果时间戳t是一个时间段, 如“ [2010-05-12, 2020-##-##]” , t被划分成长度为6的时间序列, 即seq={2010, 05, 12, 2020, ##, ##}.时间序列的向量表示为

t_seq={τ ₁, τ ₂, …, τ _m}∈ R^{d× m},

τ i_∈ Rd^, i=1, 2, …, m,

其中, m表示时间序列的长度, d表示时间序列的嵌入维度.将关系表示和时间序列的向量表示组合成LSTM的输入序列, 即X={r, τ ₁, τ ₂, …, τ _m}.

将X输入LSTM中, 得到融合时间信息的关系表示r_t, LSTM结构如图2所示.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 LSTM结构图Fig.2 Structure of LSTM

本文采用与文献[13]相同的公式:

i_n=σ (h_n-1U_i+x_nW_i),

f_n=σ (h_n-1U_f+x_nW_f),

o_n=σ (h_n-1Uo+x_nW_o)_,

g_n=tanh(h_n-1U_g+x_nWg),

c_n=f_n°c_n-1+i_n°g_n,

h_n=o_n°tanh(c_n).

其中:x_n为输入序列X的第n个元素的表示; i_n、 f_n、o_n分别为第n个元素的输入门、遗忘门、输出门; g_n为中间变量; U_i、U_f、U_o、W_i、W_f、W_o为变换矩阵; c_n、h_n分别为第n个元素的单元表示和隐藏状态表示; c₀、h₀初始化为0; σ 为激活函数.将LSTM最后一层的隐藏状态表示作为最终关系的表示, 即r_t=h_m+1.

此后, 将融合时间信息的关系嵌入r_t与头实体嵌入e_s进行形状变换操作(Reshape), 得到2D嵌入表示 r¯t∈ Rd1×d2和 e¯s∈ Rd1×d2, d=d₁× d₂.最后将 r¯t和 e¯s进行简单拼接, 得

A=[ e¯s; r¯t]∈ R2d1×d2.

关系-时间融合模块的框图如图3所示.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 关系-时间融合模块Fig.3 Relation-time fusion module

多尺度卷积神经网络需要在同阶段使用不同尺度的卷积核, 为了避免由此带来的参数量和计算量过多的问题, 本文使用空洞卷积获取多尺度信息.

空洞卷积通过设置空洞率, 即卷积核中填充的空格数, 增大卷积核的大小.如图4所示, 对于一个2× 2的卷积核:(a)为空洞率a=1的空洞卷积, 即标准卷积, 标准卷积是空洞卷积的一个特例; (b)为空洞率a=2的空洞卷积, 此时卷积核大小放大为3× 3, 图中白色部分为填充的空洞部分, 填充内容为0.同理, (c)的卷积核扩大为4× 4.文献[17]中定义空洞卷积的等效卷积核大小:

k'=k+(k-1)(a-1),

其中, k为标准卷积核的大小, a为空洞率.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 不同空洞率的卷积核Fig.4 Convolution kernels with different dilation rates

空洞卷积通过设置空洞率改变卷积核的大小, 但由于填充部分数值为0, 实际参与计算的仍是图4中的灰色部分, 因此计算量和参数量没有增大, 但是感受野会随空洞率的变化而变化, 通过改变空洞率可获取不同感受野的信息.

给定四元组(s, r, o, t), 通过1.1节方式, 得到融合时间信息的矩阵A=[ e¯s; r¯t].将A输入多尺度空洞卷积神经网络模块中.该模块包含一层卷积层, 在该卷积层中, 通过对卷积核设置3个不同的空洞率, 得到3个不同尺度的卷积核ω ₁、ω ₂、ω ₃, 每种尺度的卷积核数量为C.将3种尺度的卷积核作用于A中, 得到对应尺度的特征映射.定义第i(i=1, 2, 3)种尺度的第j(j=1, 2, …, C)个卷积核 ωij产生的特征映射:

V ij=f(A* ωij+b_i),

其中, * 为卷积操作, f(· )为激活函数, 如Relu等, b_i为偏置.由此得到输入A经过不同尺度卷积核提取的特征映射:

V₁∈ RC×2d1×d2, V₂∈ RC×2d1×d2, V₃∈ RC×2d1×d2.

考虑到不同尺度卷积核提取的特征信息对模型的作用不同, 如果不加区分地使用这些特性信息, 可能会给模型带来噪声, 因此本文引入注意力机制, 帮助模型自适应地调整多尺度特征信息的权重.基于选择性核心网络(Selective Kernel Network, SKNet)^[16]的多尺度注意力模块框图如图5所示, 主要包括特征聚合和特征选择两个部分.其中, 特征聚合部分将1.2节得到的多尺度特征映射V₁、V₂、V₃经过一系列操作得到聚合后的特征映射z.特征选择部分根据z生成多尺度特征映射对应的权重, 为模型选择最关键有效的特征信息.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 多尺度注意力模块框图Fig.5 Framework of multi-scale attention module

1.3.1 特征聚合

如图5所示, 输入有3个分支, 表示3种不同尺度的卷积核提取的特征映射, 将3个分支上的特征映射按位相加, 得到聚合后的特征映射

U=V₁⊕V₂⊕V₃.

在每个通道使用全局平均池化F_gap获取全局信息q∈ R^{C× 1× 1}, C表示特征映射的通道个数.q的第c(c=1, 2, …, C)个元素表示为

q_c=F_gap(U_c)= 12d1d2∑i=12d1∑j=1d2U_c(i, j),

其中, U_c系特征映射U的第c个通道的表示.

将获取的全局信息q通过全连接层F_fc, 得到压缩的特征表示:

z=F_fc(q)=W₁(reshape(q))+b₁∈ RC1×1.

其中:reshape(· )为形状变换函数, 将q变为C× 1大小以便于乘法操作; C₁为压缩后的维度; W₁∈ RC1×C, b₁∈ RC1×1, 分别表示全连接层的权重矩阵和偏置.

1.3.2 特征选择

将压缩后的特征表示z经过全连接层FC映射到压缩前的维度:

μ ₁=W₂z+b₂, μ ₂=W₃z+b₃, μ ₃=W₄z+b₄.

其中:W₂∈ RC×C1, W₃∈ RC×C1, W₄∈ RC×C1为全连接层的权重矩阵, b₂∈ R^{C× 1}, b₃∈ R^{C× 1}, b₄∈ R^{C× 1}为全连接层的偏置.使用2个全连接层对q先降维再升维, 可让模型更具非线性, 更好地拟合不同尺度的卷积核提取的特征映射之间的复杂关系.此外, 相比只使用一个全连接层, 模型的参数量和计算量更少.

将μ ₁、 μ ₂、 μ ₃经过Softmax函数, 得到特征映射V₁、V₂、V₃对应的权重:

其中, reshape(· )函数将归一化后, 形状为C× 1的权重变为C× 1× 1.将得到的权重与对应特征映射进行元素乘法操作, 得到特征映射:

L_i=V_iⓧα _i, i=1, 2, 3.

加权后的特征映射通过简单的拼接, 经过变换矩阵映射到指定维度, 得到最终的多尺度融合特征:

P=σ (W₅[L₁; L₂; L₃]+b₅)∈ RC×2d1×d2,

其中, σ 为激活函数, W₅为变换矩阵, b₅为偏置.

将多尺度注意力模块计算得到的特征映射P经过拉平操作变成向量I=vec(P)∈ R^2dC.经过全连接层, 将拉平后的向量映射到指定维度.与尾实体嵌入进行点积, 得到四元组的得分.MSDCA的得分函数定义为

F(s, r, o, t)=f(IW₆+b₆)e_o,

其中, f(· )为激活函数Relu, W₆∈ R^{2dC× d}为全连接层的变换矩阵, b₆为偏置, 利用Sigmoid函数(将得分映射到[0, 1]区间), 得到候选实体的概率分布:

p(o|s, r, t)=sigmoid(F(s, r, o, t)).

本文使用交叉熵损失函数训练模型, 损失函数定义如下:

Loss=- 1N∑i=1N[lab_i· ln p(o_i|s, r, t)+ (1-lab_i)ln(1-p(o_i|s, r, t))],

其中, N为实体个数, G为正确的四元组的集合, G'为通过随机替换头尾实体得到的不正确的四元组的集合.

本文在如下5个时间数据集上进行实验:Garcí a-Durá n等^[13]生成的ICEWS14、ICEWS05-15数据集; Trivedi等^[18]生成的GDELT数据集; Das-gupta等^[12]生成的YAGO11k、Wikidata12k数据集.各数据集统计信息如表1所示.

表1

Table 1

表1(Table 1)

表1 实验数据集 Table 1 Experimental datasets 名称 实体 关系 时间戳 训练集 验证集 测试集 ICEWS14 7128 230 365 72826 8941 8963 ICEWS05-15 10488 251 4017 386962 46275 46092 GDELT 500 20 366 2735685 341961 341961 YAGO11k 10623 10 251 16406 2050 2051 Wikidata12k 12554 24 237 32497 4062 4062

表1 实验数据集 Table 1 Experimental datasets

在模型训练过程中, 本文使用自适应低阶矩估计优化器(Adaptive Estimates of Lower-Order Mo-ments, Adam)并利用网格搜索策略为模型寻找合适的参数大小.

为了防止模型过拟合, 在卷积之前添加dropout₁, 卷积完成后添加dropout₂, 全连接层之后添加dropout₃.本文利用符合正态分布的随机数对模型参数初始化.MSDCA的参数设置范围与最终调参结果如表2所示.

表2

Table 2

表2(Table 2)

表2 模型参数范围和调参结果 Table 2 Model parameter ranges and tuning results 参数 范围 参数值 ICEWS14 ICEWS05-15 GDELT YAGO11k Wikidata12k 嵌入维度d 200 200 200 200 200 200 批处理大小batch 128, 256 128 128 128 256 128 学习率lr 0.001, 0.002 0.002 0.001 0.001 0.001 0.001 标准卷积核大小k 3× 3 3× 3 3× 3 3× 3 3× 3 3× 3 每种尺度卷积核数量C 32, 64, 160 64 64 32 160 32 空洞率a 1, 2, 5 1, 2, 5 1, 2, 5 1, 2, 5 1, 2, 5 1, 2, 5 dropout1 0, 0.1, 0.2, 0.3 0.2 0.1 0.0 0.3 0.1 dropout2 0.1, 0.2, 0.3 0.3 0.2 0.1 0.3 0.2 dropout3 0, 0.2, 0.3, 0.5 0.3 0.2 0.0 0.3 0.5

表2 模型参数范围和调参结果 Table 2 Model parameter ranges and tuning results

本文对比的基线模型可划分为2种类型:1)未融合时间信息的知识表示模型, 包括平移模型TransE、语义匹配模型DistMult和SimplE、复数模型RotatE、神经网络模型InteractE; 2)融合时间信息的知识表示模型, 包括基于平移模型的TTransE和HyTE、时间融合框架的代表模型TA-DistMult和DE-SimplE、基于RotatE的TeRo.

本文使用链路预测^[19]评估模型性能, 包括头实体预测和尾实体预测.头实体预测即给定尾实体、关系和时间, 预测头实体, 表现为(?, r, o, t).同理, 尾实体预测即给定头实体、关系和时间, 预测尾实体, 表现为(s, r, ?, t).对于每个四元组(s, r, o, t), 本文采用文献[5]策略:通过随机替换头实体或尾实体生成新的四元组, 并过滤新生成的四元组集合中已存在于训练集、验证集和测试集的四元组.在测试和验证过程中, 使用1-n的评分策略, 提高模型测试和验证的效率.

本文将广泛使用的4种评估指标用于评估模型的有效性:平均倒数排名(Mean Reciprocal Rank, MRR), 测试集正确实体排名前1的比例(Top 1 Ratio, Hits@1), 测试集上正确实体排名前3的比例(Top 3 Ratio, Hits@3), 测试集上正确实体排名前10的比例(Top 10 Ratio, Hits@10).采取文献[10]策略, 结果是5次实验的平均值.

各模型的链路预测结果如表3和表4所示, 表中黑体数字表示最优结果, 斜体数字表示次优结果.表3中TransE、DistMult、SimplE、TTransE、HyTE、TA-DistMult、DE-SimplE结果取自文献[14]; 在ICEWS14、ICEWS05-15数据集上, RotatE、TeRo结果取自文献[15], InteractE是将源码应用于新的数据集的结果; 在GDELT数据集上, InteractE、TeRo是将源码应用于新的数据集的结果.在表4中, TransE、DistMult、RotatE、TTransE、HyTE、TA-DistMult、TeRo结果取自文献[15], InteractE的结果是将源码应用于新的数据集.

表3

Table 3

表3(Table 3)

表3 各模型在3个数据集上的链路预测结果 Table 3 Link prediction results of different models on 3 datasets 模型 ICEWS14 ICEWS05-15 GDELT MRR Hits@1 Hits@3 Hits@10 MRR Hits@1 Hits@3 Hits@10 MRR Hits@1 Hits@3 Hits@10 TransE 0.280 9.4 - 63.7 0.294 9.0 - 66.3 0.113 0.0 15.8 31.2 DistMult 0.439 32.3 - 67.2 0.456 33.7 - 69.1 0.196 11.7 20.8 34.8 SimplE 0.458 34.1 51.6 68.7 0.478 35.9 53.9 70.8 0.206 12.4 22.0 36.6 RotatE 0.418 29.1 47.8 69.0 0.304 16.4 35.5 59.5 - - - - InteractE 0.482 36.4 54.6 71.3 0.487 36.8 54.9 71.9 0.214 13.3 22.8 36.9 TTransE 0.255 7.4 - 60.1 0.271 8.4 - 61.6 0.115 0.0 16.0 31.8 HyTE 0.297 10.8 41.6 65.5 0.316 11.6 44.5 68.1 0.118 0.0 16.5 32.6 TA-DistMult 0.477 36.3 - 68.6 0.474 34.6 - 72.8 0.206 12.4 21.9 36.5 DE-SimplE 0.526 41.8 59.2 72.5 0.513 39.2 57.8 74.8 0.230 14.1 24.8 40.3 TeRo 0.562 46.8 62.1 73.2 0.586 46.9 66.8 79.5 0.242 15.3 26.2 41.6 MSDCA 0.635 55.4 68.6 78.4 0.660 56.5 72.4 82.6 0.312 21.5 34.5 50.4

表3 各模型在3个数据集上的链路预测结果 Table 3 Link prediction results of different models on 3 datasets

表4

Table 4

表4(Table 4)

表4 各模型在2个数据集上的链路预测结果 Table 4 Link prediction results of different models on 2 datasets 模型 YAGO11k Wikidata12k MRR Hits@1 Hits@3 Hits@10 MRR Hits@1 Hits@3 Hits@10 TransE 0.100 1.5 13.8 24.4 0.178 10.0 19.2 33.9 DistMult 0.158 10.7 16.1 26.8 0.222 11.9 23.8 46.0 RotatE 0.167 10.3 16.7 30.5 0.221 11.6 23.6 46.1 InteractE 0.147 9.4 14.9 26.1 0.237 14.4 25.5 43.2 TTransE 0.108 2.0 15.0 25.1 0.172 9.6 18.4 32.9 HyTE 0.105 1.5 14.3 27.2 0.180 9.8 19.7 33.3 TA-DistMult 0.161 10.3 17.1 29.2 0.218 12.2 23.2 44.7 TeRo 0.187 12.1 19.7 31.9 0.299 19.8 32.9 50.7 MSDCA 0.176 11.1 18.3 30.2 0.319 21.9 35.4 53.1 MSDCA(-md) 0.170 10.6 17.9 29.1 0.323 22.7 35.8 52.8

表4 各模型在2个数据集上的链路预测结果 Table 4 Link prediction results of different models on 2 datasets

由表3、表4可得到如下结论.MSDCA总体上最优, 有效验证MSDCA在补全任务上的优势.具体地说, 在GDELT数据集上, 对比DE-SimplE、TeRo, MSDCA在MRR值上分别提高35.7%, 28.9%, 在Hits@1值上分别提高52.5%, 40.5%, 在Hits@3值上分别提高39.1%, 31.7%, 在Hits@10值上分别提高25.1%, 21.2%.这是因为MSDCA使用的多尺度空洞卷积神经网络能有效捕获实体、关系和时间三者之间的复杂关系, DE-SimplE、TeRo将融合时间信息的实体表示与关系表示进行乘法操作和平移变换, 不能较好地捕获它们之间的非线性特征.

MSDCA在各数据集上的实验效果显著优于同样利用CNN的InteractE.这是因为, MSDCA的多尺度空洞卷积神经网络能有效增加四元组内的交互, 捕获更丰富的特征信息, 多尺度注意力模块能提取更关键有效的特征信息.此外, MSDCA融合时间信息, 能建模随时间变化的知识.

考虑到YAGO11k、Wikidata12k数据集上存在大量时间信息缺失或时间信息不完整的数据, 本文将时间戳简化为[开始年份, 结束年份]的格式, 即仅考虑年份信息, 此模型简记为MSDCA(-md).由表4可看出, 在Wikidata12k数据集上, MSDCA(-md)性能优于MSDCA, 这是因为Wikidata12k数据集的237个时间戳都不包含月和日信息, 仅考虑年份信息, 可避免在LSTM编码阶段输入无用的月、日信息, 不会为模型添加噪声.在YAGO11k数据集上, MSDCA(-md)的性能略低于MSDCA, 这是因为YAGO11k数据集的一些时间戳包含月、日信息, 填充缺失的时间信息虽然会给模型带来一定的噪声, 但充分使用数据中的时间信息为模型带来的效益大于噪声的影响.在YAGO11k数据集上, MSDCA各项指标值低于TeRo, 这是因为LSTM对输入较敏感, 而YAGO11k数据集的时间信息缺失较严重, 这就意味着填充的数据较多, 噪声加得越多, 对模型的影响就越大.TeRo将一个或多个时间戳通过时间粒度表示为一个时间表示, 这在很大程度上减轻模型对缺失时间的敏感程度.虽然在YAGO11k数据集上, MSDCA效果不如TeRo, 但也优于其它基线模型.

为了进一步分析模型性能, 在不同类型的关系上进行实验.使用文献[5]方法对数据集中的关系进行统计分类:计算每个关系的平均头尾实体个数, 如果一个关系的平均头实体(平均尾实体)个数小于1.5, 标记为1, 否则标记为N.由此将测试集划分成4个子集:1-to-1关系、1-to-N关系、N-to-1关系、N-to-N关系.

在ICEWS05-15数据集上进行不同关系类型的链路预测实验, 不同关系类型链路预测结果如表5所示, 表中黑体数字表示最优结果, 斜体数字表示次优结果.由表可见, 在N-to-N复杂关系类型实验上, 相比TeRo, MSDCA的MRR值提高12.6%, Hits@1值提高20.7%, Hits@3值提高8.4%, Hits@10值提高4.2%.

表5

Table 5

表5(Table 5)

表5 ICEWS05-15数据集上不同关系类型的链路预测结果 Table 5 Link prediction results of different relationship types on ICEWS05-15 dataset 关系类型 四元组数量 方法 MRR Hits@1 Hits@3 Hits@10 1-to-1 62 TA-DistMult DE-SimplE TeRo MSDCA 0.314 0.414 0.397 0.448 17.7 29.8 29.8 30.6 37.9 48.4 43.6 55.6 58.9 65.3 58.1 68.5 1-to-N 97 TA-DistMult DE-SimplE TeRo MSDCA 0.280 0.414 0.460 0.496 15.5 28.9 34.5 37.6 31.4 47.9 52.1 56.7 56.2 69.1 70.1 71.6 N-to-1 11 TA-DistMult DE-SimplE TeRo MSDCA 0.215 0.346 0.352 0.391 4.5 27.3 27.3 31.8 27.3 36.4 40.9 40.9 50.0 50.0 50.0 59.1 N-to-N 45922 TA-DistMult DE-SimplE TeRo MSDCA 0.543 0.511 0.586 0.660 43.0 40.0 46.9 56.6 60.4 57.7 66.9 72.5 76.1 74.7 79.3 82.6

表5 ICEWS05-15数据集上不同关系类型的链路预测结果 Table 5 Link prediction results of different relationship types on ICEWS05-15 dataset

从实验结果可看出, MSDCA在各种关系类型上的链路预测效果都最优, 这得益于模型的多尺度空洞卷积神经网络和多尺度注意力模块, 有效增大四元组内部的交互性, 捕获关键的特征信息, 提高模型的表达能力.实验结果也证实TA-DistMult、DE-SimplE、TeRo由于只能捕获四元组表层特征, 无法辨别语义相似的实体, 效果不佳, 而MSDCA能学习更深层的特征信息, 捕获实体、关系和时间三者间的复杂关系, 有效提高模型的区分能力, 提升模型性能.

为了进一步验证MSDCA能捕获深层特征, 具有较强的辨识能力, 对于2个相似的四元组(s₁, r₁, o₁, t₁)和(s₁, r₁, o₂, t₁), 分析不同模型中o₁和o₂嵌入的相似性.参照文献[15], 将实体间的相似性定义为2个实体向量表示的绝对差:

similarity= |o2-o1|o2.

similarity越小表示两个实体表示越相似, 模型对这2个实体的区分能力就越差.

ICEWS14数据集上“ 日本” 和“ 菲律宾” 2个实体在TeRo、DE-SimplE、MSDCA中相似性的可视化结果如图6所示.由于不同模型具有不同的嵌入维度d, 将实体的向量表示重塑为不同大小的矩阵.TeRo中d=1 000, 重塑为50× 20矩阵.DE-SimplE中d=136, 重塑为17× 8矩阵.MSDCA中d=200, 重塑为20× 10矩阵.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 各模型的相似性可视化结果Fig.6 Similarity visualization results for different models

由图6可见, MSDCA能较好地区分“ 日本” 和“ 菲律宾” , 而DE-SimplE、TeRo中这2个实体的向量表示基本相同, 在进行补全任务时容易混淆这2个实体, 导致效果不佳.

为了验证MSDCA中每个模块的重要性, 在ICEWS14、ICEWS05-15数据集上进行实验.将移除关系-时间融合模块的模型记为MSDCA(-Time), 移除多尺度注意力模块的模型记为MSDCA(-A), 移除多尺度空洞卷积神经网络模块的模型记为MSDCA(-MSA).由于MSDCA(-MSA)去除多尺度空洞卷积神经网络, 此时的模型仅使用单尺度的卷积核, 所以多尺度注意力模块也随之消失, 此时的模型退化为最基础的模型, 等效于融合时间信息的ConvE.

为了确保评估的合理性, MSDCA(-Time)、MSDCA(-A)、MSDCA(-MSA)均采用与MSDCA相同的参数.

消融实验结果如表6所示, 表中黑体数字表示最优结果.

表6

Table 6

表6(Table 6)

表6 消融实验结果 Table 6 Ablation experiment results 模型 ICEWS14 ICEWS05-15 MRR Hits@1 Hits@3 Hits@10 MRR Hits@1 Hits@3 Hits@10 MSDCA 0.635 55.4 68.6 78.4 0.660 56.5 72.4 82.6 MSDCA(-Time) 0.482 36.5 54.3 71.3 0.493 37.3 55.5 72.6 MSDCA(-A) 0.629 54.6 68.1 78.1 0.654 55.5 72.4 82.6 MSDCA(-MSA) 0.578 47.1 64.6 77.3 0.587 46.5 66.6 80.8

表6 消融实验结果 Table 6 Ablation experiment results

由表6可看出, 时间-关系融合模块、多尺度注意力模块和多尺度空洞卷积神经网络模块都是MSDCA的重要模块, 尤其是时间-关系融合模块对模型影响很大.这是因为消除该模块后模型不能建模随时间变化的知识, 导致性能降低, 这进一步说明时间信息是提高知识图谱补全性能的一个不可或缺的重要信息.多尺度空洞卷积神经网络模块为模型带来的效益也较显著, 这是因为它能有效增强实体、关系和时间的交互, 从不同感受野中获取特征信息.多尺度注意力模块可区分多尺度特征的重要性, 使模型捕获对预测任务更有帮助的特征.

为了进一步验证多尺度注意力模块的作用, 在ICEWS05-15数据集上分析四元组中不同尺度卷积核提取的特征映射的权重, 结果如图7所示.图中横坐标表示四元组的编号, 考虑到四元组数量过于庞大, 任意选取其中的50个四元组.纵坐标a表示卷积核的空洞率, 横纵坐标对应的方块表示该四元组在此空洞率的卷积核作用下得到的特征映射的权重.颜色越深表示特征映射的权重越大.

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 不同尺度卷积核提取的特征映射权重Fig.7 Weights of feature maps extracted by different scale convolution kernels

由图7可看出, 不同四元组间相同大小卷积核提取的特征映射权重不同, 同一四元组中不同大小卷积核提取的特征映射权重也不同.这说明模型可根据输入, 为多尺度特征信息动态分配权重, 让模型捕获关键特征.由图还可发现, a=1和a=5的卷积核提取的特征映射权重区分度较大, 说明这2个空洞率的卷积核学习每个四元组特有的信息, 对四元组较敏感.

为了验证时间融合策略的有效性, 将TA-DistMult、DE-SimplE处理时间的方法应用到MSDCA中, 记为TA-MSDCA和DE-MSDCA.实验结果如表7所示, 表中黑体数字表示最优结果.由表可见, 在ICEWS14、ICEWS05-15数据集上, MSDCA都取得较优效果, 表明MSDCA时间融合策略的有效性和合理性.TA-MSDCA结果低于MSDCA的原因是:TA-MSDCA将时间戳划分为“ 2y-0y-2y-0y-12m-2d-9d” 这种形式的token序列, 破坏年份和日期自身的整体性, 而MSDCA根据年月日对时间戳进行划分, 最大程度地保留它们的内在语义信息.另外, TA-MSDCA和DE-MSDCA的效果都优于TA-DistMult和DE-SimplE, 进一步表明基于注意力机制的多尺度空洞卷积神经网络的有效性.

表7

Table 7

表7(Table 7)

表7 不同时间融合策略的结果 Table 7 Results of different time fusion strategies 模型 ICEWS14 ICEWS05-15 MRR Hits@1 Hits@3 Hits@10 MRR Hits@1 Hits@3 Hits@10 MSDCA 0.635 55.4 68.6 78.4 0.660 56.5 72.4 82.6 TA-MSDCA 0.628 54.3 68.0 78.1 0.650 55.1 72.0 82.5 TA-DistMult 0.477 36.3 - 68.6 0.474 34.6 - 72.8 DE-MSDCA 0.591 48.9 66.2 76.9 0.604 49.0 68.4 80.7 DE-SimplE 0.526 41.8 59.2 72.5 0.513 39.2 57.8 74.8

表7 不同时间融合策略的结果 Table 7 Results of different time fusion strategies

此外, 虽然DE-SimplE效果优于TA-DistMult, 但TA-MSDCA效果却优于DE-MSDCA.这是因为DE-MSDCA将时间信息融合到实体中, 但是MSDCA的输入不包含尾实体, 导致DE-MSDCA不能做到完全的实体感知时间, 而TA-MSDCA将时间信息融合到关系中, 能做到完全的关系感知时间.这些原因导致TA-MSDCA效果优于DE-MSDCA.

各模型在各数据集上的参数统计如表8所示.在ICEWS14、ICEWS05-15数据集上, MSDCA参数量会略多于DE-SimplE, 这是因为MSDCA使用CNN.参数量在各个数据集上与去除多尺度空洞卷积神经网络的MSDCA(-MSA)的参数量极其相近, 说明使用空洞卷积神经网络获取多尺度信息并不会过分增大模型的参数, 空洞卷积神经网络是模型获取多尺度信息的一种有效技术.相比TeRo, MSDCA除在YAGO11k数据集上参数量较多, 在其它数据集上都显著低于TeRo.MSDCA在YAGO11k数据集上的参数较多是因为不同尺度卷积核的数量过多, 在通过网格搜索策略获得的模型最优参数中C=160, 模型总体的卷积核数量高达480个.总体上, MSDCA以较少的参数获得更优结果.

表8

Table 8

表8(Table 8)

表8 模型参数统计结果 Table 8 Statistical results of parameters M 数据集 DE-SimplE TeRo MSDCA(-MSA) MSDCA ICEWS14 5.12 8.23 6.98 7.47 ICEWS05-15 7.52 13.50 7.66 8.15 GDELT 3.60 7.63 3.00 3.49 YAGO11k - 10.73 15.35 15.89 Wikidata12k - 12.69 5.54 6.02

表8 模型参数统计结果 Table 8 Statistical results of parameters M

最后分析各模型的时间复杂度.基于静态知识图谱的知识表示模型TransE、DistMult、SimplE、RotatE的时间复杂度为O(d), d为嵌入维度.Inter-actE由于使用CNN, 时间复杂度为O(dk²C), 其中, k为标准卷积核的大小, C为卷积核的数量.基于时间知识图谱的知识表示模型TTransE、HyTE、DE-SimplE、TeRo的时间复杂度为O(d).TA-DistMult由于内部LSTM操作, 时间复杂度为O(d²).MSDCA由于内部LSTM及卷积操作, 时间复杂度为O(d²k²C).相比现有的TKGE, MSDCA时间复杂度较高.