由于每个实体在不同事实中表示的含义可能不同, 且不同的嵌入模型捕获推理模式的能力不尽相同, 导致模型对事实语义表示的质量参差不齐, 进而影响推理的准确性.为了解决上述问题, 本文设计并构建RPFE.首先, 采用嵌入表征具有良好可解释性的BoxE^[22]作为基础嵌入模型.有别于传统嵌入模型将图谱中的实体和关系均映射为空间中的点, BoxE将实体在不同的事实中编码为不同的点, 关系表示为空间中的区域, 使得表达能力更强, 能更好地捕获隐含在图谱中的推理规则, 同时其关系框的位置状态也能为RPFE捕捉的规则推理模式提供直观的解释.此外, RPFE对其它嵌入模型也具有良好的兼容性.

BoxE使用向量e_i∈ R^d, b_i∈ R^d共同表示实体e_i∈ ε 的嵌入, 其中, e_i表示实体e_i的基准位置, b_i表示实体e_i的偏移量, 二者共同决定实体在事实下的语义, ε 为实体集.关系r_i∈ R嵌入为2个d维方框r⁽¹⁾∈ R^d, r⁽²⁾∈ R^d, 其中R为关系集, r⁽¹⁾表示关系的入框, r⁽²⁾表示关系的出框.l^(m)∈ R^d表示关系框的下边界, u^(m)∈ R^d表示关系框的上边界, m=1, 2.使用宽度

$ \boldsymbol{w}^{(m)}=\boldsymbol{u}^{(m)}-\boldsymbol{l}^{(m)}+\mathbf{1} $

和方框中心

$ \boldsymbol{c}^{(m)}=\frac{\boldsymbol{l}^{(m)}+\boldsymbol{u}^{(m)}}{2} $

表示关系框的嵌入.如果实体嵌入在框r^(m)内, 则事实成立.

图2描述d=2时关系框的表示参数和事实成立时的嵌入表示.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 BoxE实体和关系嵌入表示图Fig.2 Entity and relationship embedding representation diagram of BoxE

评分函数将三元组得分映射到一个分数, 表示三元组为真的概率:

$ F\left(r\left(e_{1}, e_{2}\right)\right)=\sum_{i=1, 2}\left\|\operatorname{dist}\left(\boldsymbol{e}_{i}^{r\left(e_{1}, e_{2}\right)}, \boldsymbol{r}^{(i)}\right)\right\|_{x}, $ (1)

其中, ‖ · ‖ _x表示L_x范数, dist(· )表示BoxE定义的距离函数.

RPFE初始嵌入学习的目标是使事实全局损失最小, 通过最小化损失函数, 学习关系和实体的嵌入:

$ L_{T}=\sum_{r\left(e_{1}, e_{2}\right) \in T \cup T^{\prime}}-\ln \left(1+\tanh \left(y F\left(r\left(e_{1}, e_{2}\right)\right)\right)\right), $

其中, T表示正样本集, T'表示负样本集, tanh(· )表示双曲正切函数, y表示样本标签, 当r(e₁, e₂)∈ T时, y=-1, 当r(e₁, e₂)∈ T'时, y=1.

由于仅利用BoxE的最小化事实全局得分的损失进行训练, 难以对不同的规则推理模式进行有针对性地学习, 为此, RPFE定义关系框的差异性, 并利用该差异性设计不同推理模式的专属差异性函数, 通过调整关系框的不同嵌入位置, 捕获不同推理模式的规则, 进而对规则学习提供直观的嵌入解释.

2.2.1 关系框的差异性

本文通过关系框的重叠程度、分离程度和包含状态表示并定义其差异性.

RPFE利用关系框中心点的距离和边框宽度的差异, 衡量两个关系框的重叠程度:

$ P_{o}\left(\boldsymbol{r}_{1}^{(m)}, \boldsymbol{r}_{2}^{(n)}\right)=\left\|\boldsymbol{c}_{1}^{(m)}-\boldsymbol{c}_{2}^{(n)}\right\|_{x}+\left\|\boldsymbol{w}_{1}^{(m)}-\boldsymbol{w}_{2}^{(n)}\right\|_{x}, $

其中m=1, 2, 表示关系的入框或出框.若两个关系框中心点距离越小, 且对应维度边框宽度差异越小, 两框的重叠程度越高.

RPFE利用关系框中心点距离与两框宽度之间的差距, 衡量两个关系框的分离程度:

$ \begin{array}{l} P_{d}\left(\boldsymbol{r}_{1}^{(m)}, \boldsymbol{r}_{2}^{(n)}\right)= \\ \quad\left\|\operatorname{ReLU}\left(\frac{\boldsymbol{w}_{1}^{(m)}+\boldsymbol{w}_{2}^{(n)}}{2}-\left|\boldsymbol{c}_{1}^{(m)}-\boldsymbol{c}_{2}^{(n)}\right|\right)\right\|_{x}, \end{array} $

其中,

$ \operatorname{Re} L U(x)=\max (0, x), $

$ |\cdot| $表示元素的绝对值.若两个关系框中心点的距离与两框宽度之和的一半相差越大, 两框的分离程度越高.

RPFE利用两个关系框上下边界的距离差判定两框是否存在包含状态, 如果一个关系框的下边界大于另一个关系框的下边界, 且一个关系框的上边界小于另一个关系框的上边界, 则该关系框被另一个关系框包含, 关系框 r2(n)包含关系框 r1(m)表示为

$ \begin{array}{l} P_{c}\left(\boldsymbol{r}_{1}^{(m)}, \boldsymbol{r}_{2}^{(n)}\right)= \\ \quad \| \operatorname{ReLU}\left(\left(\boldsymbol{c}_{2}^{(n)}-\boldsymbol{c}_{1}^{(m)}\right)+\frac{\boldsymbol{w}_{1}^{(m)}-\boldsymbol{w}_{2}^{(n)}}{2}\right)+ \\ \quad \operatorname{ReLU}\left(\left(\boldsymbol{c}_{1}^{(m)}-\boldsymbol{c}_{2}^{(n)}\right)+\frac{\boldsymbol{w}_{1}^{(m)}-\boldsymbol{w}_{2}^{(n)}}{2}\right) \|_{x} . \end{array} $ (2)

关系框 r2(n)包含关系框 r1(m)等价于 r1(m)的下边界 l1(m)大于 r2(n)的下边界 l2(n)且 r1(m)上边界 u1(m)小于 r2(n)的上边界 u2(n), 即

$ \boldsymbol{l}_{j}^{(n)} \leqslant \boldsymbol{l}_{i}^{(m)} \leqslant \boldsymbol{u}_{i}^{(m)} \leqslant \boldsymbol{u}_{j}^{(n)}, $

其中≤ 表示元素小于等于.为了统一参数, 使用关系框的中心和宽度表示上述不等式:

$ \begin{array}{l} \left(\boldsymbol{c}_{j}^{(n)}-\boldsymbol{c}_{i}^{(m)}\right)+\frac{\boldsymbol{w}_{i}^{(m)}-\boldsymbol{w}_{j}^{(n)}}{2} \leqslant \mathbf{0}, \\ \left(\boldsymbol{c}_{i}^{(m)}-\boldsymbol{c}_{j}^{(n)}\right)+\frac{\boldsymbol{w}_{i}^{(m)}-\boldsymbol{w}_{j}^{(n)}}{2} \leqslant \mathbf{0} . \end{array} $

2.2.2 推理模式差异性函数表达及规则学习优化

2.2.2.1 对称推理模式

基于基础嵌入模型, 分析发现对称推理模式嵌入特点, 如果关系r_i的入框 ri1和出框 ri2重叠, 表明捕获符合对称性

r_i(x, y)⇒ r_i(y, x)

的一条规则, 如图3中对称推理模式所示.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 对称、反对称和反转推理模式关系框状态Fig.3 Box state of symmetry, anti-symmetry and inversion inference patterns

当满足

$ \sigma\left(P_{o}\left(\boldsymbol{r}_{i}^{(1)}, \boldsymbol{r}_{i}^{(2)}\right)\right)-\epsilon \geqslant 0 $

时, 认为规则满足对称推理模式, 其中, σ (· )表示变体Sigmoid函数,

σ (x)=2Sigmoid(x)-1,

$\epsilon$表示捕获规则推理模式的阈值.

对称推理模式利用关系的入框和出框的重叠程度定义其差异性函数, 两框的重叠程度越高越符合该模式, 即

$ s_{p \doteqdot}=P_{o}\left(\boldsymbol{r}_{i}^{(1)}, \boldsymbol{r}_{i}^{(2)}\right) . $

2.2.2.2 反对称推理模式

如果某个关系r_i的入框 ri1和出框 ri2没有重叠部分, 表明模型捕获关系r_i符合反对称性

$ r_{i}(x, y) \Rightarrow \neg r_{i}(y, x), $

如图3中反对称推理模式所示.若在某一维度上, 两个关系框中心点距离大于两框宽度之和的一半时, 说明入框和出框分离, 规则满足反对称推理模式:

$ \sigma\left(P_{d}\left(\boldsymbol{r}_{i}^{(1)}, \boldsymbol{r}_{i}^{(2)}\right)\right)-\epsilon \geqslant 0 . $

当关系r_i的入框和出框分离程度越大, 两框有重叠区域的可能性就越小, 越符合该模式语义.因此, 反对称推理模式利用关系框的分离程度定义其差异性函数:

$ s_{p \fallingdotseq}=P_{d}\left(\boldsymbol{r}_{i}^{(1)}, \boldsymbol{r}_{i}^{(2)}\right) . $

2.2.2.3 反转推理模式

如果关系r_i的入框 ri1和出框 ri2分别与关系r_j的出框 rj2和入框 rj1重合, 表明模型捕获形式为

$ r_{i}(x, y) \Leftrightarrow r_{j}(y, x) $

的反转规则:

$ \sigma\left(P_{o}\left(\boldsymbol{r}_{i}^{(1)}, \boldsymbol{r}_{j}^{(2)}\right)+P_{o}\left(\boldsymbol{r}_{i}^{(2)}, \boldsymbol{r}_{j}^{(1)}\right)\right)-\epsilon \geqslant 0 . $

反转推理模式差异性函数考虑两个关系框的入框和出框、出框和入框的重叠程度, 重叠程度越小, 越符合模式语义:

2.2.2.4 层次推理模式

如果存在关系r_i的入框 ri1和出框 ri2分别被关系r_j的入框 rj1和出框 rj2包含, 表明模型捕获符合形式为

r_i(x, y)⇒ r_j(x, y)

的层次性的规则, 对应的关系框位置状态如图4中层次推理模式所示.层次推理模式利用关系框的包含状态定义其差异性函数, 关系的入框和出框分别被另一个关系的入框和出框包含, 则符合层次模式的语义:

$ s_{P_{\rightrightarrows}}=P_{c}\left(\boldsymbol{r}_{i}^{(1)}, \boldsymbol{r}_{j}^{(1)}\right)+P_{c}\left(\boldsymbol{r}_{i}^{(2)}, \boldsymbol{r}_{j}^{(2)}\right) . $

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 层次和互斥推理模式关系框状态Fig.4 Box state of hierarchy and mutual exclusion inference patterns

2.2.2.5 互斥推理模式

如果存在关系r_i的入框 ri1和出框 ri2分别与关系r_j的出框 rj2和入框 rj1无重叠区域, 则模型捕获形式为

$ r_{i}(x, y) \wedge r_{j}(x, y) \Rightarrow \perp $

的互斥性规则, 如图4中互斥推理模式所示.

互斥推理模式差异性函数考虑两个关系框的入框和出框、出框和入框的分离程度, 分离程度越大, 两框有重叠区域的可能性就越小, 即

$ s_{p_{\perp}}=P_{d}\left(\boldsymbol{r}_{i}^{(1)}, \boldsymbol{r}_{j}^{(2)}\right)+P_{d}\left(\boldsymbol{r}_{i}^{(2)}, \boldsymbol{r}_{j}^{(1)}\right) . $ (3)

2.2.2.6 交集推理模式

如果存在关系r_k的入框 rk1和出框 rk2分别包围关系r_i和r_j的入框和出框的相交区域, 表明捕获形式为

r_i(x, y)∧ r_j(x, y)⇒ r_k(x, y)

的交集性规则, 如图5所示.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 交集推理模式关系框状态Fig.5 Box state of the intersection inference pattern

交集推理模式同样利用包含状态对差异性函数进行定义, 得到r_i和r_j的入框和出框分别相交的区域 ra1和 ra2, 发现r_a与r_k构成层次模式的规则, 因此类比式(3), 得到交集推理模式的差异性函数:

$ s_{P_{\boldsymbol{\Pi}}}=P_{c}\left(\boldsymbol{r}_{a}^{(1)}, \boldsymbol{r}_{k}^{(1)}\right)+P_{c}\left(\boldsymbol{r}_{a}^{(2)}, \boldsymbol{r}_{k}^{(2)}\right) . $

BoxE仅由事实得分训练得到的规则学习, 缺乏实体和关系嵌入表征的依据, 导致学到的规则与图谱中的事实可能存在冲突, 进而对事实的推理造成负面影响.为此, RPFE设计事实距离一致性评分, 旨在利用各类规则推理模式强化事实嵌入训练的评分函数, 使利用规则推理的事实能准确表达推理模式的语义, 进而提升事实推理的可解释性.

2.3.1 事实距离一致性

本文利用规则推理的事实中实体嵌入和关系框之间的位置状态定义事实距离一致性评分:

$ \begin{array}{l} d_{\text {in }}\left(\boldsymbol{e}^{r\left(e_{1}, e_{2}\right)}, \boldsymbol{r}^{(m)}\right)= \\ \left\|\operatorname{ReLU}\left(\frac{\boldsymbol{w}^{(m)}}{2}-\left|\boldsymbol{e}^{r\left(e_{1}, e_{2}\right)}-\boldsymbol{c}^{(m)}\right|\right)\right\|_{x}, \\ d_{\mathrm{out}}\left(\boldsymbol{e}^{r\left(e_{1}, e_{2}\right)}, \boldsymbol{r}^{(m)}\right)= \\ \left\|\operatorname{ReLU}\left(\left|\boldsymbol{e}^{r\left(e_{1}, e_{2}\right)}-\boldsymbol{c}^{(m)}\right|-\frac{\boldsymbol{w}^{(m)}}{2}\right)\right\|_{x} \end{array} $

如果e∈ r^(m), 则d_in成立, 使事实中的实体嵌入在关系框内, 同时让二者嵌入距离缩短; 反之d_out成立, 使事实中的实体嵌入在关系框外, 同时让二者嵌入距离增大.

2.3.2 各类规则推理模式的事实距离一致性表达

本节设计并定义各类推理模式的事实距离一致性评分, 以实现事实语义的准确表达.

如果关系r_i满足对称性, 且∃(x, y)∈ ε 满足关系r_i, 则∀ (y, x)∈ ε , 也应满足关系r_i.因此, 对称模式的事实距离一致性评分函数如下:

$ s_{t \doteqdot}=\sum_{r_{i}\left(e_{1}, e_{2}\right) \in T}\left(d_{\mathrm{in}}\left(\boldsymbol{e}_{1}^{r_{i}\left(e_{1}, e_{2}\right)}, \boldsymbol{r}_{i}^{(2)}\right)+d_{\mathrm{in}}\left(\boldsymbol{e}_{2}^{r_{i}\left(e_{1}, e_{2}\right)}, \boldsymbol{r}_{i}^{(1)}\right)\right), $

其中, d_in( e1ri(e1, e2), ri2)表示e₁在事实r_i(e₁, e₂)作用下的嵌入与关系r_i的出框 ri2的距离, d_in( e2ri(e2, e1), ri1)表示e₂在事实r_i(e₁, e₂)作用下的嵌入与关系r_i的入框 ri1的距离.也就是说, 如果事实r_i(e₁, e₂)成立, 那么事实r_i(e₂, e₁)也成立, e₁经过事实作用后的嵌入不仅要在r_i的入框内, 还要在r_i的出框内, 同理e₂也是如此.事实距离一致性评分越小, 越符合对称性.

同理, 反转模式的事实距离一致性评分函数如下:

事实中的实体e₁的嵌入不仅要在r_i的入框内, 还要在r_j的出框内.同理e₂的嵌入不仅要在r_i的出框内, 还要在r_j的入框内.

层次和交集模式的事实距离一致性评分函数如下:

$\begin{aligned} s_{t_{\rightrightarrows}}= & \sum_{\substack{r_{i}\left(e_{1}, e_{2}\right) \in T}}\left(d_{\mathrm{in}}\left(\boldsymbol{e}_{1}^{r_{i}\left(e_{1}, e_{2}\right)}, \boldsymbol{r}_{j}^{(1)}\right)+d_{\mathrm{in}}\left(\boldsymbol{e}_{2}^{r_{i}\left(e_{1}, e_{2}\right)}, \boldsymbol{r}_{j}^{(2)}\right)\right), \\ s_{t_{\mathrm{\sqcap}}}= & \sum_{\substack{r_{i}\left(e_{1}, e_{2}\right) \in T \\ r_{j}\left(e_{1}, e_{2}\right) \in T \\ k \neq i, k \neq j}}\left(d_{\mathrm{in}}\left(\boldsymbol{e}_{1}^{r_{i}\left(e_{1}, e_{2}\right)}, \boldsymbol{r}_{k}^{(1)}\right)+d_{\mathrm{in}}\left(\boldsymbol{e}_{2}^{r_{i}\left(e_{1}, e_{2}\right)}, \boldsymbol{r}_{k}^{(2)}\right)+\right. \\ & \left.d_{\mathrm{in}}\left(\boldsymbol{e}_{1}^{r_{j}\left(e_{1}, e_{2}\right)}, \boldsymbol{r}_{k}^{(1)}\right)+d_{\mathrm{in}}\left(\boldsymbol{e}_{2}^{r_{j}\left(e_{1}, e_{2}\right)}, \boldsymbol{r}_{k}^{(2)}\right)\right) . \end{aligned} $

利用事实距离一致性对反对称性语义表达的评分函数如下:

$\begin{array}{l} s_{t_{\fallingdotseq}}= \\ \sum_{r_{i}\left(e_{1}, e_{2}\right) \in T}\left(d_{\text {out }}\left(\boldsymbol{e}_{1}^{r_{i}\left(e_{1}, e_{2}\right)}, \boldsymbol{r}_{i}^{(2)}\right)+d_{\text {out }}\left(\boldsymbol{e}_{2}^{r_{i}\left(e_{1}, e_{2}\right)}, \boldsymbol{r}_{i}^{(1)}\right)\right) . \end{array} $

如果事实r_i(e₁, e₂)成立, 那么事实r_i(e₂, e₁)不应成立, e₁经过事实作用后的嵌入一方面要在r_i的入框内, 另一方面不能在r_i的出框内, 同理, e₂也是如此.事实距离一致性评分描述事实r_i(e₁, e₂)的头实体e₁与关系的出框 ri2的距离、尾实体e₂与关系的入框 ri1的距离.因此, 评分函数越小, 越符合反对称性.

互斥性的事实距离一致性要求满足规则头部的实体嵌入都不应出现在其它的关系框中:

$\begin{aligned} s_{t_{\perp}}= & \sum_{\substack{r_{i}\left(e_{1}, e_{2}\right) \in T \\ r_{j}\left(e_{1}, e_{i}\right) \in T \\ k \neq i, k \neq j}}\left(d_{\text {out }}\left(\boldsymbol{e}_{1}^{r_{i}\left(e_{1}, e_{2}\right)}, \boldsymbol{r}_{k}^{(1)}\right)+d_{\text {out }}\left(\boldsymbol{e}_{2}^{r_{i}\left(e_{1}, e_{2}\right)}, \boldsymbol{r}_{k}^{(2)}\right)+\right. \\ & d_{\text {out }}\left(\boldsymbol{e}_{1}^{r_{1}\left(e_{1}, e_{2}\right)}, \boldsymbol{r}_{k}^{(1)}\right)+d_{\text {out }}\left(\boldsymbol{e}_{2}^{r_{j}\left(e_{1}, e_{2}\right)}, \boldsymbol{r}_{k}^{(2)}\right) . \end{aligned} $

RPFE利用推理模式差异性函数s_p和事实距离一致性评分s_t, 使模型嵌入得到的规则的损失最小, 通过最小化损失函数强化事实的嵌入表示, 并提升语义信息的可解释性, 具体表示为

$L_{P}=\sum_{f \in F} s_{p}+\sum_{f \in F} s_{t}, $

其中F为具有表1模式的规则集.

规则的生成依赖知识图谱中事实的质量, 而推理事实的准确性又取决于规则的置信度, 因此规则生成及推理事实之间具有相辅相成、相互制约的关系.为此, 本节通过优化规则置信度和事实评分, 识别高质量的规则和事实, 利用候选规则在知识图谱中推理隐藏的事实, 并代入下一轮迭代训练, 提高规则质量及推理事实的准确性.基于文献[24]中提出的规则置信度c_f的损失对规则置信度进行学习:

$L_{R}=\sum_{r\left(e_{1}, e_{2}\right) \in T_{f}}\left|e^{-s_{i}}-c_{f}\right|, $

其中, T_f表示规则实例化得到的三元组集, s_i表示式 (1) 确定的三元组评分.

RPFE将三元组及规则置信度的得分映射到区间[0, 1], 当评分接近0或1时, 模型能明确判定推理事实的正确性并理解推理过程, 提升RPFE的可解释性.利用变体二次函数, 得分接近0和1的事实和规则损失最小, 得分接近0.5的事实或规则损失最大.三元组评分和规则置信度优化的损失函数分别表示为

$\begin{array}{l} L_{T C}=\sum_{r\left(e_{1}, e_{2}\right) \in T_{f}}\left(1-2\left(\sigma\left(s_{i}\right)-0.5\right)^{2}\right), \\ L_{R C}=\sum_{f \in F}\left(1-2\left(c_{f}-0.5\right)^{2}\right), \end{array} $

其中F表示规则集.基于上述优化后的事实评分和规则置信度, 筛选下一轮迭代训练的规则和事实.具体来说, 将置信度大于0.95的规则用于迭代推理事实, 同时过滤评分小于0.3的事实, 得到的事实集记为T_f, 继续进行下一轮迭代训练.补充的负样本T'_p融合反对称和互斥两类规则推理模式约束的不可能事实, 确保生成的负样本不是随机的, 为生成样本提供解释依据.

RPFE利用前向链法^[5]进行规则实例化, 不断将规则应用到补充推理事实的知识图谱中, 直到无法推理新事实, 完成知识图谱的推理.

为了同时学习事实嵌入表示、规则推理模式生成及捕获事实的可解释嵌入, 框架最小化三元组嵌入、规则推理模式、规则置信度和事实评分的损失, 总体训练目标如下所示:

$\begin{array}{c} \min \left\{\frac{1}{|T|}\left(L_{T}+L_{T C}\right)+\frac{1}{\left|T_{f}\right|} L_{R}+\right. \\ \left.\quad \frac{1}{|F|}\left(L_{P}+L_{R C}\right)\right\} . \end{array} $

RPFE迭代训练的具体步骤如算法1所示.

算法1 RPFE的迭代训练算法

输入 三元组r(h, t)∈ T, 迭代学习总步骤数m

输出 规则集F, 推理后的知识图谱 G'={ε , R, T}

随机初始化实体和关系的嵌入Θ

for M← 1 to m do

for N← 1 to n do

L_T← L_T-Ñ L_T

for end

得到推理模式的规则F和置信度c_f

初始化新的事实集T_f← Ø 和负样本集T'

while T_i≠ Ø do

F_≒ , F_⊥在知识图谱中生成负样本T'_i

在知识图谱中生成新的事实T_i

T_f← T_f∪ T_i\T'_i

while end

学习更良好的嵌入L_P← L_P-Ñ L_P

$T \leftarrow T \cup T_{f}$

$\min \left\{\frac{1}{|T|}\left(L_{T}+L_{T C}\right)+\frac{1}{\left|T_{f}\right|} L_{R}+\right. \left.\quad \frac{1}{|F|}\left(L_{P}+L_{R C}\right)\right\}$

for end

return F and G'

本节分析RPFE的时间复杂度和空间复杂度.

1)时间复杂度.RPFE由嵌入学习和规则推理两部分组成.

嵌入学习主要包括三元组的嵌入学习及利用规则推理模式进行优化.在嵌入学习中对三元组学习的时间复杂度为O(|T|d), 其中, |T|表示事实数, d表示嵌入维度.利用规则推理模式对实体和关系的嵌入进行优化的过程中需要从某一实体起始搜索符合规则体的实例, 搜索效率与实体的度密切相关, 因此嵌入优化的时间复杂度为O(|F||ε |a^ld), 其中, |F|表示规则数, |ε |表示实体数, l表示每条规则的平均长度, a表示每个实体的度的平均数, 从一个实体起始能搜索到符合规则体的最多实例数为a^l.因此, RPFE嵌入学习的时间复杂度为

O(|T|d+|F||ε |a^ld).

RPFE在规则推理中使用前向链法进行规则实例化, 时间开销取决于规则数量和每个规则的平均长度, 因此, 规则推理的时间复杂度为

O(|F||ε |a^l).

综上, RPFE的时间复杂度为

O(|T|d+|F||ε |a^ld+|F||ε |a^l).

相比较优的联合嵌入和规则的推理模型(如KALE^[12]、RUGE^[13]、RulE^[14]), RPFE的时间复杂度与其接近.

2)空间复杂度.RPFE仅存储实体和关系的嵌入, 每个关系的嵌入均由一个入框和一个出框表示, 空间开销为O(|ε |d+2|R|d), 其中|R|表示关系数量.RPFE的空间开销取决于实体和关系的嵌入向量.由于关系数远小于实体数, 即|R|≪|ε |, 因此RPFE与现有推理模型 (如KALE、RUGE、BoxE^[22])的空间复杂度基本一致, 且低于额外存储规则嵌入的RulE.

本文在Family、WN18RR、FB15k-237这3个常用开放数据集上进行测试实验, 数据集具体信息如表2所示.各数据集上包含表1研究的各类推理模式, Family数据集上主要包括互斥、反对称和反转推理模式, FB15k-237数据集上主要包括对称、反对称和层次推理模式, WN18RR数据集上主要包括对称和反对称推理模式^[16].

表2

Table 2

表2(Table 2)

表2 实验数据集信息 Table 2 Information of experimental datasets 名称 实体数量 关系数量 事实数量 Family 3007 12 28356 FB15k-237 14541 237 310116 WN18RR 40943 11 93003

表2 实验数据集信息 Table 2 Information of experimental datasets

本文实验在CPU为Intel Core i9-12900K, GPU为NVIDIA RTX 3090, 内存128 GB的服务器上完成.在Ubuntu 20.04操作系统中使用Python 3.10.12和PyTorch 2.2.1训练框架进行训练、测试和验证, 优化器为Adam(Adaptive Moment Estimation).PRFE在不同数据集上的配置参数如表3所示.

表3

Table 3

表3(Table 3)

表3 PRFE在不同数据集上的参数配置 Table 3 PRFE parameter configuration on different datasets 数据集 迭代次数 批尺寸 嵌入维度 学习率 Family 3 512 200 0.001 FB15k-237 4 1024 1000 0.0001 WN18RR 4 512 500 0.001

表3 PRFE在不同数据集上的参数配置 Table 3 PRFE parameter configuration on different datasets

本文的评价指标选取正确三元组推理排名在前N%的占比(Hits@1、Hits@10)和平均倒数排名(Mean Reciprocal Rank, MRR).MRR或Hits@N的值越高, 性能越优.

本节分析RPFE在图谱中对高质量事实可解释的推理能力.实验的目标是推理实体间缺失的关系, 即?(e₁, e₂).实体和关系嵌入经过双曲正切函数tanh(· )作用, 被映射至[-1, 1]^d有界空间中, 其中d表示嵌入维度, 选择L₂范数度量向量距离.

本节选取如下对比模型.

1)基于TBA的模型: TransE^[15]、RotatE^[16], In-verseEF^[17].

2)基于LMA的模型:ComplEx^[18]、GIE^[19]、Hy-GGE^[20].

3)基于空间表示的模型:BoxE^[22].

4)利用规则学习的模型:RLogic^[8]、RNNLo-gic^[25].

5)联合嵌入和规则的模型:RUGE^[13]、RulE^[14]、InterERP^[23].

各模型在不同数据集上的推理结果如表4所示, 表中黑体数字表示最优值.由表可见, 基于空间表示模型的性能优于基于TBA的模型和基于LMA的模型, 表明本文选取BoxE作为嵌入模型时效果较优.RPFE的性能显著优于基于嵌入的推理模型, 这是因为RPFE具有对规则充分建模的能力.在FB15k-237、WN18RR数据集上, RPFE的各项指标均优于其它联合嵌入训练和规则的模型, 特别是在推理模式更丰富的FB15k-237数据集上, 这是因为RPFE利用推理模式差异性及事实距离一致性实现对规则的准确建模, 并强化提升嵌入学习质量, 进而推理高质量的事实.

表4

Table 4

表4(Table 4)

表4 各模型在3个数据集上的推理性能对比 Table 4 Reasoning performance comparison of different models on 3 datasets 模型 Family FB15k-237 WN18RR MRR Hits@1 Hits@10 MRR Hits@1 Hits@10 MRR Hits@1 Hits@10 TransE 0.45 22.1 87.4 0.29 18.9 46.5 0.23 02.2 52.4 ComplEx 0.81 72.7 94.6 0.24 15.8 42.8 0.44 41.0 51.2 RotatE 0.86 78.7 93.3 0.32 22.8 52.1 0.47 42.9 55.7 BoxE - - - 0.38 - 53.8 0.45 - 54.1 GIE - - - 0.36 27.1 55.2 0.49 45.2 57.5 HyGGE - - - 0.37 27.8 57.1 0.50 46.4 57.0 InverseEF - - - 0.35 25.5 54.3 0.50 45.7 58.0 RNNLogic 0.86 79.2 95.7 0.29 20.8 44.5 0.46 41.3 53.1 RLogic 0.88 81.3 97.2 0.31 20.3 50.1 0.47 44.3 53.7 RUGE 0.68 49.5 96.2 0.19 09.8 37.6 0.28 25.1 28.1 InterERP - - - 0.35 27.8 54.8 0.48 43.5 55.7 RulE 0.98 97.8 99.1 0.35 26.1 54.3 0.51 46.6 58.9 RPFE 0.98 97.9 98.6 0.46 37.9 57.8 0.54 46.7 59.5

表4 各模型在3个数据集上的推理性能对比 Table 4 Reasoning performance comparison of different models on 3 datasets

在Family数据集上, RPFE虽未取得最优值, 但在各项指标中与RulE相差不大.本文分析RulE具有最优值的原因可能是Family数据集上存在一些依赖于链式推理的事实, 而RulE专门实现对这类推理的嵌入建模.

实验还评估RPFE在FB15k-237数据集上受嵌入维度d、迭代总次数m和捕获推理模式阈值$\epsilon$的影响.

定义d=150, 250, 500, 800, 1 000, 1 200, 其对RPFE的影响如图6所示.由图可知, d=500时推理性能较优, d=1 000时推理性能已接近最优, 因此将d=1 000作为实验设定值, 这得益于RPFE对规则推理模式的良好支持.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 d对RPFE性能的影响Fig.6 Effect of d on RPFE performance

定义m=1, 2, 3, 4, 其对RPFE的影响如图7所示.由图可知, 迭代训练对指标值提升具有明显作用, 这是因为迭代训练中加入高质量事实和更精确的嵌入, 能有效解决图谱稀疏性问题.此外, 随着迭代次数的增加, 生成缺失事实的数量逐渐减少, 指标增长逐渐缓慢.

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 m对RPFE性能的影响Fig.7 Effect of m on RPFE performance

定义$\epsilon$=0.7, 0.8, 0.9, 0.95, 0.98, 0.99, 其对RPFE的影响如图8所示.

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 $\epsilon$对RPFE的性能影响Fig.8 Effect of $\epsilon$ on RPFE performance

由图8可知:当$\epsilon$较小时, RPFE无法准确识别规则的推理模式; 当$\epsilon$> 0.95时, 受嵌入学习精度的影响, RPFE难以捕获更多数量的规则; 当$\epsilon$=0.95时, 评价指标达到最优.因此$\epsilon$=0.95为本文实验设定值.

在常用的FB15k-237数据集上进行消融实验, 验证RPFE各关键模块对模型整体性能的影响.消融实验共包含5种情况:RPFE、删除迭代训练(简记为RPFE-Ite)、删除推理模式差异性和事实距离一致性(简记为RPFE-p-t)、删除事实距离一致性(简记为RPFE-t)、删除规则和事实得分优化(简记为RPFE-L).

各模块消融实验结果如表5所示.由表可得如下结论.

表5

Table 5

表5(Table 5)

表5 消融实验结果 Table 5 Results of ablation experiments 模型 MRR Hits@1 Hits@10 RPFE-Ite 0.40 29.7 55.1 RPFE-p-t 0.41 30.6 55.3 RPFE-t 0.44 34.5 56.2 RPFE-L 0.42 29.1 55.7 RPFE 0.46 37.9 57.8

表5 消融实验结果 Table 5 Results of ablation experiments

1)删除迭代训练后模型性能下降明显, 这是因为FB15k-237数据集上关系和事实较丰富, 能学到的规则数量较多, 通过迭代训练可捕获较多有价值的事实和规则, 进而提升推理性能.

2)删除推理模式差异性和事实距离一致性对模型性能影响较大, 原因在于RPFE根据不同推理模式的特点设计推理模式差异性函数和事实距离一致性评分, 实现捕获规则及嵌入表示质量的提升.

3)删除规则和事实得分的优化策略后, Hits@1下降最明显, 这说明优化策略能筛选高质量的规则和推理事实, 有助于提高推理性能.

结合表4和表5结果可知, RPFE在去除规则模块或是迭代训练的情况下, 性能仍优于大部分对比模型.

3.4.1 稀疏数据对推理性能的影响

在FB15k-237数据集上抽取一定比例的三元组构造稀疏知识图谱^[26], 并研究数据稀疏对规则学习、事实嵌入表征质量及模型推理性能的影响.为了确保公平, 在相同条件下对相关模型进行实验验证.

RPFE、RLogic、RNNLogic在稀疏度α =0.2, 0.3, 0.4, 0.7, 1.0时的推理性能对比如图9所示.由图可发现, RNNLogic对稀疏度的变化最敏感.RPFE和RLogic在α ≥ 0.4时, 随着α 减小推理性能下降缓慢; 当α < 0.4时, 由于数据过于稀疏, 指标值下降较快, 但RPFE的性能始终优于RLogic, 这是因为RPFE在推理过程中不断补充捕获的高质量事实, 弥补在稀疏图谱上规则学习不充分导致推理性能下降的不足.因此, RPFE可应用于稀疏图谱.

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 α 对RPFE的性能影响Fig.9 Effect of α on RPFE performance

3.4.2 噪声数据对推理性能的影响

在FB15k-237数据集上将随机实体替换为原有训练集上的头实体或尾实体, 再将得到的噪声数据加入原始训练集中, 保持测试集和验证集不变, 得到带有噪声三元组的FB15k-237数据集, 并在其上分析RPFE和BoxE的推理性能.

设置噪声比例θ =0%, 10%, 20%, 30%, RPFE和BoxE的推理性能如表6所示, 表中黑体数字表示最优值.由表可见, 随着θ 的增大, MRR值均有所下降.尽管表4中BoxE在FB15k-237数据集上取得最优性能, 但其受噪声影响, 性能下降显著, 而RPFE受噪声的影响相对较小, 在噪声图谱上的性能仍优于BoxE.实验表明RPFE能捕获高质量的事实, 在噪声数据下的稳健性更强.

表6

Table 6

表6(Table 6)

表6 RPFE和BoxE在不同噪声比例下的MRR值对比 Table 6 MRR comparison of RPFE and BoxE with different noise ratios θ /% RPFE BoxE 0 0.46 0.38 10 0.44 0.35 20 0.39 0.30 30 0.34 0.23

表6 RPFE和BoxE在不同噪声比例下的MRR值对比 Table 6 MRR comparison of RPFE and BoxE with different noise ratios

为了验证RPFE嵌入模块对不同模型具有良好的兼容性, 在Family数据集上, 采用TransE、Compl-Ex、BoxE作为初始嵌入, 分析RPFE的推理性能, 具体指标值如表7所示, 表中黑体数字表示最优值.

表7

Table 7

表7(Table 7)

表7 嵌入模型不同时RPFE的推理性能对比 Table 7 Reasoning performance comparison of RPFE with different embedding models 嵌入模型 MRR Hits@1 Hits@10 TransE 0.81 65.4 94.3 ComplEx 0.95 95.2 96.5 BoxE 0.98 97.9 98.6

表7 嵌入模型不同时RPFE的推理性能对比 Table 7 Reasoning performance comparison of RPFE with different embedding models

由表7可知, RPFE在3个嵌入模型下均取得较优的推理效果, 说明RPFE具有良好的兼容性和可扩展性.利用BoxE和ComplEx的嵌入推理性能优于TransE的原因在于二者支持Family数据集上的互斥、反对称和反转推理模式, 而TransE难以正确捕获反转推理模式, 导致性能稍差.实验结果显示利用BoxE作为初始嵌入时推理效果最优, 进一步表明RPFE选取BoxE作为嵌入模型的合理性.

本文利用表8中的案例进一步说明RPFE如何推理可解释的高质量事实.

表8

Table 8

表8(Table 8)

表8 案例分析 Table 8 Case analysis 案例 RPFE可解释推理 案例1 ?(262, 263) 规则 $ / \text { wife }(x, y) \xrightarrow{[0.836]} / \operatorname{husband}(y, x)$ 优化 $ / \text { wife }(x, y) \xrightarrow{[0.972]} / \text { husband }(y, x)$ 事实 /wife(263, 262)[0.81] 优化 /wife(263, 262)[0.98] 推理 /husband(262, 263) 案例2 ?(Miami Dolphins, wide receiver) 规则 /american_ football/.../sports_team_roster/position$\xrightarrow{[0.803]}$/sports/.../football_roster_ position/position 优化 /american_ football/.../sports_team_roster/position$\xrightarrow{[0.922]}$/sports/.../football_roster_ position/position 事实 /american_ football/.../sports_team_roster/position(Miami Dolphins, wide receiver)[0.627] 优化 /american_ football/.../sports_team_roster/position(Miami Dolphins, wide receiver)[0.956] 推理 /sports/.../football_roster_ position/position(Miami Dolphins, wide receiver)

表8 案例分析 Table 8 Case analysis

第1个案例为RPFE在Family数据集上对实体262和263之间的关系推理, 由于存在符合规则头部的事实, 因此可推断husband关系.RPFE优化规则置信度, 使该反转推理模式的规则置信度升高, 可解释性提升, 对于事实嵌入的得分更准确, 事实质量更优.

第2个案例为RPFE在3.4.2节噪声比例为10%的FB15k-237数据集上对两个实体是否具有其它关系的推理.由于两个实体在原数据集上存在一个事实, RPFE利用事实得分的优化策略, 判定该事实为真, 提升图谱中事实的质量, 利用层次推理模式的规则及已有的高质量事实进行推理, 使推理过程具有依据, 由此验证模型具有较强的可解释性.