ChainRel分为3部分:BERT编码层、链式解码模块和关系修正模块.

ChainRel的具体结构如图1所示:H₀为BERT的输出编码; H为H₀经过GAU处理过后的文本编码; CLS为BERT输出中用作分类的一个向量; SH、OH、ST、OT为主体首部、主体尾部、客体首部和客体尾部对应的索引下标候选集; S和O为对齐后的实体Span集, 包括4个对齐后的索引集idx_SH、idx_ST、idx_OH、idx_OT; F_SH、F_OH、V_SH、V_ST、V_OH、V_OT为SH、OH、idx_SH、idx_ST、idx_OH和idx_OT中的下标信息, 通过extra-ct(·)从H中截取得到的特征向量; H_*S为H和F_S的融合向量, SH_*OH为V_SH和V_OH的融合向量, ST_*OT为V_ST和V_OT的融合向量; Rel_H和Rel_T为关系抽取部分得到的两个关系集, Rel_G为通过关系修正模块得到的全局关系集.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 ChainRel结构图Fig.1 Structure of ChainRel

BERT是由Transformer^[18]的Encoder Block堆叠而成.模型结合上下文进行训练, 生成深度的语义表征.ChainRel使用BERT的分词器对输入文本进行处理, 得到文本序列, 并将该序列输入预训练的BERT中, 用于计算对应的编码向量.本文取BERT最后一个Block的输出H₀以及对应的CLS向量供后续模块使用.

GLU源于门控卷积网络(Gated Convolutional Network, GCN)^[17], 其本质是通过两个相同的卷积层对输入向量进行强化输出.两个卷积层对应两个通道, 未加激活函数的通道保证运算过程中梯度的不易消失, 加激活函数的部分实现特征的非线性转换.两个通道相加后的输出能够有效强化输入特征.ChainRel中的GLU结构, 在网络层上使用简单高效的线性层, 具体计算公式如下:

glu(X)=(W₁X+b₁)$\otimes$σ(W₂X+b₂),

其中, W₁、b₁和W₂、b₂为两个结构一致的线性层的可训练参数, $\otimes$为元素级乘法, 即两个矩阵的对应元素相乘.

Hua等^[12]在FLASH(Fast Linear Attention with a Single Head)中提出GAU的结构, 并结合GLU、Attention及FFN(Feed Forward Network).其中Dense层包含线性层和激活函数, 激活函数使用SiLU函数.SiLU函数的计算公式如下:

SiLU(x)=x*σ(x),

其中, σ(·)为sigmoid激活函数, *为矩阵间元素级的乘法, 并支持广播机制.

与原生GLU不同, GAU参考的GLU结构使用两个Dense层, 即两个通道都使用SiLU函数进行激活.GAU在GLU的基础之上加入注意力机制, 计算过程如下:

U=SiLU(W_UX+b_U),

V=SiLU(WV_X+bV₎,

Z=SiLU(WzX₊bz)_,

$\mathbf{A}=\frac{1}{n}{{\operatorname{relu}}^{2}}(\frac{Q(\mathbf{Z})K{{(\mathbf{Z})}^{T}}}{\sqrt{s}})$

$\operatorname{gau}(\mathbf{U, V})=(\mathbf{U}\odot \mathbf{AV}){{\mathbf{W}}_{gau}}$

其中:U、V、Z为输入X通过Dense层后得到的输出, A为注意力计算公式; n为文本长度, s为注意力头的个数, ☉为哈达玛积; Q(·)和K(·)对应两个仿射变换; W_gau为最后输出时Dense层的可训练权重.

需要注意地是, Hua等^[12]在基础GAU的注意力计算过程中会计算RoPE(Rotary Position Embed-ding)^[19], 由于RoPE的计算过程较耗时, 并且对抽取结果的影响不大, 因此本文使用的GAU中不包含RoPE的计算过程.

将1.2节中得到的文本编码H₀输入GAU中, 进行二次编码, 得到共享编码H, 即

U₀=SiLU(W_UH₀+b_U),

V0₌SiLU(WV_H0₊bV₎,

H=gau(U0, _V0)_.

链式解码模块分为五个阶段的抽取任务, 前四个阶段用于抽取主、客体的首部和尾部, 最后一个阶段为关系抽取, 阶段之间采用CLN进行特征融合.

1.4.1 条件层规范化

为了减少误差累积的影响, ChainRel在链式解码结构中使用CLN强化阶段间的特征融合.CLN计算公式如下:

cln(y, e)=y-E[y]Var[y]+ε*W_γe+W_βe,

其中, y为输入序列, E[·]为求输入的均值, Var[·]为求输入的方差, ε 为保持分母不为0的一个极小常量, W_γ为可训练的缩放矩阵, W_β为可训练的平移矩阵, e为限制条件, *为矩阵间元素级的乘法, 并支持广播机制.

CLN的整体流程就是将限制条件e分别通过缩放矩阵和平移矩阵映射成缩放变量和平移变量并加入y的层规范化过程中.由于融合时, 主变量和额外变量的位置一旦交换, 会产生不同的输出, 因此CLN在能够融合特征的同时, 也能够有效体现各输入向量间的方向性特征.

1.4.2 实体抽取部分

指针网络在未进行拆分前, 会在两个标注层中分别标注实体的首部和尾部, 然后按照一定的规则进行首部和尾部的对齐.例如:CASREL使用就近原则, 每个首部片段与其距离最近的尾部片段构成一个实体Span.

实体抽取部分使用拆分后的指针网络, 即先抽取实体首部, 再利用首部的信息抽取尾部.实体抽取部分包括两个拆分后的指针网络, 分别对应主体首部抽取、主体尾部抽取、客体首部抽取和客体尾部抽取四个阶段.抽取主体时的计算过程如下:

pSHi=σ(W_SHHⁱ+b_SH),

FS_H=extract(H, SH),

H*S_H=cln(H, FSH_),

$\mathbf{p}_{ST}^{i}=\sigma ({{\mathbf{W}}_{ST}}\mathbf{H}_{*SH}^{i}+{{\mathbf{b}}_{ST}})$

在获得主体首部的概率序列pSHi后, 给定一个阈值θ₁, 进行二值化操作, 将pSHi中大于θ₁的片段置为1, 否则置为0, 即可得到的主体首部索引候选集SH.H_*SH为H与主体首部特征的融合特征.H_*SH输入标注层后, 得到主体尾部的概率序列pSTi.对pSTi进行相同的二值化操作后, 可抽取得到主体尾部索引候选集ST, 整理后, 得到主体Span对应两个索引集idx_SH和idx_ST.

抽取客体时的操作与抽取主体相同, 只需把最初的输入换成H_*S.H_*S为H与主体特征融合后的特征, 具体计算过程如下:

F_SH=extract(H, idx_SH),

FS_T=extract(H, idxS_T),

FS=_avg(FSH_{, F}ST_),

H*S=_cln(H, FS),

其中avg(·)为求输入的平均值.由于抽取客体时使用主体的信息进行过滤, 因此主体和客体完成自动对齐.

1.4.3 关系抽取部分

链式解码的最后一个阶段会对前四个阶段抽取得到的实体对进行关系预测.ChainRel使用主体和客体的融合向量进行实体间关系的预测, 融合过程采用CLN和GLU组合的特征融合结构, CLN用于特征融合及体现实体对间的方向性特征(主客体逆序可能会对应另一个关系, 因此必须保留方向性特征), GLU用于强化特征输出.

TPLinker 的握手标注机制进行三次对齐:实体首部对齐实体尾部(EH to ET), 主体首部对齐客体首部(SH to OH), 主体尾部对齐客体尾部(ST to OT).ChainRel根据这种对齐思想将主体和客体特征拆分成(主体首部, 客体首部)和(主体尾部, 客体尾部)两个组合, 进行特征融合后得到两个融合特征, 然后输入同一个分类器进行关系抽取, 最终得到两组关系集.本文将这种操作称为首尾分离操作.

首尾分离阶段首先从H中截取实体对对应的4个特征向量V_SH、V_ST、V_OH、V_OT, 将V_OH和V_OT作为额外条件, 通过同一个CLN分别融入V_SH和V_ST中.具体计算公式如下:

SH_*OH=cln(V_SH, V_OH),

ST*_OT=cln(VS_T, VO_T).

然后将SH_*OH和ST_*OT输入一个带残差结构的GLU中, 进一步处理融合后的特征:

P_H=glu(SH_*OH)+SH_*OH,

PT₌glu(ST*_OT)+ST*_OT.

最后使用P_H和P_T对所有关系进行二分类预测:

rph^j=σ(W_rpP_H+b_rp),

rptj⁼σ(Wr_pPT₊br_p),

其中, rph^j和rpt^j为实体对间包含关系j的概率, W_rp和b_rp为可训练的权重和偏置.

在得到实体的关系预测概率序列后, 给定一个阈值θ₂, 对序列进行二值化处理, 可抽取得到两个候选关系集Rel_H和Rel_T, 分别对应实体对的首部融合特征和尾部融合特征.

关系修正模块使用BERT输出中的CLS向量对文本中所有潜在关系进行一次预测, 则文本包含关系j的概率如下所示:

global_rp^j=σ(W_gCLS+b_g).

根据阈值θ₂可以抽取文本中所有可能包含的关系集合Rel_G.在输出三元组之前, 采用取Rel_H、Rel_T及Rel_G交集的方式确定实体对之间的关系.

关系修正本质上是一个简单二分类任务, 在数据量不足或关系种类表庞大时, 可能由于拟合效果较差导致Rel_G中的关系可靠性下降, 进而对模型性能产生负面影响.

ChainRel的总体损失由预测主体、客体和关系时的二分类标注层产生的损失构成, 如果使用关系修正模块, 需要加上该部分的损失.二分类标注层的损失使用二元交叉熵计算:

bce(p, q)=-[q ln p+(1-q)ln(1-p)],

其中, p为预测值, q为真实值.

预测实体时的四个二分类层的损失计算流程一致, 以实体首部的损失计算loss_SH为例.关系预测的两个部分的损失计算过程一致, 以关系预测中实体首部融合特征部分的损失计算loss_RP-H为例.loss_GRP为关系修正模块的损失.loss_SH、loss_RP-H和loss_GRP的计算公式如下:

$los{{s}_{SH}}=-\frac{1}{n}\sum\limits_{i}^{n}{\operatorname{bce}(\mathbf{p}_{SH}^{i}, \mathbf{q}_{SH}^{i})}$,

$los{{s}_{RP-H}}=-\frac{1}{N}\sum\limits_{j}^{N}{\operatorname{bce}(\mathbf{rp}{{\mathbf{h}}^{j}}, \mathbf{r}{{\mathbf{q}}^{j}})}$,

$los{{s}_{GRP}}=-\frac{1}{N}\sum\limits_{j}^{N}{\operatorname{bce}(\mathbf{global\_r}{{\mathbf{p}}^{j}}, \mathbf{global\_r}{{\mathbf{q}}^{j}})}$,

其中, n为经过分词后的文本序列长度, N为关系种类总数, rq^j为关系预测时的真实标签值, global_rq^j为全局关系的真实标签值.

模型的整体损失即为各部分损失的总和.

本文使用NYT^[20]、WebNLG^[21]这两个通用数据集对ChainRel进行性能综合评估.NYT数据集上样本量较大, 关系种类数较少.WebNLG数据集上实体类型多样, 样本量较小, 但关系种类数约为NYT数据集的7倍.NYT、WebNLG数据集上都包含有关系重叠情况的文本.2个数据集具体构成如表1~表3所示, 表3中N为单个文本包含三元组的个数.

表1

Table 1

表1(Table 1)

表1 实验数据集统计信息 Table 1 Statistical information of experimental datasets 数据集 训练集数目 验证集数目 测试集数目 关系数 NYT 56195 4999 5000 24 WebNLG 5019 500 703 171

表1 实验数据集统计信息 Table 1 Statistical information of experimental datasets

表2

Table 2

表2(Table 2)

表2 按照关系重叠问题划分测试集 Table 2 Test sets divided by relation overlap 名称 Normal SEO EPO NYT 3266 1297 978 WebNLG 246 457 26

表2 按照关系重叠问题划分测试集 Table 2 Test sets divided by relation overlap

表3

Table 3

表3(Table 3)

表3 按照N划分测试集 Table 3 Test sets divided by N 数据集 N=1 N=2 N=3 N=4 N≥ 5 NYT 3244 1045 312 291 108 WebNLG 266 171 131 90 45

表3 按照N划分测试集 Table 3 Test sets divided by N

在评价指标上, 实验采用实体关系抽取任务中常用的精确率(Precision, P)、召回率(Recall, R)和F1值(F1-Score)作为性能的衡量标准.

本文实验环境中使用的CPU为Intel(R) Core(TM) i9-10900K, GPU为GeForce RTX 1080 Ti, 内存为DDR4 16 GB.

ChainRel使用bert-base-uncased预训练模型进行编码.学习率为0.000 01, 输入文本最大长度(max_text_len)为100, 批量(batch_size)大小为8, 在NYT、WebNLG数据集上的迭代次数分别为150次和300次, 在链式抽取模块中出现的实体抽取阈值θ₁设为0.6, 关系阈值θ₂设为0.6.

本文选择如下对比模型.

1)GraphRel^[22].利用GCN构建的两阶段实体关系抽取模型.

2)文献[23]模型.在End2end Model Based on Sequence-to-Sequence Learning with Copy Mechanism中加入强化学习机制.

3)ETL-span^[24].利用指针网络的抽取式模型, 将实体关系抽取分为HE(Head-Entity)和TER(Tail-Entity and Relation)两部分, 利用指针网络替代传统的BIES方案进行实体标注.

4)CASREL^[9].在第二阶段使用级联的指针网络联合解码客体和关系信息.

5)TPLinker^[13].利用握手标注机制一次解码关系三元组, 避免曝光偏差、误差累积等问题的产生.

6)SPN(Set Prediction Networks)^[25].使用非自回归并行解码方式的生成式模型, 能够一次性输出三元组集合.

7)PRGC^[14].两阶段抽取式模型, 先预测关系, 再在对应关系下预测实体对的解码策略, 避免堆叠标注层方式中的一些问题, 同时使用GCM进行实体间的对齐.

8)EmRel(Embedded Representations of Rela-tions)^[26].将关系作为嵌入信息, 通过三个注意力模块对实体、关系和上下文信息进行建模, 最后通过对齐函数判断有效三元组.

9)OneRel^[27].在TPLinker的基础上, 重新设计填表策略, 优化整个三元组的抽取过程.

本文将ChainRel与基线模型在NYT、WebNLG数据集上进行整体抽取性能对比, 具体结果如表4所示, 表中ChainRel⁺为在ChainRel中添加关系修正模块, 黑体数字表示最优值.

由表4可见, 由于稀疏标注矩阵的影响, TP-Linker虽然在NYT数据集上的F1值会比CASREL提高2.3%, 但在关系种类数较大的WebNLG数据集上, F1值只提升0.1%.PRGC在改变抽取的策略之后, 相比TPLinker, 在两个数据集上的整体F1值也具有明显提升, 由此表明实体和关系分开抽取也能获得较优效果.在NYT数据集上, ChainRel⁺除了在召回率上不及OneRel以外, 在精确率和F1值上取得最高值, 相比SPN、PRGC和OneRel, 精确率分别提升0.5%、0.4%、1.0%, F1值分别提升0.5%、0.3%、0.1%.在WebNLG数据集上, ChainRel⁺取得最高的精确率.相比SPN和PRGC, ChainRel虽然在整体性能上具有明显提升, 但与OneRel仍有一定的差距.从两个数据集上的结果也可以发现, 在加入关系修正模块以后, ChainRel⁺在精确率上都会有相应提升, 而召回率则对应下降, 在WebNLG数据集上的召回率下降0.8%, 推测为关系修正模块未得到充分拟合, 因为WebNLG数据集上样本量较小而关系种类数较多.

表4

Table 4

表4(Table 4)

表4 各模型在2个数据集上整体性能对比 Table 4 Overall performance comparison of different models on 2 datasets % 模型 NYT WebNLG P R F1 P R F1 GraphRel 63.9 60.0 61.9 44.7 41.1 42.9 文献[23]模型 77.9 67.2 72.1 63.3 59.9 61.6 ETL-span 84.9 72.3 78.1 84.0 91.5 87.6 CASREL 89.7 89.5 89.6 93.4 90.1 91.8 TPLinker 91.3 92.5 91.9 91.8 92.0 91.9 SPN 93.3 91.7 92.5 93.1 93.6 93.4 PRGC 93.3 91.9 92.6 94.0 92.1 93.0 EmRel 91.7 92.5 92.1 92.7 93.0 92.9 OneRel 92.8 92.9 92.8 94.1 94.4 94.3 ChainRel 93.3 92.0 92.7 94.0 93.8 93.9 ChainRel+ 93.8 91.9 92.9 94.3 93.0 93.6

表4 各模型在2个数据集上整体性能对比 Table 4 Overall performance comparison of different models on 2 datasets %

综合表4中的各项数据来看, ChainRel和ChainRel⁺在两个数据集上的综合性能优于SPN、PRGC等模型.对比当前较先进的单阶段解码模型OneRel, ChainRel和ChainRel⁺虽然在WebNLG数据集上效果稍弱, 但在NYT数据集上取得的结果与其相当, 且抽取时的精确率更高.表4中实验结果表明多阶段链式解码结构的可行性, 也暴露出关系修正模块的局限性, 并不适用于WebNLG数据集.

各对比模型在处理不同复杂程度文本时的性能如表5所示, 表中黑体数字表示最优值.由表可见, 在NYT数据集上, GraphRel、文献[23]模型、ETL-span、CASREL、TPLinker、SPN在N≥ 5时F1值都较低, ChainRel、ChainRel⁺、PRGC、OneRel则改善这种情况, 同时ChainRel⁺在处理N=1或N=2的简单文本时, 都取得最高的F1值.在WebNLG数据集上, 相比对比模型, ChainRel在N=2时的F1值具有明显提升, 分别比SPN、PRGC、OneRel提高2.4%、2.1%、0.7%, 同时其在处理N> 2的文本时性能优于PRGC.

表5

Table 5

表5(Table 5)

表5 N不同时各模型的F1值对比 Table 5 F1 value comparison of different models with different N 模型 NYT WebNLG N=1 N=2 N=3 N=4 N≥ 5 N=1 N=2 N=3 N=4 N≥ 5 GraphRel 71.0% 61.5% 57.4% 55.1% 41.1% 66.0% 48.3% 37.0% 32.1% 32.1% 文献[23]模型 71.7% 72.6% 72.5% 77.9% 45.9% 63.4% 62.2% 64.4% 57.2% 55.7% ETL-span 88.5% 82.1% 74.7% 75.6% 76.9% 82.1% 86.5% 91.4% 89.5% 91.1% CASREL 88.2% 90.3% 91.9% 94.2% 83.7% 89.3% 90.8% 94.2% 92.4% 90.9% TPLinker 90.0% 92.8% 93.1% 96.1% 90.0% 88.0% 90.1% 94.6% 93.3% 91.6% SPN 90.9% 93.4% 94.2% 95.5% 90.6% 89.5% 91.3% 96.4% 94.7% 93.8% PRGC 91.1% 93.0% 93.7% 95.5% 93.0% 89.9% 91.6% 95.0% 94.8% 92.8% OneRel 90.5% 93.4% 93.9% 96.5% 94.2% 91.4% 93.0% 95.9% 95.7% 94.5% ChainRel 91.1% 92.9% 93.5% 96.3% 92.4% 90.2% 93.7% 96.1% 95.2% 93.3% ChainRel+ 91.3% 93.5% 93.7% 96.1% 92.5% 89.9% 93.3% 95.6% 95.1% 92.8%

表5 N不同时各模型的F1值对比 Table 5 F1 value comparison of different models with different N

各模型在处理不同关系重叠问题时的性能对比如表6所示, 表中黑体数字表示最优值.

表6

Table 6

表6(Table 6)

表6 关系重叠问题不同时各模型的F1值对比 Table 6 F1 value comparison of different models with different relation overlaps % 模型 NYT WebNLG Normal SEO EPO Normal SEO EPO GraphRel 69.6 51.2 58.2 65.8 38.3 40.6 文献[23]模型 71.2 69.4 72.8 65.4 60.1 67.4 ETL-span 88.5 87.6 60.3 87.3 91.5 80.5 CASREL 87.3 91.4 92.0 89.4 92.2 94.7 TPLinker 90.1 93.4 94.0 87.9 92.5 95.3 SPN 90.8 94.0 94.1 - - - PRGC 91.0 94.0 94.5 90.4 93.6 95.9 OneRel 90.6 95.1 94.8 91.9 94.7 95.4 ChainRel 91.0 94.2 94.4 90.4 94.6 94.8 ChainRel+ 91.3 94.3 94.6 90.1 94.3 94.7

表6 关系重叠问题不同时各模型的F1值对比 Table 6 F1 value comparison of different models with different relation overlaps %

由表6可见, 在NYT数据集上, 加入关系修正模块的ChainRel⁺在处理各种问题时的能力都有正向提升, 在Normal上取得最高的F1值, 对比OneRel, F1值提升0.7%.在WebNLG数据集上, PRGC、TPLinker、CASREL在应对EPO问题时的F1值都比应对SEO问题时提高近2%到3%, ChainRel和OneRel在这两个问题上的处理性能则较平衡.相比GraphRel、文献[23]模型、ETL-span、CASREL、TPLinker、SPN和PRGC, ChainRel在处理SEO问题上具有明显性能提升.

综合表5和表6的数据来看, ChainRel和ChainRel⁺在保证处理复杂文本(含三元组数较多)的性能的同时, 提升处理简单文本的性能, 在WebNLG数据集上处理SEO问题的能力具有一定提升.

为了验证链式解码结构以及各模块的有效性, 本节从四个方面进行消融实验, 分别验证链式解码结构、门控单元、首尾分离操作及关系修正模块的有效性.参与消融实验的模型如下.

1)CASREL.利用主体信息预测客体.

2)CASREL-CLN.将CASREL原本使用特征相加的融合方式替换为CLN.

3)S2O2R-base.将CASREL的客体和关系联合预测进行拆分, 建立由主体到客体, 再到主体和客体的特征一起预测关系的解码链, 解码结构扩展至三阶, 并使用CLN处理阶段间的特征融合.

4)ChainRel-base.在S2O2R-base基础上, 进一步拆分指针网络, 用实体首部信息解码实体尾部, 整体解码阶段扩展至五阶.

5)ChainRel-base-v1.在ChainRel-base基础上, 在关系抽取层加入GLU.

6)ChainRel-base-v2.在ChainRel-base-v1基础上, 加入GAU处理共享编码层.

7)ChainRel-base-v2-rope.在ChainRel-base-v2的GAU中加入PoPE.

8)ChainRel-base-v3.在ChainRel-base-v1基础上, 加入GLU处理共享编码层.

9)ChainRel.在ChainRel-base-v2基础上, 加入首尾分离操作.

10)ChainRel⁺.在ChainRel基础上, 加入关系修正模块.

2.6.1 链式解码结构有效性实验

链式解码结构的有效性实验结果如表7所示, 表中黑体数字表示最优值.由表可见, CASREL在使用CLN处理特征融合过程以后, 在两个数据集上的F1值都有较明显的提升, 表明CLN确实能够强化特征的融合输出, 使后续步骤可过滤更多无用的信息, 减少误差累积的影响.S2O2R-base以此为基础, 单独分离关系抽取, 构成三阶段的解码结构, 并使用CLN提高过滤机制的作用.相比CASREL-CLN, S2O2R-base避免堆叠标注层带来的问题, 表现更优, 在NYT、WebNLG数据集上的整体F1值分别提升0.4%和0.7%.ChainRel-base则进一步拓宽S2O2R-base的解码结构, 构成五阶段的过滤链.相比S2O2R-base, ChainRel-base在NYT数据集上的F1值提升0.3%, 在WebNLG数据集上的F1值提升0.2%.上述实验结果表明多段链式解码结构的可行性和有效性.

表7

Table 7

表7(Table 7)

表7 链式解码结构有效性实验结果 Table 7 Validity experiment results of chained decoding structure % 模型 NYT WebNLG P R F1 P R F1 CasRel 89.7 89.5 89.6 93.4 90.1 91.8 CasRel-CLN 90.9 91.9 91.4 93.3 91.8 92.5 S2O2R-base 92.0 91.6 91.8 93.9 92.5 93.2 ChainRel-base 92.5 91.7 92.1 93.5 93.4 93.4

表7 链式解码结构有效性实验结果 Table 7 Validity experiment results of chained decoding structure %

2.6.2 门控单元有效性实验

门控单元的有效性实验结果如表8所示, 表中黑体数字表示最优值.由表可见, 在门控结构方面, ChainRel-base-v1使用GLU优化ChainRel-base原本较简单的关系预测层, 相比ChainRel-base, 在NYT、WebNLG数据集上的F1值分别提升0.1%和0.2%, 表明GLU对模型性能提升具有正向作用.ChainRel-base-v2、ChainRel-base-v2-rope和ChainRel-base-v3通过GAU或GLU对BERT的输出进行二次处理, 从结果上来看, 加入GAU的模型会有更优的抽取效果.

表8

Table 8

表8(Table 8)

表8 门控单元有效性实验结果 Table 8 Validity experiment results of gated unit % 模型 NYT WebNLG P R F1 P R F1 ChainRel-base 92.5 91.7 92.1 93.5 93.4 93.4 ChainRel-base-v1 92.6 91.8 92.2 93.9 93.3 93.6 ChainRel-base-v2-rope 93.7 91.4 92.6 94.3 93.0 93.6 ChainRel-base-v2 93.1 92.0 92.5 94.5 93.1 93.8 ChainRel-base-v3 93.0 91.6 92.3 94.1 93.0 93.6

表8 门控单元有效性实验结果 Table 8 Validity experiment results of gated unit %

ChainRel各变体模型在2个数据集上的性能对比如表9所示, 表中黑体数字表示最优值.从表中可以看到, ChainRel-base拥有最快的训练时间和推理时间, 在其基础上添加GAU和GLU都会带来一些时间的增加.ChainRel-base-v2和ChainRel-base-v2-rope在两个数据集上分别取得最优的F1值, 且两者的整体效果差距不大, 但ChainRel-base-v2-rope需要更多的计算时间.

表9

Table 9

表9(Table 9)

表9 ChainRel各变体模型在2个数据集上的性能对比 Table 9 Performance comparison of ChainRel variant models on 2 datasets 数据集 模型 训练时间 /min 推理时间 /ms F1 /% NYT ChainRel-base ChainRel-base-v1 ChainRel-base-v2-rope ChainRel-base-v2 ChainRel-base-v3 17.45 18.11 26.82 22.15 19.02 20.7 21.5 29.2 24.5 22.6 92.1 92.2 92.6 92.5 92.3 WebNLG ChainRel-base ChainRel-base-v1 ChainRel-base-v2-rope ChainRel-base-v2 ChainRel-base-v3 1.41 1.47 2.29 1.81 1.63 25.5 26.7 34.1 30.2 28.4 93.4 93.6 93.6 93.8 93.6

表9 ChainRel各变体模型在2个数据集上的性能对比 Table 9 Performance comparison of ChainRel variant models on 2 datasets

综合表8和表9的数据来看, RoPE的加入并没有使ChainRel-base-v2-rope在性能上优于ChainRel-base-v2, 且ChainRel-base-v2-rope在计算时间和推理时间上都会有较明显的增加.综合考虑后, 本文在使用GAU时, 去除RoPE的计算过程.

2.6.3 首尾分离操作有效性实验

对于关系抽取层的首尾分离操作, 以ChainRel为例, 在NYT、WebNLG数据集的验证集上的性能如图2和图3所示.对于NYT数据集, 选择第31轮至第50轮的抽取结果; 对于WebNLG数据集, 选择第131轮至第150轮的结果.由于WebNLG数据集上样本量较少, 模型在前100轮中拟合程度较低.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 ChainRel在验证集上的F1值Fig.2 F1 values of ChainRel on validity set

图2为ChainRel在两个验证集上的三种方式对应的F1值柱状图.在图中, Rel(H)对应只使用关系集Rel_H中的关系作为实体对最后的关系, Rel(T)对应只使用关系集Rel_T中的关系作为实体对最后的关系, Rel(H)& Rel(T)对应求取Rel_H和Rel_T的交集中的关系作为实体对最后的关系.

从图2中可以看出, 3种方式得到的F1值差距不大, Rel(H)的F1值基本在Rel (T)之上, 表明首部融合特征中包含的有效信息略多于尾部融合特征.Rel(H)& Rel(T)的F1值大部分都在Rel (H)之上, 因此ChainRel最后选择求取Rel_H和Rel_T交集的方式.

图3是未进行首尾分离的ChainRel-base-v2和ChainRel在验证集上的性能对比.由图可以清晰看出, 相比ChainRel-base-v2, ChainRel具有较明显的性能提升, 表明首尾分离操作的有效性.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 ChainRel-base-v2和ChainRel在验证集上的F1值Fig.3 F1 values of ChainRel-base-v2 and ChainRel on validity set

ChainRel-base-v2和ChainRel的有效性实验结果如表10所示, 表中黑体数字表示最优值.由表可见, 相比ChainRel-base-v2, ChainRel在NYT、WebNLG数据集上的F1值分别提升0.2%、0.1%, 在测试集上的提升幅度小于验证集, 这从侧面验证测试集和验证集的样本分布存在一定的差距, 但都对模型的抽取效果带来正向提升.

表10

Table 10

表10(Table 10)

表10 首尾分离操作有效性实验结果 Table 10 Validity experiment results of head-to-tail separation operation % 模型 NYT WebNLG P R F1 Prec. Rec. F1 ChainRel-base-v2 93.1 92.0 92.5 94.5 93.1 93.8 ChainRel 93.3 92.0 92.7 94.0 93.8 93.9

表10 首尾分离操作有效性实验结果 Table 10 Validity experiment results of head-to-tail separation operation %

2.6.4 关系修正模块有效性实验

关系修正模块的有效性实验结果如表11所示, 表中黑体数字表示最优值.由表可以明显看到, 在进行关系修正之后, ChainRel⁺在两个数据集上都出现精确率上升和召回率下降的特点, 表明关系修正的过程中存在误删正确三元组的情况.在NYT数据集上, 由于训练集本身样本量充足以及关系种类数较少, 关系修正模块的分类器拟合效果相对较优, 误删的情况较少, 因此模型整体性能得到正向的提升.由于WebNLG数据集上样本较少且关系种类数较多, 关系修正模块的拟合情况相对较差, 关系集Rel_G的可靠性随之下降, 进而导致很多正确的三元组被误删, 召回率大幅下降.综合表中实验结果来看, 关系修正模块并不适用于WebNLG这种体量较小且关系类别繁多的数据集.

表11

Table 11

表11(Table 11)

表11 关系修正模块有效性实验结果 Table 11 Validity experiment results of relationship modification module % 模型 NYT WebNLG P R F1 P R F1 ChainRel 93.3 92.0 92.7 94.0 93.8 93.9 ChainRel+ 93.8 91.9 92.9 94.3 93.0 93.6

表11 关系修正模块有效性实验结果 Table 11 Validity experiment results of relationship modification module %