给定问题文本

$Q=\left\{ {{q}_{1}}, {{q}_{2}}, \ldots , {{q}_{m}} \right\}$

和文章文本

$P=\left\{ {{p}_{1}}, {{p}_{2}}, \ldots , {{p}_{n}} \right\}$,

其中, q_i为问题文本Q中的第i个词, i=1, 2, …, m, m为问题Q中的词语数量, p_j为文章P中的第j个段落, j=1, 2, …, n, n为文章段落群中的段落数量.

多跳阅读理解任务的目标为:根据给定的问题Q和多段落文章P, 经多跳推理预测问题的答案

A∈ {span, entity, Yes/No}.

答案A不仅仅来源于单一文章且形式不固定, 包括跨度、实体与是非类型.

本文提出用于多跳阅读理解的双视图对比学习网络(DVCGN), 总体架构如图1所示.网络包括5个模块:上下文编码层、层次图构造层、基于对比学习的双视图推理层、问题引导图节点剪枝层、多任务预测层.图1中左边的段落匹配模块为层次图段落节点筛选步骤, 是层次图构造的一部分.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 DVCGN整体架构Fig.1 Overall architecture of DVCGN

上下文编码层通过文本多跳匹配算法构建推理链, 进一步采用RoBERTa(Robustly Optimized BERT Pre-training Approach)语言模型编码问题、段落、句子、实体词, 获得图节点的初始特征表示.层次图构造层基于问题、段落、句子、实体词之间的边关系构建一个层次图, 连接不同来源的线索.段落匹配模块为数据预处理阶段, 通过标题匹配、实体词匹配和RoBERTa打分器评分等方式筛选层次图中与问题匹配的段落.基于对比学习的双视图推理层将上述层次图以及节点特征进行扰动处理, 生成两个视图, 采用对比学习的方法将双视图分别送入GAT(Graph Attention Networks)联合更新, 学习节点表示.问题引导图节点剪枝层将上一步更新的节点表示进行进一步的筛选, 再与上下文编码的初始节点特征表示经门控注意力模块进行问题引导的答案预测.多任务预测层将答案预测、段落预测、支持事实预测、实体预测以及双视图对比学习子任务的特征信息分别传入分类器进行打分预测, 并预测最终答案输出.

数据集上的问题与文章经过数据预处理, 得到每条样本对应的初步层次图, 在上下文编码层中使用预训练模型RoBERTa, 获得所有图节点的初始表示.首先将该问题对应选定的段落与上下文合并, 并与问题一起送入RoBERTa中, 获得初始表征.经互注意力层获得问题表示

Q={q₀, q₁, …, q_m-1}∈ R^{m× d}

和段落上下文表示

P={p₀, p₁, …, p_n-1}∈ R^{n× d},

其中, m表示问题数量, n表示段落数量, d表示表征向量维度.

第二步将问题和上下文表示分开处理, 上下文表示经Bi-LSTM(Bidirectional Long Short-Term Me-mory)网络提取段落、句子、实体三种类型的节点表示( fpi, fsi, fei):

${{f}_{{{p}_{i}}}}=ML{{P}_{1}}[LSTM(p_{i}^{\text{start}}); LSTM(p_{i}^{\text{end}})], $

${{f}_{{{s}_{i}}}}\text{=}ML{{P}_{2}}[LSTM(s_{i}^{\text{start}}); LSTM(s_{i}^{\text{end}})], $

${{f}_{{{e}_{i}}}}=ML{{P}_{3}}[LSTM(e_{i}^{\text{start}}); LSTM(e_{i}^{\text{end}}))], $

其中, pstarti、 pendi表示段落节点的起始位置和结束位置, 句子结点和实体节点的表示类似, [; ]表示两向量拼接, 两个LSTM(· )分别表示Bi-LSTM的前向计算和后向计算.

具体地, 对于不同类型的节点, 均以跨度形式表示加入计算, Bi-LSTM网络的两个方向正对应跨度的开始与结束, 而问题节点经过最大池化层获得节点表示:

f_q=maxpooling(Q).

RoBERTa为RoBERTa-large, 是BERT更精细的调优版本, 能够适应更大的模型参数量以及更多的训练数据, 适合本文的大型数据集.

综上所述, 经过上下文编码层得到第i项段落、句子、实体3种类型的节点表示( fpi, fsi, fei), 问题节点表示为f_q.

层次图的构建主要分为两步:段落匹配和图的构建.段落匹配基于每条样本中的问题, 匹配文章中符合该问题的段落.图的构建是基于段落匹配中得出的关系对、段落中句子关系和实体词关系在邻接矩阵中构建节点、添加边.将图的构建放在数据预处理阶段, 形成数据文件, 在训练时载入并进行计算.

1.4.1 段落匹配模块

HOTPOTQA数据集样本中的每个段落都有对应的标题, 记标题和段落的关系对为(t_i, p_i), 标题涉及段落大意的关键词, 所以先考虑使用标题进行文本和问题的匹配依旧是DVCGN的首选.当标题匹配失败时, 选择使用问题中出现的实体词在段落中进行匹配.

为了辅助段落匹配结果的选择, 还使用预训练模型RoBERTa对段落p_i包含黄金证据事实的概率进行打分.计算过程的具体描述如下.

第一跳匹配.首先, 训练一个基于预训练RoBE-RTa的编码器作为打分器对段落进行排序, 得到排序后的段落集合:

P^ranking=RoBERTa_ranking(P),

其中RoBERTa_ranking()表示基于预训练RoBERTa打分器, 排序的依据是段落中包含数据集中黄金支持事实的概率, 依据此分数决定匹配的选择.打分器工作原理是在训练好的基于预训练RoBERTa的编码器后接一个二进制分类层, 以对输入段落包含支持事实的概率进行排序.接下来, 将问题跨度(q^start, q^end)与标题跨度( tstarti, tendi)进行匹配.如果标题匹配到多个段落, 则依据打分器分数选择得分前二的段落 Pranking1, 2.如果标题匹配未匹配到段落, 则进行实体词匹配, 将问题中的实体词 qei匹配段落中的实体词 pej.如果实体词匹配也失败, 则直接取打分器分数最高的段落 Pranking1.具体编码方式如下:

${{P}_{sel}}=\left\{ \begin{array}{* {35}{l}} P_{1, 2}^{ranking}, & {{p}_{\text{sel}}}> 0 \\ {{P}_{{{e}_{esl}}}}, & {{e}_{\text{sel}}}> 0 \\ P_{1}^{ranking}, & 其他 \\ \end{array} \right.$

其中, p_sel表示段落标题与问题匹配成功的段落数量, $P_{1, 2}^{ranking}$表示此种可能所选择的P^ranking前二的段落, e_sel表示实体词与段落匹配是否成功, Pesel表示此种可能选择的段落, 为实体词匹配成功的段落.

第二跳匹配.为了模拟人类进行多跳阅读, 第二跳节点应与第一跳节点直接相关以回答问题, 但直接使用第一跳节点进行段落间的实体词匹配, 会引入大量噪声.这里直接引用数据集上第一跳节点段落中的超链接(Hyperlink_Titles), 搜索可能存在的第二跳段落, 该段落需是在第一跳没有被选中的段落.寻找到第二跳段落后随即构建两段落节点之间的边(p_i, p_j).

两跳的段落选择构建的边均为双向边, 计算结束后会得到n个候选段落

p_candi={p₁, p₂, …, p_n}.

为了减少图推理中的噪声, 进一步使用打分器选择排名前N的段落.

1.4.2 层次图构建

由于段落和句子之间、句子和实体词之间自然有包含关系, 利用此包含关系能够丰富多粒度图结构中的语义关系, 于是定义为层次图.层次图中还包含段落之间的关系(如第二跳得到的超链接匹配关系), 同一段落中的句子之间的兄弟关系, 句子和段落之间的超链接匹配所得的边关系.

综上可知, 构建的层次图中存在4种节点:问题节点q、段落节点

$p=\left\{ {{p}_{1}}, {{p}_{2}}, .., {{p}_{{{n}_{p}}}} \right\}$、

句子节点

$s=\left\{ {{s}_{1}}, {{s}_{2}}, ..., {{s}_{{{n}_{s}}}} \right\}$、

实体词节点

$e=\left\{ {{e}_{1}}, {{e}_{2}}, ..., {{e}_{{{n}_{e}}}} \right\}$,

其中, n_p、n_s、n_e分别表示图中限定的段落、句子、实体词节点的个数.存在如下边关系:

1)第一跳匹配的问题节点和段落节点的连边(q, p_i);

2)句子节点和通过超链接相连的段落节点的连边(s_i, p_i);

3)第二跳的段落节点之间的连边(p_i, p_j);

4)同一段落中的相邻句子节点之间的连边(s_i, s_j);

5)段落节点及其包含的句子节点之间的连边(p_i, s_i);

6)句子节点及其包含的实体词节点之间的连边(s_i, e_i);

7)问题节点及其包含的实体词节点之间的连边(q, e_i)(图1中未展示).

1.5.1 双视图构造

负样本的生成是对比学习的关键.机器阅读理解领域工作的负样本策略主要集中在文本表示的负样本生成, 本文考虑采用基于异构图结构的负样本生成.由于本文的层次图涵盖多粒度的文本信息, 在图结构上进行负样本生成有助于对比学习作用于全局, 同时也有助于网络在多粒度节点上学习到更丰富的语义信息.

DVCGN考虑使用随机删除边关系和随机掩蔽节点特征的方法对视图进行破坏, 从图结构和节点特征级别对图进行损坏, 从而构建多粒度节点对比.定义图G=(V, E), 其中, V为图节点集, E为图中的边关系集合.图的邻接矩阵A^adj∈ RnV×nV, A^adj中的值由7种边关系定义, 由于边是双向边, 所以A^adj为对称矩阵.特征矩阵F∈ RnV×d, 其中d为节点特征维度.

删除边.首先将邻接矩阵A^adj转换为稀疏矩阵A^coo, 根据节点个数随机构造一个矩阵A^mask∈ RnV×nV作为掩蔽矩阵:

Amaskij=β(1-pv), Aijadj≠00, Aijadj=0

其中, β (· )为伯努利分布, p_v为自定义的掩蔽概率.

当A^adj中存在边关系时为掩蔽矩阵分配相应数值, 其值是根据伯努利分布计算得到.再将掩蔽矩阵与原邻接矩阵进行哈达玛乘积, 得到被损坏的邻接矩阵:

${{\tilde{A}}^{adj}}=~{{A}^{adj}}\circ {{A}^{mask}}\in {{\text{R}}^{{{\text{n}}_{\text{V}}}\times {{\text{n}}_{\text{V}}}}}$

其中$\circ$为哈达玛积,

向量掩蔽.首先采样随机向量 f^mask作为d维掩蔽向量, 向量中的值采用伯努利分布提取, 即

$f_{i}^{mask}=\beta \left( 1-{{p}_{f}} \right)$.

再将节点特征与掩蔽向量进行哈达玛乘积, 生成被损坏的节点特征:

$\tilde{F}={{\left[ {{f}_{1}}\circ {{f}^{mask}}; {{f}_{2}}\circ {{f}^{mask}}; \ldots ; {{f}_{{{n}_{V}}}}\circ {{f}^{mask}} \right]}^{T}}\in {{\text{R}}^{{{\text{n}}_{\text{V}}}\times d}}$.

1.5.2 图推理

图推理模块聚合的特征来自不同粒度邻居节点, 用于更新节点自身表示.由于在多粒度图中, 不同的邻居节点可能对节点本身具有不同的作用, 节点本身需要学习不同粒度相应的节点表示.

为了更好地进行层次图的推理, DVCGN采用GAT进行图推理模块的计算.GAT通过自注意力机制对不同的邻居节点分配不同权值, 有助于网络更好地学习不同邻居结点之间的信息.具体来说, 定义相邻节点为N_i, 邻接矩阵为${{\tilde{A}}^{adj}}$, 图中节点特征为$\tilde{F}$.首先计算节点i与邻居节点之间的相关性系数:

e_ij=([W_eh_i; W_eh_j]), j∈ N_i,

其中, h_i为当前计算的节点i表示, h_j为节点i的邻居节点j的表示, W_e∈ R^d为共享参数矩阵.

再经过归一化后得到注意力系数

${{\alpha }_{ij}}=\frac{\text{exp}\left( {LeakyReLU}\left( {{e}_{ik}} \right) \right)}{\mathop{\sum }_{k\in {{N}_{i}}}\text{exp}\left( LeakyReLU\left( {{e}_{ik}} \right) \right)}$,

则当前节点i更新后的表示为:

$h{{'}_{i}}=LeakyReLU\left( \underset{j\in {{{N}}_{i}}}{\mathop \sum }\, {{\alpha }_{ij}}{{W}_{1}}{{h}_{j}} \right)$,

其中W₁∈ R^{d× d}为共享参数矩阵.

接着将注意力系数与邻居节点进行加权计算, 得到更新后的节点特征$\tilde{F}\in {{\text{R}}^{{{\text{n}}_{\text{V}}}\times d}}$.

在GAT运算后添加一个门控注意力模块, 用于答案跨度预测任务.使用图网络学习后的节点特征与上下文表示输出融合, 能够有指导性地找到用于跨度提取的上下文门控表示集合.

具体来说, 定义E={Q, P}为上下文编码层经RoBERTa编码后的初始嵌入表示, 以类似注意力机制的计算方式计算上下文嵌入和更新图节点的相关性系数:

$\bar{G}=Softmax{{\left( Relu\left( E{{W}_{2}} \right)\cdot Relu\left( \tilde{F}{{W}_{3}} \right) \right)}^{T}}\cdot \tilde{F}$,

其中, W₂∈ R^{2d× 2d}, W₃∈ R^{2d× 2d}, 均为可学习参数矩阵.再结合门控机制获得门控上下文表征:

${{E}_{G}}=\sigma \left( \left[ E; \bar{G} \right]{{W}_{4}} \right)\cdot Tanh\left( \left[ E; \bar{G} \right]{{W}_{5}} \right)$,

其中, W₄∈ R^{4d× 4d}, W₄∈ R^{4d× 4d}, 均为可学习参数矩阵.E_G用于答案跨度预测.

1.5.3 双视图对比学习

在进行图推理的同时, 在节点级别上进行双视图对比学习.被损坏的2个视图经GAT迭代后生成2个更新的视图G¹、G², 通过学习两个视图之间的节点表示进行对比学习.具体来说, 定义G¹、G²的邻接矩阵A¹∈ RnV×nV, A²∈ RnV×nV和特征矩阵F¹∈ RnV×d, F²∈ RnV×d, 对比目标为节点嵌入.对于图A¹上的任一节点 Aij1, 图A²中对应的节点 Aij2为正样本, 图A²中的其余节点以及图A¹中的其余节点为负样本, A²对于A¹也是一样的计算.本文以余弦相似度计算每对样本的相似度, 定义两个图的正例对学习目标损失分别为 Lgra1、 Lgra2, 正例对的训练目标为:

${{e}_{pv}}=\exp \left( \frac{1}{\tau }\text{cos(}A_{ij}^{1}, A_{ij}^{2}\text{)} \right)$,

其中τ 为温度系数.当前图中负例对的训练目标为:

$e_{\text{nv}}^{1}=\overset{{{n}_{V}}}{\mathop{\underset{k=1}{\mathop \sum }\, }}\, \text{exp}\left( \frac{1}{\tau }\text{cos}\left( A_{ij}^{1}, \bar{A}_{k}^{1} \right) \right)$,

其中, A¯k1为A¹中除 Aij1之外的其它节点的集合, cos(· )为余弦相似度计算.另一图中负例对的训练目标为:

$e_{\text{nv}}^{2}=\overset{{{n}_{V}}}{\mathop{\underset{k=1}{\mathop \sum }\, }}\, \text{exp}\left( \frac{1}{\tau }\text{cos}\left( A_{ij}^{1}, \bar{A}_{k}^{2} \right) \right)$,

其中, A¯k2为A²中除 Aij2之外的其它节点的集合.最终任务是最大化双图正例对总体目标损失:

${{L}_{gra}}=\underset{i=1}{\overset{{{n}_{V}}}{\mathop \sum }}\, \left( L_{gra}^{1}+L_{gra}^{2} \right)$,

$L_{gra}^{1}=\log \left( \frac{{{e}_{pv}}}{{{e}_{pv}}+e_{nv}^{1}+e_{nv}^{2}} \right), \text{ }i=1, 2$.

图2展示一个用于关系过滤方法示例的主要筛选步骤, 给定问题“ 浪漫喜剧《巨石谷镇》的导演位于纽约的哪个城市?” .经过图推理后的候选答案节点分别为E₁、E₂、E₃、E₄, 其中, E₁为人名, 与题目要求的地名答案导向不一致, 故经过算法筛选后删除E₁节点.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 关系过滤方法示例Fig.2 Example of relationship filtering method

具体地, 将上下文编码后的问题表示q∈ R^{1× d}与更新后的候选答案节点$\tilde{F}_{e}^{'}\in {{\text{R}}^{{{\text{n}}_{e}}\times d}}$采用注意力机制得到注意力权重矩阵${{A}_{sp}}\in {{\text{R}}^{1\times {{n}_{e}}}}$.A_ds使用softmax函数按最后一维进行归一化, 并使用排序函数按最后一维进行降序排序, 得到矩阵

${{\bar{A}}_{ds}}=sort\left( {{A}_{ds}} \right)$,

其中sort(· )为降序排序函数.再按上述排序顺序对

注意力权重矩阵保留N_relation个维度, 获得较精准的注意力权重稀疏矩阵:

${{A}_{sp}}={{f}_{Pruning}}\left( {{{\bar{A}}}_{ds}} \right)\in {{\text{R}}^{1\times {{n}_{e}}}}$,

其中, f_Pruning(· )为剪枝函数, 具体操作为保留排序后的矩阵中联系最为紧密的N_relation个关系, 从而对候选答案节点$\tilde{F}{{'}_{e}}$进行筛选.保留的N_relation个维度即为问题与候选答案节点联系最紧密的N_relation个关系.增强后的稀疏矩阵用于筛选当前候选答案节点, 以在当前证据句子中生成更加符合题目要求的候选答案节点.最后, 采用注意力权重稀疏矩阵A_sp与原候选答案矩阵的乘积作为筛选后的候选答案节点, 并送入答案预测任务参与计算.由此得出的候选答案用于最终答案预测, 同时引导图神经网络传播更加符合题意的特征.

1.7.1 子任务预测

根据图网络层更新后的不同类型节点进行不同的子任务预测, 主要有段落预测、支持事实预测、实体词预测.定义总损失为L_all, 使用交叉熵损失计算, 总损失

L_all=L_start+L_end+μ ₁L_para+μ ₂(L_sent+μ _graL_gra)+μ 3_Le_nt+μ 4_Lt_ype,

其中, μ ₁、 μ ₂、 μ ₃、 μ ₄、 μ _gra为超参数, L_start、L_end为跨度预测, L_para为段落预测, L_sent为句子预测, L_ent为实体词预测, L_type为答案类型预测.

段落预测具体是预测一个段落中是否包含正确标注数据的支持事实, 句子预测具体是预测一个句子是否被选择为支持事实, 实体词预测是预测来自于问题和上下文中匹配的实体节点之间是否存在黄金答案.由于句子的语义学习对于答案预测以及段落预测都十分重要, 本文将双视图对比学习的损失与句子预测损失放在一起进行计算.段落中包含支持事实的概率

${{p}^{para}}=ML{{P}_{4}}\left( \tilde{F}{{'}_{p}} \right)$,

句子被选择为支持事实的概率

${{p}^{sent}}=ML{{P}_{5}}\left( \tilde{F}{{'}_{s}} \right)$,

实体节点中存在正确答案的概率

${{p}^{ent}}=ML{{P}_{6}}\left( \tilde{F}{{'}_{e}} \right)$.

段落预测和句子预测是一个二分类预测任务, 实体词预测是一个多分类任务.

1.7.2 答案预测

然而, 在多答案阅读中直接使用实体预测最终答案是不合理的, 本文使用实体词预测作为一个依据, 与答案类型预测以及跨度预测一起进行答案预测.具体地, 由于答案具有多种类型, 主要有跨度、实体、是非类型.首先进行答案类型预测以判断答案类型, 定义答案类型预测任务为p^type.使用多层感知机(Multi-layer Perception, MLP), 基于门控注意力层的隐藏状态进行计算, 编码方式如下:

${{p}^{type}}=ML{{P}_{7}}\left( {{E}_{G}}\left[ 0 \right] \right)$.

若答案为是非类型, 直接返回答案.若答案为实体类型, 返回实体词预测结果.若答案为跨度预测类型, 使用上述门控注意力层的隐藏状态进行跨度预测计算.答案开始位置的概率为:

${{p}^{start}}=ML{{P}_{8}}\left( {{E}_{G}} \right)\in {{\text{R}}^{{{n}_{p}}}}$,

其中E_G为候选答案表示.答案结束位置的概率为:

${{p}^{end}}=ML{{P}_{9}}\left( {{E}_{G}} \right)\in {{\text{R}}^{{{n}_{p}}}}$.

为了验证DVCGN的有效性, 本文使用HOTPO-TQA数据集进行实验评估.HOTPOTQA数据集是2018年提出的新型多跳数据集, 由113 000个Wikipedia问答对组成, 其中的答案是通过在多个文档上建立的证据链推理生成.HOTPOTQA数据集的问题形式多样, 对推理模型的泛化性要求较高.DVCGN在HOTPOTQA数据集上带有干扰性设置类型的数据集上评估网络性能, 此类设置主要由2个Gold段落和8个来自Wikipedia的干扰句段落组成.

HOTPOTQA数据集提供句子级支持事实以实现强监督推理, 因此, 除了答案预测任务, 数据集还包含支持事实预测任务和联合度量任务, 用于评估模型性能.每个任务都采用完全匹配指标(Exact Match, EM)和部分一致的F1指标(简称F1)作为评价指标.表1列出HOTPOTQA数据集的统计数据.

表1

Table 1

表1(Table 1)

表1 HOTPOTQA数据集的统计信息 Table 1 Statistics information of HOTPOTQA dataset 领域 名称 类型 样本数量 训练集 Train-easy Train-medium Train-hard 单跳 多跳 多跳(hard) 18089 56814 15661 验证集 Dev 多跳(hard) 7405 测试集 Test-distractor Test-fullwiki 多跳(hard) 多跳(hard) 7405 7405

表1 HOTPOTQA数据集的统计信息 Table 1 Statistics information of HOTPOTQA dataset

为了验证DVCGN的有效性, 选取如下基准模型.

1)文献[6]模型.主要由循环神经网络、双向注意力、自注意力模块构成, 同时, 加入判断支持事实、判断是非、判断跨度答案的模块.

2)QFE^[7].由于不同证据句子之间存在相关性, 受抽取式总结模型的启发, 使用循环神经网络结合注意力的方式抽取证据句子, 使其能覆盖问题句子中的重要信息, 以此缩小模型预测答案的范围.

3)DFGN^[16].首个在此类阅读理解方法中使用图神经网络的模型, 将问题的实体词与文档中的实体词结合构建动态的实体词图网络, 在每个时间步上对问题赋予不同权重、更新问题表示.经过不断的迭代形成推理链.

4)文献[18]模型.利用基于命名实体识别和共指消解的启发式算法, 得到离散推理链, 减少对支持事实的依赖.

5)文献[19]模型.提出除BERT的两个预训练任务以外的跨度选择预训练任务, 该任务类似于完形填空任务, 在有限的训练数据内提升预测性能.

6)LQR-Net(Latent Question Reformulation Net-work)^[20].提出新的问答系统, 将问题表示简化为向量, 在阅读模块使用自注意力方法、读取阅读块堆栈, 以及使用弱监督帮助答案生成.

7)SAE-large(Select, Answer and Explain)^[21].仅使用BERT完成整个模型的构建, 根据问题与输入文档的相关性对句子进行评分, 从而得到分数最高的句子集并以此预测答案, 再利用生成的答案识别支持事实句子.

8)文献[22]模型.提出图结构及其邻接矩阵都是任务相关的先验知识, 而图注意可以看作是自注意的特例, 并用实验证实图结构效果不如直接使用子注意力或Transformers.

9)Longformer(Long-Document Transformer)^[23].采用新的融合机制, 结合滑动窗口的自注意力表示和全局自注意力机制, 并且可通过多个注意力层构建全文理解, 以此方式解决长文本问答.

10)IRC(Interpretable Reading Comprehension)^[24].将段落建模为序列数据, 并将多跳信息检索视为一种序列标记任务, 捕获段落间的依赖关系, 并利用门控机制消除段落间的噪声, 以此增强模型信息性能.

11)LOUVRE(Learning from Multi-hop Variation of Document Relations)^[25].提出新的预训练检索器, 采用问题和子问题嵌套结构的可扩展数据生成方法, 作为预训练的弱监督, 预训练还使用复杂问题向量表示以及密集编码器, 以此提升模型的鲁棒性.

12)文献[26]模型.从问题生成角度提出一个捕获上下文语义的方法, 通过询问固有的逻辑子问题帮助模型理解上下文, 以便提供清晰的推理链完成答案预测.

13)LittleBird^[27].基于BigBird, 采用基于线性偏差注意的位置表示方法拆分表示全局信息的方法, 模型也适用于长文本, 既提高运行速度又降低内存占用, 实现性能的提升.

实验所用的处理器为NVIDIA A100, 基于Pytorch开源库设计, 采用Stanford CoreNLP工具包处理输入, 使用spacy3提取实体词.为了更好地获取多文档上下文表示, 采用RoBERTa-large编码, 最大输入维度为1 024, 隐藏层设置为600.RoBERTa-large能够容纳更多的训练数据和参数量.段落匹配中打分器在段落排序后选择前4个分数最高的段落构造异构图, 异构图中的段落、句子、实体词节点个数分别限制在4、40、60以内.

在双视图对比学习中, 为了得到更好的节点级语义学习效果, 构造负样本图像的掩蔽概率, 分别设置为0.1、0.3, 构造负样本特征掩蔽概率, 分别设置为0.25、0.3.在答案剪枝模块中, 为了细化答案范围, 保留N_relation(N_relation=52)个关系.训练使用Adam优化器(Adaptive Moment Estimation), 在20个阶段进行微调, 每个阶段数据批次大小为24, 初始学习率设置为1× 10^-5, 设置多任务预测的 μ ₁=1, μ ₂=1, μ ₃=5, μ ₄=1.

各模型在HOTPOTQA数据集上的性能如表2所示, 表中黑体数字表示最优值.在distractor设置上, 相比使用传统启发式算法的文献[18]模型, DVCGN具有较大的性能提升, 其原因主要是传统的启发式算法具有较大的不稳定性, 深度学习模型通过高精度的计算获得更加细致的语义表示, 有助于模型理解问题.

表2

Table 2

表2(Table 2)

表2 各模型在HOTPOTQA数据集上的性能对比 Table 2 Performance comparison of different models on HOTPOTQA dataset 模型 答案预测任务 支持事实 预测任务 联合度量 任务 EM F1 EM F1 EM F1 文献[6]模型 45.60 59.02 20.32 64.49 10.83 40.16 QFE 53.86 68.06 57.75 84.49 34.63 59.61 DFGN 56.31 69.69 51.50 81.62 33.62 59.82 文献[18]模型 61.20 74.11 - - - - 文献[19]模型 64.99 78.59 55.47 85.57 39.77 69.12 LQR-Net 60.20 73.78 56.21 84.09 36.56 63.68 SAE-large 66.92 79.62 61.53 86.86 45.36 71.45 文献[22]模型 67.98 81.24 60.81 87.63 44.67 72.73 Longformer 68.00 81.25 63.09 88.34 45.91 73.16 IRC 58.54 72.67 36.56 79.53 23.57 59.43 LOUVRE 62.90 75.82 57.71 81.26 42.18 67.08 文献[26]模型 57.79 71.36 55.77 83.33 36.99 62.52 LittleBird - 77.70 - 86.30 - 68.50 DVCGN 69.99 82.55 62.27 87.94 47.14 74.89

表2 各模型在HOTPOTQA数据集上的性能对比 Table 2 Performance comparison of different models on HOTPOTQA dataset

DVCGN在答案预测任务和联合度量任务上均取得最佳性能, 在答案预测任务上, 相比基准模型中最佳的Longformer, DVCGN的EM和F1值分别提升1.99%和1.3%, 在联合度量任务上, 相比基准模型中最佳的Longformer, DVCGN的EM和F1值分别提升1.23%和1.73%.这可以归因于DVCGN提出的双视图对比学习方法能够捕获更多的节点级语义信息, 使网络更好地理解推理链上关键信息, 问题引导节点剪枝算法能够有效缩小候选答案范围, 引导网络在图网络传播时着重传播关键信息, 精确预测正确答案.

由表2可知, DVCGN在答案预测任务和联合度量任务上的EM和F1值最优, 并在支持事实预测任务的EM和F1指标上取得次优的结果, 表明DVCGN在答案跨度预测及所有类型联合预测方面表现优秀.相比DVCGN, 构建新的自注意力网络模式并进行长文档建模的Longformer在证据句子预测方面的表现略优, EM和F1分别提高0.82%和0.40%, 这可以归因于Longformer的长文档建模的编码器, 使编码后的节点信息携带丰富的上下文信息.然而, DVCGN在答案跨度预测及所有类型联合预测指标上都明显优于Longformer, 在答案跨度预测任务上分别提高1.99%和1.30%, 在联合预测任务上EM和F1值分别提高1.23%和1.73%.这是因为DVCGN的贡献主要在于丰富模型在编码后的语义信息学习, 在答案预测方面再一次使用问题进行关键引导, 故DVCGN的答案预测性能与联合预测性能均优于Longformer.同时, 与Longformer的对比分析也启发本文后续对于数据预处理和编码方向的改进.

综上所述, DVCGN具有更强的竞争力和更好的领域适应性.DVCGN相对基准模型的性能优势也表明:DVCGN在学习推理链上节点信息和预测正确答案方面更有效.

本节通过不同模块的消融实验分析其对网络整体的性能贡献.

定义消融网络如下:1)DVCGN w/o DVC.表示从DVCGN中去除双视图对比学习模块.2)DVCGN w/o Pruning.表示从DVCGN中去除问题引导图节点剪枝模块.各网络消融实验结果如表3所示.

表3

Table 3

表3(Table 3)

表3 各模块消融实验结果 Table 3 Results of ablation experiment for each module 网络 答案预测任务 支持事实 预测任务 联合度量 任务 EM F1 EM F1 EM F1 DVCGN w/o DVC 69.32 82.20 60.69 87.53 46.21 74.40 DVCGN w/o Pruning 69.36 82.43 61.93 87.66 46.52 74.80 DVCGN 69.99 82.55 62.27 87.94 47.14 74.89

表3 各模块消融实验结果 Table 3 Results of ablation experiment for each module

由表3可知, DVCGN w/o DVC性能较差, 这说明本文提出的双视图对比学习方法可有效丰富节点级语义信息, 引导模型正确理解推理链中不同节点的相关性.DVCGN w/o Pruning表现次于DVCGN w/o DVC, 这说明本文提出的问题引导图剪枝方法可正确引入问题信息筛选答案节点, 缩小候选答案范围, 从而降低网络对于候选答案的预判, 减弱相似信息带来的噪声影响.DVCGN w/o Pruning的性能差于DVCGN w/o DVC, 这说明构造双视图进行节点级别的样本对比学习能够提升网络理解答案节点的准确度, 从而引导网络预测正确答案, 对提升网络性能起到关键性作用.

双视图构造方法中选取的损坏两个图节点的掩蔽概率 pv1和 pv2是影响DVCGN性能的关键因素, 决定其对样本学习的程度.本文在HOTPOTQA数据集上评估 pv1、 pv2的不同取值对DVCGN性能的影响.结果如图3所示.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 不同的节点掩蔽方案对DVCGN的性能影响Fig.3 Influence of different node masking schemes on performance of DVCGN

由图3可以观察到, 当 pv1=1, pv2=3时, DVCGN取得最佳性能, 当 pv1=1, pv2=2时, 性能表现次优.其原因主要有:DVCGN在构造双视图时, 掩蔽概率决定两个图节点之间的负样本数目, 若对两个图都掩蔽过少节点容易造成负样本数目过少, 网络从中并不能学习到足够的知识, 反而引入噪声.当 pv1=1, pv2=2时, DVCGN的负样本相对较少, 不足以支撑模型学习; 当 pv1=1, pv2=3时, DVCGN能根据足够的正负样本对比学习到推理中节点之间丰富的语义信息, 更好地理解上下文语义.随着两个图掩蔽概率一起增大, 网络性能开始持续下降, 这主要归因于引入过多的负样本, 为网络带来噪声, 误导网络的学习, 影响网络对推理链的理解以及答案的选取.总之, DVCGN使用 pv1=1, pv2=3时获得最佳性能.

在问题引导图节点剪枝层中, 为了细化答案范围, 在过滤方法的最后保留N_relation(N_relation=52)个关系以确定参与最终答案预测计算的候选答案数量, 去除相似性的冗余噪声.为了确定N_relation取何值对DVCGN性能改善最为合适, 本节将N_relation分别设置为45, 48, 50, 52, 55, 60, 进行参数实验, 分析最适合DVCGN的N_relation取值.

在3个预测任务中设置不同的N_relation, 其对DVCGN的性能影响如图4所示.由图可观察出, 其余参数不变的情况下, 在N_relation=52时, DVCGN的支持事实预测任务中F1值接近最优, 其余指标达到最优, 故在N_relation=52时, DVCGN的综合性能达到最优.N_relation过小, 容易过滤真正可参考的候选答案; N_relation过大, 图节点剪枝层便起不到筛选答案的作用, 反而使过滤方法成为冗余操作, 影响网络预测答案的准确性.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 Nrelation取值对DVCGN的性能影响Fig.4 Influence of Nrelationvalue on performance of DVCGN