语句融合在文本自动摘要中起着突出的作用, 重要性已得到学界的共识^[27].现有的文本自动摘要数据集(如CNN/Daily Mail)^{[28, 29]}并未在训练数据中标注有关语句融合的信息.Lebanoff等^[24]填补这方面的空白, 受Halliday等^[23]关于英语文法中信息融合相关研究的启发, 提出基于PoC信息在CNN/Daily Mail数据集上进行标注的思路, 通过外包方式完成标注并公开数据集, 为后续有关语句融合的研究提供便利.

文献[24]中数据集将语句融合所需的PoC分为5种类型:代词指称(Pronominal Referencing)、名义指称(Nominal Referencing)、普通名词指称(Com-mon-Noun Referencing), 重复(Repetition)及事件驱动(Event Triggers).在该数据集中, 每个样本由两个包含PoC的源语句和一个摘要语句构成, 且标注PoC类型及其在源语句和摘要语句中的具体出现位置.

自监督训练(Self-Supervised Training)是指模型可直接从无标签数据中自行学习, 无需标注数据.作为自监督训练的一种, 预训练语言模型(Pre-Trained Models, PTM)是指在大规模无标注文本上学习统一的语言表示, 方便下游NLP任务的使用, 避免从头开始为新任务训练新模型^[30].自监督训练的核心在于如何自动为数据产生标签, 预训练语言模型的训练任务基本都是语言模型任务或各种变体, 因此不同PTM的训练数据标注方式也是与其自身的训练任务特定相关的.

从训练任务上分, PTM可分为因果语言模型(Causal Language Model, CLM)和掩码语言模型(Masked Language Model, MLM)两种.CLM又被称作自回归模型(Autoregressive Model), 代表性的模型包括GPT系列模型^{[12, 31, 32]}、CTRL(Conditional Trans-former Language Model)^[33]、Transformer-XL(Attentive Language Models beyond a Fixed-Length Context)^[34]、Reformer^[35]及XLNet(Generalized Autoregressive Pre-training for Language Understanding)^[36]等.训练任务通过依次输入文本中的单词预测下一个单词, 假设文本序列

x_{1∶ T}=[x₁, x₂, …, x_T],

则在CLM的训练过程中该文本序列的联合概率分布

p(x_{1∶ T})=p(x₁)p(x₂|x₁)…p(x_T|x₁, x₂, …, x_T-1)= ∏t=1T(x_t|x_{< t}).

MLM又被称为自编码模型(Autoencoding Mo-del), 通常采用随机添加掩码的方式遮盖输入文本序列中的部分单词, 然后根据输入文本的剩余部分预测被遮盖的单词, 常见的模型包括BERT^[13]、AL-BERT(A Lite BERT)^[37]、RoBERTa(Robustly Opti-mized BERT Pretraining Approach)^[38]、DistilBERT (Distilled Version of BERT)^[39]及XLMs(Cross-Lin-gual Language Models)^[40]等.

假设输入文本序列为

x_{1∶ T}=[x₁, x₂, …, x_T],

对输入语句进行掩码操作后的m(x)表示被遮盖的单词, 而x_\m(x)表示原始文本去除被遮盖单词后的其余文本, 则在MLM训练过程中, 该文本序列的联合概率分布为:

深度学习流行后, 目前主流的文本自动摘要数据集上性能较优的方案都是基于深度神经网络的模型, 且大多都以Seq2Seq结构作为基本的模型框架.以BERT的发布为界限, 这些方法又可分为前预训练时代的模型^{[6, 7, 8, 9, 10]}及后预训练时代的模型, 即基于预训练语言模型进行摘要文本生成的各种方法.前预训练时代的模型大多数基于循环神经网络(Recurrent Neural Network, RNN), 包括长短时记忆网络(Long Short-Term Memory, LSTM)^[41]、门限循环网络(Gated Recurrent Unit, GRU)^[42]及其它RNN变体.后预训练时代的各种模型基本都是基于Transformer结构^[43].

本文主要研究方向是利用原文语句间的信息联系点(PoC), 提升模型在生成摘要文本过程中的语句融合能力, 进而提高生成文本的质量.因此本文实验采用Labanoff等^[24]在CNN/Daily Mail数据集^[28]上进行PoC标注的数据集.该数据集全部来自CNN/Daily Mail数据集, 人工进行细粒度的PoC标注, 共包含1 174篇文档, 其中含有1 599个PoC标注信息.

由于原数据集只标注各种关键信息的起止位置, 不便于本文实验的具体开展, 因此首先对原始数据集进行预处理和再标注, 具体做法如下:根据原数据集中的索引标注, 在每条数据中原文档内PoC内容部分的前后添加特殊标记符号, 每出现一组PoC, 在这组PoC内容的前后添加相同的标记符号“ [POC-X-START]” 和“ [POC-X-END]” , 其中X的取值为从“ 0” 开始的递增整数, 用于标记不同的PoC.以其中一个数据项为例, 经过处理后原文中的PoC标注结果如下.

The President is headed to Panama for a regional summit, and Julie Pace of The Associated Press reports one of the big questions is whether he'll make history and have a[POC-0-START] face-to-face meeting[POC-0-END] with[POC-1-START] Cuban leader Raul Castro[POC-1-END]. And so what the White House is going to be weighing is whether[POC-0-START] this meeting[POC-0-END] would be a way to ge-nerate more progress or whether it would be a premature reward for[POC-1-START] the Castros[POC-1-END].

从标注结果可看出, 第1组PoC内容“ face-to-face meeting” 和“ this meeting” 都已分别在其前后添加“ [POC-0-START]” 和“ [POC-0-END]” 标识, 同理, 第2组PoC内容“ Cuban leader Raul Castro” 和“ the Castros” 都已分别标记“ [POC-1-START]” 和“ [POC-1-END]” .通过这样的处理方式, 方便模型直接捕捉与处理输入文本中包含的PoC信息.

正如1.2节所述, 预训练语言模型从广义上都可归为自编码语言模型和自回归语言模型, 以BERT为代表的自编码语言模型由于引入特殊的掩码机制, 能在训练中同时关注上下文的文本信息, 但掩码的出现破坏原文结构并造成模型在训练和使用两个场景下的差异, 除此以外, 被掩码单词之间的独立性假设同样是不可忽视的问题.出于上述原因, 本文更倾向于采用自回归语言模型.相比自编码语言模型, 自回归语言模型最大优势在于其从左到右的顺序训练模式与自然语言按序生成的时序特性相一致, 这也解释自回归语言模型在文本生成子任务中优于自编码语言模型的原因.自回归语言模型的相对劣势在于其自左向右的训练模式使其只能关注到一个方向的文本信息, 不能像自编码模型那样同时获得前后两个方向的文本信息.为了解决此问题, XLNet采用PLM的训练方式, 通过将文本输入顺序随机打乱的方式在自回归语言模型的条件下得以同时关注前后两个方向的文本信息.受此启发, 本文提出Cohesion-Permutation语言模型.

为了更直观地描述Cohesion-Permutation语言模型的运作方式, 本文采用如图1所示的数据项作为基本示例.图1为已经过预处理后的一个数据项, 在该数据项中只包含一组PoC信息, 黑字标记普通文本, 蓝字标记PoC文本, 红字标记PoC标注符号, 直观体现文本中各部分内容.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 预处理后的PoC数据项Fig.1 PoC data item after preprocessing

对应于图1所示的一个数据项示例, 进一步的抽象如图2所示.对包含同组PoC信息的同一文档中的两个语句, 对其内容按照其所属种类进行抽象.首先, 分别使用“ Seq-POC-1” 和“ Seq-POC-2” 表示PoC部分的文本本身, 即对应于图2中的蓝字部分.分别使用“ Seq-1-head” 、“ Seq-2-head” 、“ Seq-1-tail” 、“ Seq-2-tail” 表示这两处PoC内容在该语句中的前后两部分文本, 即对应于图2中的黑字部分.依旧使用PoC标记表示PoC内容与其它文本之间的界限, 即图2中的红字部分.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 PoC数据项的抽象示意图Fig.2 Flow chart of abstract of PoC data item

对于两个语句中的同一组PoC信息, 正如Labanoff等^[24]对其的定义, 这一组PoC内容在语法上基本属于同一实体, 或在少数情况下表示一对存在因果关联的内容.语句融合的目的是将两个或多个语句融成一个语句, 对于包含一组PoC信息的两个语句, 它们分别描述同一实体的两方面内容, 而这两方面内容必然在语义上存在相互联系或信息冗余.若使用传统的自回归语言模型结构, 模型在生成图2中“ Seq-POC-1” 内容时, 仅能关注其前面“ Seq-1-head” 的相关信息, 而无法利用与其有关的“ Seq-1-tail” 内容及包含与“ Seq-POC-1” 同一组PoC信息的整个语句2.自编码语言模型结构在文本生成领域中弱于自回归语言模型, 因此采用以BERT为代表的模型同样不能较好地解决该问题.XLNet采用的PLM结构在自回归的框架下实现文本对上下文信息的双向关注, 为本文方法提供启示.

对于原始输入, Cohesion-Permutation语言模型按图3的方式进行随机打乱.Cohesion-Permutation语言模型并未选择类似于传统PLM将输入数据随机打乱的方法, 原因如下.1)本文解决的主要问题是文本生成中的语句融合问题, XLNet作为代表的PLM模型可看作一种普适性的方法, 而Cohesion-Permu-tation语言模型则针对输入语句中的PoC信息进行特殊设计.2)为了提高模型生成摘要文本的可读性和连贯性, Cohesion-Permutation语言模型以文本序列为最小单位进行随机打乱, 保留每个划分部分的相对位置信息, 有别于传统PLM在单词(token)级别的随机打乱.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 Cohesion-permutation语言模型的训练模式Fig.3 Training mode of cohesion-permutation language model

如图3所示, Cohesion-Permutation语言模型将输入文本按照fore_part、hind_part、exchange_part、fore_fluent、hind_fluent及unchange这6种方式进行重组.

以第1种处理方式fore_part为例, 该操作的目的是为了让模型在识别同组PoC信息时能同时关注来自两个语句的前置文本, 相比已有方法能更精准、高效地将所需信息应用到模型的训练中.

在具体实验中, 对输入文本进行fore_part、hind_part、exchange_part、fore_fluent、hind_fluent操作的概率分别设为16%, 而对输入文本不进行任何调整操作, 即unchange的概率设为20%.

图3中对原数据集进行任意打乱操作后的语料集合定义为

Z_T={z₁, z₂, …, z_n}.

在实验中, 采用36层堆叠的Transformer Decoder^[43]构建Cohesion-Permutation语言模型, 训练损失函数

L(Z)= ∑t=1ZTlog₂P(z_i|z_i-k, z_i-k-1, …, z_i-1; Θ ),

其中, k表示输入文本范围的滑动窗口尺寸, 条件概率P采用Cohesion-Permutation语言模型进行建模, Θ 表示模型的全体参数.由于Cohesion-Permutation语言模型属于自回归语言模型的框架, 因此避免自编码语言模型存在的问题.

经过自监督的Cohesion-Permutation语言模型训练任务之后, 模型已初步具备识别和处理不同语句之间PoC信息的能力, 但为了让模型在文本自动摘要任务上获得更优性能, 还需要对本文模型进行第二阶段的有监督微调训练.

本文模型的微调训练过程如图4所示, 在微调阶段与基于Transformer Decoder结构的语言模型主要区别在于针对输入文本的掩码操作.在原始Trans-former Decoder结构中, 采用自掩码多头注意力(Masked Multi-head Attention), 而本文模型使用基于语句融合的掩码多头注意力机制(Cohesion-Masked Multi-head Attention), 其目的在于引入不同语句中包含的PoC信息, 提高模型进行语句融合的能力.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 本文方法的微调训练过程Fig.4 Training process of the proposed method with fine-tuning

在单个文本

x=[x₁, x₂, …, x_T]

输入到模型之前, 首先通过词向量和位置向量对其进行向量化, 得

H⁰=XW_e+W_p=[ h10, h20, …, hT0],

其中W_e表示初始化的词向量矩阵.输入文本通过词索引的方式从词向量矩阵中提取相应的词向量, 再和初始化的位置向量矩阵W_p进行按位相加操作, 得到H⁰.

本文模型由L=36层Transformer Decoder堆叠而成.模型输入可在第l层获得对应层的嵌入表示:

H^l=TransformerDecoder(H^l-1)=[ h1l, h2l, …, hTl].

具体地, 对于模型的第l(1≤ l≤ L)层, 任意一个注意力头的输出为:

A_l=softmax( QlKlTdk+M)V_l,

其中,

Q_l=H^l-1 WlQ, K_l=H^l-1 WlK, V_l=H^l-1 WlV,

Mi_{, j=} 0, 纳入注意力范围-∞, 不纳入注意力范围

在上述运算中, 模型上一层的输出H^l-1∈ RT×dh.首先分别通过3个参数矩阵 WlQ∈ Rdh×dk, WlK∈ Rdh×dk, WlV∈ Rdh×dk线性映射到矩阵Q_l, K_l, V_l.掩码矩阵M决定输入文本的一对单词之间能否互相关注, 这里模型并未采用原始Transformer Decoder内的掩码机制, 而是针对语句融合设计特殊的掩码矩阵M_cohesion:

其中, index_Seq-POC-1和index_Seq-2-head分别表示Seq-POC-1及Seq-2-head的位置索引组成的集合.设计特殊的掩码矩阵M_cohesion是为了让模型能更好地利用来自不同语句的同组PoC含有的文本信息, 其与正常Transformer Decoder结构的区别如图5所示.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 基于语句融合的掩码多头注意力与自掩码多头注意力的区别Fig.5 Difference of cohesion-masked multi-head attention and self-masked multi-head attention

本文实验首先在训练集上进行微调训练, 然后在测试集上进行评估.训练集包含107 000条样本, 样本中的PoC信息全部通过spaCy库中的指代消解方法标注.测试集为Labanoff等^[24]标注的CNN/Daily Mail数据集(https://github.com/ucfnlp/sent-fusion-transformers), 包含1 494个人工标注的测试样本.

实验中采用的评价指标分为两类:1)传统的基于词语共现频率统计的生成文本评价指标ROUGE^[25]、BLEU(Bilingual Evaluation Understudy)^[44]; 2)基于BERT进行语义相似度衡量的生成文本评价指标BERTScore^[45].

本文模型是由36层Transformer Decoder堆叠而成, 本文采用Wolf等^[46]提供的开源模型GPT2-large(https://huggingface.co/gpt2-large)进行参数初始化.每个自注意力层由20个注意力头构成, Transformer Decoder的隐层维度为1 280, 模型的最长输入序列长度为1 024.在训练过程中, 选择Adam(Adaptive Moment Estimation)作为优化器, 采用带有总训练步数15%比例热身策略及线性衰减的学习率动态调整方式.在模型的前馈传播中, 采用概率为10%失活参数的失活机制抑制模型过度拟合.

为了验证本文模型在文本自动摘要任务上的有效性, 实验中选择多个具有代表性的基准模型进行对比.

1)Pointer-Generator Networks^[6].采用一个由循环神经网络组成的encoder-decoder结构, 将输入语句压缩成一个向量表示, 然后再将其解码成需要输出的融合语句.

2)UNILM(Unified Pre-trained Language Model)^[47].

采用与BERT基本一致的模型框架, 但训练方式不同.通过联合训练单向、双向及Seq2Seq三种不同的语言模型得到UNILM, 旨在使模型可同时应用于NLU和NLG任务.

3)GPT-2^[31].本文模型在结构方面与GPT-2基本一致, 因此将GPT-2作为基准模型之一.在具体实验中, 直接采用经过预训练的模型进行文本输出.

4)TRANS-LINKING^[26].模型结构同样是堆叠的多层Transformer, 不同之处在于其使用特殊标记对输入文本的PoC内容的界限进行标注, 然后直接将经过标记的数据放入模型中进行训练.

5)TRANS-SHARERPER^[26].模型结构与TRANS-LINKING类似.受文献[48]的启发, 单独使用一个注意力头捕捉属于同组PoC的文本信息, 并且该PoC包含的所有文本内容在这个注意力头中共享同一组语义表示.

6)Concat-Baseline.借鉴文献[26]的做法, 在一般的基准模型外添加一个Concat-Baseline, 该基准不包含具体模型, 而是直接将包含PoC的两个或多个句子拼接后作为生成文本并输出.

除本文模型以外, 为与已有的最优性能模型TRANS-LINKING和TRANS-SHARERPER进行对比, 实验中还设计一个参数缩减版的本文模型, 该模型由24个Transformer Decoder层堆叠而成, 模型参数采用经过预训练的GPT-2-medium进行初始化.该模型与TRANS-LINKING和TRANS-SHARERPER拥有同样大小的参数量, 从而能更直观地体现模型结构带来的性能提升.上述对比模型全部统一在自动标注的PoC训练集上进行训练, 之后在有人工PoC标注的测试集上进行最终评估.

各模型在测试集上的指标值如表1所示, 表中黑体数字表示最优值.为了分别检验模型中两阶段训练任务的有效性, 本文在对比实验外还进行模型的消融研究.具体来讲, 在本文模型上, 分别只采用第一阶段的自监督训练及第二阶段基于语句融合信息的注意力掩码策略进行训练, 并将得到的模型在测试集上进行评估.

表1

Table 1

表1(Table 1)

表1 多种文本生成模型在测试集上的实验结果 Table 1 Experimental results various text generation models on test set 模型 ROUGE-1 ROUGE-2 ROUGE-L BLEU BERTScore 融合语句比例/% Pointer-Generator Networks 33.7 16.3 29.3 40.3 57.3 38.7 UNILM 38.8 20.0 33.8 45.8 61.3 50.7 GPT-2 35.1 17.4 27.6 42.1 57.5 34.2 TRANS-LINKING 38.8 20.1 33.9 45.5 61.1 55.8 TRANS-SHARERPER 39.0 20.2 33.9 45.8 61.2 46.5 Concat-Baseline 36.1 18.6 27.8 24.6 60.4 99.7 本文模型(24层) 40.7 20.1 37.4 46.3 61.8 56.1 本文模型 46.9 22.7 41.9 48.7 62.3 61.3 本文模型(第1阶段) 42.4 20.3 37.5 46.1 61.3 61.2 本文模型(第2阶段) 43.5 20.7 39.3 47.8 62.1 60.7

表1 多种文本生成模型在测试集上的实验结果 Table 1 Experimental results various text generation models on test set

为了直观展现模型在进行文本生成时的内部状态, 实验中还借助热力图对模型内的注意力矩阵进行可视化.

普通的Transformer深度模型和本文模型对同段输入文本的信息捕获情况如图6所示.具体来讲, 两幅图都随机取自模型的任意一层的任意一个注意力头, 并通过热力图的形式将该注意力矩阵进行可视化.由图6可见, 输入文本是总共包含40个单词的2个语句, 这两句话以第13个索引进行分隔.在输入的文本中包含一组PoC, 分别位于索引4~7的第1句和索引22~24的第2句中.由(a)可看出, 基于Transformer的模型并未针对PoC进行特定的关注, 而在(b)中可发现, 模型在处理第1句PoC部分内容时额外关注第2句PoC信息之前的文本内容, 因此能融入更多的语义信息, 这也解释本文模型能获得优异性能表现的原因.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 2个模型中某一注意力头的注意力矩阵参数可视化Fig.6 Parameter visualization of attention matrix of an attention head in 2 models