借用Sun等^[3]多分解度篇章到篇章的训练方式, 即把篇章较短的段落、句子一起混合训练, 能较好地激活篇章到篇章的翻译.具体地, 将篇章多次平均分成k份.例如:将一篇含有4个句子的篇章, 分解为4份1句的片段、2份2句的片段、1份4句的片段, 并将这7个片段统一送入模型进行训练.定义源语言文档

X={X₁, X₂, …, X_i, …, X_n},

目标语言文档

Y={Y₁, Y₂, …, Y_i, …, Y_n},

其中i表示文档中的第i个片段, 则源文档和目标文档的第i个片段的嵌入表示为:

$ \begin{array}{l} \boldsymbol{E}_{X}^{i}=e m b\left(\boldsymbol{X}_{i}\right)+p o s\left(\boldsymbol{X}_{i}\right), \\ \boldsymbol{E}_{Y}^{i}=e m b\left(\boldsymbol{Y}_{i}\right)+p o s\left(\boldsymbol{Y}_{i}\right), \end{array}$

其中, emb(· )表示文档的词嵌入层输出, pos(· )表示文档的位置嵌入层输出.对于嵌入 EXi, 编码器的输出为 HXi.

DocTHiF使用和Transformer相同的编码器, 由多头注意力层、残差网络和前馈神经网络(Feedfor- ward Neural Network, FNN)层组成.多头注意力是由多个头的自注意力拼接的注意力.

相比句子级翻译任务, 篇章级机器翻译的翻译对象是整个文档.文档由多个句子组成, 同时各个句子之间具有较强的逻辑关系和层次结构, 而在现有的篇章机器翻译模型的解码器中, 并未较好使用模型已翻译的上文句子.

因此, 受Transformer-XL的启发, 本文采用循环传递的方式, 使用已翻译的历史上文信息.历史信息的更新和融合过程如图2所示.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 历史信息的更新和融合过程Fig.2 Historical information update and fusion process

首先, 引入历史信息H^i-1, 表示上一步的历史上文信息输出, i表示目标端输入的第i个片段.对于H^i-1, 主要有两种操作:更新和融合.

使用第一个片段的嵌入 EY1初始化H⁰:

H⁰= EY1W+b.

其中:W表示初始化矩阵, 在模型训练过程中学习

得到; b表示一个常数值.再在整个文档的翻译过程中不断更新H^i-1.

在逐步的更新过程中, H^i-1的位置信息被减弱, 各向量没有实际上的位置含义.为了解决这个问题, 拼接当前信息和历史信息, 再使用全连接层将其维度缩减为之前的维度, 构成新的历史上文信息输出:

$ \boldsymbol{H}^{i}=F F N\left(\left[\boldsymbol{H}^{i-1}, \boldsymbol{Y}_{T}^{i}\right]\right), $

其中, YTi表示当前的位置最终输出的解码隐状态, FNN(· )表示前馈神经网络, 目的是拼接上步历史信息和当前信息.

在解码器的最后一层, 将历史信息通过注意力计算的方式融入当前解码中.在历史信息的更新过程中, 很难区分哪些向量是早期的, 哪些向量是最近的, 因此, 在注意力的计算中引入ALiBi, 可通过一个给定的衰减矩阵, 控制注意力关注的相对距离.

ALiBi是一种注意力线性偏置方法, 可通过简单的线性函数对不同位置之间的关系进行建模, 简化位置编码的复杂性.此外, 线性偏置注意力不需要对每个位置进行显式计算, 可大幅提升模型在处理长序列时的计算效率.具体公式如下:

$ \begin{array}{l} \operatorname{ALiBi}(\boldsymbol{q}, \boldsymbol{K})= \\ \quad \operatorname{softmax}\left(\boldsymbol{q}_{i} \boldsymbol{K}^{\mathrm{T}}+m[-(i-1), \cdots, -2, -1, 0]\right) . \end{array}$

其中:m表示固定参数, 仅与注意力头的数量有关; i表示Q在每个头的i号位置.

m越大, 衰减越剧烈, 越关注最近的位置; m越小, 衰减越平缓, 越关注稍远位置上下文.对于8个头的模型,

$ m \in\left[\frac{1}{2}, \frac{1}{2^{2}}, \cdots, \frac{1}{2^{8}}\right] .$

ALiBi可将相对距离引入注意力计算中, 使引入历史信息的注意力分布更关注较近的位置.注意力机制通过softmax(q_iK^T)计算注意力分数, 远距离分数对应的权重趋近于零, 近邻位置权重相对更高.模型能在不同粒度上灵活利用上下文信息, 但整体上又能强制模型依据距离对历史信息进行衰减, 优先依赖邻近信息, 提升模型的长序列外推能力.

在ALiBi中, 在计算注意力分数时要加上一个给定的偏置.具体示例如图3所示.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 线性偏置注意力示例Fig.3 Examples of attention with linear biases

在解码器中, 和Transformer一样, 先对目标端的片段使用掩码多头注意力, 计算目标片段的隐状态.对于目标文档的片段嵌入 EYi, 经过掩码多头注意力层后,

$ \boldsymbol{H}_{\mathrm{YM}}^{i}=M H A\left(\boldsymbol{Q}^{Y_{i}}, \boldsymbol{K}^{Y_{i}}, \boldsymbol{V}^{Y_{i}}\right) m_{A}, $

其中, m_A表示掩码操作, MHA(· )表示对输入变量进行多头注意力计算, QYi、 KYi、 VYi分别表示解码器中第i个查询(Query)向量、键(Key)向量、值(Value)向量.

ALiBi可通过注意力计算引入远近的概念, 使模型建模历史上文的远近信息, 有助于注意力关注最近的上文信息.为了方便描述, 先定义历史上文信息的隐状态为Hⁱ, 则历史信息的融合描述为:

$ \boldsymbol{H}_{\mathrm{YA}}^{i}=\operatorname{ALiBi}\left(\boldsymbol{H}^{i-1}, \boldsymbol{H}_{\mathrm{YM}}^{i}\right), $

其中ALiBi(· )表示对输入向量进行线性偏置注意力计算.

在经过ALiBi层后, 得到的 HYAi又通过残差和标准化, 使其分布更加稳定, 得到融入历史上文信息的解码隐向量:

$ \boldsymbol{H}_{\mathrm{YF}}^{i}=F F N\left(\text { LayerNorm }\left(\boldsymbol{H}_{\mathrm{YA}}^{i}\right)\right), $

其中, LayerNorm (· )表示对当前层中的所有元素进行归一化处理, 确保每个序列内的向量规模一致.

再通过交叉注意力层, 将源端信息引入解码器中, 以 HYFi为Q, 以 HXi为K, 则

$ \widetilde{\boldsymbol{H}}_{Y}^{i}=M H A\left(\boldsymbol{H}_{\mathrm{YF}}^{i}, \boldsymbol{H}_{X}^{i}, \boldsymbol{H}_{X}^{i}\right) .$

接着, 使用残差连接将交叉注意力层的输出与目标片段的隐状态 HYMi融合, 通过前馈神经网络更新其隐状态, 得到最终的解码器输出:

$ \boldsymbol{Y}_{T}^{i}=\operatorname{FFN}\left(\text { LayerNorm }\left(\boldsymbol{H}_{\mathrm{YM}}^{i}+\widetilde{\boldsymbol{H}}_{Y}^{i}\right)\right) .$

本文使用直接训练和微调篇章级Transformer这2种训练方法进行训练.

1)直接训练.使用篇章级数据集直接进行训练, 步骤如下.

(1)初始化篇章级Transformer模型.

(2)开始训练后, 从文档语料库中循环提取文档, 进行词嵌入编码后, 得到相应的令牌(Token)表示.

(3)将Token输入模型中进行训练.

(4)利用交叉熵计算损失.

(5)根据损失更新参数.

(6)迭代训练直至模型训练轮次的最大值.

具体代码如下所示,

算法1 直接训练

输入 篇章级语料document_corpus, 训练轮数 num_epochs

输出 doc_transformer_model

doc_transformer_model ← InitializeTransformerModel()

for epoch in 1 to num_epochs do

for document in document_corpus do

input_tokens, target_tokens ← Embedding(document)

log_probs ← ForwardPass(doc_transformer_model,

input_tokens)

Loss ← LabelSmoothedCrossEntropyLoss(log_probs,

target_tokens)

UpdateModelParameters (doc_transformer_model, loss)

End for

End for

Return doc_transformer_model

2)微调篇章级Transformer.将篇章级数据集按句子切分为句子级数据集, 先在句子级数据集上训练Transformer, 再在Transformer的模型参数基础上微调模型.步骤如下.

(1)先将篇章级的文档按句子切分后训练一个句子级的Transformer.

(2)初始化篇章级Transformer, 将已训练的句子级Transformer参数复制给篇章级Transformer, 作为基础模型.

(3)微调训练后, 从文档语料库中循环提取文档, 进行词嵌入编码后, 得到相应的Token表示, 并应用到模型中进行训练.

(4)利用交叉熵计算损失.

(5)根据损失反向更新模型参数.

(6)迭代训练直至模型微调训练轮次的最大值.

具体代码如下所示.

算法2 微调篇章级Transformer

输入 句子级模型transformer_model,

篇章级语料document_corpus,

微调训练轮数num_finetune_epochs

输出 篇章级神经机器翻译模型

doc_transformer_model

doc_transformer_model ←

InitializeDocTransformerModel()

CopyAttentionParameters(doc_transformer_model,

transformer_model)

for epoch in 1 to num_finetune_epochs do

for document in document_corpus do

input_tokens, target_tokens ← Embedding(sentence)

log_probs ← ForwardPass(doc_transformer_model,

input_tokens)

Loss ← LabelSmoothedCrossEntropyLoss(log_probs,

target_tokens)

UpdateModelParameters(doc_transformer_model, loss)

End for

End for

Return doc_transformer_model

实验选择如下数据集:TED中英数据集(IWS-LT15)、中英数据集(Multi-domain Zero Pronoun Re-covery and Translation Dataset, mZPRT)^[36]、TED英德数据集(IWSLT17)、英德新闻数据集(NC-2016)、英德欧洲议会数据集(Europarl v7), 包括TED、网络小说、新闻评论、欧洲会议、个人简历这5个领域.

中英TED数据集和英德TED数据集分别来自IWSLT 2015年和IWSLT2017年的翻译任务评估活动.对于中英翻译任务, 将dev2010作为验证集, tst2010~2013作为测试集.对于英德翻译任务, 直接使用文献[37]中提取的3个准备好的EN-DE语料库.NC-2016数据集使用 News Commentary v11 进行训练, 按照文档划分并按句子对齐, newstest2015用于验证, newstest2016 用于测试.

Europarl v7数据集是从Europarl v7中提取获得的, 使用附加信息对句子进行分割和对齐, 随机按 8∶ 1∶ 1的比例划分训练集、验证集、测试集.

具体数据集统计信息如表1所示.

表1

Table 1

表1(Table 1)

表1 数据集统计信息 Table 1 Dataset statistics 领域 数据集 语言 篇章数 句子数 平均长度 TED IWSLT15 IWSLT17 中英 英德 62 23 6047 2271 1885 1657 新闻评论 NC-2016 英德 155 2999 366 欧洲会议 Europarl v7 英德 360 5134 361 网络小说 个人简历 mZPRT 中英 中英 24 218 1658 1473 1425 219

表1 数据集统计信息 Table 1 Dataset statistics

本文采用Torch1.13作为神经网络模型的主要框架, 并利用Python 3.8进行编程, 同时使用CUDA 11.7版本在NVIDIA RTX 4090上执行计算.

本文代码基于Fairseq的Transformer架构实现, 使用Transformer的默认设置:6层、8头、嵌入维度512、隐藏层维度1 024.使用β ₁=0.9和β ₂=0.98的Adam(Adaptive Moment Estimation)优化器, 最大长度设为4 096, 学习率设为5× 10^-4, 预热4 000步, 应用0.1的标签平滑和0.3的失活率.

本文使用s-BLEU作为标准的评价指标, 同时引入d-BLEU指标^[32].d-BLEU是一种基于文档层面的BLEU(Bilingual Evaluation Understudy)评估指标, 翻译效果越优, 指标值越高.在某些情况下, 可能无法准确确定每个译文中的每个短语与原始文本中哪些部分对应.这可能是因为翻译结果与源文之间的语言结构不完全对应, 或者是因为文本过于自由而无法进行准确对齐.因此, 为了计算BLEU分数, 考虑整个文档而不是逐句对齐.这意味着会将翻译结果中的所有短语与源文本中的所有短语进行对比, 而不仅仅是逐句对比.此方法在不确定对齐的情况下也能评估翻译的质量.

为了更好地反映翻译模型质量, 还使用COMET(Crosslingual Optimized Metric for Evaluation of Trans-lation)^[38]分数.该指标利用神经网络模型预测翻译的主观质量.

为了验证本文方法的有效性, 选取如下融合不同篇章上下文信息的篇章NMT作为对比方法.

1)文献[8]方法.编码器为每个单独的句子构建上下文, 从整个源文档中检索全局上下文.

2)GPT-4^[13].基于Transformer, 经过预训练可预测文档中下一个Token的大语言模型.

3)Transformer^[18].使用注意力机制, 是句子级别的上下文无关NMT.

4)文献[25]方法.设计分层注意力网络, 以结构化和动态方式获取篇章上下文.

5)G-Transformer^[32].使用组注意力机制, 直接使用完整文档进行训练.

6)CADec^[35].先生成当前句子的翻译草稿, 再使用上下文信息进行纠正.

7)文献[39]方法.基于自顶向下的方式并结合文档级上下文的注意力和单词级的注意力.

8)Flat-Transformer^[40].改进文档级机器翻译的双编码器结构的解决方案, 设计一种平面结构, 可对上下文和源句子之间的双向关系进行建模.

9)HanoiT^[41].汉诺塔结构的Transformer, 在不同层关注不同比重的信息.

10)IADA(Importance-Aware Data Augmentation)^[42].

通过隐藏状态和训练梯度的范数, 评估文本中的重要成分, 增强训练数据的多样性.

各方法在多个基准数据集上的指标值结果如表2所示, 表中黑体数字表示最优值, r表示随机初始化参数直接训练, f表示使用两次训练法, 下面情况相同.相关方法的结果均引用原文献.

表2

Table 2

表2(Table 2)

表2 各方法在5个数据集上的指标值对比 Table 2 Metric value comparison of different methods on 5 datasets 方法 IWSLT-15 IWSLT-17 NC-2016 Europarl v7 mZPRT(网络小说) mZPRT(个人简历) s-BLEU d-BLEU s-BLEU d-BLEU s-BLEU d-BLEU s-BLEU d-BLEU COMET s-BLEU d-BLEU COMET s-BLEU d-BLEU COMET Trans- former 18.36 20.32 23.28 0.76 22.78 0.60 30.37 31.10 58.40 11.70 13.10 9.50 39.20 39.40 61.20 文献[25] 方法 17.87 - 24.58 - 25.03 - 29.58 - - 14.10 16.30 - 39.50 40.30 - 文献[39] 方法 - - 24.55 - 24.78 - 29.75 - - - - - - - - CADec 19.01 - 24.45 - 24.30 - 29.88 - - 13.20 17.30 - 38.80 35.40 - 文献[8] 方法 - - 25.10 - 24.91 - 30.40 - - - - - - - - Flat-Trans- former - - 24.87 - 23.55 - 30.09 - - - - - - - - G-Trans- former(r) - - 23.53 25.84 23.55 25.23 31.18 32.87 - - - - - - - G-Trans- former(f) 19.65 22.10 25.12 27.17 25.52 27.11 32.39 34.08 - 12.70 17.90 - 39.80 40.30 - HanoiT - - 24.95 - 25.22 - 30.49 - - - - - - - - IADA - - 25.40 27.34 25.65 27.58 33.00 35.10 60.50 13.30 17.40 - - - - GPT-4 24.40 28.10 27.40 31.10 25.50 28.20 32.83 34.40 81.30 14.40 18.80 15.50 41.20 41.50 71.00 DocTHiF (r) 19.18 22.24 24.6 25.28 24.73 26.21 31.58 32.78 60.40 14.30 18.50 15.80 40.40 41.00 68.80 DocTHiF (f) 19.86 22.37 25.48 27.64 25.83 27.91 32.57 34.36 60.70 14.80 19.00 15.90 41.00 41.70 69.60

表2 各方法在5个数据集上的指标值对比 Table 2 Metric value comparison of different methods on 5 datasets

由表2可见, DocTHiF性能最优. 在LWSLT-15、LWSLT-17、NC-2016数据集上, 相比对比方法, 性能实现稳定提升, s-BLEU值平均提升约0.83, d-BLEU值平均提升约0.79, 充分展示DocTHiF具有良好的泛化能力.在结构化会议语料Europarl v7数据集上, DocTHiF性能略低于IADA, 分析发现该差异源于会议文本的规范性特征, 在此类场景中, 基于隐藏状态与梯度范数评估的数据增强策略具有更强的适应性.在网络小说这类开放领域, DocTHiF在s-BLEU、d-BLEU、COMET指标上全面超越GPT-4, 验证其对新领域数据的泛化能力优势, 而大语言模型对未训练领域数据的迁移存在局限, 性能优化依赖高成本的领域再训练.

总之, DocTHiF能更准确地捕捉文档中长序列的长距离依赖关系, 使目标端文档得到更充分的表示, 获得更完整的历史上文信息, 模型的翻译性能更优.此外, 实验结果还表明, 在所有数据集上, 通过微调方式训练得到的翻译模型性能均优于通过直接训练得到的模型.这与普遍共识相符:微调能帮助模型学习更好的向量表示.

为了进一步验证本文方法的有效性, 进行多方面实验.

选择如下目标端上下文融合方法:Transformer^[18]、文献[25]方法、G-Transformer(f)^[32]、CADec^[35], 与DocTHiF(f)进行对比实验, 具体指标值如表3所示.由表可观测到, 相比CADec, DocTHiF(f)在IWS- LT-17、mZPRT数据集上的s-BLEU指标分别增长1.03和1.7, 翻译性能显著提升.此外, 相比文献[25]方法, DocTHiF(f)在IWSLT-17、mZPRT数据集上s-BLEU指标分别提升0.9和0.8.

表3

Table 3

表3(Table 3)

表3 DocTHiF与目标端上下文融合方法性能对比 Table 3 Performance comparison among DocTHiF and target-side context fusion methods 方法 参数量 s-BLEU IWSLT-17 mZPRT(网络小说) Transformer 59× 106 23.28 11.7 G-Transformer(f) 72× 106 25.12 12.7 文献[25]方法 81× 106 24.58 14.1 CADec 83× 106 24.45 13.2 DocTHiF(f) 76× 106 25.48 14.8

表3 DocTHiF与目标端上下文融合方法性能对比 Table 3 Performance comparison among DocTHiF and target-side context fusion methods

表3还对比各方法参数量, 相比Transformer与G-Transformer(f), DocTHiF(f)的参数量略有提升, 但远少于文献[25]方法与CADec.

在IWSLT-17数据集上评测Transformer的文档到文档(Document to Document, Doc2Doc)任务, 验证编码器和解码器对翻译性能的影响, 指标值如表4所示.由表可见, 对于Doc2Doc的翻译任务, 当仅有编码器处理完整文档时, 模型可正常生成目标翻译序列.当解码器处理完整文档时, 翻译效果断崖式下跌, 可认为模型已不具备生成翻译序列的能力.由此可知, 在Doc2Doc任务中, 解码器是实现翻译性能提升的关键.

表4

Table 4

表4(Table 4)

表4 编/解码器对翻译性能的影响 Table 4 Effect of encoders/decoders on translation performance 编码器 解码器 s-BLEU d-BLEU √ × 21.03 23.64 × √ 6.78 0.68 √ √ 0.28 0.94 × × 20.70 22.44

表4 编/解码器对翻译性能的影响 Table 4 Effect of encoders/decoders on translation performance

根据Bao^[32]等在G-Transformer中的论述, Trans-former的较低层可建模更好的局部信息, 而上下文信息在更高层融入后结果会更优.因此, 在IWSLT-17数据集上进行实验, 对比解码器不同的层融入历史信息的效果.

当解码器在第1层融入历史信息时, s-BLEU为24.16; 当解码器在第2层融入历史信息时, s-BLEU为24.23; 当解码器在第3层融入历史信息时, s-BLEU为23.91; 当解码器在第4层融入历史信息时, s-BLEU为24.57; 当解码器在第5层融入历史信息时, s-BLEU为24.82; 当解码器在第6层融入历史信息时, s-BLEU为25.48.

此结果和Bao等^[32]的推论匹配, 选择在高层融入上文信息后模型更有优势.由数据可发现, 越接近底层融入历史上文信息, 分数越接近标准的Trans- former, 这说明在低层时, 注意力更容易聚焦在局部, 而在高层会更发散.由此可知, 对于Doc2Doc的任务来说, 过长的序列必然导致Transformer的注意力分散, 训练不稳定, 因此, 在解码器中采取逐个片段建模, 并使用历史信息辅助当前句子解码的方案是合理的, 能提升翻译模型的性能.

完整的篇章文档在Transformer上直接训练会导致训练崩溃, 效果完全失衡.对此, Bao等^[32]得出的结论是因为完整篇章的上下文太过分散.他们在实验中构建注意力熵, 用于评估注意力的分散情况.在Transformer和DocTHiF(f)上, 训练步数改变时, 注意力熵的变化情况如图4所示.由图可观测到, Transformer的熵值基本在8左右, 而DocTHiF(f)的熵值逐步降到3.4左右并趋于稳定.注意力分散容易导致模型训练的不稳定.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 注意力熵随训练步数的变化情况Fig.4 Variation of attention entropy with training steps

篇章机器翻译的一个难点就是如何构建长序列的建模, 对于Transformer来说, 虽然注意力已解决RNN中远程衰减的问题, 但并不代表Transformer可建模很长的序列, 其对于很长序列的建模能力依然有限.将篇章级的数据集按照句子划分为句子级别的数据集进行训练, 使用篇章级文档的测试集进行测试.在测试模型的长序列建模能力时, 使用不同长度的篇章文档进行评估, 在IWSLT17数据集上, s-BLEU值变化情况如图5所示.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 输入序列长度不同时对方法性能的影响Fig.5 Effect of sequence length on method performance

由图5可观测到, Transformer在短序列上建模仍是有效的, 但是对于过长的序列, 如长度到达500以上时, 翻译效果急剧下降, 而DocTHiF(f)在这个长度上仍可有效建模.

在Europarl v7数据集上, 当训练语料数变化时, Transformer^[18]、G-Transformer(f)^[32]和DocTHiF(f)的d-BLEU值变化如图6所示.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 训练语料数不同时对方法性能的影响Fig.6 Effect of training data size on method performance

由图6可见, DocTHiF总体具有平滑的性能曲线, 训练稳定, 始终优于G-Transformer.值得注意的是, 当数据规模偏小时, DocTHiF(f)的性能远优于G-Transformer(f), 由此表明DocTHiF(f)在低资源条件下能获得较优性能, 即当数据规模较小时, 在解码过程中融入适当的上文信息对性能的提升效果更明显.

为了进一步验证在编码端融入上下文信息对翻译性能的影响, 在IWSLT-15数据集上计算代词翻译准确率, Transformer^[18]为51.1%, G-Transformer(f)为61.5%, DocTHiF(f)为63.2%.由此表明在解码端有效利用目标端上下文信息能较好地改善模型的指代翻译性能.

参数量和计算复杂度是衡量模型复杂度的重要指标之一, 对比Transformer^[18]和DocTHiF(f), 结果如表5所示.

表5

Table 5

表5(Table 5)

表5 Transformer和DocTHiF的复杂度及训练成本对比 Table 5 Comparison of complexity and training cost between Transformer and DocTHiF 模型 参数量 复杂度 训练时间/min 训练时占用内存情况/GB Transformer 59× 106 O(n2) 217 19.20 DocTHiF(f) 76× 106 $O\left(\bar{m}^{2}\right)+O\left((\bar{m}+0.1(n-\bar{m}))^{2}\right)$ 142 22.08

表5 Transformer和DocTHiF的复杂度及训练成本对比 Table 5 Comparison of complexity and training cost between Transformer and DocTHiF

由表5可见, 相比Transformer, DocTHiF参数量有所增加, 这是由增加已翻译的历史信息引起的模型结构变化而带来的.在计算复杂度层面, 在极限情况下, 当n趋于无穷大时, 与Transformer一样, 时空复杂度都是n².随着n的增加, DocTHiF(f)复杂度的上升趋势显著缓于Transformer.

在训练时长及内存消耗上, DocTHiF(f)的内存占用量(在训练过程中, 每5 min取1次内存占用的数据, 再取平均值)高于Transformer, 但训练时长显著缩短.

综合分析可知, 在同等条件设置下, DocTHiF(f)的资源消耗与Transformer相当.

除了性能分析以外, 还从IWSLT15测试集上抽取翻译实例, 分析和评判Transformer和DocTHiF(f)的翻译性能, 具体如表6所示.

表6

Table 6

表6(Table 6)

表6 Transformer和DocTHiF翻译示例对比 Table 6 Comparison of translation examples between Transformer and DocTHiF 源语句 我们鼓舞各个社区进行创业.我们有志愿者团队帮助创业辅助商为客户集结资源及人力.我们发现当地人群的智慧能创造出奇迹能改变社区的文化和经济, 只要你能好好利用人们这份热情, 这种活力, 这种想象力. 参考译文 we activate communities to be entrepreneurial. we have groups of volunteers supporting the Enterprise facilitator to help you to find resources and people and we have discovered that the miracle of the intelligence of local people is such that you can change the culture and the economy of this community just by capturing the passion, the energy and imagination of your own people. Transformer we're encouraging communities to start entrepreneurship. we've got volunteers who are helping entrepreneurs create miracles $\underline{\mathbf{\text{for their customers, for their customers, for their people, } }} $ and we've found that the talents of the local community can create miracles that can transform the culture and the economy of the community, and if you can use this passion, $\underline{\mathbf{\text{this energy, this energy, }} } $ this imagination. DocTHiF(f) we're encouraging communities to be entrepreneurial. we have volunteers who have been able to help entrepreneurs set up the resources and the human resources, and we find that local people can create miracles that can transform the culture and the economics of the community, if you can use this passion and $\underline{\mathbf{\text{this energy}} } $ and this imagination.

表6 Transformer和DocTHiF翻译示例对比 Table 6 Comparison of translation examples between Transformer and DocTHiF

由表6可发现:Transformer对例子中的“ 客户” 和“ 这种活力” 进行翻译时, 出现重复翻译; 同时译文中出现顺序错乱的现象, 第2行中“ create miracles” 本应该是在第3行“ create miracles” 的位置, 但却提前出现.

DocTHiF(f)通过融合历史信息, 指导当前句子的建模, 不仅提升模型处理长序列的能力, 同时通过引入相对位置编码, 能学习正确的顺序, 翻译更符合人们的期望.