Kandelwal等^[7]提出kNN-MT, 使用预训练的翻译模型将平行句对转化为可存储的翻译知识库.基于k近邻思想, 在解码过程中融入与待翻译输入相似的k近邻知识, 结合NMT模型生成的下一个词的预测分布与k近邻知识的检索分布, 共同决定最终的翻译结果, 提升翻译性能.kNN-MT通常分为两个过程:翻译知识库的构建和融合推理.

1)翻译知识库的构建.翻译知识库将双语句子对转换为一组键值对进行存储.在现有的训练集上选择一个平行的双语句子对(x, y)∈ (X, Y), 输入预先训练的NMT模型中, 获得在每个时间步长t生成的上下文表示f(x, y_{< t}), 即时刻t的翻译上下文的隐藏向量表示.此时, 预测对应的下一个目标词的真值为y_t, 通过将输出的隐藏状态f(x, y_{< t})作为键, y_t作为值, 循环遍历整个训练集, 构建翻译知识库(K, V).利用这种方法可完成翻译知识库的构建:

$(K, V)={{\cup }_{\left( x, y \right)\in \left( X, Y \right)}}\{(f(x, {{y}_{< t}}), {{y}_{t}}), \forall {{y}_{t}}\in y\}$.

2)融合推理.在推理过程中, 输入句子x被用于生成相应的翻译结果y.在第t个解码步骤中, 基于当前已生成的句子 ŷt, 形成上下文表示$f\left( x, {{{\hat{y}}}_{t}} \right)$, 随后, 计算L2距离, 从翻译知识库中检索k个最近邻, 并将这些邻居表示为

N^t={(h_i, v_i), i∈ {1, 2, …, k}}.

最后, 将检索到的邻居映射为词表上的概率分布:

${{P}_{kNN}}\left( {{y}_{t}}|x, {{{\hat{y}}}_{< t}} \right)\propto \sum\limits_{\left( {{h}_{i}}, {{v}_{i}} \right)}{{{1}_{{{y}_{t}}={{v}_{t}}}}\exp }\left( -\frac{d\left( {{h}_{i}}, ~f\left( x, {{{\hat{y}}}_{t}} \right) \right)}{T} \right)$,

其中, d(· )表示欧氏距离函数, T表示温度超参数.最终的融合分布由检索到的分布P_kNN和NMT生成的分布P_nmt融合而成:

${{P}_{\text{final}}}\left( {{y}_{t}}|x, {{{\hat{y}}}_{< t}} \right)=\lambda {{P}_{kNN}}\left( {{y}_{t}}|x, {{{\hat{y}}}_{< t}} \right)+(1-\lambda ){{P}_{\text{nmt}}}\left( {{y}_{t}}|x, {{{\hat{y}}}_{< t}} \right)$, (1)

其中λ 表示融合的权重.上述方法相当于针对NMT模型预测结果执行一次向量投影, 将模型表示映射至更适合领域特定数据的空间, 从而实现隐式微调, 提高翻译性能^[17].

在模型训练过程中, 引入置信度模块(CM).CM设计为前馈神经网络, 用于评估模型在时刻t对当前翻译词的置信度, 置信度值直接决定最终融合概率中的权重分配.当置信度高于预设阈值τ 时, 可视为模型的翻译准确性已较高, 因此可跳过翻译知识库的检索步骤^[18].此时, 在模型生成的概率分布上加入极小的扰动值ε , 代替当前时刻的融合分布.如果置信度低于设定阈值τ , 正常进行翻译知识库的检索.如式(1)所示, 通过将检索的k近邻知识与NMT的分布进行置信度加权融合, 获得最终的融合分布:

Pfinal=Pnmt+ε, λ≥τλPnmt+(1-λ)PkNN, λτ

本文方法中NMT分布的权重由置信度分数

λ =σ (w₂(RELU((w₁h_t)+b₁))+b₂)

决定, 而k近邻知识的权重为1-λ .其中:h_t表示输入句子x经过NMT模型后, 获得解码器在时刻t的最后特征向量; w₁表示置信度模块第1个前馈层的权重矩阵, b₁表示其偏置向量; RELU(· )表示激活函数; w₂表示置信度模块第2个前馈层的权重矩阵, b₂表示其偏置向量; σ (· )表示sigmoid激活函数.

自适应k值模块(AkVM)是一个前馈网络, 旨在提高模型检索k近邻知识的准确性.在检索过程中, AkVM动态调整不同时刻检索的k值, 自适应优化最终的检索结果^[8].具体而言, 首先根据输入特征和设定的最大值max k, 为每个样本检索近邻向量:对于置信度较高的输入特征, 选择较小的k值以减少噪声干扰; 对于置信度较低的输入特征, 选取较大的k值以增强结果的多样性与鲁棒性.如图1所示, 最后经过归一化缩放得到最终k值用于处理搜索得到的近邻向量, 从而生成更准确的k近邻知识.k值的计算公式如下:

$k=\exp \left( 1-\frac{{{\lambda }_{t}}}{{\bar{\lambda }}} \right)\sigma ({{q}_{2}}(RELU(({{q}_{1}}{{h}_{t}})+{{z}_{1}}))+{{z}_{2}})$,

其中, λ _t表示时刻t的置信度, λ¯表示批次的平均置信度, h_t表示输入句子x经过NMT模型后, 获得解码器在时刻t的最后特征向量, q₁表示自适应k值模块中第1个前馈层的权重矩阵, z₁表示其偏置向量, RELU(· )表示激活函数, q₂表示自适应k值模块中第2个前馈层的权重矩阵, z₂表示其偏置向量, σ (· )表示sigmoid激活函数.

最终将k扩展至1至max k之间, 使用扩展后的k计算得到最终的检索结果.通过这种方式, 模型能更好地适应不同输入特征的变化, 提高检索结果的准确性.

kNN-MT的成功在于其能在无需额外训练的情况下, 通过融合翻译知识增强领域适应能力, 从而在翻译质量上优于传统的NMT模型.具体而言, k近邻检索可作为翻译预测的隐式微调过程, 利用翻译预测状态h_t, 从翻译记忆库中检索对应的k近邻知识P_kNN, 并生成最终的融合分布P_final.在此过程中, 模型的参数可视为一种策略, 而k近邻知识的融合过程则体现一种学习机制.这一特性与生成式自然语言模型中的结构化预测方法密切相关, 并与强化学习(Reinforcement Learning, RL)框架高度契合.强化学习包括初始化、交互、环境反馈、学习和循环五个阶段, 已被广泛应用于模型训练^{[31, 32]}, 并在多项任务中证实其有效性.

不同于常规翻译任务中将BLEU^[33]作为奖励设定, 在kNN-MT中, 由于k近邻检索是针对每个单词在不同时刻进行的, 因此模型的奖励机制可设定为每个时刻的最终融合检索分布与真实分布之间的差异, 此设定能有效减少错误k近邻知识对模型性能的负面影响.计算模型在时间步t生成的最终融合分布与真实目标词分布之间的差异, 定义为中间奖励:

r=where(P_final(y_t)=P_gold(y_t)).

其中:P_final(y_t)表示在时刻t, 融合k近邻知识的检索分布与NMT模型的预测分布, 生成的最终融合分布; P_gold(y_t)表示对应的真实目标词分布; where(· )用于评估两个分布中最大候选词的一致性, 并将其作为最终输出, 如果候选词相同, 输出值为1, 若不一致, 输出值为0.中间奖励项为:

rg=1k, r=11j, r=0

rn=1n, r=11m, r=0

当中间奖励r=1时, 表示融合后的分布与真实分布一致, 若直接将奖励项设为0, 会导致模型训练波动过大, 影响收敛性, 因此, 本文将奖励分别设定为1/k和1/n.当r=0时, 表示此时融合分布存在偏差, 此时引入惩罚项, 分别设定为1/j和1/m.其中k、n、 j、m表示可调超参数.

为了进一步优化模型与k近邻知识的融合精度, 本文采用KL散度(Kullback-Leibler Divergence)作为损失函数, 拉近两个分布之间的差距, 优化目标是最小化预期奖励.具体形式如下所示:

${{L}_{fg}}=\frac{1}{\left| D \right|}\cdot \sum\limits_{\left( x, y \right)\in D}{{{r}_{g}}{{D}_{KL}}\left[ {{P}_{\text{gold}}}\left( {{y}_{t}}|x, {{{\hat{y}}}_{t}} \right)||{{P}_{\text{final}}}({{y}_{t}}|x, {{{\hat{y}}}_{t}}) \right]}$, (2)

其中, r_g表示模型在时刻t预测时的中间奖励, x表示源句子, y表示对应的目标句子, D表示训练集上平行句对的集合, ${{P}_{\text{gold}}}\left( {{y}_{t}}|x, {{{\hat{y}}}_{t}} \right)$表示时刻t真实目标词的分布, ${{P}_{\text{final}}}({{y}_{t}}|x, {{\hat{y}}_{t}})$表示时刻t检索分布与NMT模型的预测分布融合后的最终分布, KL(· )表示KL散度, 通过最小化目标分布P_gold和最终融合分布P_final之间的KL散度以优化最终融合分布, 使其向真实分布P_gold靠拢.同时, 通过最小化最终融合分布P_final和NMT模型分布P_nmt之间的KL散度, 可进一步优化NMT的预测分布, 即

${{L}_{fn}}=\frac{1}{\left| D \right|}\cdot \sum\limits_{\left( x, y \right)\in D}{{{r}_{n}}{{D}_{KL}}\left[ {{P}_{\text{final}}}\left( {{y}_{t}}|x, {{{\hat{y}}}_{< t}} \right)||{{P}_{\text{nmt}}}({{y}_{t}}|x, {{{\hat{y}}}_{< t}}) \right]}$, (3)

其中, r_n表示模型在时刻t预测时的中间奖励, ${{P}_{\text{nmt}}}({{y}_{t}}|x, {{\hat{y}}_{< t}})$表示时刻t对应的NMT的预测分布, 通过最小化NMT的预测分布P_nmt与最终融合分布P_final之间的KL散度, 可引导NMT分布逐步向融合分布P_final靠拢, 进一步提高模型的预测质量和一致性.

神经机器翻译任务要求在输入源语言句子时, 预测目标语言句子, 损失函数如下:

${{L}_{nmt}}=\underset{i=1}{\overset{n}{\mathop \sum }}\, \left( -\ln P\left( {{y}_{i}}|{{x}_{i}}; \theta \right) \right)$,

其中, $P\left( {{y}_{i}}|{{x}_{i}}; \theta \right)$表示源句子x_i翻译为目标句子y_i的概率, n表示句子数量, θ 表示模型参数.

本文方法不仅优化k近邻知识的表示, 还使模型能选择最合适的k近邻知识.具体而言, 设计一个结合三种学习目标的适配器, 目标是最小化最终训练目标:

L=L_nmt+r_nL_fn+r_gL_fg,

其中, L_nmt表示翻译损失, r_n、r_g表示平衡不同损失函数权重的超参数, L_fn表示最小化最终融合分布与NMT的预测分布之间差异的损失, L_fg表示最小化最终融合分布与真实目标词的分布之间差异的损失.

本文使用4个标准的德语-英语数据集, 涵盖Medical、Law、IT、Subtitles领域^[34], 其中, Medical、Law、IT领域的数据直接采用Zheng等^[8]发布的预处理数据.为了评估模型在低资源场景下的表现, 本文从清洗后的字幕数据集中抽取34 000个句对作为低资源领域的样本.实验数据集详情如表1所示.

表1

Table 1

表1(Table 1)

表1 实验数据集 Table 1 Experimental Dataset Medical Law IT Subtitles 训练集数量 248099 467309 222927 30000 验证集数量 2000 2000 2000 2000 测试集数量 2000 2000 2000 2000 知识库数量 6903141 19062738 3613334 350361

表1 实验数据集 Table 1 Experimental Dataset

为了确保实验的一致性, 本文采用2019年WMT德语-英语新闻翻译任务的获胜方法^[35]作为预训练的NMT模型, 用于翻译任务和数据存储构建, 该方法基于Transformer架构, 并通过Fairseq工具包实现.

本文方法以文献[35]方法为初始化基础, 采用β ₁=0.9, β ₂=0.98的Adam(Adaptive Moment Es-timation)优化器, 设置学习率为5e-04, 最大词元数为1 024, 学习率预热更新步数为6 000, 标签平滑值为0.1, 失活率为0.1.在适配器大小方面, Medical、Law、IT、Subtitles分别设置为8 192、4 096、2 048、1 024.对于超参数的设置, r_n中k=2, j=1, r_g中的n=2.5, m=5.

在每轮训练完成后, 使用更新后的NMT模型权重重新构建数据存储.重复此过程直至模型收敛.

所有方法均是在单张NVIDIA GEFORCE RTX 3090 GPU上进行训练.

为了验证本文方法的有效性, 选择如下kNN-MT基线方法进行对比, 包括检索优化方法和知识融合策略的相关方法.

1)kNN-MT^[7].基于WMT-2019德语-英语新闻任务的冠军模型生成翻译知识库, 并在解码阶段将其融入模型.

2)Adaptive kNN-MT^[8].kNN-MT的高级变体, 动态决定k近邻检索结果的使用并获得更稳定的性能.

3)Robust kNN-MT^[9].检索优化中先进的kNN-MT变体, 通过动态校准k近邻结果和引入超参数提升性能.

4)INK^[14].引入少量新参数, 平滑k近邻检索结果的表示空间.

5)文献[35]方法.WMT2019在德语-英语新闻任务上最终的冠军模型.

6)Adapter^[36].添加额外的适配器模块, 对齐上下文表示和词嵌入, 优化模型的表示能力.

在4个德语-英语数据集上进行对比实验, 保留原基线模型的参数设置, BLEU值如表2所示, 表中黑体数字表示最优值.由表可得如下结论.

表2

Table 2

表2(Table 2)

表2 各方法在德语-英语翻译任务上的BLEU指标 Table 2 BLEU of different methods on German to English translation task 方法 Medical Law IT Subtitles 平均值 文献[35]方法 39.99 45.48 38.39 30.91 38.67 kNN-MT 53.67 61.35 45.34 31.71 48.01 Adaptive kNN-MT 55.94 62.86 46.55 32.19 49.39 Robust kNN-MT 55.35 63.74 47.55 33.21 49.96 Adapter 56.65 61.24 48.43 33.53 50.15 INK 57.38 61.52 49.21 33.77 50.47 本文方法 58.03 62.13 49.79 34.99 51.24

表2 各方法在德语-英语翻译任务上的BLEU指标 Table 2 BLEU of different methods on German to English translation task

1)本文方法在多领域翻译任务中表现出色.平均BLEU值达到51.24, 显著优于现有主流方法和其它增强方法, 充分展现其在领域翻译任务中的强大适应能力.在Medical、IT等高资源领域, 本文方法的BLEU值分别达到58.03和49.79.然而, 在Law领域的表现略显不足, 这可能是由于该领域知识库庞大且蕴含丰富的信息, 适配器的学习能力存在一定局限性, 仅依靠两层适配器难以全面捕获其复杂领域知识.

2)本文方法在低资源的情况下能取得较优值.在仅包含30 000条数据的低资源Subtitles领域, BLEU值达到34.99, 充分体现其在数据匮乏场景中的适应性和对有限知识库的高效利用能力^{[37, 38]}. 这得益于置信度、自适应k值及分布约束损失的引入, 使方法能调节k近邻知识的融合程度, 降低噪声干扰的影响, 并进一步优化知识库的质量以满足特定领域需求, 从而提升领域术语翻译的准确性.

为了进一步探究本文方法的有效性, 进行一系列消融实验, 逐步移除方法中的不同模块, 研究每个模块对整体性能的贡献.在IT领域的数据集上进行实验, 分别对如下模块做消融实验.

1)AkVM.在解码时检索不同数量的k近邻知识.

2)CM.决定最终的插值权重及门控机制.

3)RL模块.给模型合适的奖励从而学习到更好的知识.

4)损失函数.包含L_fn和L_fg.L_fn表示最小化最终融合分布与NMT预测分布之间的差异, L_fg表示最小化最终融合分布与真实目标词分布之间的差异.

最终消融实验结果如表3所示, 表中-表示方法在训练过程中去除相应部分.

表3

Table 3

表3(Table 3)

表3 各模块消融实验结果 Table 3 Results of ablation experiment of different modules 方法 BLEU 降幅 本文方法 49.79 - -AkVM 49.46 0.33 -CM 49.30 0.49 -RL模块 49.25 0.54 -Lfg 49.28 0.51 -Lfn 49.11 0.68 -Lfn和Lfg 48.43 1.36

表3 各模块消融实验结果 Table 3 Results of ablation experiment of different modules

由表3可知, 当分别去除AkVM、CM、RL模块时, 在德语-英语的IT领域测试集上的BLEU评分降幅为0.33~0.54, 这进一步表明模块在提升模型性能方面的重要性.去除L_fg和L_fn以后, 性能降幅为0.51~1.36, 这验证了各损失项设计的有效性.k近邻知识融合本质是在投影层上进行额外映射^[17].消融实验进一步表明, 缩小投影层与NMT模型表示之间的差距能促进方法对k近邻知识的学习.

为了进一步验证本文方法在面对带噪声的k近邻知识时的鲁棒性表现, 对每个德语-英语领域的k近邻知识进行噪声插入.具体噪声类型如下.

1)填充.从查询的k近邻分布概率中, 选取前8个最大值的k近邻预测概率, 随机选择其中一个的预测概率值, 设置为k近邻分布概率中的最大概率值, 并对所有概率进行归一化处理, 扰动率设定为0.1.

2)交换.同样从查询的k近邻分布概率中, 选取8个最大值的k近邻预测概率, 随机选择2个概率进行交换, 并对所有概率进行归一化处理, 扰动率设定为0.5.

3)高斯噪声.在查询的k近邻分布概率中引入高斯噪声, 增强模型的鲁棒性.噪声的标准差分别设置为0.002和0.01并进行测试, 扰动率设定为1.

为了进一步分析本文方法对不同类型k近邻知识噪声的鲁棒性, 使用如下鲁棒性评估指标^[39]:

ROBUST(M|x, y, δ)=TQ(y'δ, y)TQ(y', y),

其中, M表示翻译模型, x表示源句子, y表示参考翻译, y'_δ 表示扰动句子x'_δ 的翻译结果, y'表示源句子x的翻译结果, TQ(· )表示测量翻译质量的指标.本文将扰动句子x'_δ 替换为扰动k近邻知识 P︿kNN, y'_δ 替换为融合扰动k近邻知识 P︿kNN后的翻译结果, x替换为正常加入k近邻知识P_kNN, y'替换为融合k近邻知识P_kNN的翻译结果, TQ(· )使用BLEU评价指标进行测量.

鲁棒性评价指标用于衡量模型在噪声输入下翻译质量的退化程度.值越接近1, 表明模型对此类噪声输入表现出的鲁棒性越好; 值越接近0, 表明模型在噪声影响下翻译质量退化越严重.

Adaptive kNN-MT、Robust kNN-MT和本文方法在不同类型噪声上的鲁棒性如图2所示.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 各方法在不同噪声类型下的鲁棒性分数Fig.2 Robustness indicators of 3 methods with different types of noise

由图2可知, 方法对噪声的敏感性受k近邻知识准确性的影响, 尤其在高资源领域, k近邻知识通常包含更丰富的信息.例如:在Law领域, 当k近邻知识占主导地位时, 模型在强噪声下的鲁棒性显著下降, 从弱噪声的效果可看出适度引入噪声可在一定程度上提升模型的鲁棒性.本文方法在各领域, 尤其是Subtitles和IT领域, 展现出更强的鲁棒性.在填充和强噪声条件下, 本文方法的鲁棒性分数显著高于其它方法, 表明其在噪声干扰下具有更强的适应能力, 能有效减缓噪声对k近邻知识融合的影响.

为了进一步探索本文方法的有效性, 选取固定权重 λ =0.1, 0.2, …, 0.9, 在Subtitles领域中进行实验.针对每个固定权重均从头训练直至收敛.

本文方法在不同 λ 值下BLEU分数如图3所示.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 λ 对本文方法的性能影响Fig.3 Effect of λ on performance of the proposed method

由图3可见, λ 的变化对本文方法性能产生一定影响, 不同设置下BLEU分数存在小幅波动.总体而言, λ 值处于中间范围时, 方法性能相对较优, 而极端值往往导致性能下降.相比之下, 本文方法通过动态调整λ 值, 能更好地适应不同输入, 显著提升翻译质量, 表现出优于固定λ 的鲁棒性和灵活性.实验结果进一步验证动态策略在优化翻译性能方面的潜力.

为了验证本文方法在领域翻译中的性能, 选取两个具体的翻译实例, 验证其有效性.为了简化对比, 仅保留实验变体进行对比说明.实例1来自IT领域, 实例2来自Subtitles领域, 中文释义均采用Deepl翻译生成.具体翻译实例对比如表4所示, 在表中, 单下划线+加粗表示错误部分, =表示漏翻.

表4

Table 4

表4(Table 4)

表4 翻译实例 Table 4 Translation examples 实例1 实例2 源语言 dialogfeld, sind die Namen aller Tabellen oder benannten Bereiche aufgefü hrt, die zur Auswahl stehen.(对话框中, 会列出可供选择的所有表 格或命名区域的名称.) ich habe ö fter so einen Traum, da…Sitze ich auf der Couch…und die verwandelt sich in eine Wanne mit Kautschuk. was bedeutet das?(我经常做这样的梦… 我坐在沙发上…然后它就变成了一盆橡胶这是什么 意思?) 参考翻译 dialogue box, you can see the name of all the sheets or named ranges you can choose from. (对话框中, 你可以看到所有工作表或命名 范围的名称.) I have this recurring dream where I'm sitting on my couch and it turns into a big VAT of rubber, what is that?(我经常梦见自己坐在沙发上, 沙发变成了一 块巨大的橡胶, 那是什么?) 文献[35]方法 =list the names of all tables or named ranges that are available.(列出所有可用表格或命名范围的 名称.) I often have a dream like that , that…I sit on the couch…and it turns into a tub of cauliflower¯. =(我 经常做这样的梦…我坐在沙发上……沙发变成了一 盆花椰菜.) Adaptive kNN-MT =list the names of all sheets or named ranges available. (列出所有工作表或可用命名范围的名称.) I often have a dream like that , because .I & apos; m sitting on the couch…and it turns into a tub of cau¯. = (我经常做这样的梦, 因为…我坐在沙发上……沙发 变成了一盆水.) Robust kNN-MT =contains the names of all of the tables or named ranges that are available.(列出所有工作表或可 用命名范围的名称.) I have a dream , I sit on the couch…and it turns into a tub of rubber. =(我做了一个梦, 我坐在沙发上…… 沙发变成了一盆橡胶.) INK this tabpage¯ lists all the tables or named ranges that you can select.(该选项卡页面列出了可以选择的所 有表格或命名范围.) I'm used to having a dream like that, and I'm sitting on the couch and it's turning into a tub of cau¯. =(我已经 习惯了做这样的梦, 我坐在沙发上, 梦境变成了一盆 水.) 本文方法 dialogue box lists the names of all tables or named ranges that you can select.(对话框列出了可以选 择的所有表格或命名范围的名称.) I often have a dream like this, that I'm sitting on the couch and it's turning into a tub of rubber. what does that mean?(我经常做这样的梦, 梦见我坐在沙发 上, 沙发变成了一盆橡胶.这是什么意思?)

表4 翻译实例 Table 4 Translation examples

由表4可见, 在实例1中, 文献[35]方法、Adaptive kNN-MT和Robust kNN-MT均未提及“ dialogue box” , 导致重要的上下文信息丢失.此外, Robust kNN-MT的翻译使用“ contains the names” , 导致翻译内容模糊, 未能准确表达“ 列出” 的含义.INK在翻译中引入“ tab page” , 偏离原文中的“ dialogue box” , 造成语境不符.在实例2中, 文献[35]方法的翻译将“ Wanne” 误译为“ tub of cauliflower” , 引入与原文无关的“ cauliflower” , 产生信息偏差.AdaptivekNN-MT虽然保留部分语义, 但同样使用“ cau” .Robust kNN-MT漏翻最后一句, INK在翻译时出现漏译及使用“ cau” 的情况.相比之下, 本文方法在准确传达源文本情感和信息方面表现出更高水平.

上述分析表明, 本文方法在保持语义一致性方面表现优异, 同时有效减少过度依赖外部知识导致的误译现象, 展现出较高的翻译质量.