平行句对抽取任务通过计算双语句对相似度判断句对是否平行.对于待判断的双语句对(x, y), 首先将双语句对分别送入编码层, 建模双语句对x、y的句子表征:

h_x=Encoder(x),

h_y=Encoder(y).

获得h_x和h_y后, 为了获取双语句子的相关性, 计算双语句子表征的余弦相似度, 利用余弦相似度对文本匹配关系进行打分, 根据匹配分数

score=cosine_similarity(h_x, h_y)

判断句对是否平行.或将建模的双语句子表征直接送入二分类神经网络, 通过分类网络得到句对是否平行的判断结果:

Result=Classifier(h_x, h_y).

孪生网络^[27]是深度学习模型的一种, 网络包含2个结构相同的子网络, 可分别对2段文本序列进行编码, 获取包含文本语义特征的2个固定长度的向量表示.Reimers等^[28]已证明孪生网络可以有效计算两段文本序列的语义相似度.本文在孪生网络的基础上进行改进, 引入预训练词嵌入, 结合对比学习构建孪生对比网络.孪生网络模块的优化目标是拉近平行句对的表征, 对比学习模块的优化目标是拉远非平行句对的表征.

为了缓解训练数据稀缺问题, 更有效地对文本进行语义表示, 本文首先引入XLM-R预训练模型对文本进行编码, 每段文本序列分别利用一个高维向量进行表示.

对于给定的中文文本序列

x=(x₁, x₂, …, x_n),

其中n为序列长度, 将其输入XLM-R进行编码, 得到稠密的隐向量u=F(x), 其中F(· )表示XLM-R编码层.

对于给定的东南亚语言文本序列

y=(y₁, y₂, …, y_b),

其中b为序列长度, 其处理过程与中文文本一致, 利用XLM-R对其进行编码, 得到稠密的隐向量v=F(y), 其中F(· )表示XLM-R编码层.

下面将编码表示分别输入孪生网络模块和对比学习模块, 优化模型.

对于孪生网络模块, 将平行句对的编码表示输入孪生网络模块, 通过孪生网络对两段文本的语义表示进行特征匹配, 计算语义相似度.本文使用多层感知机(Multilayer Perceptron, MLP)学习匹配关系.

对于上述步骤得到的编码表示u、v, 首先将u、v以及二者的差u-v和按位相乘u× v进行拼接, 将拼接结果[u, v, u-v, u× v]输入MLP的线性变换层W₁, 利用tanh激活函数提高模型表征能力, 更好捕获文本隐向量表示中的匹配关系, 由此得到包含文本匹配关系的隐向量:

h=tanh(W₁[u, v, u-v, u× v]).

为了对h进行分类, 本文将h输入一个线性变换层W₂, 进行特征压缩, 再通过一个sigmoid层对文本匹配关系进行打分, 即

s=sigmoid(W₂h).

本文使用双语交叉熵损失对基础的孪生网络进行优化训练, 损失函数如下:

L_b=-[a ln s+(1-a)ln(1-s)],

其中a为h对应的输入文本标签.

对于对比学习模块, 通过同批次采样的方式构造负样例, 并进行负样本对比学习.对于给定的汉语-泰语或汉语-老挝语训练句对(x_i, y_i), 将中文句子和同批次的其它任意泰语和老挝语句对作为负样例对, 其核心思想是将任意非平行的句对构造为负样例对.在模型训练过程中, 从所有的训练数据中随机采样n个句对作为一个批次的训练数据, 即

sample={(x₁, y₁), (x₂, y₂), …, (x_n, y_n)}.

对于其中任意一个训练样本(x_i, y_i)中的中文句子x_i, 将x_i分别和同批次的其它n-1个泰语或老挝语句子进行配对, 得到n-1个非平行句对(x_i, y_j)作为实验的负样本句子对, 进行负样本对比学习训练, 从而使非平行句对的语义差距尽可能大.该方式构造的负样本训练对比损失如下:

${{L}_{1}}=-\frac{1}{n-1}\underset{j\ne i}{\mathop{\overset{n}{\mathop{\underset{j=1}{\mathop \sum }\, }}\, }}\, \ln (1-{{s}_{i}}_{, j})$,

其中s_{i, j}表示负样本句子对(x_i, y_j)的语义相似度.

相比传统的对比学习方法需要同时构造正样例和负样例的情况, 本文的孪生对比网络中孪生网络模块和正样本对比学习的优化目标一致, 都是拉近平行句对的语义相似度, 因此对比学习模块不需要单独设置正样本句子对.

为了利用东南亚语言的语言相似性, 将其应用在数据增强方法上, 本文有效扩充训练数据.受对比学习正负样例构建的启发, 本文提出基于语言相似特征的数据增强方法.参照孪生对比网络的输入(x_i, y_i), 对汉语-东南亚语言双语句对中的东南亚语言进行多语言同义词替换, 构建一部分伪数据正样例(x_i, y'_i), 和1.2节同样的方式, 使用该部分数据构造另一部分伪数据负样例(x_i, y'_j), 将上述构造的伪数据送入孪生对比网络中进行训练, 使模型获得更健壮的文本表征能力.

本文利用人工标注的泰语-老挝语双语词典对句子进行词替换.对于任意一个训练样本(x_i, y_i)中的泰语或老挝语句子y_i, 首先对其进行分词, 再对每个词在双语词典中进行检索, 如果能找到对应的同义词, 就在原句子中进行替换, 得到新的泰语或老挝语句子y'_i, 并和原句对中的中文句子x_i构成一个新的正样例训练数据(x_i, y'_i).泰语和老挝语在句法上具有较高的相似性, 多语言词替换的方式并不会对泰语和老挝语词汇在句子中的位置信息造成干扰, 伪数据词汇可以学习到和原始数据词汇相似的上下文语义信息, 因此构造的伪数据具有较高的质量, 保证模型在对新构造的伪数据进行编码时能准确对语义进行表征.

同时, 为了构造更多的样例数据, 提升模型训练效果, 本文在多语言词替换构造的伪数据中也使用如1.2节的负样本构造方式一致的同批次数据构造方法, 构造更多的负样例数据, 因此, 该方式构造的样本数据训练时的损失函数如下:

L₂=L'_b+L'₁,

其中, L'_b和L'₁的计算方式可参考L_b和L₁的计算方式, 其区别只在于训练数据不同, 需要将y_i(或y_j)更换为y'_i(或y'_j).

本文针对东南亚语言相似性特点提出相似语言联合训练策略, 流程如图2所示.充分利用东南亚语言间的相似性在训练中实现知识共享, 增强模型的学习能力.对给定的汉语-泰语或汉语-老挝语平行句对, 首先通过XLM-R获取输入文本的编码表示, 再将汉语的编码表示输入一端的编码器, 将泰语和老挝语的编码表示输入另一端的参数共享编码器, 利用多语言联合训练增强模型对泰语和老挝语的表征能力.泰语和老挝语具有较高的相似性, 共享泰语编码器和老挝语编码器能够使模型学习到更丰富的东南亚语言知识, 建立更强的语言表征能力, 此外, 泰语和老挝语的相似特点也使得共享编码器后的模型在编码泰语和老挝语时语种间相互干扰较小, 因此相似语言联合训练的方式能使模型性能得到有效提升.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 相似语言联合训练策略流程图Fig.2 Flow chart of similar language joint training strategy

在训练过程中, 针对每个中文句子输入x_i, 分别有(x_i, y_i)的交叉熵损失L_b, (x_i, y_j)的对比损失L₁, (x_i, y'_i)的交叉熵损失L'_b, (x_i, y'_j)的对比损失L'₁, 则训练时的总损失函数为:

L=L_b+L₁+L₂=L_b+L₁+L'_b+L'₁.

泰语和老挝语都属于东南亚低资源语言, 网络上开源的汉语-泰语(简记为汉-泰)和汉语-老挝语(简记为汉-老)平行数据集稀缺, 难以获取足够平行句对抽取模型训练的开源汉-泰平行数据和汉-老平行数据.因此, 本文首先从OPUS^[29]和亚洲语言树库^[30]上获取少量的汉-泰和汉-老平行语料, 通过爬虫技术结合人工标注, 预先构建一定数量的汉-泰和汉-老双语平行句对数据集, 满足平行句对抽取模型的训练需要.训练数据的数据量统计和数据集划分如表1所示.

表1

Table 1

表1(Table 1)

表1 训练语料信息 Table 1 Description of training corpus 数据集 句对数量 汉-泰 训练集 196000 验证集 2000 测试集 2000 汉-老 训练集 96000 验证集 2000 测试集 2000

表1 训练语料信息 Table 1 Description of training corpus

为了使用上述数据训练本文的孪生对比网络, 增强平行句对抽取模型的文本表示能力, 本文利用上述平行句对数据, 按照1∶ 1的比例构建一部分负样例.对每个汉语句子采用随机采样的方式配对一个不平行的泰语或老挝语句子, 并对该句对赋予不平行标签, 对原有平行句对赋予平行标签, 即模型的每条训练数据都是一个句对三元组

< 汉语句子, 泰语或老挝语句子, 平行标签> .

此外, 还根据基于语言相似特征的数据增强方法构建等比例的伪数据.

本文选择如下7种基线方法进行对比.

1)BiRNN(Bidirectional Recurrent Neural Net-work)^[3].利用循环神经网络捕获文本上下文语义信息, 实现文本的语义分类.

2)mBERT^[4].利用多语言BERT预训练模型获取语义表示, 计算双语句子的语义相似度, 根据相似度判断是否平行.

3)SVM^[31].分类领域中常见的二分类方法.

4)LR(Logistic Regression)^[32].经典机器学习算法, 回归模型的一种.

5)文献[33]方法.利用多语言BERT预训练模型获取语义表示, 再将语义表示送入Bi-LSTM中, 基于语义相似度建模分类任务, 实现对平行句对的判断.

6)LaBSE^[34].谷歌提出的用于表示语言无关句子的模型.应用LaBSE句子嵌入模型实现网络并行文本挖掘, 通过LaBSE获取语言无关句子表示, 对双语句子的语义相似度进行计算, 判断句对是否平行.

7)E5(Embeddings from Bidirectional Encoder Representations)^[35].基于弱监督对比学习训练文本嵌入表示.利用E5获取语义表示, 并计算语义相似度, 实现对平行句对的判断.

本文使用精确率(Precision)、召回率(Recall)和F1值(F1)作为评价指标.精确率是指所有抽取的句对中平行句对的比例, 召回率是指从数据集上所有平行句对中抽取的平行句对的比例, F1值是精确率和召回率的调和平均值.评价指标计算公式如下:

P=|TP||TP+FP|×100%,

R=|TP||TP+FN|×100%,

F1=2×P×RP+R×100%,

其中, TP表示真的正例, FP表示假的正例, FN表示假的反例, TN表示真的反例.

本文所有实验的深度学习模型都是基于PyTorch 1.8.1实现的, 并且在单个NVIDIA 3090 GPU上进行实验.学习率设置为5e-6, 参照Vaswa-ni等^[36]设置热启动warm_steps=500的warm-up策略动态调整学习率, 每个训练批次包含大约32个三元组.

2.4.1 对比实验

本节将本文方法与7种基线方法进行对比, 实验结果如表2所示:句对类型表示模型的句对抽取方向, 汉-泰表示方法用于汉-泰平行句对抽取, 汉-老表示方法用于汉-老平行句对抽取.

由表2可知, 相比传统的机器学习方法SVM和LR, 本文方法在汉-泰和汉-老两个测试集上的抽取效果都取得较大提升, 说明本文方法可以更好地从现有训练数据中学习语言的语义特征并实现良好的知识共享.而传统的基于机器学习的方法依赖训练数据中的特征, 泛化能力较差, 由于泰语和老挝语都属于低资源语言, 模型训练过程中缺乏充足的训练数据, 难以学习到充分的语义表征, 导致性能不佳.

表2

Table 2

表2(Table 2)

表2 各方法在平行句对抽取任务上的性能对比 Table 2 Performance comparison of different models for parallel sentence extraction % 方法 句对类型 精确率 召回率 F1值 SVM 汉-泰 72.31 75.67 73.95 汉-老 57.17 54.50 55.80 LR 汉-泰 68.18 70.47 69.31 汉-老 55.87 53.65 54.73 BiRNN 汉-泰 75.68 78.36 76.99 汉-老 59.58 63.26 61.36 mBERT 汉-泰 77.48 75.46 76.45 汉-老 56.43 54.37 55.38 文献[33]方法 汉-泰 84.38 83.43 83.90 汉-老 65.46 67.72 66.57 LaBSE 汉-泰 93.74 86.90 90.19 汉-老 94.87 91.55 93.18 E5 汉-泰 93.46 88.00 90.65 汉-老 91.37 92.20 91.78 本文方法 汉-泰 94.68 89.10 91.80 汉-老 95.52 97.05 96.27

表2 各方法在平行句对抽取任务上的性能对比 Table 2 Performance comparison of different models for parallel sentence extraction %

相比现有的基于深度学习的平行句对抽取方法, 本文方法在汉-泰和汉-老两个测试集上的抽取效果都达到最优值.相比BiRNN, 本文引入预训练语言模型, 设计孪生对比网络和基于语言相似特征的数据增强方法, 提升模型表示能力, 在汉-泰和汉-老句对抽取任务上分别提升14.81%和34.91%的F1值.相比mBert, 本文通过孪生对比网络训练和数据增强方法对模型编码进行优化, 在编码时获得更准确的跨语言表征, 在汉-泰和汉-老句对抽取任务上分别提升15.35%和40.89%的F1值.相比文献[33]方法, 本文方法从多层面进行优化, 学习到更强大的语义表征, 具有更好的建模能力, 在汉-泰和汉-老句对抽取任务上分别提升7.88%和29.7%的F1值.相比建立语言无关句子向量的LaBSE, 本文方法针对泰语和老挝语进行优化, 提升模型对泰语和老挝语的表征能力, 在汉-泰和汉-老句对抽取任务上分别获得1.61%和3.09%的F1值提升.相比同样基于对比学习训练的E5, 本文方法在预训练模型表征和对比学习之外还进行多层次优化, 在汉-泰和汉-老句对抽取任务上分别提升1.15%和4.49%的F1值, 达到更好的句对抽取性能.

综上所述, 本文方法在汉-泰和汉-老句对抽取上均达到最优值, 表明本文方法的有效性.

2.4.2 消融实验

为了探究在平行句对抽取模型中引入相似语言联合训练策略(简记为联合训练)、孪生对比网络(简记为对比网络)、基于语言相似特征的数据增强方法(简记为数据增强)的有效性, 本文设置消融实验, 在本文方法的基础上分别消除各模块.

上述3个模块在汉-泰、汉-老测试集上的实验结果如表3和表4所示.训练集语料中标注汉-泰+汉-老是采用相似语言联合训练策略的实验结果.

表3

Table 3

表3(Table 3)

表3 在汉-泰测试集上的消融实验结果 Table 3 Results of ablation experiment on Chinese-Thai test set % 组件部分 训练集语料 精确率 召回率 F1值 本文方法 汉-泰+汉-老 94.68 89.10 91.80 -联合训练 汉-泰 83.26 85.64 84.43 -对比学习 汉-泰+汉-老 90.14 92.35 91.23 -数据增强 汉-泰+汉-老 89.08 91.00 90.03 -对比学习和 数据增强 汉-泰+汉-老 80.87 91.95 86.05

表3 在汉-泰测试集上的消融实验结果 Table 3 Results of ablation experiment on Chinese-Thai test set %

表4

Table 4

表4(Table 4)

表4 在汉-老测试集上的消融实验结果 Table 4 Results of ablation experiment on Chinese-Lao test set % 组件部分 训练集语料 精确率 召回率 F1值 本文方法 汉-泰+汉-老 95.52 97.05 96.27 -联合训练 汉-老 70.78 72.36 71.56 -对比学习 汉-泰+汉-老 88.30 98.55 93.14 -数据增强 汉-泰+汉-老 89.41 96.35 92.75 -对比学习和 数据增强 汉-泰+汉-老 78.57 96.80 86.73

表4 在汉-老测试集上的消融实验结果 Table 4 Results of ablation experiment on Chinese-Lao test set %

由表3和表4可以看出, 3个模块都可以有效提升平行句对抽取模型效果.相比完整方法, 消除相似语言联合训练策略使方法在汉-泰和汉-老上分别下降7.37%和24.71%的F1值, 消除孪生对比网络使方法在汉-泰和汉-老上分别下降0.57%和3.13%的F1值, 消除基于语言相似特征的数据增强方法使方法在汉-泰和汉-老上分别下降1.77%和3.52%的F1值, 而同时消除孪生对比网络和基于语言相似特征的数据增强方法使方法在汉-泰和汉-老上分别下降5.75%和9.54%的F1值.

分析消融实验结果可得如下结论.

1)相似语言联合训练策略对方法性能提升明显, 并且在数据规模更小的汉-老句对上取得比汉-泰句对更大的性能提高, 说明相似语言联合训练策略通过共享汉-泰和汉-老中的参数实现跨语言的知识共享, 有效提高方法对泰语和老挝语的学习能力, 显著提高模型性能.

2)孪生对比网络和基于语言相似特征的数据增强方法都能对方法性能进行有效提升, 而利用语言相似特征的数据增强方法对方法性能的贡献更大, 主要原因在于泰语和老挝语在句法上具有较高的相似性, 构造的伪数据质量较高, 将高质量伪数据送入模型进行训练能有效提升模型表征能力.

3)相比去除孪生对比网络和基于语言相似特征的数据增强模块, 去除相似语言联合训练策略后的方法性能下降更明显, 尤其是对于训练数据更少的汉-老任务.这主要是因为汉-泰(20万条)、汉-老(10万条)训练数据稀少, 在低资源场景下, 性能更多受限于数据, 此时增加不同的数据实例可以有效增强方法性能, 而本文的相似语言联合训练策略可以等价为训练过程中针对汉-泰和汉-老任务的数据实例扩充.对比汉-泰联合训练消融结果和汉-老联合训练消融结果可发现, 数据实例的增加对更低资源的汉-老任务提升更大.而对比联合训练消融结果和数据增强消融结果可发现, 相比在原始数据上进行数据扩充的数据增强方法, 引入不同数据实例的相似语言联合训练策略对性能提升更大.

2.4.3 不同词嵌入方法对比

为了验证本文将XLM-R预训练模型应用在平行句对抽取模型中的优越性, 将XLM-R与随机初始化、Word2vec及mBert在相同实验条件下进行对比实验.

测试集为泰语和老挝语时不同词嵌入方法的实验结果如表5和表6所示.

表5

Table 5

表5(Table 5)

表5 不同词嵌入方法在汉-泰测试集上的性能对比 Table 5 Performance comparison of different word embedding methods on Chinese-Thai test set % 词嵌入方法 精确率 召回率 F1值 随机初始化 52.36 53.68 53.01 Word2vec 66.46 73.48 69.79 mBert 81.52 85.28 83.35 XLM-R 94.68 89.10 91.80

表5 不同词嵌入方法在汉-泰测试集上的性能对比 Table 5 Performance comparison of different word embedding methods on Chinese-Thai test set %

表6

Table 6

表6(Table 6)

表6 不同词嵌入方法在汉-老测试集上的性能对比 Table 6 Performance comparison of different word embedding methods on Chinese-Lao test set % 词嵌入方法 精确率 召回率 F1值 随机初始化 56.65 59.72 58.14 Word2vec 62.93 68.51 65.01 mBert 86.27 88.32 87.28 XLM-R 95.52 97.05 96.27

表6 不同词嵌入方法在汉-老测试集上的性能对比 Table 6 Performance comparison of different word embedding methods on Chinese-Lao test set %

由表5和表6可知, XLM-R取得最优值.相比随机初始化方法, 使用预训练方法的模型效果显著提升, 说明预训练词嵌入可有效提升模型表征能力.相比Word2vec, 多语言预训练模型取得更好效果, 说明相比静态词嵌入, 动态词嵌入方法可以获得更适合任务场景的词嵌入表示.相比mBert, XLM-R效果更优, 说明XLM-R可以获得更准确的语义表示.

为了进一步验证本文方法能够优化模型学习能力, 建模更好的表征以提升句对抽取效果, 本节进行实例分析, 对比本文方法和XLM-R抽取汉-泰和汉-老平行句对的结果, 具体如表7和表8所示.

表7

Table 7

表7(Table 7)

表7 汉-泰平行句对抽取结果的实例分析 Table 7 Example analysis of Chinese-Thai parallel sentence pair extraction 泰语 (这种行为违反了公平竞争的原则) 汉语 这种行为违反了规则 标签 不平行 XLM-R 平行 本文方法 不平行

表7 汉-泰平行句对抽取结果的实例分析 Table 7 Example analysis of Chinese-Thai parallel sentence pair extraction

表8

Table 8

表8(Table 8)

表8 汉-老平行句对抽取结果的实例分析 Table 8 Example analysis of Chinese-Lao parallel sentence pair extraction 老挝语 (神经网络突触权重会以一种有序方式进行修改) 汉语 神经网络会以某种方式更新其突触权重 标签 不平行 XLM-R 平行 本文方法 不平行

表8 汉-老平行句对抽取结果的实例分析 Table 8 Example analysis of Chinese-Lao parallel sentence pair extraction

由表7可见, 在汉-泰实例上, 泰语句子的意思与对应汉语意思较相近, 本文方法有效建模泰语句子表示和汉语句子表示, 并正确计算它们的相似度, 将其判定为不平行句对.相比本文方法, XLM-R未利用语言特征和对比表示学习进行多层次优化, 难以构建准确的“ 公平竞争” 编码表示, 从而导致模型的误判, 将其判定为平行句对.分析表明, 本文方法成功增强模型的语义表征能力, 可以对文本的相关度进行更准确地建模, 从而提升模型抽取效果.由表8也可得到相同结论.