为了降低错误字符对句子语义的误导并为MIF-SECCO执行语义融合纠错任务提供多个可靠的互补语义信息, 多输入语义学习阶段主要起到两个作用:1)集成多个现有单输入模型的语义之间互补的初步纠错结果; 2)利用Transformer对前序的多个纠错结果进行充分的语义学习, 为语义融合纠错任务提供更充分、可靠的互补语义信息.

本文以集成3个单输入模型为例对多输入语义学习阶段的工作原理进行详细阐述.具体地, 在多输入语义学习阶段, 给定一个包含n个字符的、有拼写错误的句子

X={x₁, x₂, …, x_n},

首先分别集成3个单输入模型对句子X进行初步纠错, 获得3个初步纠错结果:

A={a₁, a₂, …, a_n},
$B=\{{{b}_{1}}, {{b}_{2}}, {{b}_{3}}, ..., {{b}_{n}}\}$,

C={c₁, c₂, …, c_n}.

初步纠错过程可形式化为

$A=\operatorname{Model}1(X)=\{{{a}_{1}}, {{a}_{2}}, {{a}_{3}}, \cdots , {{a}_{n}}\}$,

$B=\operatorname{Model}2(X)=\{{{b}_{1}}, {{b}_{2}}, {{b}_{3}}, \cdots , {{b}_{n}}\}$,

$C=\operatorname{Model}3(X)=\{{{c}_{1}}, {{c}_{2}}, {{c}_{3}}, \cdots , {{c}_{n}}\}$.

作为同个输入句子X的初步纠错结果, A、B、C包含互补的语义信息, 为MIF-SECCO进行后序语义融合纠错提供更充分、可靠的语义信息.

中文拼写错误包含形近和音近混淆、多音字和字词误用等多种错误类型.由于现有模型的结构以及嵌入特征的不同, 各模型对不同错误类型的纠错效果存在差异.集成单输入模型初步纠错结果能有效整合各模型的纠错优势.本文在多输入语义学习阶段, 集成DCN^[13]、REALISE^[14]和LEAD^[15]这3个现有的单输入模型, 并且, 此阶段可根据单输入模型的纠错特性集成不同的单输入模型, 以此提升MIF-SECCO的纠错性能.

为了实现对多输入互补语义信息的捕获, 该阶段还引入Transformer, 对前序纠错结果进行双向语义建模.在单输入模型分别对句子进行初步纠错后, 将获得的初步纠错结果A、B、C作为中间输入句子, 使用针对中文文本进行预训练的语言模型“ BERT-Base-Chinese” 初始化嵌入层和Transformer层堆栈进行语义建模, 对初步纠错结果进行语义学习, 有效降低错误字符对句子语义的误导.具体地, 对于前序3个预测结果中的句子

A={a₁, a₂, …, a_n},

首先, 通过嵌入层获得具体的句子向量:

H0a=Embedding(A).

然后, 将 H0a馈送至多个Transformer编码器层, 采用多头自注意力对句子进行双向表征学习:

Hla=Transformer_l( Hl-1a), l=1, 2, …, L,

其中L表示Transformer的层数.最后一层的输出

H^a= HLa=( h1a, h2a, …, hna)

作为输入句子A的上下文语义表示.同理, 句子B和句子C的语义表示H^b、H^c也可通过Transformer进行语义学习得到:

H^b= HLb=( h1b, h2b, …, hnb),
${{H}^{c}}=H_{L}^{c}=(h_{1}^{c}, h_{2}^{c}, h_{3}^{c}, \cdots , h_{n}^{c})$.

前序语义表示H^a、H^b、H^c分别表示3个句子A、B、C的语义表示.集成3个单输入模型对错误句子进行初步纠错, 降低句子中错误字符对句子语义的误导, 并利用Transformer对初步纠错结果进行语义学习, 获得3个语义之间互补的语义信息, 为MIF-SECCO进行多语义融合纠错提供更充分、可靠的互补语义信息.

现有的纠错模型大多使用BERT进行句子语义学习, BERT在学习句子语义时, 句子语义容易受到错误字符的误导, 纠错结果也存在局限性.因此, 为了改善现有单输入模型语义信息局限性和缺乏可靠性问题, MIF-SECCO在对比学习驱动的语义融合纠错阶段主要起到两个作用:1)利用对比学习优化的方法优化句子语义信息, 最大化前序句子语义表示与其对应的正确句子语义表示之间的相似性; 2)融合多个优化后的句子语义信息对错误句子进行再纠错, 提升模型纠错结果的完整性, 实现纠错性能的提升.

具体地, 在训练过程中, 同时基于Transformer对正确句子R进行语义编码表示, 即

H^r= HLr=( h1r, h2r, …, hnr).

在每个训练步骤中, 随机抽取N条数据构成一个批次, 针对句子A, 这N条数据与其对应正确句子可构成2N个数据样本, 对应的语义表示为

{ H1r, H2r, …, HNr, H1a, H2a, …, HNa},

对于其中第i个样本, 共有2N-1对, 其中正对的语义表示为 {(Hir, Hia)}i=1N, 其余的2N-2对作为负对.相同方法可构造句子B和句子C进行对比学习优化的正对语义表示 {(Hir, Hib)}i=1N和 {(Hir, Hic)}i=1N, B和C的负对也为2N-2对.在构造的所有句子对中, 本文使用余弦距离度量句子对中两个句子的相似性:

s( Hik1, Hjk2)= Hik1(Hjk2)T‖Hik1‖‖Hjk2‖,

其中, k₁=a, r, k₂=a, r, i=1, 2, …, n, j=1, 2, …, n.为了在不损失一般性的情况下, 针对句子A, 给定第i个样本的损失:

lia=-ln exp(s(Hir, Hia)τ)∑j=1N(exp(s(Hir, Hjr)τ)+exp(s(Hir, Hja)τ)),

其中, τ =1.0, 表示温度超参数.同理, 针对句子B和句子C, 给定第i个样本的损失 lib, lic.为了在训练过程中实现对所有句子的语义进行优化, 在对比学习驱动的语义融合纠错阶段的对比学习优化损失函数为:

l_contrastive= 12N∑i=1N∑t∈{a, b, c}lit.

基于对比学习优化的方法优化句子A、B、C的语义信息, 将它们的语义表示与对应的正确句子的语义表示进行对比学习, 拉近与正确句子语义相似的语义表示, 推远与正确句子不相似的语义表示, 最大化多个句子语义表示与其对应的正确句子语义表示之间的相似性.

前序三个语义互补的初步纠错结果A、B、C为MIF-SECCO进行语义融合纠错提供更充分、可靠的语义信息.因此, 为了改善单输入模型语义信息仅来自单个句子的局限性, 在分别对3个句子的语义信息进行优化后, MIF-SECCO对多个互补语义进行融合:

$\begin{align} & {{H}^{f}}=\text{Fusion}({{H}^{a}}, {{H}^{b}}, {{H}^{c}}) \\ & =(\text{Add}({{H}^{a}}, {{H}^{b}}, {{H}^{c}}){{W}^{f}})+{{b}^{f}} \\ \end{align}$,

其中, Add(· )表示3个互补语义信息的融合, W^f表示可学习的权重, b^f表示偏置参数.多个互补语义融合可为MIF-SECCO进行拼写纠错提供更充分的语义信息.进行语义融合之后获得的语义表示向量H^f可直接通过softmax(· )计算第i个字符的概率分布:

P(y_i)=softmax(W^oh_i+b^o), h_i∈ H^f,

其中, W^o和b^o为可学习网络参数,

y_i=arg max(P(y_i)),

为基于字符的概率分布直接推断的字符.MIF-SECCO最终的预测结果为:

Y={y₁, y₂, …, y_n}.

此过程中本文采用极大似然估计进行参数学习, 并将负对数似然函数作为损失函数.考虑到输入句子中包含的错误字符占少数, 引入焦点损失惩罚, 解决句子中字符不平衡问题, 最终的优化目标为:

${{l}_{predict}}=-\sum\limits_{i=1}^{n}{{{(1-P({{y}_{i}}|X))}^{{{\gamma }_{1}}}}\log P({{y}_{i}}|X)}$,

其中, γ ₁=0.5, 表示控制惩罚权重的超参数.

本文在解码过程中引入Sun等^[19]基于CRF的结构化解码模块, 综合考虑句子相邻字符之间的关系, 预测一个最优结果.对于给定的句子X, 在CRF框架下, 长度为n的目标序列Y的似然函数为:

$\begin{align} & {{P}_{crf}}(Y|X)= \\ & \frac{1}{Z(X)}\exp (\sum\limits_{i=1}^{n}{s({{y}_{i}}, x, i)+}\sum\limits_{i=2}^{n}{t({{y}_{i-1}}, {{y}_{i}}, x, i))} \\ \end{align}$,

其中, Z(X)表示归一化因子, s(y_i, x, i)表示y_i在位置i处的标签得分, t(y_i-1, y_i, x, i)表示y_i-1到y_i的过渡得分.此模块使用负对数似然损失与神经网络进行端到端的联合训练, 同时也引入焦点损失惩罚, 解决句子中字符不平衡问题, 最终的优化目标为:

${{l}_{crf}}=-{{(1-{{P}_{crf}}(Y|X))}^{{{\gamma }_{2}}}}\log {{P}_{crf}}(Y|X)$,

其中, γ ₂=0.5, 表示控制惩罚权重的超参数.

MIF-SECCO在多输入语义学习阶段, 集成多个单输入模型, 对句子进行初步纠错, 并利用Transfor-

mer对多个语义之间互补的纠错结果进行语义学习, 为MIF-SECCO进行多语义融合纠错提供更充分、可靠的互补语义信息.在对比学习驱动的语义融合纠错阶段, 利用对比学习优化的方法, 最大化前序多个句子语义表示与其对应的正确句子语义表示之间的相似性, 并融合多个互补的句子语义信息, 综合推理一个更具可靠性的结果.总之, MIF-SECCO的总体优化目标:

l=(l_predict+l_crf)+λ l_contrastive.

其中:l_predict+l_crf表示一个整体, 共同实现纠错模型训练过程中的参数优化目标; λ 表示对比学习语义优化目标l_contrastive的权重, 主要发挥两个优化目标之间平衡因子的作用.

本文在训练时使用SIGHAN13^[20]、SIGHAN14^[21]、SIGHAN15^[22]数据集的训练集以及271 329个由Wang等^[8]自动生成的样本(简记为Wang271K)作为训练集.在测试时, 使用SIGHAN13、SIGHAN14、SIGHAN15数据集的测试集.数据集的统计信息如表1和表2所示.

表1

Table 1

表1(Table 1)

表1 训练集统计信息 Table 1 Statistical information of training sets 名称 句子总数 平均句子长度 错误个数 SIGHAN15 2338 31.3 3037 SIGHAN14 3437 49.6 5122 SIGHAN13 700 41.8 343 Wang271K 271329 42.6 381962 总计 277804 41.3 390464

表1 训练集统计信息 Table 1 Statistical information of training sets

表2

Table 2

表2(Table 2)

表2 测试集统计信息 Table 2 Statistical information of test sets 名称 句子总数 平均句子长度 错误个数 SIGHAN15 1100 30.6 703 SIGAHN14 1062 50.0 771 SIGAHN13 1000 74.3 1224

表2 测试集统计信息 Table 2 Statistical information of test sets

本文使用针对句子级别的准确性(Accuracy)、精确性(Precision)、召回率(Recall)和F1值评估模型在句子错误检测和错误纠错两个级别的性能.4个指标的计算公式如下:

Accuracy= tp+tntp+tn+fp+fn,
Precision= tptp+fp,
Recall= tptp+fn,
F1= 2×Precision×RecallPrecision+Recall

其中, tp表示正样本被预测为正类的数量, tn表示负样本被预测为负类的数量, fp表示负样本被预测为正类的数量, fn表示正样本被预测为负类的数量.

实验中各单输入模型的训练参数设置与原文献的参数设置保持一致.MIF-SECCO参数设置与BERT-Base-Chinese相同, 最后根据实验环境和调优过程调整训练批次大小和迭代次数, 最终确定的模型具体训练参数设置如表3所示.

表3

Table 3

表3(Table 3)

表3 模型训练参数 Table 3 Model training parameters 参数 DCN REALISE LEAD MIF-SECCO Transformer 层数 12 4 12 12 注意力机制 头数 12 12 12 12 隐藏层大小 768 768 768 768 优化器 AdamW AdamW AdamW Adam 学习率 5e-5 5e-5 5e-5 5e-5 批次大小 16 64 32 45 迭代次数 10 10 10 10

表3 模型训练参数 Table 3 Model training parameters

实验过程使用的CPU为Intel(R) Xeon(R) Platinum 8370C, 内存为48 GB, GPU为A6000.代码开发环境为PyCharm(2021.3.2), 使用的深度学习框架为PyTorch(1.9.0+cu111).

为了验证MIF-SECCO在中文拼写纠错任务中的有效性, 分别选择2020年至2022年的6个基线模型与MIF-SECCO进行性能对比.

1)Soft-Masked BERT^[9].提出一种神经体系结构, 解决BERT错误检测能力较弱的问题.由一个基于Bi-GRU(Bidirectional Gate Recurrent Unit)的错误检测网络和一个基于BERT的错误校正网络组成, 前者通过Soft-Masking技术与后者进行连接.

2)SpellGCN^[11].通过专门的图卷积网络, 将字符的语音和视觉相似性知识纳入中文拼写纠错模型中, 利用音近和形近混淆集对字符之间的关系进行建模, 合并到BERT的纠错模块中开展纠错任务.

3)DCN^[13].通过拼音增强候选汉字生成器生成候选汉字, 再利用基于注意力的网络对相邻汉字之间的依赖关系进行建模.

4)REALISE^[14].基于汉字多模态信息融合的中文拼写纠错模型, 通过语义、语音和图形3个编码器捕获输入字符的对应信息.使用的多模态信息融合机制可控制3种模态特征中参与融合的信息量.

5)LEAD^[15].中文拼写纠错框架, 使中文拼写纠错模型从语音、字形和定义3个维度学习字典中的异构知识, 并基于这些知识构建正负样本, 采用统一的基于对比学习的训练方案对模型的表示进行细化.

6)SCOPE(Spelling Check by Pronunciation Pre-diction)^[23].基于共享编码器的中文拼写纠错模型, 建立两个编码器, 一个用于主CSC任务, 另一个用于细粒度辅助CPP(Character Pronunciation Prediction)任务, 并采用一种自适应加权方案平衡两个任务.

6个基线模型和MIF-SECCO在错别字数据集SIGHAN13、SIGHAN14、SIGHAN15上测试对比结果如表4~表6所示, 表中黑体数字表示最优值.由表可知, 在错误检测和错误纠正两个级别, 对于6个基线模型, SCOPE在SIGHAN13、SIGHAN14数据集上表现最优, LEAD在SIGHAN15数据集上表现最优.MIF-SECCO在SIGHAN13、SIGHAN14、SIGHAN15数据集上的F1值分别比次优方法提升0.9%、1.9%和2.9%, 由此表明MIF-SECCO的有效性.

表4

Table 4

表4(Table 4)

表4 各模型在SIGHAN15数据集上的指标值对比 Table 4 Indicator comparison of different models on SIGHAN15 dataset % 模型 错误检测 错误纠正 准确性 精确性 召回率 F1值 准确性 精确性 召回率 F1值 Soft-Mask BERT SpellGCN DCN REALISE LEAD SCOPE MIF-SECCO 80.9 - - 84.7 - - 85.3 73.7 74.8 77.1 77.3 79.2 81.1 87.1 73.2 80.7 80.9 81.3 82.8 84.3 82.4 73.5 77.7 79.0 79.3 80.9 82.7 84.7 77.4 - - 84.0 - - 84.4 66.7 72.1 74.5 75.9 77.6 79.2 86.8 66.2 77.7 78.2 79.9 81.2 82.3 80.6 66.4 75.9 76.3 77.8 79.3 80.7 83.6

表4 各模型在SIGHAN15数据集上的指标值对比 Table 4 Indicator comparison of different models on SIGHAN15 dataset %

表5

Table 5

表5(Table 5)

表5 各模型在SIGHAN14数据集上的指标值对比 Table 5 Indicator comparison of different models on SIGHAN14 dataset % 模型 错误检测 错误纠正 准确性 精确性 召回率 F1值 准确性 精确性 召回率 F1值 Soft-Mask BERT SpellGCN DCN REALISE LEAD SCOPE MIF-SECCO - - - 78.4 - - 75.5 - 65.1 67.4 67.8 70.7 70.1 79.4 - 69.5 70.4 71.5 71.0 73.1 67.5 - 67.2 68.9 69.6 70.8 71.6 72.9 - - - 77.7 - - 74.9 - 63.1 65.8 66.3 69.3 68.6 79.0 - 67.2 68.7 70.0 69.6 71.5 66.1 - 65.3 67.2 68.1 69.5 70.1 72.0

表5 各模型在SIGHAN14数据集上的指标值对比 Table 5 Indicator comparison of different models on SIGHAN14 dataset %

表6

Table 6

表6(Table 6)

表6 各模型在SIGHAN13数据集上的指标值对比 Table 6 Indicator comparison of different models on SIGHAN13 dataset % 模型 错误检测 错误纠正 准确性 精确性 召回率 F1值 准确性 精确性 召回率 F1值 Soft-Mask BERT SpellGCN DCN REALISE LEAD SCOPE MIF-SECCO - - - 82.7 - - 80.4 - 80.1 86.8 88.6 88.3 87.4 90.0 - 74.4 79.6 82.5 83.4 83.4 82.9 - 77.2 83.0 85.4 85.8 85.4 86.5 - - - 81.4 - - 78.9 - 78.3 84.7 87.2 87.2 86.3 89.4 - 72.7 77.7 81.2 82.4 82.4 82.1 - 75.4 81.0 84.1 84.7 84.3 85.6

表6 各模型在SIGHAN13数据集上的指标值对比 Table 6 Indicator comparison of different models on SIGHAN13 dataset %

但是, MIF-SECCO仍然存在不足, 由表4~表6可知, 为了实现多个互补语义的融合纠错, 同一错误句子经过多个单输入模型初步纠错阶段和互补语义融合纠错阶段, 存在句子在经过单输入模型初步纠错后, 在互补语义融合纠错阶段, 多个句子语义融合后可能将该句子推测成原句的情况, 导致MIF-SEC-CO的召回率低于单输入模型的召回率.同时MIF-SECCO在SIGHAN13、SIGHAN14数据集上的准确性低于REALISE.但综合来看, 相比6个基线模型, MIF-SECCO依然实现纠错性能的提升.

为了验证MIF-SECCO的有效性以及各模块存在的合理性, 在MIF-SECCO的多输入语义学习阶段和对比学习驱动的语义融合纠错阶段进行消融实验.

在多输入语义学习阶段, 分别给出3个单输入模型DCN、REALISE和LEAD在语义之间互补的初步纠错结果.再给出仅使用两个单输入模型进行初步纠错的结果.在对比学习驱动的语义融合纠错阶段, 给出直接集成的结果.上述消融实验只要预测结果与正确句子相同则认为预测结果正确.

各方法在SIGHAN15数据集上的F1值对比如表7所示.

表7

Table 7

表7(Table 7)

表7 各模型在SIGHAN15数据集上的F1值对比 Table 7 F1 value comparison of different models on SIGHAN15 dataset % 模型 检测级别 纠错级别 DCN 79.0 76.3 REALISE 79.3 77.8 LEAD 80.9 79.3 删除DCN 83.0 82.1 删除REALISE 83.3 81.9 删除LEAD 83.5 82.3 删除对比学习 84.4 83.2 直接集成 84.1 83.1 MIF-SECCO 84.7 83.6

表7 各模型在SIGHAN15数据集上的F1值对比 Table 7 F1 value comparison of different models on SIGHAN15 dataset %

由表7可见, 仅融合两个纠错结果的互补语义时的纠错F1值低于MIF-SECCO的F1值.同时, 当融合两个纠错结果的互补语义时, 相比单输入模型, F1值提升3.0%.如果仅是对三个纠错结果进行直接投票集成, 集成结果降低0.5%.如果未使用对比学习对多个句子语义进行优化, F1值达到83.2%, 当使用对比学习优化并融合三个初步纠错结果的互补语义信息进行纠错时, F1值可达到83.6%.结合上述分析可见, MIF-SECCO综合提升纠错性能.

总体优化目标中设置的对比损失权重参数λ 可作为总体优化目标中对比学习语义优化目标l_contrastive和模型的纠错任务参数优化目标l_predict+l_crf之间的平衡因子.本文定义λ =0.1, 1.0, 10, 100, 验证其在总体优化目标中发挥的作用, 具体F1值对比如图2所示.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 不同λ 对MIF-SECCO性能的影响Fig.2 Effect of different λ on MIF-SECCO performance

从平衡因子发挥作用的维度分析, 当λ =1.0, 100时, 纠错F1值相近.主要原因在于当λ =1.0时, MIF-SECCO参数优化目标l_predict+l_crf的优化作用大于对比学习语义优化目标l_contrastive的优化作用.而当λ =100时, 对比学习语义优化目标l_contrastive的优化作用大于纠错模型参数优化目标l_predict+l_crf的优化作用.当λ =10时, 两个优化目标相对平衡并且都发挥较好的优化作用, 因此在3个公开的数据集上, 当λ =10时, MIF-SECCO的纠错F1值最高.

从语义优化的维度分析, 本文使用对比学习作为模型语义优化的方法, 但是关于正负对的构造过程依然采用在批量数据中依次构造正负对的简单方式, 未对负例进行进一步语义级别的筛选, 可能存在一定的噪音.因此当对比优化目标的权重λ 取值发生变化时, MIF-SECCO在SIGHAN13、SIGHAN14、SIGHAN15数据集上的纠错F1值的变化趋势相对平缓.但是根据消融实验可知, 对比学习在语义优化的过程中依然发挥一定作用.

在拼写纠错任务中, 模型获取有用句子语义信息越充分, 越有助于模型进行错误纠正.因此, 本文分别两两组合集成不同的单输入模型和同时集成3个单输入模型, 对句子进行初步纠错, 并融合初步纠错结果的多个互补的句子语义对错误句子进行再纠错, 根据模型纠错性能验证语义融合策略的有效性, 具体F1值如图3所示.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 语义融合策略对性能的影响Fig.3 Effect of semantic fusion strategy on performance

由图3可见, 分别融合两个不同的纠错结果的句子语义和MIF-SECCO的纠错性能存在差异.显然, 当融合的语义个数相同时, MIF-SECCO的纠错F1值因为各单输入模型的性能不同而存在差异, 主要原因在于不同单输入模型纠错结果的错误分布存在区别, 纠错结果语义信息的质量存在差异.当融合三个句子的语义信息时, MIF-SECCO的纠错F1值不仅高于融合两个语义时的纠错F1值, 同时高于各单输入模型的纠错F1值.由此说明, 进行多语义融合纠错时, 融合语义的质量以及语义的数量都会对MIF-SECCO的纠错性能产生影响, 这也说明多语义融合纠错的有效性.

由于中文文本错误的复杂性, 通用的拼写纠错模型应具备优异的泛化性能.为了验证MIF-SECCO的泛化性能, 构造不同的训练集训练模型.通过去除SIGHAN15数据集的训练集以构造MIF-SECCO和3个单输入模型的训练集, 并利用训练的模型在SIGHAN15数据集的测试集上进行测试.当训练集上不包含SIGHAN15数据集时, MIF-SECCO的检测F1值和纠错F1值分别为84.1%和82.9%, 训练集上包含SIGHAN15数据集时, MIF-SECCO的检测F1值和纠错F1值分别为84.7%和83.6%, 相比不包含SIGHAN15训练集时F1值, 仅降低0.6%和0.7%.并且, 相比6个基线模型, 当训练集上不包含SIGHAN15训练集时, MIF-SECCO在SIGHAN15测试集上的纠错F1值依然实现2.2%的提升.由于SIGHAN15数据集的训练集上包含2 338个句子, 训练集的数量也是影响方法性能的因素, 因此验证MIF-SECCO具备较优的泛化性能.这得益于MIF-SECCO包含单输入模型初步纠错阶段和多语义融合纠错阶段, 这两个纠错阶段在句子纠错过程中相互补充, 不仅弥补单输入模型初步纠错的不足, 还进一步保证整个句子纠错的完整性.

MIF-SECCO包含多输入语义学习阶段和对比学习驱动的语义融合纠错阶段, 分别涵盖单输入模型的初步纠错和多语义融合纠错两个纠错过程.

如表8所示, 利用单输入模型对“ 原句” 进行直接投票集成的纠错结果缺乏完整性.同时, 如果利用MIF-SECCO, 在多输入语义学习阶段, 对3个语义互补的初步纠错结果进行语义学习, 并在对比学习驱动的语义融合纠错阶段对语义进行对比学习优化后执行互补语义融合纠错, 最终实现“ 原句” 的完全纠正.由此表明互补语义融合纠错可保证纠错的完整性, 提升纠错性能.

表8

Table 8

表8(Table 8)

表8 互补语义融合纠错示例 Table 8 Example of complementary semantic fusion error correction 模型 示例 原句 李大明告诉他德老师, “ 真的不好意思, 下次我很小心。” DCN 李大明告诉他的老师, 真真的不好意思, 下次我很小心。你 REALISE 李大明告诉她德老师, “ 真的不好意思, 下次我很小心。” LEAD 李大明告诉他德老师, “ 真的不好意思, 下次我很小心。” 直接集成 李大明告诉他德老师, “ 真的不好意思, 下次我很小心。” MIF-SECCO 李大明告诉他的老师, “ 真的不好意思, 下次我很小心。”

表8 互补语义融合纠错示例 Table 8 Example of complementary semantic fusion error correction