为了增强方法在样本数量有限情况下的语义表示能力, 本文引入医学领域知识图谱, 提供外部知识.知识图谱的基本组成单位是三元组(h, r, t), 其中h为头实体(Head Entity), t为尾实体(Tail En-tity), r为头、尾实体之间的关系.相比K-BERT^[16], 本文在加入外部知识的同时构建同义词表, 用于解决医学术语称谓多样性的问题, 并对候选三元组进行筛选.具体步骤如下.

1)建立医学同义词表, 将问答对中的疾病转化为统一术语.如图2所示, 首先使用中文分词工具pkuseg^[19]对问答对序列text进行分词并筛除中文停用词, 得到包含医学术语的序列sent={s₁, s₂, …, s_k}.再利用百度百科的重定向功能搜索sent中的词, 构建一张包含医学疾病名称的同义词表.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 医学同义词表构建流程Fig.2 Process of constructing medical thesaurus

2)引入外部知识.遍历sent序列, 若序列中某个词或其同义词在医学知识图谱的头实体集head=(e₁, e₂, …, e_n)中出现, 则将该头实体对应的三元组添至候选三元组.为了避免引入与文本无关的噪声信息, 本文对候选三元组进行筛选后加入序列, 筛选标准为:对于一对问答序列, 若候选三元组中的头实体在序列对中出现, 将该三元组的尾实体连接到序列中, 获得最终的问句序列Q₂、答句序列A₂与问答对序列text₂.

例如, 图3中对于序列对< “ 感冒发烧吃什么食物?” , “ 应当饮食清淡, 可以多喝点粥.” > , 感冒为知识图谱实体集head中的实体, 因此作为头实体的三元组均被列为候选三元组.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 外部知识加入问答模型Fig.3 Process of adding external knowledge into Q& A model

若候选三元组中存在尾实体在序列对中出现, 则将其连接到序列对中的相应实体后, 最终得到序列:

Q₂=“ 感冒粥发烧发烧吃什么食物?” ,

A₂=“ 应当饮食清淡, 可以多喝点粥.” ,

text₂=“ 感冒粥发烧发烧吃什么食物?应当饮食清

淡, 可以多喝点粥.”

3)采用预训练模型BERT加微调的方式提取增广序列的特征, 增强方法的语义表示能力.

目前主流的问答匹配方法都基于深度学习模型, 将问答对之间的语义匹配问题视为二分类任务.然而, 当问答对中出现相同词句时, 会影响深度学习模型的性能.例如:对于问句“ 发烧吃什么药?” , 答句“ 可以吃鸡蛋, 喝粥.” 两句话中都出现“ 吃” 这一谓语, 可能会干扰已有方法而将该问答对误判为匹配.受Miao等^[12]的启发, 本文将问答对中的关键词引入方法, 在BERT的基础上增添一个关键词注意力机制, 用于解决上述问题.在上例中, 如果对问答对中的关键词“ 药” 给予更高的关注, 会提高匹配的准确度.关键词注意力机制的流程如图4所示, 具体步骤如下.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 关键词注意力机制流程图Fig.4 Keyword attention mechanism

1)使用中文关键词提取工具CKPE(https://github.com/dongrixinyu/chinese_keyphrase_extra

ctor)提取序列

text={q₁, q₂, …, q_n, a₁, a₂, …, a_m}

中的关键词.CKPE借鉴Teneva等^[20]的方法, 使用隐含狄利克雷分布(Latent Dirichlet Allocation, LDA)推断主题分布, 提取文档中的名词短语并排序, 实现关键词的抽取.算法具体过程如下:首先, 使用pkuseg进行分词和词性标注, 计算文本中每个词的TF-IDF(Term Frequency-Inverse Document Fre-quency)权重.然后, 将权重较高的相邻词合并为关键碎片词(Key Fragment Words), 将相邻的关键碎片词融合并重新计算权重, 得到候选的关键短语(Key Phrases).最后, 使用预训练好的LDA计算文本与每个候选关键短语的主题概率分布并作为其权重, 最终筛选原文本的关键词.

2)由于外部知识三元组实体本身可视为关键信息, 因此将筛选的实体也标记为关键词, 与1)中筛选的关键词一起加入注意力机制进行学习.

3)在BERT最上层引入一个关键词注意力层, 并接受BERT下层学习得到的参数.为关键词生成关键词注意力掩码序列:

M_Q=(t₁, t₂, …, t_n, 0, 0, …, 0), MA₌(0, 0, …, 0, t1_, t2_, …, tm₎, M=(t1, _t2, _…, tn+_m),

其中, n为问句序列长度, m为答句序列长度, t_i∈ {0, 1}.M_Q、M_A、M与问答对序列text₂等长, text₂中标注为关键词的位置在关键词注意力掩码序列中对应为1, 其余位置对应为0.

例如, 对于序列“ 胃反流吃什么药?可以吃奥美拉唑.” 抽取的关键词为奥美拉唑、胃、药, 则

M_Q=(1, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0),

M_A=(0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 0),

M=(1, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 1, 1, 1, 1, 0).

使用M对自注意力机制的计算结果进行掩藏.训练模型得到包含问答对关键词信息的表示向量O_kw.

4)计算问句关键词和答句关键词之间互信息:

h_diff=(h_kw(Q)-h_kw(A))⊕(h_kw(A)-h_kw(Q)),

其中, 􀱇表示连接运算符, h_kw(· )表示O_kw与M_· 进行Hadamard积,

h_kw(Q)=O_kw☉M_Q, hk_w(A)=Ok_w☉MA_.

5)将问答对的不同表示进行拼接, 用于分类:

h_kw=h(CLS)⊕h_kw(Q)⊕h_kw(A)⊕h_diff,

其中h(CLS)为BERT的学习结果.

实验使用2个公开的中文医疗问答数据集:cMedQA数据集^[21]和webMedQA数据集^[22].

cMedQA数据集的数据来自寻医问药网, 问题通常由用户提出, 回复来自专业医生.通常一个问题会得到多个回复.数据集划分为3个子集:训练集、开发集、测试集, 共有54 000个问题句子与101 743个答案句子.问题句子的平均字数为119, 答案句子的平均字数为212.

webMedQA数据集的数据来源于专业健康咨询网站(如百度医生、120Ask等).用户先填写个人信息, 然后描述健康问题及问题类别.这些问题对所有注册的临床医生和用户开放, 直到问题提出者选择最满意的答案并关闭问题为止.数据集同样划分为3个子集:训练集、开发集、测试集, 共有63 284个问题句子与306 620个答案句子.问题句子的平均字数为86, 答案句子的平均字数为147.

由于cMedQA数据集上存在大量的负样本, 为了在训练中平衡正负样本的比例及测试模型在不同样本数量下的性能, 本文按照webMedQA数据集的正负样本比例1∶ 5分别从2个数据集上顺序抽取样本量为9 000与54 000的样本, 构造新的实验数据集.统计信息如表1和表2所示.

表1

Table 1

表1(Table 1)

表1 cMedQA-9000与cMedQA-54000数据集的统计信息 Table 1 Statistical information of cMedQA-9000 and cMedQA-54000 datasets 数据集 cMedQA-9000 cMedQA-54000 问题 句子数 答案 句子数 每句问题 平均字数 每句答案 平均字数 问题 句子数 答案 句子数 每句问题 平均字数 每句答案 平均字数 训练集 626 8000 44.25 101.13 3691 48000 45.52 101.07 测试集 97 1000 52.59 104.88 541 6000 50.39 103.01 总计 723 9000 48.42 103.01 4232 54000 47.96 102.04

表1 cMedQA-9000与cMedQA-54000数据集的统计信息 Table 1 Statistical information of cMedQA-9000 and cMedQA-54000 datasets

表2

Table 2

表2(Table 2)

表2 webMedQA-9000与webMedQA-54000数据集的统计信息 Table 2 Statistical information of web MedQA-9000 and webMedQA-54000 datasets 数据集 webMedQA-9000 webMedQA-54000 问题 句子数 答案 句子数 每句问题 平均字数 每句答案 平均字数 问题 句子数 答案 句子数 每句问题 平均字数 每句答案 平均字数 训练集 2842 8000 60.01 90.63 17059 48000 60.27 91.00 测试集 347 1000 59.08 92.27 2114 6000 59.30 90.30 总计 3189 9000 59.55 91.45 19173 54000 59.79 90.65

表2 webMedQA-9000与webMedQA-54000数据集的统计信息 Table 2 Statistical information of web MedQA-9000 and webMedQA-54000 datasets

本文使用深度学习框架 Tensorflow1.14在Ubuntu 18.04上训练和测试各方法.使用分词工具pkuseg并加载工具自带的医学辞典进行分词, 使用CKPE工具包实现关键词提取.采用BERT加微调的方式提取文本特征.BERT的参数设置如下:隐藏层数为12, 隐藏尺寸为768, 自注意力头数为12, 训练批次设置为10, 问题和答案的最大序列长度均为128字符.

本文共进行4个对比实验.每个对比实验各进行3次, 最终结果取其平均值.

本文选择如下对比方法.

1)ABCNN^[7].使用基于注意力的CNN, 并采用相似矩阵计算文本对的相似度.

2)SiaGRU^[8].使用2个共享权重的 LSTM对2个句子编码生成长度相同的向量, 对比2个句子的相似性.

3)ESIM^[9].使用改进的LSTM预测句子对之间的关系.

4)BIMPM^[10].利用双向LSTM提取文本特征后结合4种匹配方式进行匹配.

5)RE2^[11].快速的文本匹配模型, 保留3个用于序列间对齐的关键特性并简化剩余组件.

6)BERT^[13].

7)K-BERT^[15].将知识图谱的三元组引入BERT, 提出软位置编码与可视矩阵, 解决知识噪声问题.

问答匹配本质上是一个分类问题, 本文采用准确率(Accuracy, Acc)与F₁值作为评价指标.

各方法在2个数据集上不同样本量下的实验结果如表3和表4所示, 表中黑体数字表示最优结果, 斜体数字表示次优结果.

表3

Table 3

表3(Table 3)

表3 各方法在cMedQA数据集上不同样本量下的实验结果 Table 3 Results of different models with different sample sizes on cMedQA dataset % 方法 cMedQA-9000 cMedQA-54000 cMedQA Acc F1 Acc F1 Acc F1 ABCNN 78.3± 0.3 49.8± 0.5 83.2± 0.2 57.1± 0.4 98.1± 0.4 46.6± 0.5 ESIM 83.2± 0.3 56.7± 0.4 83.3± 0.4 73.6± 0.3 98.5± 0.3 58.5± 0.6 SiaGRU 82.9± 0.4 50.2± 0.5 83.3± 0.3 71.2± 0.7 98.1± 0.3 56.2± 0.4 BIMPM 83.2± 0.3 48.1± 0.3 86.5± 0.2 70.6± 0.3 97.8± 0.4 54.4± 0.5 RE2 84.1± 0.4 36.6± 0.4 83.5± 0.6 68.1± 0.5 98.3± 0.3 49.3± 0.5 BERT 93.3± 0.3 77.1± 0.6 94.7± 0.2 83.0± 0.5 98.6± 0.2 67.0± 0.7 K-BERT 94.5± 0.3 76.6± 0.4 94.2± 0.2 79.9± 0.5 98.7± 0.2 63.2± 0.4 KK-BERT 94.6± 0.2 82.6± 0.5 95.0± 0.1 84.0± 0.3 98.7± 0.1 67.3± 0.4

表3 各方法在cMedQA数据集上不同样本量下的实验结果 Table 3 Results of different models with different sample sizes on cMedQA dataset %

表4

Table 4

表4(Table 4)

表4 各方法在webMedQA数据集上不同样本量下的实验结果 Table 4 Results of different models with different sample sizes on webMed dataset % 模型 webMedQA-9000 webMedQA-54000 webMedQA Acc F1 Acc F1 Acc F1 ABCNN 74.1± 0.2 45.1± 0.4 78.3± 0.2 53.4± 0.2 79.5± 0.2 45.4± 0.2 ESIM 75.3± 0.3 52.5± 0.5 78.7± 0.2 52.4± 0.3 79.5± 0.2 50.1± 0.4 SiaGRU 78.9± 0.3 36.3± 0.6 76.4± 0.2 48.4± 0.4 72.1± 0.2 48.9± 0.3 BIMPM 76.1± 0.2 48.1± 0.3 82.3± 0.3 58.1± 0.4 82.9± 0.2 40.1± 0.5 RE2 81.2± 0.4 44.7± 0.5 78.1± 0.4 52.3± 0.6 81.2± 0.2 41.1± 0.4 BERT 84.6± 0.3 68.9± 0.5 87.3± 0.3 72.8± 0.5 84.4± 0.2 61.3± 0.7 K-BERT 82.0± 0.3 56.2± 0.6 84.9± 0.2 68.8± 0.4 86.1± 0.2 50.5± 0.4 KK-BERT 86.6± 0.2 72.8± 0.4 87.6± 0.3 75.1± 0.5 87.3± 0.3 65.9± 0.6

表4 各方法在webMedQA数据集上不同样本量下的实验结果 Table 4 Results of different models with different sample sizes on webMed dataset %

由表3和表4可见, BERT及基于BERT的变体模型在问答匹配任务上效果明显优于基于CNN和LSTM的传统深度学习模型.这说明预训练词向量模型在中文自然语言处理任务上同样具有强大的学习能力.在所有模型中, KK-BERT取得最优结果.在cMedQA-9000、webMedQA-9000数据集上, 相比BERT, KK-BERT的准确率分别提升1.1%与2.0%.这验证外部知识与关键词注意力机制的引入有助于提高方法的判别精度.在同一数据集中, 在样本数量较少时, 从BERT到KK-BERT的性能提升更明显.这说明KK-BERT可有效弥补样本数量不足的情况.

KK-BERT的不同部件对方法性能的影响如图5所示.在图中, BERT_kw表示仅加入关键词注意力的BERT, BERT_kg表示仅加入外部知识的BERT.由图可看出, 分别引入外部知识和关键词注意机制后, 性能得到提升, 但没有明显的证据表明哪个模块的提升效果更大.在绝大部分数据集上, KK-BERT取得最优结果.KK-BERT的性能普遍高于BERT_kg, 这说明关键词注意力机制的加入可让方法更鲁棒, 降低知识噪声的干扰.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 KK-BERT的不同部件对性能的影响Fig.5 Effect of different components of KK-BERT on performance

为了对比各方法的匹配效率, 记录它们在cMedQA-9000数据集上每1 000个样本的匹配时间, 结果如图6所示.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 各方法的匹配时间对比Fig.6 Matching time comparison of different methods

由图6可看到, 基于BERT的问答匹配方法的匹配效率要远低于基于非预训练的深度学习方法.主要原因是前者具有更深的层数与更大的参数量.不过, 对于单个样本而言, KK-BERT的响应速度约为0.015 s, 基本满足现实使用的需求.

为了进一步探究不同关键词提取方法对模型性能的影响, 选取如下关键词提取方法:CKPE、TF-IDF、TextRank^[23].在webMedQA-9000、webMedQA-54000数据集上对比使用不同关键词提取方法的KK-BERT, 如图7所示.由图可知, 使用CKPE的KK-BERT在2个数据集上的性能均优于使用TextRank和TF-IDF的KK-BERT.一个可能的原因是, CKPE对关键词权重的多次重新计算有利于提取更高质量的关键词, 从而增强方法与外部知识的交互.

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 不同关键词提取算法对KK-BERT的影响Fig.7 Effect of different keyword extraction algorithms on KK-BERT