设Y为冶金领域数据集

D_target=X={s₁, …, s_i, …, s_n}

中句子集X对应的标签集合, 其中

s_i={char₁, …, char_j, …, char_n}

表示文档中第i个句子, char_j表示句子s_i的第j个字符.给定预训练源数据集D_source, 对命名实体识别模型f₀进行预训练, 构建通用命名实体模型f'₀.

本文目标是在目标冶金领域数据集D_target下, 微调根据冶金领域实体特性修改后的通用命名实体识别模型f'₀, 获取冶金命名实体识别模型:

$f_{0} \xrightarrow[D_{\text {source }}]{\text { 训练 }} f_{0}^{\prime} \xrightarrow[D_{\text {target }}]{\text { 微调 }} f,$

使标签集合Y中的标签为正确的冶金命名实体标签, 即

Y=f(X)=f(s₁, s₂, …, s_n).

本文首先使用BiLSTM-CRF进行迁移学习, 再对迁移模型进行领域知识的融入和短语结构的约束, 在使用少量冶金领域训练数据进行微调后, 完成冶金领域命名实体识别模型的构建.

基于字符级的命名实体识别往往忽略词级的信息, 基于词级的命名实体识别往往忽略词相关领域知识的导向作用.借鉴SoftLexicon(LSTM)^[12]、La- ttice LSTM^[13]的思想, 即通过将词典中的词汇匹配到文本中的字符上实现SoftLexicon特征提取.每个字符根据其所在词汇中的位置标记为B(开始)、M(中间)、E(结束)或S(单独).这种在字符嵌入中加入标签信息, 可提升字符的语境表示.再通过序列编码器Bi-LSTM(Bi-directional Long Short-Term Me-mory)处理这些增强的嵌入, 提升在NER任务中的精确性.本文将基于字符相关的领域知识融入命名实体识别迁移模型中.

本文的字符相关的领域知识分为两部分:1)字符char_i的领域知识向量; 2)字符在输入序列中形成的字符相关边界词向量及边界词的领域知识向量的融合.

1.2.1 字符的领域知识向量表示

与字符语义相似的冶金领域词汇对应的向量通过加权求和的形式组成输入序列中的字符领域知识向量.通过字符向量与词向量相似度算法, 在冶金基础词典中寻找与输入序列中字符相似的词.找出与目标字符最相关前N个领域词w_j.字符和词使用同一个Gensim库(https://github.com/piskvorky/gensim)中的Word2Vec模型转换成向量, 在Gensim中, 使用most_similar函数获取与查询词语义相似的前N个词, 分别计算这前N个词和char_i的语义相似度:

si mijchar=similar(e(char_i), e(w_j)).

词word_j对字符char_i的相关性系数如下所示:

$\begin{aligned}\alpha_{i j}^{\text {char }}= & \operatorname{softmax}_{j}\left(\operatorname{sim}_{i j}^{\text {char }}\right)= \\& \frac{\exp \left(\sigma\left(\operatorname{sim}_{i j}^{\text {char }}\left(\boldsymbol{e}\left(\operatorname{char}_{i}\right), \boldsymbol{e}\left(w_{j}\right)\right)\right)\right)}{\sum_{k \in N_{i}} \exp \left(\sigma\left(\left(\operatorname{sim}_{i k}^{\text {char }}\left(\boldsymbol{e}\left(\operatorname{char}_{i}\right), \boldsymbol{e}\left(w_{k}\right)\right)\right)\right)\right)}, \end{aligned}$

其中, σ =sigmoid()函数, 以便向量各维度数据在0和1之间归一化数据.

字符char_i的领域知识向量为:

$\boldsymbol{e}^{c}\left(\operatorname{char}_{i}\right)=\sigma\left(\sum_{j \in N_{i}} \alpha_{i j}^{\text {char }} \boldsymbol{e}\left(w_{j}^{\mathrm{sim}}\right)\right),$

该向量通过与输入序列中的字符char_i语义相关的词向量加权形成, 其中 wjsim表示与输入序列字符char_i语义相关的第j个词.

领域知识向量融合邻居信息过程如图2所示, 对字符“ 金” 进行领域知识向量化表示时, 与该字符相关的词“ 冶金技术” 、“ 材料” 、“ 真空冶金” 、“ 智能冶金” 按照融合公式乘以相关性比例进行信息融合.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 领域知识向量融合邻居信息过程示例Fig.2 Process of fusing neighborhood information with domain knowledge vectors

1.2.2 字符相关边界词向量及边界词的领域知识向量的融合

文献[12]和文献[13]的实验说明, 融入字符相关边界词信息有助于命名实体识别任务效果的提升.借鉴Zhang等^[13]的思想, 本文融合字符相关边界词向量及边界词的领域知识向量, 并最终融入字符信息中.对于任意一个输入序列

s={char₁, char₂, …, char_n},

word_ij为其子序列{char_i, char_i+1, …, char_j}即序列s中的词.

对匹配的边界词进行分类.每个字符均存在相关的几个词.本文将字符对应的边界词进行分类, 对于在输入序列

s={char₁, char₂, …, char_n}

中的每个字符char_i, 分成与分词标签“ BMES” 对应的四类词:

B(char_i)={w_{i, k}, ∀ w_{i, k}∈ L, i< k≤ n},

M(char_i)={w_{j, k}, ∀ w_{j, k}∈ L, 1≤ j< i< k≤ n},

E(char_i)={w_{j, i}, ∀ w_{j, i}∈ L, 1≤ j< i},

S(char_i)={char_i, ∃char_i∈ L},

其中, L表示所有输入序列经文本解析构成的词典, B(char_i)表示与char_i相关的所有标记为开始标签的词集合, M(char_i)表示与char_i相关的所有标记为中间标签的词集合, E(char_i)表示与char_i相关的所有标记为结尾标签的词集合, S(char_i)表示与char_i相关的所有标记为单独词标签的词集合.

本文方法就是将与char_i相关的分词标签“ BMES” 对应的四类词及该词相关的领域知识进行融合.如图3所示, 在“ 智能冶金技术在真空冶金中的应用” 这句有15个字的句子中, 存在词w_{1, 2}(智能)、w_{3, 4}(冶金)、w_{1, 2, 3, 4, 5, 6}(智能冶金技术)、w_{4, 5}(技术)等, 同时根据分词标签“ BMES” 的标记规则, 句子中的每个字符都可产生对应的词组.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 模型字符输入序列的字符相关词汇解析示例Fig.3 Example of character-related vocabulary parsing for sequence of model character input

例如:字符C₃“ 冶” 对应的词组为

B={冶金, 冶金技术}, M={智能冶金},
E={None}, S={None}.

根据后续字符相关词语融合规则, 可将标记规则“ BMES” 的词进行融合.

对匹配到的词进行向量化.与char_i相关的分词标签“ BMES” 对应的四类词的信息需要进行编码方能融入对应字符的表示信息中.每一类型的词的表示信息编码到固定维度的向量中.与字符相关的一类边界词的向量化表示如下所示:

$\begin{array}{l}\boldsymbol{e} \mathbf{2} \boldsymbol{c}(\text { words })= \frac{4}{N_{w \in w o r d s}} \sum^{n} n(w) \boldsymbol{e}^{w}(w) \text { where } N \in \sum_{w \in B \cup M \cup E \cup S} n(w), \end{array}$

上式将词统一映射到对应字符char_i的固定维度向量中, 其中, words表示某一种标记类型的词集合, w表示具体的某一个词, e^w(w)表示边界词w融合领域知识后的词向量化表示, 即边界词w的领域知识向量, n(w)表示词w在输入序列中出现的频率.第i个词w融合领域知识后的词向量化表示:

$\boldsymbol{e}^{w}(w)=\boldsymbol{e}\left(\text { word }_{i}\right) \| \sigma\left(\sum_{j \in N_{i}} \alpha_{i j} \boldsymbol{e}\left(\text { word }_{j}\right)\right),$

其中

$\begin{array}{l}\alpha_{i j}=\operatorname{softmax}_{j}\left(\operatorname{sim}_{i j}\right)= \\\frac{\exp \left(\sigma\left(\operatorname{sim}_{i j}\left(\boldsymbol{e}\left(\operatorname{word}_{i}\right), \boldsymbol{e}\left(\operatorname{word}_{j}\right)\right)\right)\right)}{\sum_{k \in N_{i}} \exp \left(\sigma\left(\left(\operatorname{sim}_{i k}\left(\boldsymbol{e}\left(\operatorname{word}_{i}\right), \boldsymbol{e}\left(\operatorname{word}_{k}\right)\right)\right)\right)\right)}, \\\operatorname{sim}_{i j}=\operatorname{similar}\left(\boldsymbol{e}\left(\operatorname{word}_{i}\right), \boldsymbol{e}\left(\operatorname{word}_{j}\right)\right) .\end{array}$

σ 表示sigmod()函数, 以便向量各维度数据在0和1之间归一化.e^w(w)的领域知识向量的算法与字符的领域知识向量算法相似, 可参照字符char_i的领域知识向量计算方法.

将与char_i相关的分词标签“ BMES” 对应的四类词融合后进行向量化表示:

e2c(B, M, E, S)=
[e2c(B)‖ e2c(M)‖ e2c(E)‖ e2c(S)].

1.2.3 输入序列中以字符为单位的向量化表示

输入序列是以字符为单位进行模型输入, 此时以字符为单位的融合领域知识和边界词信息的输入向量为:

e(inputchar)=e(char)‖ ec⁽char)‖ e2c(B, M, E, S),

该向量是由字符本身的向量e(char)、字符char的领域知识向量e^c(char)、字符char相关边界词向量及边界词的领域知识向量e2c(B, M, E, S)进行向量拼接而成.

冶金领域的命名实体大致分为金属元素类、矿石矿物类、冶金材料类、冶金产品类、冶金工艺类、冶金环保类、冶金技术类、冶金企业和机构类、冶金设备类、冶金专业术语类.每类命名实体都较长, 存在的子词结构对于命名实体识别都有一定影响作用.例如:冶金技术类中的实体中一般结构为前缀修饰词+动词+后缀“ 技术” 的情况.

本文将10类命名实体的短语结构信息进行总结, 利用n-gram特征捕捉短语结构, 将特征信息写入原模型CRF部分的特征模板中, 将模板信息分为词级模板和字符级模板, 进一步提高对冶金命名实体的识别能力.

本文方法基于字符模板(基于词的模板定义方法类似)即字符的特征函数f_i的定义如下.

设句子

S={char₁, char₂, …char_n},

char_n表示句子S的第n个字符.字符特征函数:

f=f(S)=f(char₁, char₂, …, char_n)=

{f(char₁), f(char₂), …, f(char_n)},

其中,

f(char_i)=[score₁, score₂, …, score_m],

变量score_j表示字符char_i的特征函数f(char_i)对应的第j类冶金实体类别的打分.

基于字符的特征函数获取过程如下.

算法1 char_ features()

输入 sentence S={char₁, char₂, …, char_n},

输出 Categories Score List[score₁, score₂, …

score_m] for each char

for char_i∈ S do

featur echari=Markfeature(char_i, S)

ScoreLis tchari=Score( featur echari)

ScoreList_sentence← {ScoreLis tchari}

end for

return ScoreList_sentence

算法1中Markfeature(char_i, S)表示对字符char_i进行特征标记, 包括一些基础特征的标记, 如词性判断、是否是前缀词等, 还有一些复合特征的判断, 如是否符合“ 冶金技术类” 的字符, 即符合前缀修饰词+动词+后缀“ 技术” 的情况, 如本字符是技术的“ 技” , 则前一个字符应是动词属性的一个字符.命名实体的10种类型的特征模型情况很多, 篇幅有限, 不再赘述.

迁移模型的标签预测的输入由冶金领域知识融入模型Bi-LSTM输出的标签概率和短语结构特征函数模型输出的特征分数共同作为输入信息.结合Bi-LSTM与基于短语结构约束的CRF模型的输出, 在CRF解码端共同计算得出冶金实体类别的概率.由少量冶金标记语料对迁移模型进行微调训练后获得分数的预测.

在输入的句子序列为X时产生标签Y的概率:

p(Y|X)=$\frac{1}{Z\left(x_{e}, x_{f}\right)} \exp \left(\sum_{j=1}^{n} \sum_{i=1}^{m} \lambda_{i} f_{i}\left(y_{j-1}, y_{j}, x_{e}, x_{f}\right)\right)$.

其中:

$Z\left(x_{e}, x_{f}\right)=\sum_{y} \exp \left(\sum_{j=1}^{n} \sum_{i=1}^{m} \lambda_{i} f_{i}\left(y_{j-1}, y_{j}, x_{e}, x_{f}\right)\right)$

表示归一化因子, 是所有输出序列标签结果的分值相加; x_e表示以字符e^c(char)的序列作为输入, 经过Bi-LSTM计算后的输出; x_f表示字符输入序列经过特征函数char_ features()计算后的字符特征分数序列; $\sum_{j=1}^{n}$表示对序列中字符情况的汇总, $\sum_{i=1}^{n}$表示对每个字符的特征情况的汇总; λ _i表示特殊函数的权重; f_i表示字符的特征函数.

损失函数如下所示:

$\begin{aligned}L= & -\ln p(Y \mid X)= \\& -\ln \left(\frac{\exp \left(\sum_{j=1}^{n} \sum_{i=1}^{m} \lambda_{i} f_{i}\left(y_{j-1}, y_{j}, x_{e}, x_{f}\right)\right)}{\sum_{y} \exp \left(\sum_{j=1}^{n} \sum_{i=1}^{m} \lambda_{i} f_{i}\left(y_{j-1}, y_{j}, x_{e}, x_{f}\right)\right)}=\right. \\& \sum_{j=1}^{n} \sum_{i=1}^{m} \lambda_{i} f_{i}\left(y_{j-1}, y_{j}, x_{e}, x_{f}\right)+ \\& \sum_{y} \exp \left(\sum_{j=1}^{n} \sum_{i=1}^{m} \lambda_{i} f_{i}\left(y_{j-1}, y_{j}, x_{e}, x_{f}\right)\right)\end{aligned}$_.

冶金领域文献数据集上的命名实体共分为10类, 具体如表1所示.冶金命名实体领域特性明显, 实体内短语结构与子词结构特征明显, 传统的命名实体方法在少量标记语料下识别能力较弱.

表1

Table 1

表1(Table 1)

表1 冶金领域实体分类 Table 1 Entity classification of metallurgical domain 类别 实体示例 数量 金属元素 铁、铝、钢 96 冶金材料 钢、铝合金、铜合金 601 冶金产品 铜带、钛合金管、铸铁零件 770 矿石矿物 铁矿石、铜矿石、铝土矿 740 冶金设备 高炉、转炉、电弧炉 980 冶金专业术语 高温冶金、粉末冶金、金属腐蚀 1248 冶金环保 温室气体减排技术、低碳冶金技术、能源回收与利用技术 85 冶金企业与机构 中国宝武钢铁集团有限公司、鞍钢集团公司、武汉钢铁集团公司 675 冶金工艺 全自动冶金生产线、精密铸造技术、金属3D打印 889 冶金技术 先进冶金材料、智能冶金技术、高效冶金工艺 1649 共计 7733

表1 冶金领域实体分类 Table 1 Entity classification of metallurgical domain

本文使用Resume数据集(https://github.com/nirajkale/ResumeNER)和自行标注的冶金领域文献数据集(简记为Metallurgical)进行实验.Resume数据集包含1.2× 10⁵个字符标注训练数据, 1.5× 10⁴个字符标注测试数据, 用于训练通用模型.Metallurgical数据集包含8 000多个字符标注数据, 用于对迁移模型进行修正后的训练调整, 从而使模型在使用少量的冶金命名实体标注数据的情况下, 能识别冶金文献的命名实体.

使用通用语料训练通用模型时, 设置迭代次数为100, 字符嵌入大小为250, 隐层大小为300, 模型的学习率为0.001 5, 优化器选择Adam(Adaptive Moment Estimation), 失活率设为0.5.

2.2.1 对比方法

本文选择如下对比方法.

1)SoftLexicon(LSTM)^[12].基于词典的中文命名实体识别方法.将词汇信息融入字符向量中, 融合基于字符和基于词汇的命名实体识别方法, 有效提升NER的准确性.

2)Lattice LSTM^[13].中文NER的LSTM的经典方法.相比基于字符的方法, 该方法显性利用词和词序信息.相比基于词的方法, 该方法完整嵌入词语信息, 不会出现分词错误.

3)文献[14]方法.命名实体识别领域一种常用的序列标注模型, 目前常用的基于词级别的NER模型之一.因其在长距离依赖和标签依赖关系上的优势而被广泛应用于命名实体识别任务, 不仅提高实体识别的准确率, 也能处理复杂的输入序列.文本数据中的每个词通过预训练的词嵌入, 如Word2Vec, 转换成的词向量并作为输入数据.每个词的实体标签作为输出.

4)文献[15]方法.相比基于词级别的模型, 字符级模型直接从字符序列中学习, 可更好地处理拼写错误、新词和其它语言特异性问题.该方法适合处理多样化的文本数据, 减少对预处理步骤(如分词)的依赖, 性能更健壮.该方法在资源较少的语言或专业领域中表现较优.

选择这4种命名实体识别方法基于如下考虑.

1)对输入数据处理后特征表示的多样性. 这4种方法涵盖基于词级别和字符级别的不同粒度的数据处理方式, 在文本处理上采取不同的特征表示和序列建模方法.

2)技术的代表性.每种方法代表命名实体识别领域的一种主流技术路线.Lattice LSTM引入词汇和字节点构建的格结构, 显式利用词和词序信息, 提升中文NER的效果.SoftLexicon(LSTM)整合词典信息, 将词汇信息融入字符向量中, 代表一种将外部知识引入模型的思路.

3)基准性能的考虑.这4种方法已在许多命名实体识别任务中被广泛应用, 并且在多个基准数据集上表现出色, 因此可作为本文方法的性能衡量基准.

4)促进知识的融入与提升.SoftLexicon(LSTM)融入词汇信息, 代表一种知识增强的策略, 而其它方法在不同层次上强调深度学习模型对文本序列的建模能力.通过这种对比, 可探讨知识增强与深度学习方法之间的协同效应.

2.2.2 不同数据集上对比结果

首先使用通用语料训练对比方法并测试, 然后使用冶金语料对其测试, 结果如表2所示.

表2

Table 2

表2(Table 2)

表2 各方法在2个数据集上的指标值对比 Table 2 Metric value comparison of different methods on 2 datasets % 方法 Resume Metallurgical 准确率 召回率 F1 准确率 召回率 F1 文献[14]方法 93.72 93.44 93.58 88.90 88.40 88.65 文献[15]方法 93.66 93.31 93.48 88.60 88.10 88.35 Lattice LSTM 94.81 94.11 94.46 90.30 90.20 90.25 SoftLexicon(LSTM) 95.30 95.77 95.53 90.60 90.50 90.55 本文方法(Without Transfer Learning) - - - 90.00 90.50 90.25 本文方法 91.67 91.82 91.74 92.60 92.80 92.70

表2 各方法在2个数据集上的指标值对比 Table 2 Metric value comparison of different methods on 2 datasets %

由表2可知, 基于字符级别的方法性能优于基于词级别的方法, 说明在Resume、Metallurgical数据集上更细粒度的字符向量有助于提升命名实体识别的效果, 由此验证本文采用基于字符的迁移模型是合理的.

4种对比方法在Resume数据集的效果优于在Metallurgical数据集上的效果, 说明直接在Meta-llurgical数据集上使用4种方法是不适用的.Lattice LSTM、SoftLexicon(LSTM)在2个数据集上的性能优于文献[14]方法和文献[15]方法, 说明句子中词或字符之间的关联关系, 以及将词汇信息融入字符信息中对命名实体识别模型都有效.因此, 在迁移模型微调时采用冶金领域知识融入(多种词汇融入方法)的策略是合理的.

本文方法(Without Transfer Learning)和本文方法在Metallurgical数据集上的性能均最优, 说明本文方法对于冶金命名实体识别是有效的.Without Transfer Learning是指对通用模型不进行数据的预训练, 根据领域特性, 直接修改模型后, 使用领域数据进行训练和预测.

在冶金命名实体标注语料稀缺、语料规模较小的条件下, 未使用迁移学习而借用通用模型中信息的本文方法的效果也不明显, 然而使用迁移学习后的本文方法性能有了提升, 这说明借用通用模型的信息进行迁移学习是有效的, 采取知识融入和短语结构约束的方法也是有效的.

本文方法在通用数据集上的表现受到领域知识融合和短语结构约束模块的影响.这些模块专注于冶金领域的特性, 在通用数据集上的表现略差.

2.2.3 SoftLexicon(LSTM)和本文方法结果对比

在Metallurgical数据集上对比SoftLexicon(LSTM)和本文方法, 具体指标值如表3所示.由表可知, 本文方法在性能上明显优于SoftLexicon(LSTM).金属元素类、矿石矿物类、冶金材料类和冶金产品类的粒度较细, 较少包含冗长的冶金实体, 采用两种方法均可进行识别, 而对于冶金设备类、冶金术语类、冶金环保类及冶金企业与机构类, 充满复杂结构的长实体, SoftLexicon(LSTM)识别效果较差.本文方法由于加入短语结构约束模型, 可解析冶金长实体的结构信息, 因此解决上述问题.总之, 本文方法在识别较短的实体方面表现出色, 相比其它方法和缺乏短语约束的消融方法, 本文方法在识别较长实体时性能也有显著提升.如何进一步提高对冗长冶金实体的识别效果是值得探索的研究方向之一.

表3

Table 3

表3(Table 3)

表3 SoftLexicon(LSTM)和本文方法在冶金数据集上针对不同实体类别的性能对比 Table 3 Performance comparison between SoftLexicon(LSTM) and the proposed method on different entity categories on metallurgical dataset % 实体类别 SoftLexicon(LSTM) 本文方法 准确率 召回率 F1 准确率 召回率 F1 金属元素 91.6 91.5 91.5 93.0 93.1 93.0 矿物矿石 91.6 91.7 91.6 92.7 92.8 92.7 冶金材料 92.5 92.6 92.5 93.0 94.0 93.5 冶金产品 92.5 92.7 92.6 93.0 93.6 93.3 冶金设备 88.6 88.7 88.6 90.0 89.0 89.5 冶金专业术语 89.0 89.1 89.0 90.0 90.6 90.3 冶金环保 87.0 87.1 87.0 90.0 90.1 90.0 冶金企业与机构 87.0 87.2 87.1 90.0 90.2 90.1 冶金工艺 86.8 86.9 86.8 90.6 90.5 90.5 冶金技术 86.9 87.0 86.9 91.6 91.8 91.7

表3 SoftLexicon(LSTM)和本文方法在冶金数据集上针对不同实体类别的性能对比 Table 3 Performance comparison between SoftLexicon(LSTM) and the proposed method on different entity categories on metallurgical dataset %

2.2.4 不同批次对性能的影响

为了更好地理解各方法在不同批次大小下的表现, 在Metallurgical数据集上进行实验, 具体结果如图4所示.由图可见, 本文方法在批次大小为32时表现最佳.本文方法是一种基于迁移学习的命名实体识别模型, 专为冶金领域样本数据稀少的情况设计.在迁移学习的少样本NER任务中, 由于数据有限, 容易出现过拟合, 因此批次大小的选择至关重要.一般而言, 较小的批次大小有助于方法更好地捕捉样本特征并实现稳定收敛.因此, 推荐批次大小在16至32之间.由图可见, Lattice LSTM和SoftLexicon(LSTM)在批次大小为32时表现良好, 而文献[14]方法和文献[15]方法在批次大小为64时表现更佳.这表明传统的NER模型可以从稍大一些的批次大小中获益, 但仍需注意模型的泛化能力和过拟合的风险.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 Metallurgical数据集上批次大小对方法性能的影响Fig.4 Effect of batch size on method performance on Metallurgical dataset

本文方法包括3个重要部分:迁移学习、领域知识、短语结构, 不同配置下方法在Metallurgical数据集上的性能如表4所示.

表4

Table 4

表4(Table 4)

表4 各模块在Metallurgical数据集上的消融实验结果 Table 4 Ablation experiment results on metallurgical datasets % 迁移学习 领域知识 短语结构 准确率 召回率 F1 - - - 90.00 90.50 90.25 √ - - 88.00 88.20 88.10 √ - √ 90.50 90.80 90.65 √ √ - 91.00 91.40 91.20 √ √ √ 92.60 92.80 92.70

表4 各模块在Metallurgical数据集上的消融实验结果 Table 4 Ablation experiment results on metallurgical datasets %

由表4可见, 未使用迁移学习且仅依靠有限的标注语料进行重新训练的通用方法表现不佳.此外, 当仅使用通用语料进行训练且未融入领域知识和短语结构约束时, 性能最差.加入短语结构约束但未融入领域知识的方法在迁移学习中表现较优, 但仍不及仅融入领域知识而未加入短语结构约束的配置.这一结果表明, 对于本文方法而言, 领域知识的融入比短语结构约束更重要.最终, 同时融入领域知识和短语结构约束的本文方法在冶金命名实体识别任务上取得最优值.

本节给出本文方法在冶金命名实体识别上的应用案例.案例1如图5(a)所示, 图中提到的“ 智能冶金技术在真空冶金中的应用” 涉及诸如智能、真空冶金、冶金技术等相关术语, 也包含智能、冶金、技术、真空、应用等词汇, 以及人工智能、机器学习、自适应控制、专家系统、冶炼、提纯、铸造、锻造、自动化技术、控制技术、监测技术、信息技术、智能冶金技术、智能冶炼系统、智能监控与控制、智能数据分析、智能决策支持、冶炼炉、精炼炉、铸造机、锻造机等词汇相关的词语.将这些词汇融入命名实体识别模型中, 可增强方法对“ 智能冶金技术” 这一实体的理解和识别能力, 包括对智能技术在冶金过程中应用的各个方面的认识, 以及对相关工艺、设备、质量控制、环境与安全、材料科学等方面的深入理解.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 本文方法在冶金命名实体识别上的应用案例Fig.5 Cases of the proposed method for metallurgical named entity recognition

这种知识融入有助于提高模型在冶金领域的命名实体识别的准确性和相关性.再通过设定的短语结构模版进行匹配, 可匹配到“ [修饰词]+冶金+[领域]” 这个模版, 从而确认“ 智能” 、“ 冶金” 、“ 技术” 三个词汇连接在一起是合理的.同时通过n-gram等其它短语结构约束条件再次判断(实体符合的短语结构约束越多, 说明该组合连接在一起的可能性就越大), 最终识别长实体.通过这些短语结构约束, 命名实体识别模型能更准确地识别和理解“ 智能冶金技术” 这一长实体的结构和含义, 尤其是在冶金领域的特定语境中, 有助于提高模型对复杂长实体的识别能力, 特别是在领域知识融入的基础上.

案例2的模型输出基于案例1, 因此不再赘述.从案例2可看出, 对于一些较长的冶金实体, 如果不结合领域知识和短语结构约束, 实体的粒度会被分割.例如:“ 电弧炉” 可能被识别为“ 电弧” , 而“ 熔炼技术” 分为“ 熔炼” 和“ 技术” .引入领域知识后, 能正确识别“ 熔炼技术” , 避免将其误认为两个独立的词.

然而, 方法仍未能捕捉“ 快速” 与“ 熔炼技术” 之间的关系.通过应用短语结构约束, 可识别“ 快速” 和“ 熔炼技术” 之间的关联, 及“ 电弧炉” 与“ 快速熔炼技术” 的相关性, 从而完整识别“ 电弧炉快速熔炼技术” .2个案例表明, 冶金实体识别模型需要结合领域知识和短语结构约束以提高准确性.