1.1.1 标签构造

为了完成ASTE任务, 词对关系标注方法(WPRTS)使用8个标签{A, AR, O, OR, Pos, Neu, Neg, N}表示一个句子中任意单词对(w_i, w_j)的关系.此处的单词对(w_i, w_j)是无序的, 因此, 单词对(w_i, w_j)和(w_j, w_i)具有相同的标签.8个标签表示的含义如表1所示.

表1

Table 1

表1(Table 1)

表1 WPRTS中标签含义 Table 1 Meaning of WPRTS tags 标签 含义 A 表示方面项末端的单词, 代指方面项 AR 表示方面项中非末端的其它单词与方面项尾部单词的关系 O 表示观点项末端的单词, 代指观点项 OR 表示观点项中非末端的其它单词与观点项尾部单词的关系 Pos 两个单词分别表示一个方面项和一个观点项, 表现的情感是积极的 Neu 两个单词分别表示一个方面项和一个观点项, 表现的情感是中性的 Neg 两个单词分别表示一个方面项和一个观点项, 表现的情感是消极的 N 两个单词不具有上述关系

表1 WPRTS中标签含义 Table 1 Meaning of WPRTS tags

相比GTS^[19], 本文主要改进如下:使用词语片段末端的单词表示整个词语项, 因为通常认为一个词语片段中最后一个词往往是整个词语的语义中心, 对于词语项内部的其它词, 视作与该词语项具有相关关系.如使用A(Aspect)表示同一方面项(末端)词之间的关系, 而使用AR(Aspect-Related)表示方向项中其它单词与方面项(末端)的关系.

同时, 为了促进神经网络对方面项和观点项的建模, 本文只对观点项末端词和方面项中所有单词标记为情感极性的标签(Pos, Neu, Neg), 因为本文认为观点项末端词表示整个观点项, 只有它才能完整表示情感倾向, 而方面项的情感由各方面词共同决定较恰当, 同时单个末端词的标签也不利于神经网络的建模.为了加快计算, 使用一个上三角矩阵构造标签, 图2为句子“ The hot dog are top notch but average coffee” 构造的词对关系标签.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 WPRTS标注示例Fig.2 Tagging example with WPRTS

1.1.2 标签解码器

本节关注如何根据所有标签的结果进行解码, 得到最终的方面-情感-观点三元组.实际上, 本文使用神经网络及标签进行训练并预测.

当获得一个句子的WPRTS标注结果后, 可通过严格的匹配从如图2的标签中提取三元组.然而, 由于WPRTS标注结果中包含大量无用的N标签, 可能会降低三元组的整体召回率, 因此, 需要降低三元组匹配的限制.

解码细节如算法1所示.首先, 在标签矩阵的对角线找到标签A、O, 向上找到标签AR、OR, 组成完整的方面项或观点项.遍历每个方面项和观点项交点处的标签, 如果存在情感极性的标签, 将该方面-观点对的情感设置为最多标签的情感, 如果存在标签数相同的情况, 选择顺序为{消极, 积极, 中性}.最后, 组成三元组.

算法 1 WPRTS解码算法

输入 一个句子的WPRTS标注结果R(w_i, w_j)

输出 方面-情感-观点三元组T

初始化 方面项集A、观点项集O、三元组T为空集

1./* 第2行到第9行为方面项提取伪代码, 观点

项提取与此同理, 不再赘述* /

2. while a span left index 0< l≤ r and right index

r< n do

3. if R(w_i, w_i)=A then

4. r← i

5. if F(w_i, w_r)=A or AR and R(w_i-1, w_r)≠ A_I

6. l← i, 将单词片段(w_l, …, w_j)视为一个方

面项a, A← A∪ {a}

7. end if

8. end if

9.end while

10.while a∈ A and o∈ O do

11. while w_i∈ a and w_j=o_end do

12. 初始化s为None

13. if num(Neg)≥ num(Neu) and

num(Neg)≥ num(Pos)

14. then s← Neg

15. else if num(Pos)≥ num(Neg) and

num(Pos)≥ num(Neu)

16. then s← Pos

17. else if num(Neu)≥ num(Neg) and

num(Neu)≥ num(Pos)

18. then s← Neu

19. end if

20. if s≠ None

21. then T∪ {a, s, o}

22. end if

23. end while

24.end while

为了验证词对关系学习方法的有效性, 设计基于双向GRU(Bi-directional Gate Recurrent Unit, BiGRU)的词对关系网络(WPRN), 整体架构如图3所示.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 WPRN整体架构Fig.3 Overall structure of WPRN

WPRN首先使用由BiGRU和混合式注意力组成的编码层对输入句子进行编码, 然后使用注意力图转换(Attention Map Transform)模块将句子编码转换为词对间的注意力图, 以此表示单词对间的关系, 最后使用1.1.2节描述的解码器对得到的标签进行解码, 得到句子中的所有三元组.

1.2.1 编码

给定一个句子c={w_i|i∈ [1, n]}, 将其映射到一个高维度空间, 得到一个初步的句向量V∈ Rn×de, 然后使用编码层进行编码, 得到符合语境的词向量.本文认为词的相对位置对情感极性的判断十分重要, 因此使用适合处理序列的BiGRU对句子进行初步编码, 并使用混合式注意力(Mixed Atten-tion)加强句子内部各词局部及全局依赖.

GRU(Gate Recurrent Unit)是循环神经网络的一种, 如同LSTM, 也是为了解决长期记忆和反向传播中的梯度等问题而提出的.相比LSTM, 使用GRU能达到较优效果, 更容易进行训练, 大幅提高训练效率, 因此本文在编码层使用GRU.将句子的词向量V输入BiGRU编码层后, BiGRU会拼接两个方向的GRU输出的隐藏状态向量, 得到H∈ Rn×dh, 以此作为该句子的表示, 其中d_h为单向GRU输出的隐藏状态向量的维数.

为了获得更好的表示, 并加强各词之间的联系, 本文使用一个注意力层.在方面情感分析中, 方面项与观点项通常在一段局部上下文中, 而非全局上下文中, 因此, 使用混合式注意力加强编码.混合式注意力的结构^[20]如图4所示.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 混合式注意力构架图[20]Fig.4 Structure of mixed attention[20]

混合式注意力由可建模局部依赖的区间动态卷积和可建模全局依赖的自注意力混合而成, 兼具两者优点.

自注意力可以对输入序列中的全局依赖进行建模.首先对输入X进行三次线性变换, 得到键K∈ Rdh、查询Q∈ Rdh、值V三个嵌入.然后得到输出:

轻量级卷积可有效建模局部依赖.相比标准卷积, 轻量级卷积沿通道维度绑定权重, 显著减少参数.计算公式如下:

其中, X为输入向量, W_j∈ R^k, k为卷积核尺寸.

区间动态卷积首先使用深度可分离卷积收集区间内token的信息, 然后动态生成卷积核.输入token的局部关系是根据局部上下文而不是单个token生成的, 这有助于卷积核更有效地学习局部依赖.计算公式如下:

其中☉表示逐点相乘.

最终的混合式注意力为:

1.2.2 注意力图转换

受transformer^[21]的启发, 本文将自注意力的注意力图作为句子中各词对的关系图, 并使用多头注意力得到注意力关系图R.使用多头注意力的每个头表示一种标签关系.注意力图转换模块结构如图5所示.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 注意力图转换模块结构图Fig.5 Structure of attention map transform

具体计算过程如下:

其中, Q∈ R^{n× d}, K∈ R^{n× d}, R∈ R^{n× n× 8}, n表示句子长度.

最后, 对注意力关系图R的最后一维使用一层softmax层, 获取每个标签的概率:

p=softmax(R).

1.2.3 损失函数

在得到词对的注意力关系图后, 对每个位置的标签计算交叉熵:

L=- ∑i=1n∑j=1n∑k∈C(y_ij=k)log₂( pi, jkL),

其中C为标签集{A, AR, O, OR, Pos, Neu, Neg, N}.

本文实验环境如下:CPU为Intel Core i7 8700K, GPU为GeForce GTX 1080, 内存为DDR4 16 GB, 开发环境为Linux64位系统和pytorch1.5.0.

为了验证本文方法的有效性, 在4个来源于SemEval竞赛^{[22, 23, 24]}的ASTE基准数据集(https://github.com/xuuuluuu/SemEval-Triplet-data)上进行实验, 分别是SemEval 2014的笔记本电脑数据集(14lap)和Semeval 2014~2016的餐厅数据集(14res, 15res, 16res).其中的观点标签来源于文献[25].数据划分依据文献[9]的划分方式, 具体数据信息如表2所示.

表2

Table 2

表2(Table 2)

表2 ASTE数据集统计信息 Table 2 Statistics information of ASTE datasets 名称 训练 开发 测试 句子数量 三元组数量 句子数量 三元组数量 句子数量 三元组数量 14lap 920 1265 228 337 339 490 14res 1300 2145 323 524 496 862 15res 593 923 148 238 318 455 16res 842 1289 210 316 320 465

表2 ASTE数据集统计信息 Table 2 Statistics information of ASTE datasets

使用准确率(P)、召回率(R)和F1分数作为评估指标.只有当预测的方面范围、情感、观点范围和真实数据的方面范围、情感、观点范围完全相同时, 提取的三元组才被认为是正确的.

2.2.1 基线模型

为了测试本文方法的有效性, 使用目前用于解决ASTE任务的方法作为基线方法.

1)Peng等^[13]为ASTE提出的一个两段式流水线模型.第一阶段提取句子中所有的方面项和情感倾向, 并提取观点项.第二阶段使用一个关系分类器, 将第一阶段得到的结果进行配对, 形成完整的三元组.

2)RINANTE+. Peng等^[13]基于RINANTE(Rule Incorporated Neural Aspect and Opinion Term Extrac-tion)^[25]构建的类似文献[13]模型的两段式模型.第一阶段使用RINANTE提取方面-情感对和观点项.第二阶段使用文献[13]模型中的关系分类器进行关系匹配.其中, RINANTE通过句子中词的关系共同抽取方面项和观点项.

3)CMLA+. Peng 等^[13]基于CMLA(Coupled Multi-layer Attention)^[26]构建的类似文献[13]模型的两段式模型.第一阶段使用CMLA抽取方面-情感对和观点项, 第二阶段使用文献[13]模型的关系分类器进行关系匹配.其中, CMLA 利用注意力机制捕获单词之间的依赖关系, 共同提取方面及其情感、观点项.

4)Li-unified-R.Peng等^[13]基于Li 等^[11]提出的模型构建的类似文献[13]模型的两段式模型.第一阶段使用文献[11]模型提取方面-情感对和观点项, 第二阶段使用文献[13]模型的关系分类器进行关系匹配.文献[11]模型通过一个定制的多层 LSTM 神经结构对方面及情感、观点项进行抽取.

5)JET^t和JET^o.Xu等^[18]提出的以方面或观点为中心的位置感知标注方案, 并提出相应模型.

6)GTS.Wu等^[19]提出的网格标注方法, 并分别基于CNN、BiLSTM及BERT设计的3个模型.

7)BMRC.Chen等^[15]将ASTE任务转换为一个多轮机器阅读理解任务, 并使用预训练模型BERT进行训练.

8)RACL+R.Chen等^[15]使用RACL(Relation-Aware Collaborative Learning)^[14]抽取方面、观点和情感项, 然后使用BMRC匹配为三元组.此外, 这个模型也是基于BERT的.

9)WPRL.结合WPRTS和WPRN的词对关系学习方法.WPRL+BERT为将WPRN的编码部分替换为预训练的BERT模型.

2.2.2 参数设置

本文实验中使用预训练的300维GloVe(Glo-bal Vectors for Word Representation)(http://nlp.stanford.edu/projects/glove)向量初始化单词嵌入, 所有方法权重均按均匀分布进行初始化, 隐藏状态向量的维数设置为64, 使用自适应矩估计(Adaptive Moment Estimation, Adam)优化器, 学习率为0.001, 批尺寸大小为32.基于BERT的模型, 使用BERT-BASE(https://github.com/huggingface/transformers)模型.

各方法在4个数据集上的指标值对比如表3所示, 方法后加* 为本文训练得到的结果, 其它结果引用自原论文, 黑体数字表示最佳值.由表可知, 首先, 在未使用BERT的模型中, WPRL具有显著的性能提升, F1值具有4%~12%的提升, 这充分说明WPRL的有效性.其次, 在14res、16res数据集上, WPRL与使用BERT的WPRL+BERT的性能较接近, 甚至WPRL具有更高的精确率, 这说明本文提出的编码层的有效性, BiGRU结合混合注意力, 有效增强模型对句子的表示能力.最后, WPRL+BERT的F1值最高.此外, 本文方法在各数据集上表现均优于基线方法, 这表明本文提出的标注方法及网络模型的鲁棒性.

表3

Table 3

表3(Table 3)

表3 各方法在4个数据集上的指标值对比 Table 3 Index value comparison of different methods on 4 datasets % 方法 14res 14lap 15res 16res 精确率 召回率 F1 精确率 召回率 F1 精确率 召回率 F1 精确率 召回率 F1 CMLA+ 40.11 46.63 43.12 31.40 34.60 32.90 34.40 37.60 35.90 43.60 39.80 41.60 RINANTE+ 31.07 37.63 34.03 23.10 17.60 20.00 29.40 26.90 28.00 27.10 20.50 23.30 Li-unified-R 41.44 68.79 51.68 42.25 42.78 42.47 43.34 50.73 46.69 38.19 53.47 44.51 文献[13]模型 44.18 62.99 51.89 40.40 47.24 43.50 40.97 54.68 46.79 46.76 62.97 53.62 JETt 70.39 51.86 59.72 57.98 36.33 44.67 61.99 43.74 51.29 68.99 51.18 58.77 JETo 62.26 56.84 59.43 52.01 39.59 44.96 63.25 46.15 53.37 66.58 57.85 61.91 GTS-CNN* 70.73 56.87 63.05 54.62 39.08 45.56 60.55 53.99 57.08 65.39 59.46 62.29 GTS-BiLSTM* 75.29 52.02 61.53 56.89 34.86 43.23 66.77 43.97 53.02 68.25 52.70 59.48 WPRL 76.71 69.14 72.73 63.66 51.84 57.14 68.09 56.26 61.61 74.53 68.60 71.45 RACL+R 62.64 57.77 60.11 41.99 51.84 46.39 55.45 52.53 53.95 60.78 60.00 60.39 JETt+BERT 70.20 53.02 60.41 51.48 42.65 46.65 62.14 47.25 53.68 71.12 57.20 63.41 JETo+BERT 67.97 60.32 63.92 58.47 43.67 50.00 58.35 51.43 54.67 64.77 61.29 62.98 GTS-BERT* 70.24 69.26 69.74 58.96 53.06 55.85 60.54 58.68 59.60 65.40 70.32 67.77 BMRC 71.32 70.09 70.69 65.12 54.41 59.27 63.71 58.63 61.05 67.74 68.56 68.13 WPRL+BERT* 73.68 72.85 73.26 73.55 54.99 62.93 70.80 59.73 64.79 66.05 78.87 71.89

表3 各方法在4个数据集上的指标值对比 Table 3 Index value comparison of different methods on 4 datasets %

2.4.1 标注消融实验

由于本文标注方法自GTS改进而来, 因此特地设计关于标注方法的消融实验, 验证WPRTS的有效性.两种标注方法都运行在WPRN上, 各项超参数设置均相同.

此外, 为了全面反映两种标注方法的性能, 将模型搜索方面项及观点项及最终的三元组匹配的F1指标作为评价标准, 结果如表4所示, 表中黑体数字表示最佳值.

表4

Table 4

表4(Table 4)

表4 标注消融实验结果 Table 4 Results of tag ablation experiment % 方法 14res 15res 16res 方面项 观点项 三元组 方面项 观点项 三元组 方面项 观点项 三元组 WPRTS 89.51 91.67 72.73 86.64 85.54 57.14 84.47 84.72 61.61 GTS 79.22 83.93 67.69 76.07 73.11 49.26 75.88 75.67 56.06

表4 标注消融实验结果 Table 4 Results of tag ablation experiment %

由表4所示, 本文的标注方法各项性能都优于GTS, 尤其是WPRTS对方面项和观点项查找的F1值有10%左右的提升.这说明本文提出的将词语片段中末端单词与其它单词分开标注的方式可有效提高模型对词语片段的查全率.

2.4.2 模型消融实验

为了评估WPRN中各组件的合理性, 设计模型消融实验进行验证, 结果如表5所示, 表中黑体数字表示最佳值.

表5

Table 5

表5(Table 5)

表5 模型消融实验结果 Table 5 Results of model ablation experiment % 方法 14res 14lap 15res 16res 精确率 召回率 F1 精确率 召回率 F1 精确率 召回率 F1 精确率 召回率 F1 WPRN 76.71 69.14 72.73 63.66 51.84 57.14 68.09 56.26 61.61 74.53 68.60 71.45 删除注意力层模块 76.23 61.02 67.78 69.72 40.41 51.16 69.74 53.19 60.35 77.38 64.73 70.49 普通自注意力模块 74.68 67.05 70.66 62.67 46.94 53.68 62.08 56.48 59.15 73.73 68.82 71.19

表5 模型消融实验结果 Table 5 Results of model ablation experiment %

由表5可知, 注意力层对方法性能提升有显著作用, 相比删除注意力层后, 完整的WPRN在14lap数据集上的F1值提高近6%, 且删除的注意力层在各数据集上的回归率都较低.而使用普通自注意力模块在各项指标上均不如使用混合式注意力的WPRN.实验结果表明, 虽然在模块缺失的情况下, 某项指标可能略高一些, 但完整的WPRN的各项指标均表现较优, 这表明注意力层增加模型的鲁棒性, 增加的混合式注意力是不可缺少的且有效的.