学者们提出各种注意力机制, 用于捕捉方面项与其上下文之间的语义关系.Tan等^[4]利用具有双注意机制的多标签分类模型, 对具有多种情感极性的句子进行情感分析.Hu等^[15]提出CAN(Con-strained Attention Networks), 对多个方面项进行正交正则化, 对单个方面项进行稀疏正则化, 从而减少注意力机制可能带来的噪声.Fan等^[16]提出MGAN(Multi-grained Attention Network), 通过一种多粒度的注意力机制, 捕捉方面项和上下文之间的交互关系.Song等^[17]提出AEN(Attentional Encoder Net-work), 使用一种注意力编码器网络, 在上下文和方面项之间进行建模, 同时引入标签平滑正则化.Liu等^[18]提出AOAN(Aspect-Oriented Opinion Alignment Network), 结合相邻跨度增强模块和多视角注意力机制, 对齐方面项与相应观点项.

当前还有研究者通过学习句法关系构建方面项和观点项之间的联系.Sun等^[19]提出CDT(Convolu-tion over a Dependency Tree), 将依赖树与图神经网络集成, 进行方面项的情感表示学习.Liang等^[20]提出InterGCN(Interactive Graph Convolutional Net-works), 利用方面项和上下文之间的依赖关系, 为每个样本构建异构图, 能有效学习方面项的情感特征.Zhao等^[21]提出SDGCN(Sentiment Dependencies with Graph Convolutional Networks), 结合位置编码和GCN, 捕获句子中不同方面项之间的情感依赖关系.Tian等^[22]提出T-GCN(Type-Aware Graph Convolu-tional Networks), 同时使用通过依存分析获得的依赖关系和依赖类型信息, 为上下文和方面项之间关系的分析提供较好的句法信息指导.Jiang等^[23]提出WGAT(Relation-Weighted Graph Attention Network Model), 根据不同依赖关系的重要程度构造依赖加权邻接矩阵, 解决对句法依赖类型利用不足的问题.

随着对图神经网络研究的不断加深, 一些研究者探索将不同的图结合后用于ABSA任务.Feng等^[24]提出AG-VSR(Attention-Assisted Graph and Va-riational Sentence Representation), 将单词间的自注意力分数作为边, 单词表示作为节点, 构建注意力机制图, 然后使用注意力机制图调整依赖树构建的图, 从而提升模型的鲁棒性.Chai等^[10]提出A2SM-VCL, 通过依赖树和注意力机制获得的两种表示进行对比学习, 减少无关上下文的干扰.Wang等^[25]提出DAGCN(Distance-Based and Aspect-Oriented Graph Convolutional Network), 利用基于距离的句法权重图和通过方面融合注意力机制构建的图, 对方面项对应的观点项进行精确识别.Chen等^[26]提出S²GSL(Segment to Syntactic Enhanced Graph Structure Lear-ning for ABSA), 同时利用段落感知的语义图和基于句法的潜在图建模方面项与其上下文之间的情感关系.

给定一个由n个单词组成的句子

$s=\left\{w_{1}, w_{2}, \cdots, w_{n}\right\}$

以及句子中由m个单词构成的方面项

a={w_j+1, w_j+2, …, w_j+m},

其中w_i表示句子s中的第i个单词.方面项a是句子s的一个子序列.方面级情感分析旨在识别方面项a的情感极性p_a,

p_a∈ {Positive, Neutral, Negative}.

文本编码模块用于将输入序列转化为上下文表示.为了获得高质量的上下文表示, 本文采用预训练语言模型BERT(Bidirectional Encoder Representations from Transformers)^[27]作为文本编码器.

遵循Song等^[17]提出的BERT-SPC(BERT for Sentence Pair Classification), 本文将一个句子-方面项序列输入BERT编码器中.句子-方面项序列表示为

[CLS]s[SEP]a[SEP],

其中, [CLS]表示BERT的分类标记符号, 最终隐藏状态可作为下游分类任务的序列整体表示, [SEP]表示BERT的分隔标记符号, 用于分隔不同序列^[27].将BERT输出的上下文表示记作

$\boldsymbol{H}^{\text {bert }}=\left[\boldsymbol{h}_{1}^{\text {bert }}, \boldsymbol{h}_{2}^{\text {bert }}, \cdots, \boldsymbol{h}_{n}^{\text {bert }}\right] \in \mathbf{R}^{n \times d_{m}} .$

其中, hibert为句子s中第i个单词的上下文表示, d_m为BERT最后一个隐藏层的特征维度.

多视角特征构建模块由依赖图卷积网络模块、成分图卷积网络模块、语义图卷积网络模块和外部知识模块构成, 得到4种视角下的情感特征.

2.3.1 依赖图卷积网络模块

首先, 对输入句子s进行依存分析, 得到依赖树.将句子s中的每个单词作为节点, 并根据依赖树获得每个节点之间的连接关系, 从而构建依赖图.此外, 在依赖图中还构建一个全局情感节点h^global, 并将BERT的[CLS]标记符号向量作为这个全局情感节点的初始表示, 因为[CLS]标记符号向量可代表序列整体表示^[27].然后, 让全局情感节点h^global和其它所有节点相连, 利用图卷积网络学习句子的全局情感特征.图1中GCN里的绿色节点表示全局情感节点, 红色虚线表示全局情感节点和其它节点相连.

依赖图卷积网络的邻接矩阵

$\boldsymbol{A}^{\mathrm{dep}} \in \mathbf{R}^{L_{\operatorname{dep}} \times(n+1) \times(n+1)}, $

其中L_dep表示依赖图卷积网络的层数,

$A_{i j}^{\operatorname{dep}(l)}=\left\{\begin{array}{ll} 1, & \operatorname{link}(i, j)=1 \text { or } i=0 \text { or } j=0 \\ 0, & \text { 其它 } \end{array}\right.$

link(i, j)=1为在第l层中句子s的第i个单词和第j个单词之间存在句法依赖关系.i=0 or j=0时, Aijdep(l)=1为全局情感节点与其它节点相连.

拼接[CLS]标记符号向量与上下文表示H^bert, 结果表示为

$\boldsymbol{H}^{\prime}=\boldsymbol{h}^{\text {global }} \oplus \boldsymbol{H}^{\text {bert }}$

然后, 输入H'到依赖图卷积网络中, 对句法信息进行编码, 得到依赖图句法表示:

$\boldsymbol{H}^{\mathrm{dep}}=\left\{\boldsymbol{h}_{0}^{\mathrm{dep}}, \boldsymbol{h}_{1}^{\mathrm{dep}}, \cdots, \boldsymbol{h}_{n}^{\mathrm{dep}}\right\}, $

其中, h0dep为依赖图编码后的全局情感表示, hi0dep为句子s中单词的依赖图句法表示.

图卷积网络第l层第i个节点的隐藏状态表示为 hil, 更新方式如下:

$\boldsymbol{h}_{i}^{l}=\sigma\left(\sum_{j=0}^{n} A_{i j}^{l} \boldsymbol{W}^{l} \boldsymbol{h}_{j}^{l-1}+\boldsymbol{b}^{l}\right), $ (1)

其中, $ \boldsymbol{W}^{l} \in \mathbf{R}^{d_{m} \times d_{m}} 、 \boldsymbol{b}^{l} \in \mathbf{R}^{d_{m}}$分别为图卷积网络第l层的权重矩阵和偏置, σ 为激活函数ReLU.

2.3.2 成分图卷积网络模块

在EMGF^[11]的启发下, 本文使用成分树获得另一种视角下的句法表示.使用成分分析器解析输入句子s, 得到成分树.成分树分割输入句子, 得到若干个短语, 根据这些短语构建相应的成分图.与依赖图一样, 在成分图中也额外构建一个与其它节点相连并用[CLS]标记符号向量初始化的全局情感节点h^global.

成分图卷积网络的邻接矩阵

$\boldsymbol{A}^{\mathrm{con}} \in \mathbf{R}^{L_{\mathrm{con}} \times(n+1) \times(n+1)}, $

其中, L_con为成分图卷积网络的层数,

$A_{i j}^{\operatorname{con}(l)}=\left\{\begin{array}{ll} 1, & \operatorname{samePh}\left(w_{i}, w_{j}\right)=1 \text { or } i=0 \text { or } j=0 \\ 0, & \text { 其它 } \end{array}\right.$

samePh(w_i, w_j)=1为在第l层中第i个单词和第j个单词在同一个短语中.i=0 or j=0时, Aijcon(l)=1为全局情感节点h^global与其它节点相连.

按照式(1)的方式进行图卷积, 输出成分图句法表示:

$\boldsymbol{H}^{\text {con }}=\left\{\boldsymbol{h}_{0}^{\text {con }}, \boldsymbol{h}_{1}^{\text {con }}, \cdots, \boldsymbol{h}_{n}^{\text {con }}\right\}, $

其中, h0con为成分图编码后的全局情感表示, hi0con为句子s中单词的成分图句法表示.

2.3.3 语义图卷积网络模块

为了得到句子中的语义信息, 将H'输入自注意力机制, 得到注意力分数矩阵.此处的全局情感节点h^global也由[CLS]标记符号向量初始化.然后, 将H'中的每个向量作为节点, 节点间的注意力分数作为边, 构建语义图.

语义图卷积网络的邻接矩阵

A^sem∈ RLsem×(n+1)×(n+1),

其中, L_sem为语义图卷积网络的层数,

$\boldsymbol{A}^{\operatorname{sen}(l)}=\operatorname{softmax}\left(\frac{\left(\boldsymbol{Q} \boldsymbol{W}_{q}\right)\left(\boldsymbol{K} \boldsymbol{W}_{k}\right)^{\mathrm{T}}}{\sqrt{d_{m}}}\right), $

Q和K都赋值为H', W_q∈ Rdm×dm、W_k∈ Rdm×dm表示权重矩阵.

然后, 按照式(1)对语义图进行图卷积, 输出语义表示:

H^sem={ h0sem, h1sem, …, hnsem},

其中, h0sem为语义图编码后的全局情感表示, hi0sem为句子s中单词的语义表示.

2.3.4 外部知识模块

为了提高情感特征的丰富程度, 本文将Zhong等^[12]提出的外部知识嵌入H^ek与上下文表示H^bert以及全局情感节点h^global结合, 得到更全面的情感特征:

H^know=h^global(W_know([H^ek; H^bert])+b_know),

其中, h^global由[CLS]标记符号向量进行初始化, 􀱇为在数量维度上进行拼接, W_know∈ Rdm×(dek+dm)为权重矩阵, b_know∈ Rdm为偏置, d_ek为外部知识嵌入的特征维度.[H^ek; H^bert]是将H^ek和H^bert在特征维度上进行拼接.将最终结果记为

H^know={ h0know, h1know, …, hnknow},

其中, h0know为结合后的全局情感表示, hi0know为结合后句子s中单词的嵌入.

在Chai等^[10]的启发下, 本文对成分图和依赖图使用对比学习, 减少无关上下文的噪声干扰.对比学习模块的结构如图2所示.模块由两个部分构成:图内对比学习和图间对比学习.将成分图中节点表示为{u_i}_{i∈ [0, n]}, 依赖图中的节点表示为{v_i}_{i∈ [0, n]}, u_i和v_i分别对应H^con和H^dep中的 hicon和 hidep, 同时把成分图和依赖图中与方面项相关的节点集合分别记为S^u和S^v.由于成分树可精准地将句子分割成若干短语, 减少无关上下文的干扰, 从而得到与方面项关系最密切的单词, 所以将成分图中与方面项相连的节点作为与方面项相关的节点.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 对比学习模块结构图Fig.2 Structure of contrastive learning module

2.4.1 图内对比学习

以成分图的视角为例, 在图内对比学习过程中, 先将成分图中的方面项节点定义为锚节点u_a, 即图2中的橙色节点.然后, 将成分图中与方面项相关的节点作为正样本(图2中成分图的粉色节点), 成分图中其它节点作为负样本(图2中成分图的蓝色节点), 遵循InfoNCE函数^[28]计算图内对比学习损失:

$\begin{array}{l} L_{\text {intra }}^{U}\left(\boldsymbol{u}_{a}, \boldsymbol{S}^{u}\right)= \\ -\ln \left(\frac{\sum_{\boldsymbol{u}_{j} \in S^{u}} \exp \left(\frac{\operatorname{sim}\left(\sigma\left(\boldsymbol{u}_{a}\right), \sigma\left(\boldsymbol{u}_{j}\right)\right)}{\tau}\right)}{\sum_{\boldsymbol{u}_{k} \notin S^{u}} \exp \left(\frac{\operatorname{sim}\left(\sigma\left(\boldsymbol{u}_{a}\right), \sigma\left(\boldsymbol{u}_{k}\right)\right)}{\tau}\right)} .\right. \end{array}$ (2)

其中:u_j为成分图中与方面项节点相关的节点, j≠ a; u_k为成分图中其它节点, k≠ a; τ 为温度参数; 函数sim(· , · )为余弦相似度, σ (· )为非线性映射函数ReLU.

使用与式(2)相同的方式计算依赖图的图内对比损失 LintraV(v_a, S^v), 将两个图内对比损失相加, 得到完整的图内对比损失:

$L_{\text {intra }}=\frac{1}{N_{B}} \sum_{\substack{\boldsymbol{u}_{a} \in \boldsymbol{B} \\ \boldsymbol{v}_{a} \in \boldsymbol{B} \\ \boldsymbol{S}^{u} \in \boldsymbol{B} \\ \boldsymbol{S}^{v} \in \boldsymbol{B}}}\left(L_{\text {intra }}^{U}\left(\boldsymbol{u}_{a}, \boldsymbol{S}^{u}\right)+L_{\text {intra }}^{V}\left(\boldsymbol{v}_{a}, \boldsymbol{S}^{v}\right)\right), $

其中, B为训练时的一个批次, N_B为批次的大小, v_a为H^dep中的方面项节点表示.

2.4.2 图间对比学习

图间对比学习可捕捉不同图之间的相关性, 进一步将方面项表示与相关单词的表示靠近, 与无关单词的表示远离, 减少无关上下文的干扰.

同样以成分图的视角为例, 在图间对比学习过程中, 仍将成分图的方面项节点定义为锚节点u_a.然后, 将依赖图中的方面项节点及方面项相关节点作为正样本(图2中依赖图的粉色节点), 依赖图中的其它节点作为负样本(图2中依赖图的蓝色节点), 计算图间对比学习损失:

$l\left(\boldsymbol{u}_{a}, \boldsymbol{v}_{a}, \boldsymbol{S}^{v}\right)=-\ln \left(\frac{\sum_{\boldsymbol{v}_{j} \in S^{v}} \exp \left(\delta\left(\frac{\operatorname{sim}\left(\sigma\left(\boldsymbol{u}_{a}\right), \sigma\left(\boldsymbol{v}_{j}\right)\right)}{\tau}\right)\right)+\exp \left(\frac{\operatorname{sim}\left(\sigma\left(\boldsymbol{u}_{a}\right), \sigma\left(\boldsymbol{v}_{a}\right)\right)}{\tau}\right)}{\sum_{\boldsymbol{v}_{k} \notin S^{v}} \exp \left(\frac{\operatorname{sim}\left(\sigma\left(\boldsymbol{u}_{a}\right), \sigma\left(\boldsymbol{v}_{k}\right)\right)}{\tau}\right)}\right) .$ (3)

其中:δ =sim(· , · ), 表示给两种正样本分配不同权重; v_j为依赖图中与方面项相关的节点, j≠ a; v_k为依赖图中其它节点, k≠ a.

由于成分图和依赖图这两种视角是对称的, 因此, 与式(3)类似, 可得到依赖图视角的图间对比学习损失l(v_a, u_a, S^u).将两个图间对比损失相加, 可得到完整的图间对比损失:

$L_{\text {inter }}=\frac{1}{2 N_{B}} \sum_{\substack{\boldsymbol{u}_{a} \in \boldsymbol{B} \\ \boldsymbol{v}_{a} \in \boldsymbol{B} \\ \boldsymbol{S}^{u} \in \boldsymbol{B}}}\left(l\left(\boldsymbol{u}_{a}, \boldsymbol{v}_{a}, \boldsymbol{S}^{v}\right)+l\left(\boldsymbol{v}_{a}, \boldsymbol{u}_{a}, \boldsymbol{S}^{u}\right)\right) .$

最后, 将图内对比学习损失和图间对比学习损失相加, 得到完整的对比学习损失:

L_cl=L_intra+L_inter.

相似的句法表示和语义表示可能会降低情感特征的丰富程度, 不利于不同表示之间情感信息的互补.因此, 有必要对句法表示和语义表示进行相似度分离, 让不同类型的表示能学到具有一定差异的特征.本文提出基于KL散度(Kullback-Leibler Diver-gence)的相似度分离方法, 让模型能更有效地学习句法和语义这两种不同视角的情感特征.语义表示和依赖图句法表示的相似度分离损失如下所示:

$L_{k l}^{\prime}\left(\boldsymbol{H}^{\mathrm{sem}}, \boldsymbol{H}^{\mathrm{dep}}\right)=\sum_{i=1}^{N_{B}} \ln \left(1+\frac{2}{\left|K L\left(\boldsymbol{H}_{i}^{\mathrm{dep}} \| \boldsymbol{H}_{i}^{\mathrm{sem}}\right)\right|+\left|K L\left(\boldsymbol{H}_{i}^{\mathrm{sem}} \| \boldsymbol{H}_{i}^{\mathrm{dep}}\right)\right|}\right), $

其中

$\begin{array}{l} K L\left(\boldsymbol{H}_{i}^{\mathrm{dep}} \| \boldsymbol{H}_{i}^{\mathrm{sem}}\right)=\sum_{j=0}^{n} \varphi\left(\boldsymbol{h}_{i j}^{\mathrm{dep}}\right) \ln \left(\frac{\varphi\left(\boldsymbol{h}_{i j}^{\mathrm{dep}}\right)}{\varphi\left(\boldsymbol{h}_{i j}^{\mathrm{sem}}\right)}\right), \\ K L\left(\boldsymbol{H}_{i}^{\mathrm{sem}} \| \boldsymbol{H}_{i}^{\mathrm{dep}}\right)=\sum_{j=0}^{n} \varphi\left(\boldsymbol{h}_{i j}^{\mathrm{sem}}\right) \ln \left(\frac{\varphi\left(\boldsymbol{h}_{i j}^{\mathrm{sem}}\right)}{\varphi\left(\boldsymbol{h}_{i j}^{\mathrm{dep}}\right)}\right), \end{array}$

φ (· )为softmax函数, Hidep为一个批次中第i个样本的依赖图句法表示, hijdep为 Hidep中第j个节点的表示, Hisem为一个批次中第i个样本的语义表示, hijsem为 Hisem中第j个节点的表示.以同样的方式, 可得到语义表示和成分图句法表示的相似度分离损失:

$L_{k l}^{\prime}\left(\boldsymbol{H}^{\mathrm{sem}}, \boldsymbol{H}^{\mathrm{con}}\right)=\sum_{i=1}^{N_{B}} \ln \left(1+\frac{2}{\left|K L\left(\boldsymbol{H}_{i}^{\mathrm{con}} \| \boldsymbol{H}_{i}^{\mathrm{sem}}\right)\right|+\left|K L\left(\boldsymbol{H}_{i}^{\mathrm{sem}} \| \boldsymbol{H}_{i}^{\mathrm{con}}\right)\right|}\right) .$

最后, 得到相似度分离损失:

$L_{\mathrm{kl}}=L_{\mathrm{kl}}^{\prime}\left(\boldsymbol{H}^{\mathrm{sem}}, \boldsymbol{H}^{\mathrm{dep}}\right)+L_{\mathrm{kl}}^{\prime}\left(\boldsymbol{H}^{\mathrm{sem}}, \boldsymbol{H}^{\mathrm{con}}\right) .$

由于H^dep、H^con、H^sem、H^know是从不同视角得到的特征, 直接使用拼接的方式聚合可能难以充分利用它们蕴含的情感信息, 因此, 本文设计多视角特征融合模块, 让这些特征相互融合补充.该模块的结构如图3所示.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 多视角特征融合模块结构Fig.3 Structure of Multi-view feature fusion module

多视角特征融合模块由L个多视角特征融合层构成, 第l层的输入为R_l、H^dep、H^con、H^know.当l=0时, R₀=H^sem.先将输入的R_l、H^dep、H^con、H^know各自进行层正则化, 然后使用交叉注意力机制(Cross Attention Mechanism, CAM)进行特征融合, 具体过程如下:

$\begin{aligned} \boldsymbol{R}_{l+1}^{x}= & \operatorname{CAM}\left(\boldsymbol{Q}^{x S}, \boldsymbol{K}^{x}, \boldsymbol{V}^{x}\right)= \\ & \operatorname{softmax}\left(\frac{\left(\boldsymbol{Q}^{x S} \boldsymbol{W}_{Q}^{x}\right)\left(\boldsymbol{K}^{x} \boldsymbol{W}_{K}^{x}\right)^{\mathrm{T}}}{\sqrt{d_{m}}}\right)\left(\boldsymbol{V}^{x} \boldsymbol{W}_{v}^{x}\right), \end{aligned}$

其中

$\begin{array}{l} \boldsymbol{Q}^{x S}=\operatorname{LayerNorm}\left(\boldsymbol{R}_{l}\right), \\ \boldsymbol{K}^{x}=\operatorname{LayerNorm}\left(\boldsymbol{H}^{x}\right), \\ \boldsymbol{V}^{x}=\operatorname{LayerNorm}\left(\boldsymbol{H}^{x}\right), \\ x \in\{\operatorname{dep}, \operatorname{con}, \mathrm{know}\}, \end{array}$

S为sem, LayerNorm(· )为层正则化, W Qx∈ Rdm×dm、W Kx∈ Rdm×dm、W vx∈ Rdm×dm均为可训练的权重.

然后, 将 Rl+1x与层正则化后的R_l相加, 即

$\boldsymbol{R}_{l+1}^{\prime}=\boldsymbol{R}_{l+1}^{\mathrm{dep}}+\boldsymbol{R}_{l+1}^{\mathrm{con}}+\boldsymbol{R}_{l+1}^{\mathrm{know}}+\text { LayerNorm }\left(\boldsymbol{R}_{l}\right) .$

最后, 对R'_l+1使用层正则化, 再输入前馈神经网络中, 并进行残差连接, 第l+1层输出为:

$\boldsymbol{R}_{l+1}=\operatorname{FFNN}\left(\operatorname{LayerNorm}\left(\boldsymbol{R}_{l+1}^{\prime}\right)\right)+\boldsymbol{R}_{l+1}^{\prime} \in \mathbf{R}^{(n+1) \times d_{m}}, $

其中FFNN(· )表示前馈神经网络.

将多视角特征融合模块最后一层的输出记为多视角特征增强表示z=R_L.

情感分类模块可预测情感极性.首先, 将多视角特征增强表示z中的方面项单词表示进行均值池化, 得到局部情感表示:

$\boldsymbol{h}^{\text {local }}=\operatorname{AvgPooling}\left(\boldsymbol{z}_{a_{1}}, \boldsymbol{z}_{a_{2}}, \cdots, \boldsymbol{z}_{a_{m}}\right), $

其中 zai为z中方面项a的第i个单词表示.然后, 将全局情感表示h^global与局部情感表示h^local在特征维度上拼接, 并将结果输入softmax层中, 得到预测的情感极性的概率分布:

$\hat{y}_{(s, a)}=\operatorname{softmax}\left(\boldsymbol{W}_{p}\left(\left[\boldsymbol{h}^{\text {global }} ; \boldsymbol{h}^{\text {local }}\right]\right)+\boldsymbol{b}_{p}\right) \in \mathbf{R}^{d_{p}}, $

其中, $ \boldsymbol{W}_{p} \in \mathbf{R}^{d_{p} \times 2 d_{m}} 、 \boldsymbol{b}_{p} \in \mathbf{R}^{d_{p}}$分别为可训练的权重和偏置, d_p为情感极性标签的维度.将预测结果和真实标签之间的交叉熵损失定义如下:

$L_{p}=\sum_{(s, a) \in D} y_{(s, a)} \ln \hat{y}_{(s, a)}, $

其中, D包含所有的句子-方面项序列, y_{(s, a)}为情感极性的真实分布.

通过优化情感分类损失L_p、对比学习损失L_cl和相似度分离损失L_kl进行训练, 模型的整体损失如下:

$L(\Theta)=L_{p}+\alpha L_{\mathrm{cl}}+\beta L_{\mathrm{kl}}, $

其中, Θ 为所有需要学习的模型参数, α 、 β 为超参数.

本文采用的实验环境如下:CPU为Intel Core i7 7700K, 内存大小为DDR4 8 GB, GPU为GeForce GTX 3060Ti, 操作系统为win10 64位, 开发环境为Python 3.8.0和Pytorch 2.0.0.

本文使用SemEval 2014任务中的Laptop、Res-taurant数据集以及Dong等^[29]构建的Twitter数据集进行实验.Laptop数据集包含笔记本电脑的评论, Restaurant数据集包含餐厅的在线评论, Twitter数据集包含Twitter上的推文.表1统计数据集上3种情感极性的训练集样本数量和测试集样本数量.3个数据集的训练集和测试集均由原始数据集提供, 在此基础上, 本文随机将训练集上20%数据作为验证集.另外, 遵循Li等^[3]的工作, 删除数据集上含有冲突标签的方面项和不含任何方面项的句子.

表1

Table 1

表1(Table 1)

表1 实验数据集统计信息 Table 1 Statistical information of experimental datasets 名称 积极 消极 中性 训练集 测试集 训练集 测试集 训练集 测试集 Laptop 976 337 851 128 455 167 Restaurant 2164 727 807 196 637 196 Twitter 1507 172 1528 169 3016 336

表1 实验数据集统计信息 Table 1 Statistical information of experimental datasets

本文使用SuPar(https://github.com/yzhangcs/parser)解析输入句子, 从而得到依赖树和成分树.BERT的版本为bert-base-uncased, 特征维度d_m=768, 失活率为0.3.使用Zhong等^[12]提出的外部知识嵌入, 特征维度d_ek=400.训练模型时批次大小为16, 使用Adam(Adaptive Moment Estimation)优化器, 初始学习率设置为2× 10^-5.在Laptop、Res-taurant数据集上, 依赖图卷积网络、成分图卷积网络和语义图卷积网络的层数均为3层, 在Twitter数据集上均为4层.设置损失中超参数α =β =0.15, 对比学习模块中温度参数τ =0.12.此外, 在Laptop、Restaurant数据集上, 多视角特征融合模块层数为3, 在Twitter数据集上层数为4.

评估指标选用常用的准确率(Accuracy, Acc)和Macro-F1(F1).

本文选择如下对比模型.

1)基于注意力机制的方法.

(1)MGAN^[16].通过多粒度的注意力机制获得方面项和上下文之间的词级交互.

(2)AEN^[17].使用注意力编码器建模上下文和方面项之间的关系.

(3)AOAN^[18].利用相邻跨度增强和多视角注意力机制对齐方面项与相应观点项.

2)基于句法的方法.

(1)R-GAT(Relational Graph Attention Net-work)^[9].重塑依赖树, 并用关系图注意力网络编码树结构.

(2)CDT^[19].结合神经网络和依赖树学习情感特征.

(3)T-GCN^[22].结合依赖关系和依赖类型信息, 分析上下文和方面项之间关系.

(4)WGAT^[23].根据不同依赖关系的重要度差异, 构造依赖加权邻接矩阵.

3)多图结合的方法.

(1)MGFN(Multi-graph Fusion Network)^[1].利用句法依赖关系标签信息和语义信息学习情感特征.

(2)DualGCN(Dual Graph Convolutional Net-works)^[3].让句法信息和语义信息互补, 改善情感分类效果.

(3)A2SMvCL^[10].通过方面到范围的多视角对比学习减少无关上下文的干扰.

(4)EMGF^[11].融合多种粒度的特征, 产生累积效应.

(5)KGAN(Knowledge Graph Augmented Net-work)^[12].为情感特征添加外部知识信息.

(6)DAGCN^[25].结合句法权重图和方面融合注意力机制, 对齐方面项与观点项.

(7)S²GSL^[26].利用段落感知的语义图和基于句法的潜在图捕捉情感特征.

(8)TextGT(Double-View Graph Transformer on Text )^[30].设计图Transformer, 紧密耦合图视角和序列视角的编码过程, 缓解过平滑问题.

各模型在3个数据集上的指标值如表2所示.表中黑体数字表示最优值, 斜体数字表示次优值, 对比模型的实验结果均引用自原论文.

表2

Table 2

表2(Table 2)

表2 各模型在3个数据集上指标值对比 Table 2 Metric value comparison of different models on 3 datasets % 模型 Laptop Restaurant Twitter Acc Macro-F1 Acc Macro-F1 Acc Macro-F1 MGAN 75.39 72.47 81.25 71.94 72.54 70.81 AEN 79.93 76.31 83.12 73.76 74.71 73.13 AOAN 82.45 79.09 86.43 81.19 77.46 76.54 CDT 79.70 75.61 86.36 80.16 77.50 76.54 R-GAT 78.21 74.07 86.60 81.35 76.15 74.88 T-GCN 80.88 77.03 86.16 79.95 76.45 75.25 WGAT 80.49 77.21 85.71 80.23 76.25 74.56 DualGCN 81.80 78.10 87.13 81.16 77.40 76.02 MGFN 81.83 78.26 87.31 82.37 78.29 77.27 KGAN 82.66 78.98 87.15 82.05 79.97 79.39 A2SMvCL 82.12 78.82 87.86 82.41 78.49 77.18 EMGF 82.11 79.24 88.42 83.20 78.87 78.06 DAGCN 82.59 79.40 88.03 82.64 78.73 78.01 S2GSL 82.46 79.07 87.31 82.84 77.84 77.11 TextGT 81.33 78.71 87.31 82.27 77.70 76.45 CLMVFF 83.49 80.82 89.41 84.55 80.65 80.04

表2 各模型在3个数据集上指标值对比 Table 2 Metric value comparison of different models on 3 datasets %

由表2可见, CLMVFF在3个数据集上的指标值均最优, 这表明其在ABSA任务中的有效性.相比次优值, CLMVFF在Laptop、Restaurant数据集上提升较大, 在Twitter数据集上提升较小, 这可能是因为Twitter数据集上句子结构比其它两个数据集更复杂, 情感分析的难度更大.

相比MGAN等基于注意力机制的方法, CLMV-FF在3个数据集上的指标值提升较显著, 因为CLMVFF通过对比学习减少注意力机制对无关上下文的关注.此外, 相比CDT等基于句法的方法, CL-MVFF的指标值也有显著改善, 这表明结合多种句法和语义信息可有效丰富情感特征.同时在对比学习的帮助下, 依赖树中的噪声干扰也得到有效抑制, 可提高ABSA性能.在多图结合的方法中, CLMVFF取得最优值, 这表明通过引入全局情感节点, 能更有效地处理被隐含表达的方面项情感, 增强模型的情感分析能力.通过改进对比学习模块和增加相似度分离模块, CLMVFF具有比A2SMvCL更好的抗噪声干扰能力和特征学习能力.

从整体上看, 相比基于注意力机制的方法, 基于句法的方法在性能上有一定提升, 这可能是因为依赖树可减少方面项与观点项之间的距离, 更有利于捕捉情感特征.此外, 多图结合的方法性能优于基于注意力机制的方法和基于句法的方法, 这是因为多图结合的方法同时利用多种情感特征.

为了研究CLMVFF中各模块的有效性, 设计如下变体进行消融实验.

1)w/o L_cl:去除对比学习模块.

2)w/o global:去除全局情感节点.

3)w/o L_kl:去除相似度分离模块.

4)w/o MVFF:去除多视角特征融合模块, 改为拼接.

此外, 为了探究利用多视角特征进行情感分析的必要性, 还设计如下变体.

1)CLMVFF-dep:保留依赖图卷积网络模块, 去除成分图卷积网络模块、语义图卷积网络模块和外部知识模块.

2)CLMVFF-con:保留成分图卷积网络模块, 去除依赖图卷积网络模块、语义图卷积网络模块和外部知识模块.

3)CLMVFF-sem:保留语义图卷积网络模块, 去除成分图卷积网络模块、依赖图卷积网络模块和外部知识模块.

4)CLMVFF-know:保留外部知识模块, 去除成分图卷积网络模块、语义图卷积网络模块和依赖图卷积网络模块.

在上述四个变体中, 由于只存在一种视角下的特征, 对比学习模块、相似度分离模块和多视角特征融合模块缺少必要的输入, 无法运作, 所以在这4个变体中, 也去除对比学习模块、相似度分离模块和多视角特征融合模块.

各模块具体消融实验结果如表3所示, 表中黑体数字表示最优值.从前4个变体的指标值可看出, 在去除相应模块后, CLMVFF的性能都出现不同程度的下降, 这表明各模块对ABSA任务都是有效的.在去除对比学习模块后, 性能出现大幅下降, 这表明对比学习模块可有效抑制无关上下文的干扰.全局情感节点的去除也对性能造成一定影响, 这说明全局情感节点在处理方面项情感被隐含表达的样本时可起到帮助作用.从表3中还可看出, 去除相似度分离模块后, 模型的情感分析能力也受到一定削弱, 这验证相似度分离模块可增强情感特征, 从而提升ABSA效果.将多视角特征融合模块替换为拼接对模型性能产生较大的负面影响, 这表明多视角特征融合模块可有效聚合不同表示中的情感特征.总之, CLMVFF中各模块在ABSA任务中都发挥重要作用.

表3

Table 3

表3(Table 3)

表3 各模块消融实验结果 Table 3 Ablation experiment results of different modules % 模块 Laptop Restaurant Twitter Acc Macro-F1 Acc Macro-F1 Acc Macro-F1 w/o Lcl 81.75 78.99 87.69 82.15 79.02 78.17 w/o global 82.38 78.20 88.42 83.30 79.46 78.38 w/o Lkl 82.22 79.43 88.24 83.03 79.32 78.43 w/o MVFF 82.06 78.60 87.87 82.30 79.17 78.41 CLMVFF-dep 80.00 76.92 86.43 80.66 76.49 75.30 CLMVFF-con 80.63 76.88 86.06 80.82 76.79 75.58 CLMVFF-sem 80.16 75.76 86.33 79.82 76.64 75.48 CLMVFF-know 80.48 76.90 86.15 79.77 76.93 75.61 CLMVFF 83.49 80.82 89.41 84.55 80.65 80.04

表3 各模块消融实验结果 Table 3 Ablation experiment results of different modules %

相比CLMVFF, 后四个变体在3个数据集上的指标值都出现大幅下降, 在难度较大的Twitter数据集上下降最多, 这表明依靠单个视角下的特征进行情感分析的效果有限, 尤其是在处理具有复杂结构的句子时.因此, 在进行情感分析时, 有必要从多个视角学习句子的情感特征.

为了评估不同的多视角特征融合模块层数对模型性能的影响, 设置多视角特征融合模块的层数L=1, 2, 3, 4, 5, 6, 并在Laptop、Restaurant和Twitter数据集上进行实验, 结果如图4所示.由图可知, 在Laptop、Restaurant数据集上, 当L=3时, 模型性能最佳.在Twitter数据集上, 当L=4时, 模型表现最优.这可能是因为Twitter数据集的难度较大, 需要更多的层数整合信息.当层数不断增加后, 在3个数据集上, 模型性能都出现一定的下降, 这可能是因为过多的层数使模型变得过拟合, 影响其情感分析能力.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 多视角特征融合模块层数对CLMVFF性能的影响Fig.4 Effect of the number of multi-view feature fusion module layers on performance of CLMVFF

为了分析CLMVFF处理各类样本的能力, 从3个数据集上挑选具有代表性的样本进行案例研究, 并与AOAN^[18]、A2SMvCL^[10]和T-GCN^[22]进行对比, 结果如表4所示.在表中, []中内容为方面项, []的下标表示方面项的情感极性标签, p、n、o分别表示积极、消极及中性, √ 、× 分别表示模型预测正确和预测错误.

表4

Table 4

表4(Table 4)

表4 案例研究结果 Table 4 Results of case study 样本 AOAN T-GCN A2SMvCL CLMVFF Great [food]p but the [service]n was dreadful! (p√ , n√ ) (p√ , n√ ) (p√ , n√ ) (p√ , n√ ) This laptop has only 2 [usb ports]n, and they are both on the same side. (o× ) (o× ) (o× ) (n√ ) finally managed to get safari working properly on [windows 7]p - yipee , ∶ - ) (p√ ) (o× ) (p√ ) (p√ ) Other than not being a fan of [click pads]n(industry standard these days) and the lousy [internal speakers]n, it's hard for me to find things about this notebook I don't like, especially considering the $350 [price tag]p. (o× , n√ , n× ) (o× , n√ , o× ) (n√ , n√ , o× ) (n√ , n√ , p√ ) It's just as fast with sixteen [programs]o open as it is with one open. (p× ) (p× ) (p× ) (p× )

表4 案例研究结果 Table 4 Results of case study

由表4可见, 在第1个样本中, 方面项food和service具有相反的情感极性, 可能是因为样本句子结构较简单, 所有模型都预测正确.第2个样本对方面项usb ports的情感无明确描述, 可验证模型是否捕捉到全局情感特征.由于AOAN、T-GCN、A2SMvCL并未对全局情感特征进行建模, 所以未能正确分析句子的整体情感, 都预测错误.第3个样本是一个非正式的句子, 无严格的句法结构.对于这类句子, 依存分析难以得到正确结果, 所以只依靠句法信息的T-GCN做出错误预测.第4个样本是包含多个方面项的复杂句子, 可检验模型分析复杂句式的能力, AOAN、T-GCN、A2SMvCL都未能完全正确预测所有方面项的情感极性.对于这4个样本, CLMVFF都可以正确预测, 这表明CLMVFF不仅可有效处理含有多种情感极性的句子, 还可捕捉句子的全局情感特征.此外, 在处理带有非正式结构及复杂结构的句子时, CLMVFF也可利用多种句法和语义信息对情感进行准确预测.

所有模型都错误预测第5个样本的情感, 这可能是因为隐式方面项干扰显式方面项的情感分析.通过分析句义可知, fast应该表达对某种电脑的积极情感, 但是由于句子中未明确出现这个方面项, CLMVFF无法将fast与正确的方面项配对, 这就让fast误导对显式方面项programs的情感分析.因此, CLMVFF缺乏有效处理隐式方面项的能力.这导致在分析含有隐式方面项的句子情感时, CLMVFF表现不佳.

为了研究CLMVFF减少噪声干扰的效果, 选择Restaurant数据集上含有多个方面项的样本进行实验, 并在图5中对方面项与句子中其它单词之间的注意分数进行可视化.图5案例1中方面项与相应观点项为(food, Great)、(service, dreadful), 案例2中方面项与相应观点项为(food, good and popular)、(waiting, nightmare), 图中无数字部分表示将方面项与自身之间的注意力分数屏蔽, [global]表示全局情感节点.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 多方面项样本注意力分数可视化结果Fig.5 Attention score visualization results of samples with multiple aspects

从两个案例可发现, 方面项与相应观点项之间的注意力分数明显高于方面项与其它单词之间的注意力分数.这表明CLMVFF确实可有效减少无关单词的干扰, 准确对齐方面项与相应观点项, 提高ABSA性能.