文本的表达含义多样, 分布式表示可更好地表达文本的语义信息.本文采用预训练的GloVe(Global Vector for Word Representation)^[11]词向量, 为文本数据中的每个词生成分布表示.首先生成词嵌入(Embedding)查找矩阵L∈ Rde×V, 其中, d_e表示词向量的维度大小, |V|表示词汇表大小.在对数据进行预处理时, 为词汇表的每个单词指定唯一的索引, 与L的索引号对应, 通过映射关系便可为数据集上每个单词生成所需的词嵌入.对于给定输入数据

x=[w₁, w₂, …, w_n],

可将输入映射为上下文嵌入

E^c=[e₁, e₂, …, e_n]^T∈ Rn×de.

同时, 对给定的输入方面词

a=[w₁, w₂, …, w_m],

映射为方面词嵌入表示

E^a=[e₁, e₂, …, e_m]^T∈ Rm×de.

跨域方面级情感分类任务需要充分利用所给的方面词信息, 建立方面词与文本情感信息的联系.在评论文本中, 通常表达情感的特征词与其相关的方面词接近, 本文采用融合位置信息的方式丰富嵌入表示信息, 有助于提高方面级情感分类的性能.对于嵌入句子表示 E^c, 将输入数据x中的每个词的位置信息融入 E^c中, 获得最终的上下文嵌入表示E^c.这里采用Vaswani等^[12]中的位置编码方法:

PE(pos, 2i)=sin pos100002i/de, PE(pos, 2i+1)=cos pos100002i/deEc= E^c+PE,

其中, pos表示在句子中单词所在的位置, i表示位置编码PE中pos处对应向量的第i维.

由于评论文本中各领域的方面词可能含有不只一个单词, 需要学习长距离依赖性的特征.对上下文句子嵌入表示E^c和方面词嵌入表示E^a分别使用双向门控循环单元(Bidirectional Gated Recurrent Unit, BiGRU)进行特征提取, 生成融入上下文丰富语义的表示H^c和H^a:

H^c= GRU⃗(Ec); GRU⃖(Ec), Ha⁼ GRU⃗Ea); GRU⃖Ea)

对于上下文特征表示H^c和方面词特征表示H^a, 通过交互注意力(Interaction Attention, IA)层计算注意力权重, 建立上下文与方面词之间的交互关系, 使上下文表示更关注与方面词关联度较高的特征.计算2种特征表示的交互矩阵

I=H^cH^a,

通过I进行列softmax和行softmax, 得到α 和β , 进行再一次交互, 得到与方面词密切相关的上下文注意力γ :

γ = $\frac{1}{n} \sum^{}_{i}$ α β ^T.

将γ 作用于上下文表示H^c, 重点关注与方面词关系密切的特征, 得到最终的特征表示:

H=H^cγ .

对于源域数据和目标域数据经过前面各层得到的特征表示H, 使用基于梯度反转层GRL_d进行梯度反转:

GRL_d(x)=x, ∂GRLd(x)∂x=-λ I.

通过反转梯度方向训练领域分类器, 使源域和目标域表示可映射到同一分布空间中进行边缘对齐.在这里, 领域边缘是指将2个不同领域的样本的特征映射到同一向量空间时不同领域样本的分布边界.领域边缘对齐或特征对齐是指在同一向量空间中, 使不同领域样本的特征分布接近, 分类器可较好区分来自不同领域的样本的情感极性.通过领域分类器, 预测领域类别标签:

y_d=softmax(W_dGRL_d(H)+b_d).

在训练领域分类器和特征提取器时, 将源域和目标域表示映射到同一分布空间中, 缩小两个领域特征表示之间的距离.但是情感分类器形成的决策边界附近可能会存在模糊的特征, 这些特征使样本容易被错误地归类, 为了更好地进行域适应, 解决决策边界样本被错误分类的问题, 训练2个情感分类器C₁、C₂, 检测这些决策边界附近容易出现错误分类的样本点, 进一步训练特征提取器, 生成更好的特征, 使样本点远离决策边界.

如图2所示, 黑色表示源域数据, 灰色表示目标域数据, 圆形表示积极样本, 正方形表示消极样本.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 不同类型分类器形成的决策边界Fig.2 Decision boundaries formed by different classifiers

由图2(a)可观察到决策边界附近的目标域样本有部分被错误分类.当额外训练一个不同的情感分类器形成另一个不同的决策平面时, 如(b)所示, 经过训练最终会达到如(c)所示的效果, 较大程度缓解决策平面附近的样本错误分类的问题.

源域标记数据经过特征提取模块G得到特征表示H^(s), 分别经过两个情感分类器C₁、C₂, 进行情感类别标签的预测, 最小化情感分类损失以优化参数, 情感分类损失

L_cls=- $\frac{1}{N_{s}} \sum^{N_{s}}_{i=1} \sum^{K}_{j=1}$ yi(s)(j)log2y~1i(s)(j)- $\frac{1}{N_{s}} \sum^{N_{s}}_{i=1} \sum^{K}_{j=1}$

yi(s)(j)log2y~2i(s)(j),

其中,

y~1i=C₁(H^(s)), y~2i=C₂(H^(s)),

K表示情感极性类别的类别数.

如果改变情感分类器C₁、C₂定义的决策边界, 靠近决策边界的样本会相应产生变化.为了使C₁、C₂针对这些边界样本提供不同的指导, 形成不同的决策边界, 用于对齐特征表示, 首先需要定义两个情感分类器的差异性函数.对两个情感分类器的概率输出

p₁=(y|x), p₂=(y|x)

定义差异损失:

L_dis= Ex∈Ds⋃Dt[d(p₁(y|x), p₂(y|x))].

差异性函数d(p₁(y|x), p₂(y|x))是通过计算C₁、C₂输出概率之差的绝对值在各个类别上的均值实现的, 即

d(p₁(y|x), p₂(y|x))= $\frac{1}{H} \sum^{K}_{i=1}$ |1_i(y|x)-p2_i(y|x) |.

使用对抗性训练的思想训练情感分类器C₁、C₂, 用于对齐特征分布表示.为了使原本靠近决策边界的点远离决策边界, 需要将2个情感分类器的差异性损失最大化.将其它模块的参数固定, 只训练2个情感分类器C₁、C₂的参数, 通过最大化差异性函数检测决策边界附近的点.训练目标如下:

maxC1、C2 Ex∈Ds⋃Dt1K∑i=1K|p1i(y|x)-p2i(y|x)|.

为了使原先决策平面附近容易误分类的点重新被正确归类, 需要使其远离由两个不同情感分类器重新构建的新的决策边界.因此固定两个情感分类器C₁、C₂的参数, 训练特征提取器部分G的参数, 使差异最小化, 优化目标如下:

minG Ex∈Ds⋃Dt1K∑i=1K|p1i(y|x)-p2i(y|x)|.

重复性的对抗训练使模型可定位到原本决策平面附近误分类的样本点, 进一步使其远离新形成的决策平面, 进行正确的分类, 而不再是简单的领域边缘对齐.

模型的训练过程步骤如下.

1)由情感分类损失和领域分类损失构成损失

L₁=L_cls+λ ₁L_d,

通过最小化损失L₁优化整个模型各层的相关参数.

2)损失

L₂=L_cls-λ ₂L_dis,

固定其它层参数, 仅优化两个情感分类器C₁、C₂的参数, 通过最小化情感分类损失并最大化C₁、C₂的差异性, 使两个分类器形成的决策平面趋于不同, 形成更大的决策平面间隔, 扩大对齐边界, 定位决策边界的模糊特征.

3)损失

L₃=L_cls+λ ₃L_dis,

固定其它层参数, 仅训练特征提取层, 通过最小化情感分类损失和C₁、C₂差异性, 使特征提取层提取到远离决策边界的特征.

本文使用的数据集来自公开评测的SemEval-2014任务4^[13]数据集和Dong等^[14]构建的Twitter数据集, 包括3个领域:餐厅(Restaurants, R), 平板电脑(Laptops, L), 推特(Twitter, T).数据集的统计结果如表1所示.

表1

Table 1

表1(Table 1)

表1 实验数据集 Table 1 Experimental datasets 领域 积极 样本 消极 样本 中性 样本 共计 Restaurant(R) 训练集 测试集 2164 728 805 196 633 196 3502 1120 Laptops(L) 训练集 测试集 987 341 866 128 460 169 2313 638 Twitter(T) 训练集 测试集 1561 173 1560 173 3127 346 6248 692

表1 实验数据集 Table 1 Experimental datasets

由R、L、T领域可构建6个跨域对(源域→ 目标域), 分别为L→ R, R→ L, L→ T, T→ L, R→ T, T→ R.对于每个跨域对D_s→ D_t, 训练集由源域的标记数据和目标域的未标记数据构成, 目标域数据仅保留方面词信息.训练集包括源域的训练集和目标域的训练集, 源域的测试集作为验证集以选择最优模型.

词嵌入使用100维的预训练的GloVe向量(https://apache-mxnet.s3.cn-north-1.amazonaws.com.cn/gluon/embeddings/glove/glove.6B.zip)进行初始化, 在训练过程中微调.模型的隐藏层大小设为100, BiGRU的层数设置为2, 网络权重是从均匀分布U [-0.01, 0.01]上随机初始化.在训练过程中, 使用Adam(Adaptive Moment Estimation)算法进行优化, 默认初始学习率为1e-3.批次大小设为64, 其中50%来自源域, 50%来自目标域.

选择如下基线模型验证ADA的有效性.

1)ATAE-LSTM^[1].学习方面词嵌入, 使用方面词参与注意力权重的计算, 生成特定方面的句子表示.

2)RAM(Recurrent Attention Network on Memo-ry)^[15].采用多重注意力机制捕获距离较远的情感特征, 将多重注意力结果与递归神经网络进行非线性组合, 提取重要信息预测情感极性.

3)Cabasc(Context Attention Based Aspect Based Sentiment Classification Model)^[16].基于方面的内容注意力机制的情感分类模型.句子级内容注意力机制从全局捕获给定方面词重要信息, 上下文注意力机制考虑词序和相关性.

4)IAN^[2].交互地分别学习上下文表示和方面词表示.

本文也选择与本文任务相似设置, 进行域适应的基线模型.

1)IATN^[8].使用领域分类器识别共有特征, 并从方面词提取信息, 合并句子和方面词的信息, 较好地进行跨领域情感迁移.

在6个跨域上对比模型的分类性能, 评价指标采用准确率(Accuracy, Acc)和F1值, 结果如表2所示.

由表2可看出, ADA在大部分跨域对上的Acc值与F1值均取得最优值, 表明加强决策边界附近的模糊特征的学习有利于提升跨域情感分类任务性能.在T→ R跨域对上, 相比IATN, ADA的准确率提高29.74%, 原因在于T作为源域, R作为目标域学习的决策边界附近的模糊特征较多, ADA减少这些模糊特征的误分类问题.对于那些没有针对跨域进行策略调整的其它基线方法, 虽然在源域的验证集上取得较好结果, 但应用于目标域时, 分类性能显著下降, 这进一步验证针对跨领域进行策略调整的必要性.

表2

Table 2

表2(Table 2)

表2 各模型在6个跨域对上的实验结果对比 Table 2 Experimental results comparison of different models with 6 cross-domain pairs% 模型 L→ R R→ L L→ T T→ L R→ T T→ R Acc F1 Acc F1 Acc F1 Acc F1 Acc F1 Acc F1 ATAE-LSTM 51.02 29.90 42.70 29.38 28.67 28.16 30.13 26.01 27.25 25.48 33.10 30.67 RAM 46.57 33.87 37.92 29.51 27.54 25.36 29.45 27.01 28.39 26.97 28.78 28.96 Cabasc 41.78 28.95 42.46 33.07 28.27 28.14 31.75 27.50 24.87 19.78 38.27 34.48 IAN 54.43 31.58 42.46 31.76 31.21 30.50 30.09 27.76 27.68 26.34 26.09 24.59 IATN 62.25 49.98 47.73 39.60 41.28 40.99 46.85 44.43 36.47 35.99 40.31 38.85 ADA 64.21 50.18 47.64 40.57 41.87 41.86 47.89 45.63 37.02 36.20 52.30 41.12

表2 各模型在6个跨域对上的实验结果对比 Table 2 Experimental results comparison of different models with 6 cross-domain pairs%

为了验证ADA中各个策略的有效性, 分别对对抗式情感分类器(Adversarial Sentiment Classifier, ASC)和交互注意力机制(IA)进行消融实验, 定义如下对比模型.

1)ADA-ASC.在ADA的基础上, 不再对抗式地训练两个情感分类器, 捕获决策边界的模糊特征, 仅保留ADA的训练过程的第一步, 仅使用一个情感分类器.

2)ADA-IA.与ADA唯一区别是不使用交互注意力层, 其它完全相同.

3种模型在6个跨域对上的实验结果对比如表3所示.由表可进一步验证对抗式训练情感分类器进行分布对齐和运用交互注意力这两种策略的有效性.在大部分的跨域对数据上, ADA-IA性能均优于ADA-ASC, 与ADA的性能差异较小, 说明跨域方面级情感分类性能的提高不仅依赖于领域之间共享的方面词与情感特征的语义关系, 更依赖于决策边界的误分类问题.将源域和目标域的表示映射到同一空间, 对于执行边缘对齐方式产生的不足, 可通过对抗训练两个情感分类器、扩大对齐边界的方式进行有效缓解.

表3

Table 3

表3(Table 3)

表3 各模型的消融实验结果对比 Table 3 Result comparison of ablation experiment of different models% 模型 L→ R R→ L L→ T T→ L R→ T T→ R ACC F1 ACC F1 ACC F1 ACC F1 ACC F1 ACC F1 ADA-ASC 50.63 41.58 33.07 31.35 36.51 36.60 37.85 37.79 32.32 32.24 40.83 39.53 ADA-IA 57.76 45.41 42.71 34.43 41.59 41.81 44.99 43.98 34.87 33.66 34.25 34.03 ADA 64.21 50.18 47.64 40.57 41.87 41.86 47.89 45.63 37.02 36.20 52.30 41.12

表3 各模型的消融实验结果对比 Table 3 Result comparison of ablation experiment of different models%

为了进一步表明ADA进行对抗式分布对齐的效果优于广泛使用的边缘对齐方法, 在R→ L跨域对上, 对ADA和ADA-ASC进行源域和目标域特征表示分布的可视化, 如图3所示.

由图3(a)可发现, ADA-ASC源域积极样本和消极样本区分性较好, 但目标域的各类样本之间不具有区分性, 源域和目标域样本距离较远, 领域适应性较差.由(b)可发现, ADA中源域积极样本和目标域积极样本、源域消极样本和目标域消极样本彼此靠近, 同时不同极性之间又具有较好的区分性.两种模型均使用对抗性的领域分类器进行领域共享特征的学习, 但是ADA使用两个情感分类器进行对抗式训练, 扩大对齐边界, 使模糊特征导致的样本误分类可能性下降, 学习更好的决策边界, 有助于最终的情感类别正确预测.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 各模型在R→ L跨域对上的特征表示可视化Fig.3 Feature representation visualization of different models with R→ L cross-domain pair