为了提取图像模态数据和文本模态数据的表征, 基于预训练的视觉语言模型BLIP-2, 将两种模态转化为蕴含多模态信息的模态表征.BLIP-2是一种基于Transformer的多模态模型, 通过冻结预训练视觉模型和大语言模型的参数, 训练Qformer, 实现视觉模态和文本模态的对齐.Qformer是一个轻量化的Transformer, 在BLIP-2中发挥模态对齐的作用.在经过大量图文数据的预训练之后, BLIP-2中的特征提取模块能学到和文本最相关的视觉表示.同时, Qformer在大量的图文对齐训练中具备弥合视觉模态和文本模态之间差距的能力.因此, Qformer能在多模态情感分析的特征对齐阶段发挥重要作用.

对于多模态样本s_i, 采用冻结参数的ViT视觉模型作为视觉表征提取模型, 提取样本中图像模态数据s_iv的视觉表征:

H︿v=W^v(ViT(s_iv))∈R^n×d,

其中W^v表示线性投影层的可学习参数.对于文本模态数据s_it, 利用大语言模型强大的文本理解能力, 通过OPT(Open Pre-trained Transformer)^[18]语言模型将其转化为对应的文本表征:

H︿t=W^t(OPT(s_it))∈R^n×d,

其中W^t表示线性投影层的可学习参数.为了弥补图像模态和文本模态之间的差距, 基于冻结参数的Qformer结构提供两种模态之间的桥梁表征:

H_B=Qformer((s_iv, s_it))∈R^n×d,

H︿v、H︿t和H_B均为d=768维的表征向量.

在文本模态表征提取过程中, 引入大语言模型的LoRA(Low-Rank Adaptation)^[19], 冻结大语言模型参数、加入额外的网络层并训练其参数, 从而达到在微调极少量参数的同时获得和全模型参数微调可比的效果.因此, 基于LoRA降低大模型微调成本, 并在一定程度上拟合训练数据, 进一步提供高质量文本表征.

将OPT的参数矩阵记作θ_OPT, 在下游微调OPT时, 需要更新预训练模型参数, 即θ_OPT+Δθ, Δθ为需要更新的参数, 则LoRA的参数更新过程如下:

θ_OPT+Δθ=θ_OPT+B·A.

微调过程中A∈R^r×k和B∈R^l×r均为可学习参数.在前向传播过程中, θ_OPT和Δθ都会乘以相同的输入x并相加, 即

f=θ_OPT·x+Δθ·x=θ_OPT·x+B·A·x.

采用视觉语言模型分别提取图像模态表征和文本模态表征之后, 进行模态间的交互, 对不同模态的表征进行深层融合, 获得蕴含模态交互信息的模态间联合表征.因此, 设计跨模态多头互注意力融合模块(CMA), 作为一级融合模块, 分别对视觉表征H︿v和文本表征H︿t进行深度融合.视觉表征对于文本表征的互注意力融合过程如下:

$ \begin{array}{l} \text { Co-Attention }\left(\widehat{\boldsymbol{H}}_{v}, \widehat{\boldsymbol{H}}_{t}\right)= \\ \quad \operatorname{Softmax}\left(\frac{\widehat{\boldsymbol{H}}_{v} \cdot \boldsymbol{W}^{\ell} \cdot\left(\widehat{\boldsymbol{H}}_{t} \cdot \boldsymbol{W}^{K}\right)^{\mathrm{T}}}{\sqrt{d}}\right) \cdot \widehat{\boldsymbol{H}}_{t} \cdot \boldsymbol{W}^{V}, \end{array}$

其中,H︿v·W^Q表示视觉表征查询集合,H︿t·W^K、H︿t·W^V表示文本表征的键值集合, W^Q∈ Rd×dk, W^K∈ Rd×dk, W^V∈ Rd×dk, 均表示可学习的投影矩阵, d_k表示投影维度.

由于多头注意力机制可处理多角度的信息, 因此可较好地实现复杂信息的结合.假设有h个头, 每个head的含义为

hea div=Co-Attention(H︿v,H︿t).

将多个head的输出进行连接, 获得CMA的输出.最终的视觉-文本多头互注意力输出为:

$ \begin{array}{l} \widehat{\boldsymbol{H}}_{v-t}= \\ \text { LayerNorm }\left(\text { Concat }\left(\left[\text { head }_{1}^{v}, \text { head }_{2}^{v}, \cdots, \text { head }_{h}^{v}\right]\right) \cdot \boldsymbol{W}^{v-t}\right), \end{array}$

其中, W^v-t表示线性投影层的可学习参数, LayerNorm(·)表示层归一化.

同理, 文本-视觉多头互注意力输出:

$ \begin{array}{l} \widehat{\boldsymbol{H}}_{t-v}= \\ \operatorname{LayerNorm}\left(\operatorname{Concat}\left(\left[\text { head }_{1}^{t}, \text { head }_{2}^{t}, \cdots, \text { head }{ }_{h}^{t}\right]\right) \cdot \boldsymbol{W}^{t-v}\right) \text {, } \\ \end{array}$

其中, W^t-v表示线性投影层的可学习参数.

通过对视觉表征和文本表征进行跨模态多头互注意力融合, 获得交互加权融合表示H︿v-t和H︿t-v.为了进一步弥合两种模态表征的差异, 分别将H︿v-t和H︿t-v和冻结参数的Qformer生成的模态桥梁表征H_B进一步连接, 获得视觉-文本联合表征H_v-t和文本-视觉联合表征H_t-v:

$ \begin{aligned} \boldsymbol{H}_{v-t} & =\operatorname{Concat}\left(\left[\widehat{\boldsymbol{H}}_{v-t}, \boldsymbol{H}_{B}\right]\right), \\ H_{t-v} & =\operatorname{Concat}\left(\left[\widehat{\boldsymbol{H}}_{t-v}, \boldsymbol{H}_{B}\right]\right) . \end{aligned}$

在分别获得视觉-文本和文本-视觉联合表征之后, 设计混合专家网络融合模块(MoE)作为二级融合模块, 通过多个专家学习挖掘表征内部信息, 进行维度变换并完成多模态情感分析任务^[20].设E(·)表示专家网络的输出, G(·)表示门控网络的输出, e_i(·)对应专家第i个位置的输出, g_i(·)对应门控第i个位置的输出.专家网络和门控网络接收相同的输入, 每位专家学习不同的特征, 门控函数根据输入为每位专家分配不同权重.

为了完成上述任务, 构建两层单门混合专家网络融合模块(One-Gate MoE).底层由2个单门MoE组成, 利用多位专家进一步挖掘视觉-文本联合表征H_v-t和文本-视觉联合表征H_t-v, 得到专家表征H_vt和H_tv:

$ \begin{array}{l} \boldsymbol{H}_{v t}=E_{v-t}\left(\boldsymbol{H}_{v-t}\right) \cdot G_{v-t}\left(\boldsymbol{H}_{v-t}\right)=\sum_{i=1}^{n} e_{i}^{v t}\left(\boldsymbol{H}_{v-t}\right) \cdot g_{i}^{v t}\left(\boldsymbol{H}_{v-t}\right), \\ \boldsymbol{H}_{t v}=E_{t-v}\left(\boldsymbol{H}_{t-v}\right) \cdot G_{t-v}\left(\boldsymbol{H}_{t-v}\right)=\sum_{i=1}^{n} e_{i}^{w}\left(\boldsymbol{H}_{t-v}\right) \cdot g_{i}^{t v}\left(\boldsymbol{H}_{t-v}\right) . \end{array}$

并融合为最终的多模态表征:

H_m=H_vt·H_tv.

顶层的单门MoE负责挖掘H_m, 最后预测该样本对应的情感极性y的概率:

$ p=\operatorname{Sigmoid}\left(\boldsymbol{W}^{m}\left(\sum_{i=1}^{n} e_{i}^{m}\left(\boldsymbol{H}_{m}\right) \cdot g_{i}^{m}\left(\boldsymbol{H}_{m}\right)\right)\right), $

其中专家由多层MLP构成, 门控函数为softmax, n表示专家数量, W^m表示可学习的线性投影层参数.

训练MFVL的损失函数为交叉熵损失函数:

L=1D∑i=1D∑c=1C(y_ic·log₂(p_ic)),

其中, y_ic表示取值为0或1的符号函数, 取值为1表示当前样本的标签为c, 否则取值为0.

本文选择在MVSA-Single^[21]、MVSA-Multiple^[21]、HFM^[22]这3个公开评测数据集上设计实验, 验证方法的有效性, 数据集的统计信息如表1所示.

表1

Table1

表1(Table1)

表1 实验数据集的统计信息 Table1 Statistical information of experimental datasets 名称 标签 训练集 数量 验证集 数量 测试集 数量 MVSA-Single 积极 中性 消极 2147 376 1088 268 47 135 268 47 135 MVSA-Multiple 积极 中性 消极 9056 3528 1040 1131 440 129 1131 440 129 HFM 积极 消极 8642 11174 959 1451 959 1450

表1 实验数据集的统计信息 Table1 Statistical information of experimental datasets

MVSA-Single、MVSA-Multiple数据集是2个常用的从推特中爬取的图像-文本对情感分析数据集, 包含3种情感类别:积极(Positive)、中性(Neu-tral)和消极(Negative).MVSA-Multiple数据集为MVSA-Single数据集的升级版本, 包含更丰富且更复杂的图像文本数据对.2个MVSA数据集的处理方式与文献[2]一致.HFM数据集上只包含积极和消极两种情感类别, 本文采用和文献[22]一样的数据预处理方式进行实验.

在表征提取阶段, 视觉表征提取模块为来自CLIP的ViT-L/14, 文本表征提取模块为OPT-2.7B, 生成模态桥梁表征的Qformer直接来自预训练的BLIP-2.在训练时冻结ViT、Qformer和OPT, 学习率设置为2e-5, 批尺寸大小为24, 训练6个迭代周期.训练时采用的优化器为AdamW(Adaptive Moment Estimation with Weight Decay), 其中∈=1e-8, β₁和β₂的组合设置为(0.9, 0.999).采用准确率(Accuracy, ACC)和F1作为性能评价指标.

ACC为多模态情感分类器正确分类的样本比例:

ACC=TP+TNTP+TN+FN+FP,

其中, TP表示实际为正例且被多模态情感分类器划分为正例的数目, FP表示实际为负例但被多模态情感分类器划分为正例的数目, TN表示实际为正例但被多模态情感分类器划分为负例的数目, FN表示实际为负例且被多模态分类器划分为负例的数目.

F1为精确率(Precision)和召回率(Recall)的加权调和平均:

$ \begin{array}{l} F 1=\frac{2 \cdot \text { Precision } \cdot \text { Recall }}{\text { Precision }+ \text { Recall }}, \\ \text { Precision }=\frac{T P}{T P+F P}, \text { Recall }=\frac{T P}{T P+F N}, \end{array}$

其中, Precision表示多模态情感分类器识别为正例的样本中, 实际为正例的比例, Recall表示在所有正例样本中, 被多模态情感分类器正确识别为正例的比例.

所有的实验均在Linux平台上, 基于Pytorch2.0.1框架, 采用2个NVIDIA TESLA V100 32 GHz GPU完成.

为了充分验证MFVL的有效性, 分别选择单模态方法和多模态方法进行对比.

在单模态方法中, 对于文本模态, 选取文献[23]方法, Att-BLSTM(Attention-Based Bidirectional Long Short-Term Memory Networks)^[24]和BERT^[7]进行对比.对于视觉模态, 选取ResNet(Residual Net-work)^[25]和ViT^[16]进行对比.

在多模态方法中, 还包含部分多模态讽刺检测方法.多模态讽刺检测是一种通过联合多种模态以检测输入内容中是否包含讽刺情感的任务.讽刺是指用比喻、夸张等表现手法对人或事进行批判或嘲笑, 是人类情感表达的一种高级形式.因此, 多模态讽刺检测是情感分析中的一个重要应用.具体对比方法如下.

1)MultiSentiNet^[2].使用目标特征向量、场景特征向量和词向量进行跨模态注意力融合, 赋予文本中与情感相关的词向量更高的权重, 用以完成多模态情感分析.

2)HSAN^[4].利用层次注意力结构分别挖掘文本和图像字幕的语义表示, 学习上下文信息, 实现多模态情感分析.

3)MGNNS^[8].基于多通道图神经网络捕捉情绪感知的多模态表示, 通过多头注意力机制进行情绪预测.

4)CLMLF^[11].基于对比学习, 设计多层融合和对齐模块, 进行不同模态表示交互与融合, 进行下游情感分类.

5)MVCN^[12].使用多视图校准网络, 包括文本引导融合模块、基于情感的一致性约束和自适应损失校准策略进行多模态情感分析.

6)文献[22]方法.通过层次融合结构将图像、属性和文本进行深度融合, 完成多模态讽刺检测任务.

7)CoMN-Hop6^[26].使用交互式记忆网络对视觉信息和文本信息间的相互影响进行建模, 迭代地从文本和图像中获取关键信息.

8)文献[27]方法(简记为Concat).基于深度学习的方法, 设计深度网络直接连接视觉特征和文本特征进行多模态讽刺检测.在后文中, Concat-2表示连接图像特征和文本特征, Concat-3在Concat-2的基础上进一步连接图像的属性特征.

9)D& R Net(Decomposition and Relation Net-work)^[28].构建分解和关系网络, 对跨模态对比和语义关联进行建模, 挖掘图像和文本之间的共性和差异, 完成多模态讽刺检测任务.

各方法在MVSA-Single、MVSA-Multiple、HFM数据集上的指标值对比结果如表2和表3所示, 表中黑体数字表示最优值.

表2

Table 2

表2(Table 2)

表2 各方法在MVSA-Single、MVSA-Multiple数据集上的指标值对比 Table 2 Index value comparison of different methods on MVSA-Single and MVSA-Multiple dataset % 模态 方法 MVSA-Single MVSA-Multiple ACC F1 ACC F1 文本 文献[23]方法 Att-BLSTM BERT 68.19 70.12 71.11 55.90 65.06 69.70 65.64 67.90 67.59 57.66 67.90 66.24 图像 ResNet-50 ViT 64.67 63.78 61.55 62.26 61.88 61.94 60.98 61.19 多模态 MultiSentiNet HSAN CoMN-Hop6 MGNNS CLMLF MVCN MFVL 69.84 69.88 70.51 73.77 75.33 76.06 76.44 69.84 66.90 70.01 72.70 73.46 74.55 75.00 68.86 67.96 68.92 72.49 72.00 72.07 71.23 68.11 67.76 68.83 69.34 69.83 70.01 68.83

表2 各方法在MVSA-Single、MVSA-Multiple数据集上的指标值对比 Table 2 Index value comparison of different methods on MVSA-Single and MVSA-Multiple dataset %

表3

Table 3

表3(Table 3)

表3 各方法在HFM数据集上的指标值对比 Table 3 Index value comparison of different methods on HFM dataset % 模态 方法 HFM ACC F1 文本 文献[23]方法 Att-BLSTM BERT 80.03 81.90 83.89 75.32 77.53 83.26 图像 ResNet-50 ViT 72.77 73.09 71.38 71.52 多模态 Concat-2 Concat-3 文献[22]方法 D& R Net CLMLF MVCN MFVL 81.03 81.74 83.44 84.02 85.43 85.68 93.89 77.99 78.74 80.18 80.60 84.87 85.23 93.91

表3 各方法在HFM数据集上的指标值对比 Table 3 Index value comparison of different methods on HFM dataset %

由表2可见, 在MVSA-Single数据集上, MFVL在ACC和F1上均超过之前的SOTA.然而, MFVL在MVSA-Multiple数据集上的表现与对比方法仍存在一定的差距.由表3可见, 在HFM数据集上, MFVL的表现远超过所有的对比方法, 相比之前的SOTA, ACC和F1分别提升9.58%和10.18%.

为了探究MFVL的性能, 分别在MVSA-Single、MVSA-Multiple、HFM数据集上对跨模态多头互注意力融合模块中的超参数heads进行实验分析.由于MFVL中多头互注意力融合模块的输出维度为768, heads的合适取值为4, 6, 8, 12, 并且为了控制变量, 将混合专家网络融合模块中的专家数设置为8, 具体实验结果如图2和图3所示.由图可知, 在MVSA-Single数据集上, F1指标在heads=6时较优, ACC在heads=8时更高.在MVSA-Multiple、HFM数据集上, 当heads=8时MFVL表现均为最佳.综合上述实验结果, 取heads=8.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 heads不同时MFVL的ACC值对比Fig.2 ACC comparison of MFVL with different heads

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 heads不同时MFVL的F1值对比Fig.3 F1 comparison of MFVL with different heads

同理, 当heads=8时, 分析混合专家网络融合模块中专家数量n, 设计n=4, 5, …, 10, n不同时MFVL在3个数据集上指标值结果如图4和图5所示.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 n不同时MFVL的ACC值对比Fig.4 ACC comparison of MFVL with different n

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 n不同时MFVL的F1值对比Fig.5 F1 comparison of MFVL with different n

由图4和图5可见, 在MVSA、HFM数据集上, n=8时MFVL性能最佳.

因此, 在实验中(heads, n)的最佳超参数组合设置为(8, 8).

为了探究MFVL中视觉语言模型特征提取模块(VLM)、跨模态多头互注意力融合模块(CMA)和混合专家网络融合模块(MoE)的有效性, 分别在MVSA-Single、MVSA-Multiple、HFM数据集上进行消融实验, 结果如表4所示.

表4

Table 4

表4(Table 4)

表4 MFVL消融实验结果 Table 4 Ablation experimental results of MFVL % VLM CMA MoE MVSA-single MVSA-multiple HFM ACC F1 ACC F1 ACC F1 √ √ √ 76.44 75.00 71.23 68.83 93.89 93.91 × √ √ 73.05 71.59 68.14 65.04 81.35 81.51 √ × √ 75.41 74.26 70.43 68.37 92.33 92.40 √ √ × 75.00 74.07 70.05 68.00 91.95 92.07 × × √ 72.13 70.74 67.39 64.65 80.71 81.05 × √ × 71.29 70.08 67.00 64.02 79.97 80.24 √ × × 74.07 73.40 69.20 67.63 90.97 91.00 × × × 70.83 70.01 66.43 63.88 78.76 78.81

表4 MFVL消融实验结果 Table 4 Ablation experimental results of MFVL %

由表4可见, 在3个不同的数据集上, 本文提出的3个模块均能提升方法性能.其中VLM对性能影响最大, 在HFM数据集上, VLM带来的ACC和F1提升分别达到15.4%和15.2%.

在MVSA数据集上, 相比CMA和MoE, VLM也带来较大提升.这说明预训练的视觉语言模型能有效提取高质量的模态特征, 有利于方法在下游进行融合与分类.

为了进一步探究MFVL对多模态数据特征提取的有效性, 对提取到的图像模态表征进行可视化, 具体如表5所示.

表5

Table 5

表5(Table 5)

表5 MFVL多模态特征可视化分析 Table 5 Visualization analysis of multimodal representations extracted by MFVL 原图像 图像表征可视化 文本模态 预测结果 Such a #CutePuppy photo taken by @tania_anderl at #Cruising-RG for #NationalDogDay. 积极 Exploring the French Canadian Countryside today #sobeautiful #quebec #frenchcanada #travel #discover. 积极 Western Canada burns so #Harper #Clark double down on #FRACKING #Tarsands expansion #ClimateChange. 消极

表5 MFVL多模态特征可视化分析 Table 5 Visualization analysis of multimodal representations extracted by MFVL

由表5可见, MFVL能注意到图像中的关键主体, 如狗、瀑布和浓烟.此外, MFVL提取到的图像主体语义与文本模态中的实体关键词以及情感词密切相关, 并且对情感极性的预测具有重要作用.

因此, MFVL具备关键表征挖掘能力和模态关联能力, 能正确结合图像模态和文本模态, 判断情感极性.