EVQA的目标如下:基于给定问题和相关图像, 生成正确答案并提供多模态解释.

输入表示为(Q, I), 其中:

Q=q₁q₂…q_m

表示包含m个单词的问题文本, q_i表示问题中的第i个单词; 图像I可用一个RGB张量表示.

输出表示为(A, E), 其中:A表示从预定义的字典集{z₁, z₂, …, z_K}(含K个可能答案)中选择的答案;

E=e₁e₂…e_n,

表示包含n个标记的多模态解释.

在模型训练过程中, 真实输出(A', E')被提供给模型用作监督信号.

本文主要解决生成解释的视觉区域和语义的不一致问题.如图1所示, 尽管示例中VCIN^[19]生成的解释包含答案的语义信息, 但其视觉区域并不符合正确解释的视觉逻辑关系, 降低解释可信度.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 EVQA语义一致性示例Fig.1 EVQA semantic consistency example

VLPMs是一种多模态模型, 旨在结合视觉模态和语言模态, 完成跨模态检索、视觉问答、图文匹配等任务.VLPMs将图像和文本嵌入统一表征的语义空间中, 使模型能理解两者之间的关系.VLPMs通常是视觉模态编码器、语言模态编码器和跨模态编码器组成的Transformer^[31].

注意力机制通常作为模块化网络的一个单元嵌入.例如:自注意力机制^[31]被视觉模态编码器和语言模态编码器普遍使用.以视觉模态编码器为例, 假设输入视觉特征为X, 它的查询矩阵Q_X∈ R^{s× d}、键矩阵K_X∈ R^{s× d}、值矩阵V_X∈ R^{s× d}, 其中, s表示输入视觉特征长度, d表示查询、键和值的设定长度.

对于视觉特征X, 首先计算缩放点积注意力分数:

Score= QXKTXd.

则视觉特征X经过自注意力机制得到的表征为:

$\boldsymbol{X}^{\prime}=\operatorname{Att}\left(\boldsymbol{Q}_{X}, \boldsymbol{K}_{X}, \boldsymbol{V}_{X}\right)=\operatorname{softmax}\left(\frac{\boldsymbol{Q}_{X} \boldsymbol{K}_{X}^{\mathrm{T}}}{\sqrt{d}}\right) \boldsymbol{V}_{X} . $ (1)

相比自注意力机制, 交叉注意力机制大多在跨模态编码器中使用.假设输入文本特征为L, 它的查询矩阵Q_L∈ R^{n× d}、键矩阵K_L∈ R^{n× d}、值矩阵V_L∈ R^{n× d}, 其中, n表示输入文本特征的长度, d表示查询、键和值的设定长度.

对于文本特征L, 使用交叉注意力机制^[31]学习它的跨模态特征表示如下:

$\boldsymbol{L}_{c}=\operatorname{CrossAtt}\left(\boldsymbol{Q}_{L}, \boldsymbol{K}_{X}, \boldsymbol{V}_{X}\right)=\operatorname{softmax}\left(\frac{\boldsymbol{Q}_{L} \boldsymbol{K}_{X}^{\mathrm{T}}}{\sqrt{d}}\right) \boldsymbol{V}_{X} . $

同理, 可以得到视觉特征X的跨模态特征表示如下:

$\boldsymbol{X}_{c}=\operatorname{CrossAtt}\left(\boldsymbol{Q}_{X}, \boldsymbol{K}_{L}, \boldsymbol{V}_{L}\right)=\operatorname{softmax}\left(\frac{\boldsymbol{Q}_{X} \boldsymbol{K}_{L}^{\mathrm{T}}}{\sqrt{d}}\right) \boldsymbol{V}_{L} . $

在现有EVQA推理方法中, 基于变分因果推理机制的方法最有效, 其模型训练目标是建模从解释到答案的因果效应的同时, 最大化预测真实答案A'的边缘似然的证据下界(Evidence Lower Bound, ELBO)^[32].具体来说, p表示训练数据分布, q表示理想数据分布, 理想分布在隐藏层定义一个由多模态解释数据生成的稳定特征F, 因此获得如下优化目标函数^[19]:

$\begin{aligned} \ln p\left(\boldsymbol{A}^{\prime} \mid \boldsymbol{M}\right) \geqslant & E_{q(\boldsymbol{F} \mid \boldsymbol{M})}\left[\ln p\left(\boldsymbol{A}^{\prime} \mid \boldsymbol{M}, \boldsymbol{F}\right)+\ln p(\boldsymbol{F} \mid \boldsymbol{M})-\ln q(\boldsymbol{F} \mid \boldsymbol{M})\right]= \\ & E_{q(\boldsymbol{F} \mid \boldsymbol{M})}\left[\ln p\left(\boldsymbol{A}^{\prime} \mid \boldsymbol{M}, \boldsymbol{F}\right)\right]-K L(q(\boldsymbol{F} \mid \boldsymbol{M}) \| p(\boldsymbol{F} \mid \boldsymbol{M}))= \\ & E_{q\left(\boldsymbol{F} \mid \boldsymbol{E}^{\prime}\right)}\left[\ln p\left(\boldsymbol{A}^{\prime} \mid \boldsymbol{M}, \boldsymbol{F}\right)\right]-K L\left(q\left(\boldsymbol{F} \mid \boldsymbol{E}^{\prime}\right) \| p(\boldsymbol{F} \mid \boldsymbol{M})\right) . \end{aligned}$ (2)

其推理过程中使用引理:

$q(\boldsymbol{F} \mid \boldsymbol{M})=\sum_{\boldsymbol{E}} q(\boldsymbol{F} \mid \boldsymbol{E}) q(\boldsymbol{E} \mid \boldsymbol{M})=q\left(\boldsymbol{F} \mid \boldsymbol{E}^{\prime}\right) $,

其中$q(E|M)$为一个满足$q({E}'|M)=1$的狄拉克分布.由于$\{p(E|M)|\forall E\}$的计算过程具有指数复杂性, 导致式(2)的$p(F|M)$难以计算, 且并无明确算法可采样$E\sim p(E|M)$.因此, 现有方法采用近似分布$p(F|E* )$对应测试场景, 其中E^* 表示生成解释.由此可得变分因果推断损失^[19]:

$\begin{aligned} L_{\mathrm{ans}}= & -E_{q\left(\boldsymbol{F} \mid \boldsymbol{E}^{\prime}\right)}\left[\ln p\left(\boldsymbol{A}^{\prime} \mid \boldsymbol{M}, \boldsymbol{F}\right)\right]+K L\left(q\left(\boldsymbol{F} \mid \boldsymbol{E}^{\prime}\right) \| p\left(\boldsymbol{F} \mid \boldsymbol{E}^{* }\right)\right)= \\ & -E_{q\left(\boldsymbol{F} \mid \boldsymbol{E}^{\prime}\right)}\left[\ln p\left(\boldsymbol{A}^{\prime} \mid \boldsymbol{M}, \boldsymbol{F}\right)\right]+\frac{1}{2}\left[\ln \left(\frac{\left|\boldsymbol{\Sigma}_{E^{* }}\right|}{\left|\boldsymbol{\Sigma}_{E^{\prime}}\right|}\right)-d_{f}+\operatorname{tr}\left(\boldsymbol{\Sigma}_{E^{* }}^{-1} \boldsymbol{\Sigma}_{E^{\prime}}\right)+\Delta \boldsymbol{\mu}^{\mathrm{T}} \boldsymbol{\Sigma}_{E^{* }}^{-1} \Delta \boldsymbol{\mu}\right], \end{aligned}$

其中,

$\begin{array}{l} \boldsymbol{\Sigma}_{E^{\prime}}=\operatorname{diag}\left(\boldsymbol{\sigma}_{E^{\prime}}^{2}\right), \\ \boldsymbol{\Sigma}_{E^{* }}=\operatorname{diag}\left(\boldsymbol{\sigma}_{E^{* }}^{2}\right), \\ \Delta \boldsymbol{\mu}=\left(\boldsymbol{\mu}_{E^{* }}-\boldsymbol{\mu}_{E^{\prime}}\right), \end{array}$

d_f表示F的维度.

现有工作除了最大化预测真实答案A'的边缘似然$\log p({A}'|M)$之外, 还通过最小化真实解释E'的负对数似然, 训练模型, 即

$L_{\exp }=-\ln p\left(\boldsymbol{E}^{\prime} \mid \boldsymbol{M}\right) $. (3)

通过优化L_ans和L_exp, 可训练结构因果模型, 预测准确答案, 生成合理解释, 同时建模解释E和答案A的因果关联.

2.1.1 视觉因果图生成

定义图像的视觉特征

$\begin{array}{l} \boldsymbol{X}=\boldsymbol{x}_{1} \boldsymbol{x}_{2} \cdots \boldsymbol{x}_{36} \\ \boldsymbol{x}_{i}=\left(\boldsymbol{r}_{i}, \boldsymbol{b}_{i}\right), i=1, 2, \cdots, 36 \end{array}$

其中, r_i∈ R²⁰⁴⁸表示Faster R-CNN从图像I中提取的第i个区域特征(Region of Interest, ROI), b_i∈ R⁴, 表示该区域的位置向量.

为了嵌入图像视觉特征的因果关系, 构建因果图

G={X, E},

其中,

$\boldsymbol{E}=\left(e_{i, j}\right)_{n \times n}, e_{i, j} \in\{0, 1\}, $

表示通过PC算法(Peter-Clark Algorithm)学习的邻接矩阵.e_{i, j}=1表示存在一条从对象x_i到对象x_j的因果有向边, 表明x_i直接影响x_j.e_{i, j}=0表示对象x_i和对象x_j之间不存在因果关系.

视觉特征因果图示例如图2所示.图中邻接矩阵E描述视觉对象X在G中的因果关系.通过检索矩阵E中元素的索引和值, 可得到与每个目标对象相关的父对象、子对象和配偶对象的集合.以图中的目标对象x₃为例, E中的绿色区域表示x₃ 的父对象所在位置, 当值为1时, 表示索引的视觉对象为x₃的父对象.同样, 橙色区域表示子对象所在位置, 红色阴影区域表示配偶对象所在位置.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 视觉特征因果图示例Fig.2 Example of causal graph for visual features

2.1.2 因果引导矩阵

由图2可见, 目标对象x₃的父集为{x₂, x₄}, 子集为{x₅, x₆}, 配偶集为{x₇}.上述集合的组合可构成目标对象不同粒度的主体(因果)对象集合和支撑(非因果)对象集合.本文采用该组合作为多模态因果解耦表征的基准.

为了实现多模态因果解耦表征, 首先需要设计因果图引导的自注意力机制, 它是一种从因果图的邻接矩阵E中提取引导矩阵A对注意力分数或权重进行采样, 以确保注意权重的计算能准确反映对象间因果关系的自注意力表征方法.具体而言,

A=E+I,

其中I表示单位矩阵.

本文建立的自注意力机制按列计算注意力分数矩阵的权重, 确保引导矩阵采样与注意力方向的一致性.

以图2中的目标对象x₃为例, 通过QKV计算x₃在所有对象中的注意力得分:

$w_{i, 3}=\frac{\left(\boldsymbol{q}_{3}\right)\left(\boldsymbol{k}_{i}\right)^{\mathrm{T}}}{\sqrt{d}}, $

其中, q₃表示目标对象x₃的查询向量, k_i表示候选对象的键向量, d表示查询矩阵、关键字矩阵和值矩阵的设置长度.x₃的父集{x₂, x₄}引导矩阵如图3所示, 与图2相比, e_{3, 3}被设为1.这是因为E的因果方向与注意力方向一致, 可保证充分考虑每个物体对视觉自注意力过程的个体权重贡献, 保持影响的公平分配.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 引导矩阵的工作原理Fig.3 Mechanism of guided matrix

2.1.3 多模态因果特征学习方法

使用因果引导注意力分数计算因果自注意力权重, 得到视觉主体表征:

$\boldsymbol{X}_{\mathrm{Iof}}=\operatorname{Att}\left(\boldsymbol{Q}_{X}, \boldsymbol{K}_{X}, \boldsymbol{V}_{X}\right)=\operatorname{softmax}\left(\frac{\boldsymbol{Q}_{X} \boldsymbol{K}_{X}^{\mathrm{T}}}{\sqrt{d}} \odot \boldsymbol{A}\right) \boldsymbol{V}_{X} $.

相应的, 通过A的补矩阵

$\bar{A}=1-E$

得到视觉支撑表征:

$\boldsymbol{X}_{\mathrm{Sof}}=\operatorname{Att}\left(\boldsymbol{Q}_{X}, \boldsymbol{K}_{X}, \boldsymbol{V}_{X}\right)=\operatorname{softmax}\left(\frac{\boldsymbol{Q}_{X} \boldsymbol{K}_{X}^{\mathrm{T}}}{\sqrt{d}} \odot \overline{\boldsymbol{A}}\right) \boldsymbol{V}_{X} \text {, }$

则文本跨模态特征表示为:

$\begin{array}{l} \boldsymbol{L}_{\mathrm{Iof}}=\operatorname{CrossAtt}\left(\boldsymbol{Q}_{L}, \boldsymbol{K}_{X_{\mathrm{Iof}}}, \boldsymbol{V}_{X_{\mathrm{Iof}}}\right), \\ \boldsymbol{L}_{\mathrm{Sof}}=\operatorname{CrossAtt}\left(\boldsymbol{Q}_{L}, \boldsymbol{K}_{X_{\mathrm{Sof}}}, \boldsymbol{V}_{X_{\mathrm{Sof}}}\right) . \end{array}$

同理, 得到视觉特征X的跨模态特征表示:

$\begin{array}{l} \boldsymbol{X}_{\mathrm{Iof}}^{\prime}=\operatorname{CrossAtt}\left(\boldsymbol{Q}_{X_{\mathrm{Iof}}}, \boldsymbol{K}_{L}, \boldsymbol{V}_{L}\right), \\ \boldsymbol{X}_{\mathrm{Sof}}^{\prime}=\operatorname{CrossAtt}\left(\boldsymbol{Q}_{X_{\mathrm{Sof}}}, \boldsymbol{K}_{L}, \boldsymbol{V}_{L}\right) . \end{array}$

本文使用LXMER^[12]作为VLPM学习图像和问题的多模态特征.LXMERT包括5层的视觉编码器、9层的语言编码器和5层的跨模态编码器.将上述因果引导过程嵌入预训练LXMERT对应的注意力模块中, 微调预训练模型, 输出多模态因果解耦表征.此外, 对于问题的标记q₁q₂…q_m, 在它的最前端加上[CLS]标记, 最末端加上[EOS]标记, 得到问题的标记表示

$\boldsymbol{Q}=q_{0} q_{1} \cdots q_{m+1} . $

将视觉特征X和对应的引导矩阵及问题Q作为LXMERT的输入, 解耦多模态主体特征

$\boldsymbol{V}_{\mathrm{Iof}}, \boldsymbol{T}_{\mathrm{Iof}}=\operatorname{LXMERT}(\{\boldsymbol{X}, \boldsymbol{A}\}, \boldsymbol{Q}), $

和多模态支撑特征

$\boldsymbol{V}_{\mathrm{Sof}}, \boldsymbol{T}_{\mathrm{Sof}}=\operatorname{LXMERT}(\{\boldsymbol{X}, \overline{\boldsymbol{A}}\}, \boldsymbol{Q}), $

其中, V_Iof∈ R^{36× 768}表示36个对象的视觉主体特征, T_Iof∈ R^{(m+2)× 768}表示含m+2个标记的问题主体特征, V_Sof∈ R^{36× 768}表示36个对象的视觉支撑特征, T_Sof∈ R^{(m+2)× 768}表示含m+2个标记的问题支撑特征, LXMERT(· )表示利用LXMERT作为VLPM学习多模态特征.

2.2.1 细到粗粒度增益的结构化因果

为了充分利用多模态主体特征和多模态支撑特征, 本文在VCIN^[19]的基础上设计一个结构因果模型.VCIN和FCGC-CoD的SCM结构如图4所示, 图中I表示图像, Q表示问题, M_Iof表示多模态主体特征, M_Sof表示多模态支撑特征, E_Iof表示主体解释, E_Sof表示支撑解释, F表示解释特征, A表示答案.由图可见, 本文的SCM利用多模态主体特征和多模态支撑特征分别生成主体解释和支撑解释, 同时建立它们和答案之间的因果关系.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 结构因果模型结构对比Fig.4 Structure comparison of structural causal models

具体而言, 通过路径I→ M_Iof← Q得到多模态主体特征M_Iof=(V_Iof, T_Iof).通过路径I→ M_Sof← Q, 得到多模态支撑特征M_Sof=(V_Sof, T_Sof).通过路径M_Iof→ E_Iof和M_Sof→ E_Sof分别生成主体解释和支撑解释.通过路径E_Iof→ F← E_Sof进行联合推理, 得到由主体解释和支撑解释共同推理得到的解释特征F.最后, 通过路径M_Iof(M_Sof)→ A← F, 得到最终答案.

在此过程中, 将F建模为高斯分布, 即F~N(μ , diag(σ ²)), 以提升F的鲁棒性.其中, μ 、σ ²表示由E计算得出的d_f维向量.此外, 为了减少分布$P\left(\boldsymbol{A} \mid \boldsymbol{M}, \boldsymbol{E}^{\prime}\right) $和$P\left(\boldsymbol{A} \mid \boldsymbol{M}, \boldsymbol{E}_{\mathrm{Iof}}^{* }, \boldsymbol{E}_{\mathrm{Sof}}^{* }\right) $之间的偏差, 最小化Kullback-Leibler(KL)散度

$K L\left(q\left(\boldsymbol{F} \mid \boldsymbol{E}^{\prime}\right) \| p\left(\boldsymbol{F} \mid \boldsymbol{E}_{\mathrm{Iof}}^{* }, \boldsymbol{E}_{\mathrm{Sof}}^{* }\right)\right), $

其中, E'表示真实解释, EIof*表示预测的主体解释, ESof*表示预测的支撑解释.

2.2.2 深度变分因果推理目标函数

根据式(2), 在同时引入多模态主体特征和多模态支撑特征的情况下, 变分因果推理目标可进一步推导如下:

$\begin{array}{l} \ln p\left(\boldsymbol{A}^{\prime} \mid \boldsymbol{M}_{\mathrm{Iof}}, \boldsymbol{M}_{\mathrm{Sof}}\right)= \\ \quad E_{q\left(\boldsymbol{F}_{\mathrm{Iof}} \mid \boldsymbol{E}_{\mathrm{Iof}}^{\prime}\right)}\left[\ln p\left(\boldsymbol{A}^{\prime} \mid \boldsymbol{M}_{\mathrm{Iof}}, \boldsymbol{F}_{\mathrm{Iof}}\right)\right]+ \\ \quad E_{q\left(\boldsymbol{F}_{\mathrm{Sof}} \mid \boldsymbol{E}_{\mathrm{Sof}}^{\prime}\right)}\left[\ln p\left(\boldsymbol{A}^{\prime} \mid \boldsymbol{M}_{\mathrm{Sof}}, \boldsymbol{F}_{\mathrm{Sof}}\right)\right]- \\ \quad\left(K L\left(q\left(\boldsymbol{F}_{\mathrm{Iof}} \mid \boldsymbol{E}_{\mathrm{Iof}}^{\prime}\right) \| p\left(\boldsymbol{F}_{\mathrm{Iof}} \mid \boldsymbol{M}_{\mathrm{Iof}}\right)\right)+\right. \\ \left.\quad K L\left(q\left(\boldsymbol{F}_{\mathrm{Sof}} \mid \boldsymbol{E}_{\mathrm{Sof}}^{\prime}\right) \| p\left(\boldsymbol{F}_{\mathrm{Sof}} \mid \boldsymbol{M}_{\mathrm{Sof}}\right)\right)\right) . \end{array}$

由于采用联合推理, 本文使用E_Iof和E_Sof的分类结果进行归一化, 得到最终解释E.为了避免F的进一步分化而丢失鲁棒性, 最终推理目标如下:

$\begin{array}{l} \ln p\left(\boldsymbol{A}^{\prime} \mid \boldsymbol{M}_{i}, \boldsymbol{M}_{s}\right)= \\ \quad E_{q\left(\boldsymbol{F} \mid \boldsymbol{E}^{\prime}\right)}\left[\ln p\left(\boldsymbol{A}^{\prime} \mid\left(\boldsymbol{M}_{\mathrm{Iof}}, \boldsymbol{M}_{\mathrm{Sof}}\right), \boldsymbol{F}\right)\right]- \\ \quad K L\left(q\left(\boldsymbol{F} \mid \boldsymbol{E}^{\prime}\right) \| p\left(\boldsymbol{F} \mid\left(\boldsymbol{M}_{\mathrm{Iof}}, \boldsymbol{M}_{\mathrm{Sof}}\right)\right)\right) . \end{array}$

再根据式(3)可得变分因果推断损失如下:

$\begin{aligned} L_{\mathrm{ans}}= & -E_{q\left(\boldsymbol{F} \mid \boldsymbol{E}^{\prime}\right)}\left[\ln p\left(\boldsymbol{A}^{\prime} \mid\left(\boldsymbol{M}_{\mathrm{Iof}}, \boldsymbol{M}_{\mathrm{Sof}}\right), \boldsymbol{F}\right)\right]+K L\left(q\left(\boldsymbol{F} \mid \boldsymbol{E}^{\prime}\right) \| p\left(\boldsymbol{F} \mid \boldsymbol{E}^{* }\right)\right) \approx \\ & -\frac{1}{H} \sum_{i=1}^{H} \boldsymbol{A}^{\prime} \ln p\left(\boldsymbol{A} \mid \boldsymbol{M}, \boldsymbol{F}_{i}\right)+\frac{1}{2}\left[\ln \left(\frac{\left|\boldsymbol{\Sigma}_{\boldsymbol{E}^{* }}\right|}{\left|\boldsymbol{\Sigma}_{\boldsymbol{E}^{\prime}}\right|}\right)-d_{f}+\operatorname{tr}\left(\boldsymbol{\Sigma}_{\boldsymbol{E}^{* }}^{-1} \boldsymbol{\Sigma}_{\boldsymbol{E}^{\prime}}\right)+\Delta \boldsymbol{\mu}^{\mathrm{T}} \boldsymbol{\Sigma}_{\boldsymbol{E}^{* }}^{-1} \Delta \boldsymbol{\mu}\right], \\ L_{\mathrm{exp}}= & -\sum_{t=1}^{T} \boldsymbol{e}_{t^{\prime}} \ln \boldsymbol{y}^{t}-\sum_{t=1}^{T}\left[\omega_{t^{\prime}} \ln \omega_{t}+\left(1-\omega_{t^{\prime}}\right) \ln \left(1-\omega_{t}\right)\right], \end{aligned}$

其中, A'表示真实答案, ω '_t表示第t步的真实门控值, e'_t表示真实解释的第t个标记, y^t表示解释的第t个标记的最终预测概率, F_i~N(μ _E', diag( σE'2))表示H个独立同分布样本.

FCGC-CoD具体架构如图5所示.算法步骤如下.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 FCGC-CoD框架图Fig.5 Framework of FCGC-CoD

算法 FCGC-CoD

输入 问题Q, 视觉特征X, 因果引导矩阵A

训练阶段

step 1 使用VLPMs解耦多模态主体特征和多模态支撑特征.

step 2 使用主体(支撑)多模态解释生成器生成主体(支撑)解释.

step 3 归一化两种解释, 得到最终预测解释.

step 4 使用多模态解释编码器生成解释特征.

step 5 使用双通道答案分类器预测答案.

step 6 计算变分因果推断总损失.

step 7 反向传播总损失, 更新模型参数.

2.3.1 多模态解释生成器

为了实现SCM中的路径M_Iof→ E_Iof和M_Sof→ E_Sof, 并得到主体解释和支撑解释, 采用VCIN^[19]中设计的Multimodal Explanation Gating Transformer作为多模态解释生成器.在生成解释的第t个标记时, 首先计算前t-1个已生成的标记{eⁱ }i=1t-1的词嵌入:

$\operatorname{emb}\left(\boldsymbol{e}^{i}\right)=\left\{\begin{array}{ll} \text { WordEmb }\left(\boldsymbol{e}^{i}\right), & \boldsymbol{e}^{i} \text { 为单词 } \\ \boldsymbol{V}_{j}, & \boldsymbol{e}^{i}=\# j \text { 为视觉对象 } \end{array}\right. $ (4)

其中, V_j表示第j个视觉对象的视觉特征, WordEmb(· )表示解释嵌入函数.然后, 使用L_e层的Transformer层融合多模态表征.最后, 通过一个多模态门控网络计算解释的第t个标记的概率分布:

$\boldsymbol{y}=\left[\omega_{t} \boldsymbol{y}_{t}^{w} \mid\left(1-\omega_{t}\right) \boldsymbol{y}_{t}^{v}\right] \in \mathbf{R}^{U+36}, $

其中, $[\cdot \mid \cdot] $表示向量拼接操作, ω _t表示生成文本标记的概率, ytw表示单词的概率分布, ytv表示视觉对象的概率分布, U表示单词表大小.

主体多模态解释器和支撑多模态解释器都采用上述生成器.在得到生成的主体解释E_Iof的第t个标记的概率分布y_Iof和支撑解释E_Sof的第t个标记的概率分布y_Sof后, 进行归一化, 得到最终解释E的第t个标记:

$\boldsymbol{e}_{t}^{* }=\arg \max _{k}\left(\operatorname{softmax}\left(\boldsymbol{y}_{\mathrm{Iof}}+\boldsymbol{y}_{\mathrm{Sof}}\right)\right) . $

2.3.2 多模态解释编码器

为了实现SCM中的路径E_Iof→ F← E_Sof并得到具有鲁棒性的解释特征F, 首先分别在主体解释和支撑解释前加入[CLS]标记, 得到相应词嵌入:

$\begin{array}{l} \boldsymbol{C}_{1}= \\ {\left[\operatorname{emb}([\mathrm{CLS}]), \operatorname{emb}\left(\boldsymbol{e}_{\text {Iof }}^{1}\right), \cdots, \operatorname{emb}\left(\boldsymbol{e}_{\text {Iof }}^{T}\right)\right] \in \mathbf{R}^{(T+1) \times 768}, } \\ \boldsymbol{C}_{2}= \\ {\left[\operatorname{emb}([\mathrm{CLS}]), \operatorname{emb}\left(\boldsymbol{e}_{\text {Sof }}^{1}\right), \cdots, \operatorname{emb}\left(\boldsymbol{e}_{\text {Sof }}^{T}\right)\right] \in \mathbf{R}^{(T+1) \times 768}, } \end{array}$

其中, emb(· )如式(4)所示, T表示生成解释的长度.

然后使用Transformer学习它们的特征:

$\begin{array}{l} \boldsymbol{F}_{\boldsymbol{E}_{\mathrm{Iof}}}=\operatorname{Transformer}\left(\boldsymbol{C}_{1}\right) \in \mathbf{R}^{(T+1) \times 768}, \\ \boldsymbol{F}_{\boldsymbol{E}_{\mathrm{Sof}}}=\operatorname{Transformer}\left(\boldsymbol{C}_{2}\right) \in \mathbf{R}^{(T+1) \times 768} . \end{array}$

最终得到解释特征

$\boldsymbol{F}=L N\left(\boldsymbol{F}_{E_{\mathrm{Iof}}}^{0}+\boldsymbol{F}_{E_{\mathrm{Sof}}}^{0}\right) \in \mathbf{R}^{768}$

其中, F EIof0和F ESof0表示[CLS]标记的特征, LN(· )表示层归一化函数.

假设解释特征F~N(μ , diag(σ ²)), 使用一个两层的多层感知机计算高斯参数:

μlnσ2=MLP(F).

2.3.3 答案分类器

为了实现SCM中路径M_Iof(M_Sof)→ A← F并得到最终答案, 使用解释特征F计算

$\begin{array}{l} p\left(\boldsymbol{A} \mid \boldsymbol{M}_{\mathrm{Iof}}, \boldsymbol{F}\right)= \\ \quad \operatorname{softmax}\left(L N\left(G E L U\left(\left[\boldsymbol{F} \mid \boldsymbol{T}_{\mathrm{Iof}}^{0}\right] \boldsymbol{W}_{a}^{1}\right)\right) \boldsymbol{W}_{a}^{2}\right) \in \mathbf{R}^{K}, \end{array}$

其中, A表示待预测的答案类别, LN(· )表示层归一化函数, GELU(· )表示高斯误差线性单元函数, T Iof0表示问题特征中[CLS]标记的特征, LN(· )表示层归一化函数, $[\cdot \mid \cdot] $表示向量拼接操作, W a1∈ R1536×da、W a2∈ Rda×K表示可学习的矩阵, K表示所有可能答案的数量.

同理计算$p\left(\boldsymbol{A} \mid \boldsymbol{M}_{\mathrm{Sof}}, \boldsymbol{F}\right) $.

在测试阶段, 为了避免采样偏差和不确定结果, 通过NWGM(Normalized Weighted Geometric Mean)^[33] 近似估计$p\left(\boldsymbol{A} \mid \boldsymbol{M}_{\mathrm{Iof}}, \boldsymbol{F}\right) $的期望:

$\begin{array}{l} E_{F}\{p(\boldsymbol{A} \mid \boldsymbol{M}, \boldsymbol{F})\}= \\ \quad E_{F}\left\{\operatorname{softmax}\left(L N\left(G E L U\left(\left[\boldsymbol{F} \mid \boldsymbol{T}_{\text {Iof }}^{0}\right] \boldsymbol{W}_{a}^{1}\right)\right) \boldsymbol{W}_{a}^{2}\right)\right\} \approx \\ \quad \operatorname{softmax}\left(L N\left(G E L U\left(\left[\boldsymbol{E}\{\boldsymbol{F}\} \mid \boldsymbol{T}_{\text {Iof }}^{0}\right] \boldsymbol{W}_{a}^{1}\right)\right) \boldsymbol{W}_{a}^{2}\right)= \\ \quad \operatorname{softmax}\left(L N\left(G E L U\left(\left[\boldsymbol{\mu}_{E^{* }} \mid \boldsymbol{T}_{\text {Iof }}^{0}\right] \boldsymbol{W}_{a}^{1}\right)\right) \boldsymbol{W}_{a}^{2}\right) . \end{array}$

为了得到最终答案, 分别使用主体表征和支撑表征, 通过上述答案分类器计算答案分布p_i和p_s, 则最终预测答案为:

A=arg maxk(softmax(p_i+p_s)).

本文选用GQA、GQA-REX、GQA-OOD数据集.在GQA数据集的平衡训练集、平衡验证集和标准测试集基础上, GQA-REX数据集引入多模态解释, 支持视觉问答推理, 其样本统计如表1所示.GQA-OOD数据集是为了测试模型在分布外数据上的泛化能力而设立的, 包含与GQA数据集在分布上有所差异的图像和问题, 通过在该数据集上的测试, 可评估模型能否适应多样化的实际应用场景.

表1

Table 1

表1(Table 1)

表1 GQA-REX数据集样本统计 Table 1 Sample statistics of GQA-REX dataset 图像数量 问题数量 训练集 72140 943000 验证集 10234 132062 测试集 2987 95336

表1 GQA-REX数据集样本统计 Table 1 Sample statistics of GQA-REX dataset

在实验中, 在GQA-REX数据集上进行训练和验证, 在GQA测试集上进行测试, 在GQA-OOD数据集上进行后续测试.

为了评估多模态解释的质量, 使用BLEU-4(Bilingual Evaluation Understudy)、METEOR(Me- tric for Evaluation of Translation with Explicit Or- dering)、ROUGE-L(Recall-Oriented Understudy for Gisting Evaluation-Longest Common Subsequence、CIDEr(Consensus-Based Image Description Evalua- tion)、SPICE(Semantic Propositional Image Caption Evaluation)指标.使用Grounding^[19]评估正确生成解释中视觉对象的能力.

对于问答的准确性, 在所有数据集上计算准确率进行衡量.此外, 使用Consistency^[19]估计预测答案和解释之间的一致性.

同时进行人工评估, 随机选取300个验证集样本评估解释中预测的视觉标记和文本标记是否与预测的答案一致.采用5级评分系统, 5为最高分, 1为最低分.

实验采用BERT Adam优化器训练模型.为了保证公平对比, 在复现VCIN时使用相同的优化器, 这导致实验结果与原文献略有差异.训练时批量大小设为128, 所有可训练参数的初始学习率设为1e-5.为了减少过拟合, 将梯度范数最大值设为1.0.隐藏单元维度d_a设为1 536, 正则化失活率设为0.1.

在多模态主体特征与多模态支撑特征上, 对解释生成器进行深度拓展.主体多模态解释生成器及支撑多模态解释生成器的层数均设为4, 相比VCIN采用的2层解释生成器, 显著增加深度.解释文本的最大长度T设为18, 蒙特卡洛采样数H设为4, 均与VCIN一致.

整个模型在两块A100 GPU上, 并基于Linux操作系统使用PyTorch进行训练.

本文选择如下对比方法:VQA-E^[14]、REX^[15]、VCIN^[19]、文献[34]方法.各方法的多模态解释质量对比如表2所示, 表中黑体数字表示最优值.

表2

Table 2

表2(Table 2)

表2 各方法的多模态解释质量对比 Table 2 Comparison of multimodal explanation quality of different methods 方法 BLEU-4 METEOR ROUGE-L CIDEr SPICE Grounding VQAE 42.56 34.51 73.59 358.20 40.39 31.29 文献[34] 方法 42.45 34.46 73.51 357.10 40.35 33.52 REX 54.59 39.22 78.56 464.20 46.80 67.95 VCIN 58.72 41.58 81.37 519.11 54.55 75.83 FCGC- CoD 58.19 41.23 81.08 512.35 53.60 81.90

表2 各方法的多模态解释质量对比 Table 2 Comparison of multimodal explanation quality of different methods

由表2可见, FCGC-CoD生成的多模态解释在文本质量上略差于VCIN(差距最大的CIDEr指标仅低1.3%), 这主要是因为多模态解释中的视觉对象表示方法不利于连贯语义的表达, 需要结合图像具体的区域理解, 所以, FCGC-CoD在解释的文本相似性评估指标上表现较弱.但是, 相比VCIN, FCGC-CoD在Grounding指标上实现6.07%的显著提升, 表明提取的多模态主体特征和多模态支撑特征能有效增强解释的视觉一致性和语义一致性.

各方法的问答准确率对比如表3所示, 表中黑体数字表示最优值.由表可见, FCGC-CoD指标值最高, 特别是在GQA-OOD验证集上, 相比VCIN, 实现3.02%的显著提升, 这充分说明联合变分因果推理架构具有强大的泛化能力, 能有效缓解数据集上固有偏差.

表3

Table 3

表3(Table 3)

表3 各方法的问答准确率对比 Table 3 Comparison of question answering accuracy of different methods % 方法 GQA测试集 GQA-OOD 验证集 测试集 VQAE 57.24 49.20 46.28 文献[34]方法 56.92 49.43 47.69 REX 57.77 50.26 48.26 VCIN 59.29 74.49 54.29 FCGC-CoD 59.98 77.51 54.40

表3 各方法的问答准确率对比 Table 3 Comparison of question answering accuracy of different methods %

VCIN和FCGC-CoD的自动评估指标和人工评估指标对比如表4所示, 表中黑体数字表示最优值.

表4

Table 4

表4(Table 4)

表4 VCIN和FCGC-CoD的评估指标对比 Table 4 Comparison of evaluation metrics between VCIN and FCGC-CoD 方法 Consistency 人工评估 视觉标记 文本标记 平均值 VCIN 90.00 2.46 4.2 3.33 FCGC-CoD 93.15 2.68 4.12 3.40

表4 VCIN和FCGC-CoD的评估指标对比 Table 4 Comparison of evaluation metrics between VCIN and FCGC-CoD

由表4可见, 相比VCIN, FCGC-CoD在Consis-tency上实现3.15%的显著提升, 同时在文本标记指标略有下降的情况下, 视觉标记指标仍有所提高, 这一结果与表2和表3中的分析吻合, 由此说明FCGC-CoD能有效提升解释的视觉与语义的一致性.

为了深入探究多模态主体特征和多模态支撑特征在联合变分因果推理中的作用, 使用相同的实验设置, 进行消融实验, 结果如表5所示, 表中黑体数字表示最优值.

表5

Table 5

表5(Table 5)

表5 FCGC-CoD消融实验结果 Table 5 Ablation experiment results of FCGC-CoD 模块 Grounding Consistency 问答准确率/% GQA 测试集 GQA-OOD 测试集 多模态主体特征 78.24 88.92 59.06 52.68 多模态支撑特征 77.09 89.66 59.61 53.79 联合推理 81.90 93.15 59.98 54.40

表5 FCGC-CoD消融实验结果 Table 5 Ablation experiment results of FCGC-CoD

由表5可见, 相比使用多模态主体特征和多模态支撑特征进行联合推理, 单独使用这两种特征在Grounding和Consistency指标上都有所降低.其原因在于, 计算多模态主体特征时的因果引导矩阵过于稀疏, 关注的具备因果关系的视觉特征未必能有效促进视觉问答, 需要多模态支撑特征进行补充.

此外, 仅使用多模态主体特征在GQA测试集上的问答准确率为59.06%, 仅使用多模态支撑特征的问答准确率为59.61%, 同时使用两种特征后的问答准确率为59.98%.这表明多模态支撑特征在一定程度上可补充多模态主体特征的信息, 帮助模型更好地理解和推理视觉问答任务, 提高问答准确性.

为了进一步研究FCGC-CoD性能, 在GQA-REX数据集上对VCIN和FCGC-CoD生成的解释和预测的答案进行可视化分析, 结果如图6所示.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 VCIN和FCGC-CoD解释和预测答案的可视化分析Fig.6 Visualization analysis of predicted answers and explanations by VCIN and FCGC-CoD

由图6可见, 相比VCIN, FCGC-CoD能生成准确的视觉对象, 从而生成正确的解释和答案.

在第2列图像中, 相比真实标注, FCGC-CoD生成的视觉对象更准确, 与cabinet的语义一致.而VCIN生成的视觉对象存在偏差, 导致错误的解释和答案.

值得一提的是, GQA-REX数据集上存在许多噪声, 如第2列图像中真实标注的解释存在视觉与语义的不一致.这些噪声使VCIN和FCGC-CoD在部分样本中均无法准确生成解释和预测答案.

为了进一步评估FCGC-CoD在解释生成中对关键视觉属性(color、material、sport、shape、pose、size、activity、relation)的识别能力, 选择REX^[15]、VCIN^[19]、FCGC-CoD, 在GQA-REX 数据集上计算召回率, 结果如表6所示, 表中黑体数字表示最优值.

表6

Table 6

表6(Table 6)

表6 各方法在关键视觉属性上的召回率对比 Table 6 Comparison of recall rates of different methods on key visual attributes % 方法 color material sport shape pose size activity relation REX 56.01 49.27 72.77 40.64 74.80 65.31 46.58 29.00 VCIN 69.38 76.67 81.67 67.82 85.37 77.28 61.64 80.43 FCGC-CoD 69.17 78.18 82.20 72.21 86.29 77.62 63.01 81.49

表6 各方法在关键视觉属性上的召回率对比 Table 6 Comparison of recall rates of different methods on key visual attributes %

由表6可见, FCGC-CoD显著提升多类属性的召回率.相比VCIN, FCGC-CoD在material属性上的召回率提升1.51%, 在shape属性上的召回率提升4.39%, 在activity属性上的召回率提升1.37%, 在relation属性上的召回率提升1.06%.这些显著提升主要归功于对多模态表征的增强.

本文使用PC算法学习视觉特征的因果关系.PC算法的计算复杂度随变量个数的增多呈指数增长, 计算成本高昂.

选择GQA数据集, ROI数量固定为36, 对应图像中提取36个区域特征.在批量大小为256时, PC算法占用显存约13 GB.对于这个规模的数据, PC算法仍能在较短时间内完成因果图的构建.从可拓展性的角度上看, 基于PC算法改进的因果结构学习算法都可以替代, 考虑条件独立性检验指数性增长的NP难问题, 建议检验变量设置较低数量(本文设为3), 避免生成时间代价过高.

相比VCIN, FCGC-CoD使用多模态主体特征和多模态支撑特征进行联合推理, 模型为并行结构但不是并行计算, 训练和推理耗时更长.具体而言, VCIN一轮训练耗时约1 h 4 min, 而FCGC-CoD一轮训练耗时约1 h 40 min.

本文采用显著性水平α =0.05下的Nemenyi检验测试各方法性能.当两种对比方法在所有数据集上的平均排序差值大于临界差值(Critical Diffe-rence, CD)时, 认为这两种方法存在显著性差异, 否则无显著性差异.CD值的计算方法如下:

CD=q_α K(K+1)6N,

其中K=5, N=4, q_α =2.728 0, CD=3.050 0.

各方法在问答指标上的性能对比如图7所示, 图中以实线连接性能差异不显著的方法, 方法性能从左至右递减.

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 各方法在问答指标上的性能对比Fig.7 Performance comparison of different methods on question answering metrics

由图7可看出, FCGC-CoD性能最优, 尽管与VCIN相比差异不显著, 但仍具有一定优势, 这表明FCGC-CoD在有效提升解释问答准确率的同时, 仍有进一步优化的空间.