特征提取的目的是提取图像特征和文本特征.

对于图像, 本文使用VGG网络^[16]提取图像特征.VGG网络由卷积层(Conv)、池化层(Pool)和全连接层(Full)组成.卷积层通过卷积核从不同维度不断滑动以提取图像特征, 卷积核的参数包括卷积核的个数、大小、步长等.卷积核和高斯核类似, 然而高斯核的参数是根据人类经验得到, 具有理论意义, 卷积核的参数需要通过反向传播不停学习得到, 参数意义对于人类来说是未知的.通过卷积操作得到的特征更丰富, 更利于后期使用.池化层的主要目的是对特征进行约简, 减少学习参数, 降低模型复杂度, 常用的池化操作有平均池化、随机池化和最大池化等.全连接层的特点是该层的所有神经元与上一层的所有神经元两两相连, 本文使用全连接层的目的是把所有特征进行加工, 作为图像特征进行下一步操作.为了方便描述, 使用v_i表示学习的第i个图像特征, 一个批次中的图像特征矩阵

V=[v₁, v₂, …, v_n].

对于文本, 本文使用带TF-IDF加权的BoW模型.BoW常被用于进行文本特征提取, 原理是把一个句子转化为向量表示.首先, BoW统计所有句子中出现的单词, 形成一个词表, 为每个句子生成一个长度等于词表长度的空向量.再将每个句子和词表进行匹配, 计算词表中某个单词在该句中出现的次数, 将次数填入该句向量的对应位置, 形成该句的BoW向量.

然而BoW不能客观反映一个句子的真正关键词, 因此提出带TF-IDF加权的BoW.TF-IDF包括两部分:TF计算某个单词在文章中出现的词频, IDF计算文档总数与包含该词的文档数的对数值, TF与IDF的乘积就是权重TF-IDF, TF-IDF越大说明该词越重要.在BoW中进行TF-IDF加权, 可自动提取句子的关键词, 本文将得到的词向量作为文本特征, 进行下一步操作.为了方便描述, 使用t_i表示得到的第i个文本特征, 则一个批次中的文本特征矩阵

T=[t₁, t₂, …, t_n].

特征映射充当对抗网络中的生成器, 主要任务如下:学习模态不变的公共特征表示子空间, 完成多语义标签任务.特征映射的损失函数由三部分组成:关联约束损失、语义标签损失、三元组约束损失.本文使用关联约束, 最大化投影向量之间的相关性, 可在语义层面进行公共特征表示子空间的学习.语义标签约束可将不同语义标签的数据分开.三元组约束可增大语义标签不同特征向量的距离, 减小语义标签相同特征向量的距离.

假设存在某个公共特征表示子空间, 图像特征和文本特征在该公共特征表示子空间投影后得到的向量间相似度最大.在提取的图像特征v_i和文本特征t_i后各使用一个三层全连接网络进行特征投影, 在投影向量上加入关联约束, 使投影向量之间的相关性最大化, 图像特征v_i的投影向量使用 Svi表示, 文本特征t_i的投影向量使用 Sti表示.

该关联约束通过CCA的原理实现, CCA的原理是:对于两组变量X、Y, 在新投影空间下进行线性变换并求取相关系数, 寻找使相关系数最大的线性变换对a, b:

ρ (X', Y')= maxa, bcov(X', Y')Var(X')Var(Y'),

其中

X'=a^TX, Y'=b^TY.

若是两组多变量, 则继续寻找使相关系数最大的线性变换对, 不停迭代该过程, 最终得到若干对正交的典型变量.

在本文中, 关联约束的损失函数表示如下:

Loss_ac(θ _ac)=- $\frac{1}{n} \sum^{n}_{i=1}$ maxa, bcov(aTSvi, bTSti)Var(aTSvi)Var(bTSti)

其中, θ _ac表示需要学习的关联约束的参数, a、b表示使相关系数最大的线性变换对, n表示每个批次中有n个图像-文本对, Svi表示图像特征v_i的投影向量, Sti表示文本特征t_i的投影向量.当关联约束的损失最小时, Svi和 Sti的相关性最大.

跨模态检索的关键在于打破不同模态间的语义鸿沟, 学习模态不变的公共特征表示子空间.当投影向量的相关性最大时, 可在语义层面进行公共特征表示子空间的学习, 待检索数据在投影空间下不能被区分来自哪个模态, 从而尽可能地骗过判别器.

通过最小化语义标签损失将不同语义标签的数据分开.在计算损失的过程中, 使用交叉熵损失:

Loss_sl(θ _sl)=- $\frac{1}{n} \sum^{n}_{i=1}$ yilnPi︿(vi)+lnPi︿(ti),

其中, θ _sl表示需要学习的语义标签损失的参数, n表示每个批次中图像-文本对数, y_i表示第i个样本的真实语义标签, Pi︿(v_i)表示图像特征v_i的生成概率分布, Pi︿(t_i)表示文本特征t_i的生成概率分布.

数据的语义标签分为10类, 当语义标签的损失达到最小时, 表明分类器尽可能地给予数据正确的语义标签, 即尽可能地将不同语义标签的数据分开.

三元组约束广泛应用在人脸识别^[17]、行人重识别^[18]等领域.三元组约束的原理简单来说就是:选定某个目标样本, 再随机选择一个与该目标相同类的样本、一个与该目标不同类的样本, 组成一个三元组.在训练过程中, 模型尽可能地减小目标与同类样本之间的距离, 增大目标与不同类样本之间的距离, 并且这两个距离之间需要有一个最小间隔.

在本文中, 使用三元组约束后, 不仅可增大语义标签不同的特征向量的距离, 也可减小语义标签相同的特征向量的距离.本文以一个批次为单位使用三元组约束, 首先根据语义标签随机生成两组三元组:以图像为目标样本的三元组(v_i, tj+, tk-) 和以文本为目标样本的三元组(t_i, vj+, vk-).图像-文本对的映射的距离使用L2范式计算:

l₂(v, t)= Sv-St2,

其中, S_v表示图像特征v的投影向量, S_t表示文本特征t的投影向量.

所以, 三元组(v_i, tj+, tk-)的损失为

Loss_vt(θ _v)= $\sum^{}_{i, j, k}$ l₂(v_i, tj+)+η max(0, μ -l₂(v_i, tk-)).

其中:θ _v表示需要学习的三元组(v_i, tj+, tk-)损失的参数; μ 表示一个超参数, 表示v_i与 tk-的距离和v_i与 tj+的距离的最小间隔; η 表示一个可学习的参数, 用于平衡两项损失的重要性.

定义三元组(t_i, vj+, vk-)的损失:

Loss_tt(θ _t)= $\sum^{}_{i, j, k}$ l₂(t_i, vj+)+η max(0, μ -l₂(t_i, vk-)),

其中, θ _t表示需要学习的三元组(t_i, vj+, vk-)损失的参数, μ 、η 的作用与三元组(v_i, tj+, tk-)中一致.

因此, 三元组约束部分的损失函数为

Loss_vt+tt(θ _v, θ _t)=Loss_vt+Loss_tt.

当三元组约束的损失达到最小时, 表示目标与同类样本之间的距离达到最小, 目标与不同类样本之间的距离达到最大.

综上所述, 特征映射部分的总损失函数表示如下:

Loss_fp(θ _ac, θ _sl, θ _v, θ _t)=α Loss_ac+β Loss_sl+γ Loss_vt+tt,

其中, α 、β 、γ 表示3个可学习的参数, 用于平衡三项损失Loss_ac、Loss_sl、Loss_vt+tt的重要性.当总损失达到最小时, 表明得到一个模态不变的公共特征表示子空间.

判别网络充当对抗网络中的判别器, 目的是使得判别器无法区分数据来自哪个模态, 进而提高不同模态特征表示的一致性.判别网络部分与特征映射部分一起完成跨模态检索任务, 损失函数为

Loss_adv(θ _D)=- $\frac{1}{n} \sum^{n}_{i=1}$ mi₍lnDi₍vi₎+ln(1-Di₍ti₎))),

其中, θ _D表示需要学习的模态判别分类器的参数, n表示每个批次中图像-文本对个数, m_i表示第i个样本的真实模态标签(One-hot编码形式), D_i(v_i)表示图像特征v_i的生成模态概率, D_i(t_i)表示文本特征t_i的生成模态概率.

方法整体优化目标就是最大最小化特征映射部分与判别网络之差:

θ^ac, θ^sl, θ^v, θ^t=arg minθac, θsl, θv, θtLossfp(θac, θsl, θv, θt)-Lossadvθ^D

θ^D=arg maxθDLossfpθ^ac, θ^sl, θ^v, θ^t-Lossadv(θD).

本文使用Adam(Adaptive Moment Estimation)优化器对优化目标进行优化, 具体的优化过程如下.

1)初始化, 以批次为单位, 每个批次中有n 个样本, 其中, 图像特征矩阵

V=[v₁, v₂, …, v_n],

文本特征矩阵

T=[t₁, t₂, …, t_n],

语义标签矩阵

Y=[y₁, y₂, …, y_n],

K为超参数.

2)通过梯度下降更新参数θ _ac、θ _sl、θ _v、θ _t, 直到损失收敛:

θ _ac← θ _ac-μ ▽ θac1n(Loss_fp-Loss_adv),

θ l_s← θ l_s-μ ▽θ l_s 1nLossf_p-Lossa_dv),

θ v← _θ v-_μ ▽ θv1nossfp_-Lossad_v),

θ t← θ _t-μ ▽ ( θt1nssfp-_Lossadv_).

3)通过梯度下降更新判别器的参数:

θ _D← θ _D+μ ηθD1n(Loss_fp-Loss_adv).

4)返回学习的公共特征表示子空间f(V)和f(T).

本文使用Wikipedia^[19]、NUS-WIDE-10k^[20]、Pascal Sentence^[21]、MSCOCO^[22]这4个广泛使用的跨模态检索数据集, 数据集的具体信息如表1所示.

表1

Table 1

表1(Table 1)

表1 实验数据集 Table 1 Experimental datasets 名称 训练样本 测试样本 标签 图像特征 文本特征 Wikipedia 1300 1566 10 4096 3000 NUS-WIDE-10k 8000 1000 10 4096 1000 Pascal Sentence 800 200 20 4096 1000 MSCOCO 66226 16557 500 4096 3000

表1 实验数据集 Table 1 Experimental datasets

Wikipedia数据集是由维基百科的文章生成的, 本文只考虑其中广泛使用的10类文章:Art、Biology、Geography、History、Literature、Media、Music、Royalty、Sport、Warfare.NUS-WIDE数据集是由新加坡国立大学提供, 本文使用该数据集的一个子集NUS-WIDE-10k.Pascal Sentence数据集包括20个类别, 每个类别包括50个样本.MSCOCO数据集包括500个类别, 共82 783个样本.

对于Wikipedia、MSCOCO数据集, 本文使用的图像特征为4 096维的VGG特征, 文本特征为3 000维的BoW特征.对于NUS-WIDE-10k、Pascal Sentence数据集, 本文使用的图像特征为4 096维的VGG特征, 文本特征为1 000维的BoW特征.

本文方法学习率设置为0.000 1, 批次大小设置为64, 采用Adam优化器进行优化.

特征映射和判别网络的实现采用全连接网络(Fully Connected Layer), 表2为这两部分的相关参数.

对于每个数据集, 语义标签是几类, 特征映射就是几分类问题.由于所有数据集的模态标签是2类(图像和文本), 所以判别网络是一个2分类问题. 特征映射和判别网络都采用softmax作为最后的分类器.

表2

Table 2

表2(Table 2)

表2 特征映射和判别网络的网络参数 Table 2 Parameters of feature projection and discriminator 网络 Wikipedia数据集 NUS-WIDE-10k数据集 Pascal Sentence数据集 MSCOCO数据集 特征映射 图像:512→ 100→ 40 文本:40→ 100→ 40 图像:4096→ 1000→ 40 文本:1000→ 300→ 40 图像:1024→ 100→ 40 文本:512→ 128→ 40 图像:4096→ 1024→ 1024 文本:3000→ 1024→ 1024 判别网络 20→ 10 20→ 10 20→ 10 256→ 10

表2 特征映射和判别网络的网络参数 Table 2 Parameters of feature projection and discriminator

为了对本文方法进行性能评估, 采用广泛使用的平均精度均值(Mean Average Precision, mAP)^{[7, 8]}进行评价.

mAP评价指标分两步:1)计算测试集中每个检索的平均精度(Average Precision, AP):

AP= $\frac{1}{T} \sum^{R}_{r=1}$ P(r)δ (r),

其中, T表示测试集中与检索相关的数据个数, P(r)表示测试精度排名前r个数据的精度, 即TOP-r, δ (r)表示与检索目标是否相关, 若相关, δ (r)=1, 否则, δ (r)=0.

2)测试集的所有检索结果求平均, 得到mAP:

mAP= $\frac{1}{N} \sum^{N}_{i=1}$ AP_i,

其中N表示测试集样本数量.

在Wikipedia数据集上进行对比实验, 使用如下对比方法:CCA^[1]、Corr-AE(Correspondence Autoencoder)^[7]、CMDN^[8]、LCFS(Learning Coupled Feature Spaces)^[9]、ACMR^[13]、CCA-3V(Three-View Kernel CC-A)^[23]、JRL(Joint Representation Learning)^[24]、JFSSL(Joint Feature Selection and Subspace Learning)^[25]、Multimodal-DBN(Multimodal Deep Belief Network)^[26]、Bimodal-AE(Bimodal Deep Autoen-coder)^[27]、MCSM(Modality-Specific Cross-Modal Similarity Measure-ment)^[28].各方法的实验结果如表3所示, 表中黑体数字表示最优结果.

表3

Table 3

表3(Table 3)

表3 各方法在Wikipedia数据集上的实验结果 Table 3 Experimental results of different methods on Wikipedia dataset 方法 以图搜文 以文搜图 平均精度 CCA 0.267 0.222 0.245 Corr-AE 0.402 0.395 0.399 CMDN 0.488 0.427 0.458 LCFS 0.455 0.398 0.427 ACMR 0.619 0.489 0.554 CCA-3V 0.437 0.383 0.410 JRL 0.453 0.400 0.427 JFSSL 0.428 0.396 0.412 Multimodal-DBN 0.204 0.183 0.194 Bimodal-AE[28] 0.314 0.290 0.302 MCSM 0.516 0.458 0.487 本文方法 0.619 0.495 0.557

表3 各方法在Wikipedia数据集上的实验结果 Table 3 Experimental results of different methods on Wikipedia dataset

由表3可知, 除了在给定图像检索文本任务上与ACDM持平以外, 本文方法效果最优, 这说明本文方法可有效完成跨模态检索任务.本文方法优于CCA、Bimodal-AE、Corr-AE等只考虑减小语义标签相同特征向量距离的方法, 表明三元组约束对于同时增大语义标签不同特征向量的距离、减小语义标签相同特征向量的距离的约束是有效的.本文方法在给定图像检索文本任务上与ACMR持平, 在给定文本检索图像任务上优于ACMR, 说明关联约束在语义层面的约束更利于学习公共特征表示子空间.

本文方法在Wikipedia数据集上的损失曲线如图2所示, 该曲线是将损失值变化到正数空间后取对数得到, 几乎全部的损失曲线都随着迭代次数的增加而下降, 表明多个约束在一定程度上都参与指导公共子空间的学习过程.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 本文方法在Wikipedia数据集上的损失曲线Fig.2 Loss curve of the proposed method on Wikipedia dataset

本文方法的特征映射部分的约束由关联约束、语义标签约束和三元组约束组成, 为了评估各个约束对检索结果的影响, 设计一定的消融实验:仅使用关联约束、仅使用语义标签约束、仅使用三元组约束、仅使用关联和语义标签约束、仅使用关联和三元组约束、仅使用语义标签和三元组约束.实验中其它设置保持不变.在Wikipedia数据集上的不同约束对实验结果的影响如表4所示, 表中黑体数字表示最优结果.

表4

Table 4

表4(Table 4)

表4 在Wikipedia数据集上不同约束对实验结果的影响 Table 4 Influence of different constraints on experimental results on Wikipedia dataset 约束 以图搜文 以文搜图 平均精度 关联约束 0.177 0.170 0.174 语义标签约束 0.608 0.473 0.541 三元组约束 0.173 0.187 0.180 关联和语义标签约束 0.609 0.493 0.551 关联和三元组约束 0.218 0.203 0.211 语义标签和三元组约束 0.619 0.489 0.554 本文方法 0.619 0.495 0.557

表4 在Wikipedia数据集上不同约束对实验结果的影响 Table 4 Influence of different constraints on experimental results on Wikipedia dataset

由表4可见, 关联约束、语义标签约束、三元组约束都有利于实验效果的提升, 这表明同时优化这三个约束比只优化其中一个约束或两个约束更好.另外, 语义标签约束对整体性能的影响更大, 这是由于与不同模态间的关系一致性(关联约束、三元组约束)相比, 探索模态内部的类别判别更容易一些.

在NUS-WIDE-10k数据集上进行对比实验, 选择如下方法:CCA^[1]、Corr-AE^[7]、CMDN^[8]、LCFS^[9]、ACMR^[13]、JRL^[24]、Multimodal-DBN^[26]、Bimodal-AE^[27]、SC-ACMR(Semantic Consistent Adversarial Cross-Mo-dal Retrieval)^[29].各方法的实验结果如表5所示, 表中黑体数字表示最优结果.由表可知本文方法在2种检索模式中都取得最优.

表5

Table 5

表5(Table 5)

表5 各方法在NUS-WIDE-10k数据集上的实验结果 Table 5 Experimental results of different methods on NUS-WIDE-10k dataset 方法 以图搜文 以文搜图 平均精度 CCA 0.189 0.188 0.189 Corr-AE 0.366 0.417 0.392 CMDN 0.492 0.515 0.504 LCFS 0.383 0.346 0.365 ACMR 0.544 0.538 0.541 JRL 0.426 0.376 0.401 Multimodal-DBN 0.201 0.259 0.230 Bimodal-AE 0.327 0.369 0.348 SC-ACMR 0.545 0.448 0.497 本文方法 0.558 0.543 0.551

表5 各方法在NUS-WIDE-10k数据集上的实验结果 Table 5 Experimental results of different methods on NUS-WIDE-10k dataset

在Pascal Sentence数据集上进行对比实验, 选择如下方法:CCA^[1]、Corr-AE^[7]、CMDN^[8]、LCFS^[9]、ACMR^[13]、JRL^[24]、Multimodal-DBN^[26]、Bimodal-AE^[27]、MASLN(Modal-Adversarial Semantic Learning Net-work)^[30].各方法的实验结果如表6所示, 表中黑体数字表示最优结果.由表可知, 本文方法在2种检索模式中都取得最优.

表6

Table 6

表6(Table 6)

表6 各方法在Pascal Sentence数据集上的实验结果 Table 6 Experimental results of different methods on Pascal Sentence dataset 方法 以图搜文 以文搜图 平均精度 CCA 0.363 0.219 0.291 Corr-AE 0.489 0.444 0.467 CMDN 0.534 0.534 0.534 LCFS 0.442 0.357 0.400 ACMR 0.535 0.543 0.539 JRL 0.504 0.489 0.496 Multimodal-DBN 0.477 0.424 0.451 Bimodal-AE 0.456 0.470 0.458 MASLN 0.544 0.547 0.545 本文方法 0.546 0.548 0.547

表6 各方法在Pascal Sentence数据集上的实验结果 Table 6 Experimental results of different methods on Pascal Sentence dataset

在MSCOCO数据集上进行对比实验, 使用如下对比方法:ACMR^[13]、CCA(FV HGLMM(Hybrid Gau-ssian-Laplacian Mixture Model Fisher Vectors))^[31]、CCA(FV GMM+HGLM(Combination of the Gaussian Mixture Model and Hybrid Gaussian-Laplacian Mixture Fisher Vectors))^[31]、DVSA(Deep Visual-Semantic Align-ments)^[32]、m-CNN(Multimodal Convolutional Neural Networks)^[33]、DSPE(Deep Structure-Preserving Image-Text Embeddings)^[34]、文献[35]方法.各方法的实验结果如表7所示, 表中黑体数字表示最优结果.由表7可知, 本文方法在2种检索模式中都取得最优.

表7

Table 7

表7(Table 7)

表7 各方法在MSCOCO数据集上的实验结果 Table 7 Experimental results of different methods on MSCOCO dataset 方法 以图搜文 以文搜图 平均精度 ACMR 0.932 0.871 0.902 CCA(FV HGLMM) 0.791 0.765 0.778 CCA(FV GMM+HGLM) 0.809 0.766 0.788 DVSA 0.805 0.748 0.777 m-CNN 0.841 0.828 0.835 DSPE 0.892 0.869 0.881 文献[36]方法 0.889 0.870 0.880 本文方法 0.939 0.880 0.910

表7 各方法在MSCOCO数据集上的实验结果 Table 7 Experimental results of different methods on MSCOCO dataset

综合所有实验结果表明, 本文方法可有效学习不同模态间公共子空间特征.