本文涉及的符号表示如表1所示.

表1

Table 1

表1(Table 1)

表1 本文的符号表示 Table 1 Description of symbols 名称 意义 S 可见类样本集 U 不可见类样本集 i 第i个样本 x 真实视觉特征 xi 第 i个真实视觉特征 x' 伪视觉特征 $\widetilde{x}'$ 去冗余后的伪视觉特征 $\widetilde{x}$ 去冗余后的真实视觉特征 $\widetilde{x}″$ 语义关系约束后的伪视觉特征 y 真实语义特征 y' 伪语义特征 yis 第i个可见类的语义特征 y″i 第i个不可见类的语义特征 lis 第i个可见类的类标签 l″i 第i个不可见类的类标签 z 高斯噪声

表1 本文的符号表示 Table 1 Description of symbols

在零样本学习中, 已知可见类样本集S和不可见类样本集U, S和U不相交, 即S∩ U=Ø , 训练集的类标签与测试集的类标签也互不相交.一方面, 定义一个由可见类样本的视觉特征、语义特征和标签组成的训练集{(x_i, yis, lis) }i=1Ns.另一方面, 定义一个由不可见类的语义特征组成的测试集{( yiu) }i=1NU.零样本学习的基本思想是利用训练集上的样本和样本对应的辅助信息(如属性或文本)对模型进行训练, 在测试过程中利用在训练中得到的信息及测试类的辅助信息对模型进行补充, 以预测不可见类属性的类标签l″_i.

本文工作是在文献[22]的基础上展开的, 该文献采用WGAN作为主干网络.由于CTGAN(Consistency Term WGAN)^[28]在WGAN-GP(WGAN-Gradient Penalty)^[29]的基础上增加一致性项(Consistency Term), 能有效约束真实样本附近的梯度, 加强数据样本附近的Lipschitz连续性, 并继承WGAN可抑制模式崩溃的特性, 故本文采用CTGAN代替WGAN作为主干网络.

本文方法包括视觉特征生成网络和语义特征生成网络.一方面, 将属性生成的视觉特征映射到一个新的去冗余特征空间, 去除冗余的视觉特征, 保留类别相关性, 保证在去除视觉特征冗余信息的同时不丢失类别信息, 减少冗余信息的干扰, 提高零样本识别的精度.另一方面, 利用可见类和不可见类之间的语义关系建立知识迁移模型, 引入语义关系约束损失进行知识迁移, 使生成器生成可反映可见类和不可见类之间语义关系的视觉特征, 在一定程度上缓解生成模型的域偏移.此外, 引入循环一致性结构, 进一步使生成的特征更接近真实特征.本文方法网络结构如图1所示.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 本文方法网络结构Fig.1 Network structure of the proposed method

由图1可见, 将属性输入语义特征提取器, 提取对应的语义特征y, 作为真实语义特征.将图像输入到视觉特征提取器提取图像的视觉特征x, 作为真实视觉特征.将真实语义特征y和随机噪声z同时输入视觉特征生成器G_y-x中, 得到相应的伪视觉特征x'.再将伪视觉特征x'和真实视觉特征x输入去冗余模块中进行去冗余处理, 得到相应去冗余后的视觉特征$\widetilde{x}'$和$\widetilde{x}$.然后, 将去冗余后的视觉特征输入语义关系约束模块中, 利用语义关系约束损失对知识迁移过程进行监督, 使可见类的知识更有效地迁移到不可见类中, 并得到语义关系约束后的伪视觉特征$\widetilde{x}″$. 最后, 为了使生成的伪特征更接近真实特征, 将伪视觉特征$\widetilde{x}″$和随机噪声z同时输入到语义特征生成器中, 得到伪语义特征y', 使用循环一致性损失函数约束真实语义特征y和伪语义特征y'.

使用视觉特征判别器D_y-x对真实视觉特征x和伪视觉特征$\widetilde{x}″$进行判断和分类.使用语义特征判别器D_x-y对真实语义特征y和伪语义特征y'进行判断和分类.

视觉特征生成网络主要包含语义特征提取器、视觉特征生成器和视觉特征判别器.

语义特征提取器的作用是对输入属性进行预处理, 并提取该属性的语义特征.本文使用一个全连接(Full Connection, FC)层作为属性特征提取器.该全连接层是语义特征编码器, 将输入的属性进行特征编码, 得到该属性对应的语义特征, 作为真实语义特征.

视觉特征生成器的作用是将语义特征生成相应的伪视觉特征.该生成器由简单的编码器组成, 包括两组卷积模块、两组全连接模块和一个Tanh激活函数.卷积模块由一个卷积层、一个最大池化层和一个归一化层组成.全连接模块由一个全连接层和一个Leaky ReLU组成.将语义特征提取器提取的语义特征和随机噪声同时输入视觉特征生成器, 得到伪视觉特征.

视觉特征判别器的作用是对生成的伪视觉特征与真实视觉进行判断和分类.该判别器包含两个分支:一个分支用于0/1的真假判断, 另一个分支用于对输入视觉特征的类别进行分类.第一个分支的网络结构包含一组全连接模块和一个二路的全连接层.另一个分支的网络结构包含一组全连接模块和一个n路的全连接层.

语义特征生成网络主要包含视觉特征提取器、语义特征生成器和语义特征判别器.

视觉特征提取器的作用是对输入图像进行预处理, 提取视觉特征.本文使用ResNet-101作为视觉特征提取器, 提取2 048维的视觉特征, 并作为真实视觉特征.

语义特征生成器的作用是将视觉特征生成相应的伪语义特征.该生成器包括两组全连接模块和一个全连接层.全连接模块由一个全连接层、一个Leaky ReLU组成.将视觉特征和随机噪声同时输入语义特征生成器, 得到对应的伪语义特征.

语义特征判别器作用是对生成的伪语义特征与真实语义特征进行判断和分类.该判别器与视觉特征判别器的网络结构相同, 也包括两个分支:一个分支用于0/1的真假判断, 另一个分支用于对输入语义特征的类别进行分类.

1.3.1 视觉特征生成损失

本文的视觉特征生成网络框架是带辅助信息的条件CTGAN, 损失函数包含视觉特征生成器损失和视觉特征判别器损失.

将可见类的属性输入语义特征编码器φ 中, 使用一个全连接层作为语义特征编码器, 并提取对应的语义特征φ (α ), 用y表示.将其与噪声z同时输入到视觉特征生成器G_{y→ x}中, 生成相应的伪视觉特征, 即x'=G_{y→ x}(y, z), x'表示生成的伪视觉特征.视觉特征生成器将不可见类的语义特征生成相应的伪视觉特征, 但生成的伪视觉特征包含大量的冗余信息.为了减少冗余信息对识别精度的影响, 本文提出去冗余特征模块, 去除视觉特征中的冗余信息.去冗余的目标是对去冗余后的视觉特征$\widetilde{x}'$和伪视觉特征x'之间的相关性进行约束, 实现对x'中冗余信息的去除.

本文采用Alemi等^[30]的互相关信息(Mutual Information, MI)衡量视觉特征间的相关性.使用I（$\widetilde{X}’$; X'）表示2个随机变量之间的互相关信息, 以约束$\widetilde{X}’$和X'之间信息的传递, 提取x'中去冗余后的信息.去冗余信息

其中

X'表示生成的伪视觉特征x'的集合, $\widetilde{X}’$表示去冗余后的视觉特征$\widetilde{X}’$的集合, H(· )表示求信息熵.等式右边表示信息约束函数, D_KL表示Kullback-Leibler (KL)散度, p_M($\widetilde{X}’$|x')表示去冗余特征$\widetilde{X}’$的条件分布, r($\widetilde{X}’$)表示去冗余特征$\widetilde{x}'$的边缘分布.

式(1)确定x'有多少信息传送到$\widetilde{X}’$.但是, 仅去除冗余信息并不能保证获得较好的零样本识别结果, 去冗余面临的主要问题是如何在去除冗余特征的同时保留类别信息.

为了消除去冗余后的视觉特征和语义特征之间的语义鸿沟, 将语义空间作为去冗余特征空间, 然后将去冗余后的伪视觉特征映射到该语义空间.通过使用映射函数M将视觉特征映射到该语义空间中, 类似于传统的语义嵌入方法.因此, 本文去冗余后的视觉特征映射到语义空间中, 即

其中, y表示x'对应的语义特征, y'表示除y以外随机选择的其它类的语义特征, Δ 表示使映射函数M更鲁棒的临界值, $\widetilde{X}’$表示去冗余后的视觉特征.

不同于传统语义嵌入方法, 本文设置上界阈值b, 通过对$\widetilde{X}’$限制一个上界, 在去除冗余视觉特征的同时使式(1)中的信息约束函数低于该阈值, 保留原始特征中的类别信息.有界互相关信息约束

其中, b表示上界阈值, 经多次实验取值为0.1.

为了验证通过映射函数M获得的去冗余特征的类别信息具有识别性, 利用可见类的视觉特征对映射函数M进行约束, 使可见类数据的类别关系也可较好地保留在去冗余后的视觉特征空间中.本文使用文献[31]的中心损失对映射函数M进行约束, 约束损失

其中, c表示类别的聚类中心, l表示x对应的类标签, l'表示除x以外随机选择的其它类的类标签, $\widetilde{X}$表示可见类数据的去冗余特征.

表示使用文献[31]方法计算得到的中心损失.

现有的生成式零样本学习方法在预测分类概率时, 由于存在域偏移, 容易将不可见类的类别分类为可见类的类别.因此, 本文提出语义关系约束损失, 用于解决该问题, 即利用一个新的正则化损失对可见类和不可见类之间的语义关系进行约束, 从而在语义中正确迁移可见类的信息, 用于指导方法生成不可见类的视觉特征.

视觉空间和语义空间共享同一个公共的潜在空间, 用于生成视觉特征和语义特征.本文提出利用视觉空间和语义空间的这种关系, 将知识从语义空间迁移到视觉空间, 生成不可见类的图像特征.使用余弦距离计算类别的相似度, 对于类别c_i和c_j, 使用φ _sim( xci, xcj)表示它们的视觉特征相似度. x¯c表示去冗余视觉特征的均值.该视觉相似性采用类特征分布中心之间的相关性, 而不是单个图像特征之间的相关性.使用η _sim( yci, ycj)表示类c_i和c_j之间的语义特征相似度.

对于语义相似度, 由于每个类别只有一个语义, 因此未计算类c中语义特征的均值.由于相同的两个类别间的语义特征相似度往往大于视觉特征相似度, 本文使用

η _sim( yci, ycj)-α _ij≤ φ _sim( xci, xcj)≤ η _sim( yci, ycj)+α _ij

对去冗余的视觉特征进行语义关系的约束, 其中, α _ij表示用于加强类i和类j的特征之间相似度的临界值, 经过多次实验, α _ij=0.15.

本文应用文献[32]的惩罚方法对类特征间的相关性进行约束.文献[32]的惩罚方法如下:

pcij[‖ max(0, φ _sim( xci, xcj)-(η _sim( yci, ycj)+α _ij))‖ ²+‖ max(0, (η _sim( yci, ycj)-α _ij)-φ _sim( xci, xcj))‖ ²],

其中惩罚参数 pcij=1.惩罚参数表示对特征间相关性约束进行的惩罚, 当特征间的相关性约束满足条件时, 惩罚变为0, 否则为非0.本文将惩罚参数设置为1的原因是由多次实验得到的, 并在实验中对其取整, 这样更方便实验.

对于可见类, 约束函数

其中, i表示可见类的取值, j表示与可见类相似性最高的集合中的取值, xcis表示可见类c_i去冗余后真实视觉特征的均值, x¯cjs表示可见类c_j去冗余后生成的伪视觉特征的均值, Ici表示与类c_i语义相似性值最高的可见类的集合, C_s表示可见类的数量.

对于不可见类, 约束函数

其中, Icj表示与类c_j语义相似性值最高的不可见类的集合, j表示与不可见类相似性最高的集合中的取值, xcis表示可见类c_i去冗余后真实视觉特征的均值, x¯cju表示不可见类c_j去冗余后生成的伪视觉特征的均值, ycis表示可见类语义特征的均值, ycju表示不可见类语义特征的均值, C_s表示可见类的数量, C_u表示不可见类的数量.

视觉特征生成器损失表示如下:

其中, p_y表示真实语义特征的特征分布, p_x表示真实视觉特征的特征分布, θ 表示生成器G_{y→ x}的超参数, ω 表示判别器D_{y→ x}的超参数, λ _r表示去冗余约束损失的超参数, λ _sr表示语义关系约束损失的超参数.

式(2)右边第1项表示语义关系约束后的去冗余伪视觉特征的Wasserstein距离, 第2项表示该视觉特征的分类损失, 第3项表示去冗余的约束损失, 第4项表示语义关系约束损失.

将语义关系约束后的去冗余伪视觉特征与从可见类提取的真实视觉特征输入到判别器中进行判断和分类, 视觉特征判别器的损失函数表示如下:

其中, λ ₁表示梯度惩罚系数, λ ₂表示一致性项的超参数,

$\hat{x}$表示伪视觉特征$\widetilde{x}″$和真实视觉特征x之间的线性插值,

x₁、x₂表示真实样本附近的扰动数据, t表示一个固定常数.

CTGAN在WGAN-GP的基础上增加一致性项, 目的是约束真实分布样本的梯度, 加强数据样本分布附近的Lipschitz连续性, 并继承WGAN抑制模式崩溃的特性.

式(3)右边第1项表示视觉特征的分类损失, 第2项表示Lipschitz梯度惩罚项, 第3项表示语义关系约束后的去冗余伪视觉特征$\widetilde{x}″$和真实视觉特征x之间的Wasserstein距离, 第4项表示CTGAN损失函数中的一致性项.

1.3.2 语义特征生成损失

与视觉特征生成网络类似, 语义特征生成损失由语义特征生成器损失和语义特征判别器损失组成.

语义特征生成器的目标是生成更接近于真实语义特征的伪语义特征.将经过语义关系约束的去冗余伪视觉特征$\widetilde{x}″$和高斯随机噪声z同时输入到语义特征生成器中, 得到相应的伪语义特征.语义特征生成器G_{x→ y}的损失函数表示为

其中, p_z表示服从高斯分布的随机噪声分布, δ 表示G_{x→ y}的超参数, ζ 表示D_{x→ y}的超参数.

式(4)右边第1项表示伪语义特征的Wasserstein距离, 第2项表示伪语义特征的分类损失.

将语义特征生成器生成的伪语义特征和真实语义特征输入判别器中进行判断和分类, 语义特征判别器的损失函数表示为

其中, λ ₁表示梯度惩罚系数, λ ₂表示一致性项的超参数.

式(5)右边第1项表示语义特征分类损失, 可有效保留语义信息.第2项中L_GP2表示以与视觉特征判别器相同的方式计算的梯度惩罚, 第3项表示生成的伪语义特征和真实语义特征的Wasserstein距离, 第4项表示CTGAN损失函数中的一致性项.

1.3.3 循环一致性损失

为了使生成的伪视觉特征与输入的真实视觉特征更接近, 本文引入循环一致性损失以正则化视觉特征生成器, 循环一致性损失表示为

L_cyc=λ 1B∑n=1B‖ G_{x→ y}(R(M(G_{y→ x}(y, z, θ ))), z, δ )-y‖ ², (6)

其中, λ 表示循环一致性损失的权重超参数, B表示批尺寸大小的值, 通过多次实验取512, y表示真实语义特征, x表示真实视觉特征, θ 表示视觉特征生成器的超参数, δ 表示语义特征生成器的超参数.

1.3.4 总损失

本文利用可见类和不可见类之间的语义关系对去冗余后的视觉特征进行约束, 即约束视觉特征生成器 LGy→x生成更接近真实视觉特征的伪视觉特征, 其中语义关系约束损失和去冗余特征的约束损失均包含在视觉特征生成器损失函数中.因此, 本文提出的总损失包括2个方向的生成器损失、2个方向的判别器损失和循环一致性损失, 总损失

L= LGy→x+ LDy→x+ LGx→y+ LDx→y+L_cyc.

本文方法的最终目标是最小化总损失函数, 提高不可见类语义属性的识别精度.

输入不可见类的属性, 通过语义特征编码器提取语义特征 yiu, 将不可见类的语义特征 yiu和噪声z同时输入训练好的模型G_{y→ x}进行识别测试, 生成对应的伪视觉特征: xiu=G_{y→ x}( yiu, z, θ ).再根据伪视觉特征获得其对应的类别标签.

由于本文方法可基于语义特征生成相应的伪视觉特征, 故容易拓展到其它应用中, 如零样本图像检索、基于文本的零样本识别和图像语义分割^[33]等领域.

本文实验的硬件环境为Intel i7-9700K CPU、RTX 2080Ti GPU; 软件环境为Ubuntu 18.04 LTS操作系统、cuda 9.2.0、cudnn 7.5.0.深度学习算法框架为PyTorch 1.4.0, 识别模型的训练和测试均在PyTorch环境下完成.

在训练过程中, 选用LisGAN^[22]作为Baseline与本文方法进行对比.参照文献[22], 将批尺寸大小设置为512, 学习率设置为0.000 1, 分类损失权重参数设置为0.2, 学习衰减率设置为0.95, 中心损失的权重参数设置为0.1, 梯度惩罚超参数λ ₁=10, 一致性项的超参数λ ₂=2.使用Adam(Adaptive Moment Estimation)优化器优化各部分网络参数.

在Animal with Attributes(AWA)、Caltech-UC-SD-Birds(CUB)、Scene Understanding(SUN)、A Pascal-a Yahoo(APY)这4个基于属性的数据集上进行实验.

AWA数据集是一个中等规模的细粒度动物数据集, 拥有50个动物类别, 每类有 85维属性注释, 样本总数为30 475.随机选取40类作为有标签的训练集, 其余10类作为无标签的测试集.对于语义特征, 使用语义编码器提取的语义特征维数为85.对于视觉特征, 利用ResNet-101作为视觉特征提取器, 提取2 048维的视觉特征作为真实视觉特征.

CUB数据集是一个中等规模的细粒度鸟类数据集, 拥有200个鸟类, 每类有312维注释属性, 样本总数为11 788.随机选取150类作为有标签的训练集, 其余50类作为无标签的测试集.对于语义特征, 使用语义编码器提取的语义特征维数为312.对于视觉特征, 利用ResNet-101作为视觉特征提取器, 提取1 024维的视觉特征作为真实视觉特征.

SUN数据集是一个中等规模的场景类型数据集, 拥有717个场景类别, 每类有102维注释属性, 样本总数为14 340.随机选取645类作为有标签的训练集, 其余72类作为无标签的测试集.对于语义特征, 使用语义编码器提取的语义特征维数为102.对于视觉特征, 利用ResNet-101作为视觉特征提取器, 提取2 048维的视觉特征作为真实视觉特征.

APY数据集包含来自于PASCAL VOC 2008和Yahoo图像搜索库中的32个类别, 每类有64维注释属性, 其中20类来自PASCAL、12类来自Yahoo图像库, 样本总数为15 339.将PASCAL VOC 2008中的20类设置为有标签的训练集, Yahoo图像库中的12类设置为无标签的测试集.使用语义编码器提取的语义特征维数为64; 利用ResNet-101作为视觉特征提取器, 提取1 024维的视觉特征作为真实视觉特征.

为了测试语义关系约束损失、去冗余的约束损失和循环一致性损失对本文方法性能的影响, 在AWA、CUB、SUN、APY数据集上进行消融实验.除了与LisGAN对比以外, SR表示为仅采用语义关系约束损失, REF表示为去冗余的约束损失, CYC表示为循环一致性损失, SR+CYC表示联合使用语义关系约束和循环一致性结构, REF+CYC表示联合使用去冗余约束和循环一致性结构, SR+CYC+REF表示联合使用语义关系约束、循环一致性结构和去冗余约束, 即为本文方法(RS-ZSAR).实验结果如表2所示, 表中黑体数字表示最优结果.

表2

Table 2

表2(Table 2)

表2 在4个数据集上的消融实验结果 Table 2 Results of ablation experiments on 4 datasets % 数据集 LisGAN SR REF CYC SR+CYC REF+CYC SR+REF RS-ZSAR AWA 70.6 71.5 71.7 71.1 71.9 71.8 72.0 72.2 CUB 58.8 59.4 59.5 59.0 59.7 59.9 59.8 60.3 SUN 61.7 62.0 62.2 61.9 62.3 62.4 62.3 62.8 APY 43.1 44.8 45.2 44.1 45.1 45.3 45.4 45.6

表2 在4个数据集上的消融实验结果 Table 2 Results of ablation experiments on 4 datasets %

由表2可知, 每种策略对本文方法的识别精度均有一定的提升, 但是去冗余的约束损失对精度提升贡献最大.在AWA数据集上, 仅增加去冗余的约束损失得到的识别精度比LisGAN提高1.1%.由于知识从可见类到不可见类的迁移容易受到主观因素的限制, 导致语义关系约束的效果不够理想.通过多次组合实验可知, 本文方法将循环一致性损失、语义关系约束损失和去冗余的约束损失同时引入LisGAN中, 所以识别精度更高.

为了验证本文方法的有效性, 在AWA、CUB、SUN、APY数据集上进行实验.选择如下对比方法法:GAZSL(A Generative Adversarial Approach for Zero-Shot Learning from Noisy Texts)^[5]、DAP^[8]、DeViSE^[9]、ESZSL^[10]、SYNC^[11]、DEM^[12]、F-GAN^[17]、cycle-CLSWGAN^[20]、LisGAN^[22].各方法的零样本属性识别精度如表3所示, 表中黑体数字表示最优结果.

表3

Table 3

表3(Table 3)

表3 各方法在4个数据集上的零样本属性识别精度 Table 3 Accuracy of zero-shot attribute recognition of different methods on 4 datasets % 数据集 DAP DeViSE ESZSL DEM SYNC GAZSL cycle- CLAWGAN F-GAN LisGAN RS-ZSAR AWA 44.1 54.2 58.2 68.4 54.0 68.2 66.3 68.2 70.6 72.2 CUB 40.0 50.0 53.9 51.7 55.6 55.8 58.4 57.3 58.8 60.3 SUN 39.9 56.5 54.5 64.9 56.3 61.3 60.0 60.8 61.7 62.8 APY 33.8 39.8 38.3 35.0 23.9 41.1 - 40.5 43.1 45.6

表3 各方法在4个数据集上的零样本属性识别精度 Table 3 Accuracy of zero-shot attribute recognition of different methods on 4 datasets %

由表3可见, DAP、DeViSE、ESZSL、DEM、SYNC由于是传统的零样本识别方法, 识别精度低下.GAZSL、cycle-CLAWGAN、F-GAN、LisGAN为基于GAN的方法, 识别精度有一定的提升, 表明GAN对零样本识别方法的性能有较大的促进作用.

GAZSL直接使用GAN对属性进行识别, 相比传统的零样本识别方法, 精度又有所提高.cycle-CLSWGAN在GAZSL的基础上增加循环一致性结构, 对不可见类的识别精度高于GAZSL.

LisGAN在F-GAN的基础上增加边缘信息和灵魂样本的学习, 识别精度高于F-GAN.RS-ZSAR在LisGAN基础上结合循环一致性结构和CTGAN, 约束生成的视觉特征, 去除冗余信息, 并利用可见类和不可见类之间的语义关系对无冗余的视觉特征进行学习, 使生成器生成的伪视觉特征更接近于真实视觉特征, 所以识别精度高于LisGAN.相比LisGAN, 在AWA、CUB、SUN、APY数据集上, RS-ZSAR的识别精度分别提高1.6%、1.5%、1.1%、2.5%.

传统零样本学习方法通常将测试样本限制在不可见类中, 即测试样本与训练样本无交集.传统零样本学习的测试阶段设置的条件过于严格, 不能真实反映目标识别的情景.因为在实际场景中, 测试样本通常会包括可见类样本和不可见类样本, 因此将这种任务称为广义零样本学习任务^[34].广义零样本学习(Generalized ZSL, GZSL)主要思想是对测试样本的来源进行更宽松的假设, 即测试样本可来源于任意的目标类别.

一个行之有效的零样本学习应既能识别可见类样本, 也能识别不可见类样本.在广义零样本识别任务中, 测试阶段同时使用可见类样本和不可见类样本对方法进行测试.实验目的是为了验证本文方法在广义零样本识别任务上的有效性.

在AWA、CUB、SUN、APY数据集上进行实验.对比方法如下:GAZ-SL^[5]、DAP^[8]、DeViSE^[9]、ESZ- SL^[10]、DEM^[12]、 F-GAN^[17]、 SE-GZSL^[19]、GMN^[21]、LisGAN^[22].各方法的广义零样本属性识别精度如表4所示, 表中黑体数字表示最优结果.

表4

Table 4

表4(Table 4)

表4 各方法在4个数据集上广义零样本属性识别精度 Table 4 Accuracy of generalized zero-shot attribute recognition of different methods on 4 datasets % 数据集 DAP DeViSE ESZSL DEM GAZSL F-GAN GMN SE-GZSL LisGAN RS-ZSAR AWA U S H 0.0 88.7 0.0 13.4 68.7 22.4 5.9 77.8 11.0 30.5 86.4 45.1 19.2 86.5 31.4 57.9 61.4 59.6 61.1 71.3 65.8 56.3 67.8 61.5 52.6 76.3 62.3 55.8 81.5 66.3 CUB U S H 1.7 67.9 3.3 23.8 53.0 32.8 2.4 70.1 4.6 11.1 75.1 19.4 23.9 60.6 34.3 43.7 57.7 49.7 56.1 54.3 55.2 41.5 53.3 46.7 46.5 57.9 51.6 49.8 61.7 55.2 SUN U S H 4.2 25.2 7.2 16.9 27.4 20.9 11.0 27.9 15.8 20.5 34.3 25.6 21.7 34.5 26.7 42.6 36.6 39.4 53.2 33.0 40.7 40.9 30.5 34.9 42.9 37.8 40.2 46.3 40.1 43.0 APY U S H 4.8 78.3 9.0 4.9 76.9 9.2 2.4 70.1 4.6 11.1 75.1 19.4 14.2 78.6 24.0 32.9 61.7 42.9 - - - - - - 34.3 68.2 45.7 35.9 70.4 47.6

表4 各方法在4个数据集上广义零样本属性识别精度 Table 4 Accuracy of generalized zero-shot attribute recognition of different methods on 4 datasets %

基于属性的广义零样本识别精度通常使用调和平均值H进行评估:

H= 2×S×US+U,

其中, U表示不可见类, S表示可见类.由表4可看出, RS-ZSAR在广义零样本识别任务中的精度高于LisGAN.相比LisGAN, 在AWA、CUB、SUN、APY数据集上, RS-ZSAR的识别精度分别提高4.0%、3.6%、2.8%、1.9%.故RS-ZSAR不仅适合于零样本识别任务, 也适合于广义零样本识别任务.

2.5.1 超参数的选择

为了得到最佳超参数, 在AWA、CUB、SUN、APY数据集上对基于零样本识别任务的不同超参数值进行评估.

首先, 在4个数据集上对比式(6)中的循环一致性损失系数λ , λ 不同时SR-ZSAR精度变化如图2(a)所示.当λ < 10时, 随着λ 的增加, 精度呈现上升趋势; 当λ > 10时, 曲线呈下降趋势, 即当λ =10时, 精度达到最高.故本文选择λ =10.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 超参数值不同时RS-ZSAR在4个数据集上的精度Fig.2 Accuracy of RS-ZSAR with different hyperparameter values on 4 datasets

然后, 统计式(2)中的语义关系约束损失系数λ _sr, λ _sr不同时SR-ZSAR的精度变化如图2(b)所示.由图可知, 在λ _sr取不同值时, SR-ZSAR的精度无明显波动, 即对λ _sr不是很敏感, 当λ _sr=0.25时, 精度相对较高.故本文选择λ _sr=0.25.

再分析式(2)中的去冗余约束损失系数λ _r, λ _r不同时SR-ZSAR的精度变化如图2(c)所示.由图可知, 精度整体呈下降趋势, 即λ _r取值越大, 精度越低, 而λ _r=0.1时, 识别精度最高.故本文选择λ _r=0.1.

最后, 在4个数据集上统计RS-ZSAR的收敛迭代次数.采用多次实验求平均值的方式, 结果如图2(d)、(e)所示.由于本文方法的网络结构较简单, 在训练过程中梯度收敛速度较快, 当迭代次数达到4 000时, 本文方法趋于收敛.而对于广义零样本识别, 迭代次数在4 500~5 000时, 性能保持稳定, 故选择迭代次数为5 000次.

2.5.2 生成样本的数量

为了验证不可见类生成样本的数量对SR-ZSAR识别性能的影响, 在AWA、CUB、SUN、APY数据集上对每个类别不同的生成样本数进行评估, 如图3所示.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 每类的生成样本数不同时SR-ZSAR的精度对比Fig.3 Accuracy comparison of SR-ZSAR with different number of generated samples of each class

如图3(a)所示, 在AWA数据集上, 当生成样本的数量为500时, ZSL和GZSL的识别精度均达到最高值, 随着生成样本数量的增加, ZSL和GZSL的识别精度整体出现下降.故在AWA数据集上, 每个类别生成样本的数量选择500个.同理得出在CUB数据集上, ZSL的生成样本数量最佳为400个, GZSL的生成样本数量最佳为150个.在SUN数据集上, 每个类别生成样本的最佳数量为400个.在APY数据集上, 每个类别生成样本的数量为500个.

2.5.3 去冗余后的特征维数

为了验证不可见类生成样本的去冗余后特征维数对RS-ZSAR性能的影响, 在AWA、CUB、SUN、APY数据集上对去冗余后的特征维数进行评估, 如图4所示.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 特征维度不同时RS-ZSAR的精度对比Fig.4 Accuracy comparison of RS-ZSAR with different feature dimensions

在AWA数据集上, 随着去冗余后特征维数的增加, ZSL和GZSL的识别精度整体呈上升趋势, 当特征维数增加到2 048时, 两者识别精度达到最高值.故在AWA数据集上去冗余特征维度选择2 048, 如图4(a)所示.同理得出在CUB数据集上, 去冗余特征维度为1 024.在SUN数据集上, 去冗余特征维度为2 048.在APY数据集上, 去冗余特征维度为1 024.

综上所述, 当去冗余后特征维数较小时, RS-ZSAR在CUB、SUN、APY数据集上的精度较低.随着维数的增加, 性能越来越好.由图4可知, 当无冗余特征的维数为1 024时, 在4个数据集上取得较高精度.

2.5.4 收敛性分析

本文在GAN的基础上加入去冗余模块、语义关系约束模块和循环一致性损失.为了验证RS-ZSAR的收敛性, 分析4个主要损失函数的收敛性.由于本文重点是视觉特征的生成过程, 因此, 生成器损失和判别器损失的收敛性分析主要针对视觉特征.4个主要的损失函数分别是:视觉特征生成器损失Loss_G、视觉特征判别器损失Loss_D、分类器损失Loss_C、循环一致性损失Loss_cyc.各损失函数的收敛性分析如图5所示.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 各损失函数的收敛性分析Fig.5 Convergence analysis of different loss functions

RS-ZSAR设置的迭代次数为5 000次.如图5所示, RS-ZSAR在5 000次迭代内, 视觉特征生成器损失Loss_G、视觉特征判别器损失Loss_D、分类器损失Loss_C和循环一致性损失Loss_cyc均可达到收敛.

为了验证RS-ZSAR的泛化性能, 将RS-ZSAR用到零样本图像检索任务中, 即用图像代替属性作为测试阶段的输入进行检索实验.在AWA数据集上对比RS-ZSAR和LisGAN对零样本图像的检索结果.RS-ZSAR在去冗余的特征空间中为每类生成10个视觉特征, 再计算10个视觉特征的均值, 检索映射到去冗余特征空间的top5图像.LisGAN执行相同操作, 但检索的生成图像映射到原视觉特征空间.

图6为5个动物样本的top5检索结果, 正确检索图像使用绿色方框表示, 错误检索图像使用红色方框表示, 每列为一个类别, 类别名称标注在图像上方.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 各方法在AWA数据集上top5的零样本图像检索结果Fig.6 Top5 zero-shot image retrieval results of different methods on AWA dataset

在其它3个数据集重复此实验, 得出的结果类似.实验结果表明RS-ZSAR的检索结果比LisGAN更准确, 因为RS-ZSAR对视觉特征进行去冗余处理, 减少冗余信息的干扰, 同时引入语义关系约束损失和循环一致性损失, 使生成的视觉特征更接近真实视觉特征, 提高检索精度.

为了进一步验证RS-ZSAR的泛化性能, 将RS-ZSAR应用到基于文本的零样本识别任务中, 使用文本代替属性作为测试阶段的输入, 对训练好的方法进行测试, 并在视觉特征生成器中添加抑制文本噪声的全连接层.在CUB、NAB数据集上进行实验, 根据文献[4]方法对数据进行分割, 分成Super-Category-Shared(SCS)和Super-Category-Exclusive (S-CE)^[4].在SCS上, 可见类和不可见类属于同类, 相关性较高.在SCE中, 可见类和不可见类属于不同类, 相关性较低.

对比方法如下:WAC(Write a Classifier:Zero-Shot Learning Using Purely Textual Descriptions)^[4]、GAZSL^[5]、CIZSL(Creativity Inspired Zero-Shot Lear-ning)^[6]、CANZSL(Cycle-Consistent Adversarial Net-works for Zero-Shot Learning from Natural Language)^[7]、ESZSL^[10]、SYNC^[11].各方法基于文本的零样本识别精度对比如表5所示, 表中黑体数字为最优结果.

表5

表5

表5 各方法在2个数据集上基于文本的零样本识别精度 Table 5 Accuracy of text-based zero shot recognition of different methods on 2 datasets % 数据集 分割方式 WAC ESZSL SYNC GAZSL CIZSL CANZSL RS-ZSAR CUB SCS SCE 33.5 7.7 28.5 7.4 28.0 8.6 43.7 10.3 44.6 14.4 45.8 14.3 46.7 15.5 NAB SCS SCE 11.4 6.0 24.3 6.8 18.4 3.8 35.6 8.6 36.6 9.3 38.1 8.9 39.8 9.8

表5 各方法在2个数据集上基于文本的零样本识别精度

由表5可见, WAC、ESZSL、SYNC为传统零样本文本识别方法, 精度较低.GAZSL使用基于GAN的框架, 精度具有一定提升, 表明GAN能在一定程度上提升零样本识别精度.CIZSL在GAZSL的基础上增加创造性引导的文本, 对方法进行训练, 相比GAZSL, 在CUB、NAB数据集上分别提升0.9%和1.0%.CANZSL在GAZSL的基础上增加循环一致性结构, 相比GAZSL, 在CUB、NAB数据集上精度分别提升2.1%和2.5%.RS-ZSAR引入循环一致性结构, 对视觉特征进行去冗余信息的处理, 并利用可见类和不可见类之间的语义关系对去冗余后的特征进行学习, 使生成器生成的伪视觉特征更接近于真实视觉特征, 所以RS-ZSAR在文本识别任务上精度最高.

因此RS-ZSAR不仅在属性识别任务上, 而且在噪声文本识别任务上均较优, 具有较好的泛化性.此外, RS-ZSAR基于文本的零样本识别精度低于属性识别的精度, 这是因为文本中含有过多的噪声, 这些噪声会对方法有一定的干扰, 降低方法的识别性能.