本文提出基于局部对比学习与新类特征生成的小样本图像分类方法(LCNFG), 整体框架如图1所示.LCNFG主要分为两个阶段:基于全局和局部对比学习预训练和基于基类原型的新类特征生成.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 LCNFG总体框架图Fig.1 Overall framework of LCNFG

在预训练阶段, 局部对比学习将图像表示为多个局部特征, 使用监督对比学习使每个局部特征都尽可能保留图像类别的可鉴别信息, 从而使模型关注图像的局部变化.全局对比学习将图像的局部特征归纳为全局特征, 并使用监督对比学习, 保证图像整体特征的可分性.

在特征生成阶段, 基于预训练的主干网络, 提出基于基类原型的新类特征生成方法, 利用基类数据的类别原型, 生成新类样本特征, 缓解小样本条件下数据不足的问题.

最后, 基于支持特征和生成后的特征计算更准确的类别原型, 分类查询集中的未标注图像.

本文提出局部对比学习方法, 并设计相应的局部对比损失函数L_local.L_local将全局特征的单一特征空间拓展为多个局部特征空间.在每个局部特征空间中, L_local通过拉近同类样本的局部特征、推远不同类样本的局部特征, 强化类别间的可区分性.最终, 图像的每个局部特征尽可能保留其对应类别的辨别信息, 从而增强主干网络对图像局部变化的敏感性.

首先获取局部特征.如图1上半部分所示, 对于给定的任一幅图像x, 输入主干网络E(· ), 原图像特征U∈ R^C.去除主干网络最后一层的平均池化层, 可得到图像的局部特征图$\boldsymbol{u} \in \mathbf{R}^{C \times r}$, 其中r=h× w表示特征图的空间尺寸, $\boldsymbol{u}^{i} \in \mathbf{R}^{C}$表示第i个位置的局部特征向量.之后, 单独考虑每个位置的局部特征向量, 在每幅图像相同位置的局部特征之间进行对比学习.

具体而言, 在基类数据集D_base上随机采样一个批次, 共M幅图像, 将图像输入数据增强模块T(· ), 生成2M幅图像.对于其中的一幅样本, 记为x_m.之后, 将样本输入主干网络E(· ), 得到图像的特征

$\boldsymbol{u}_{m}=E\left(\boldsymbol{x}_{m}\right) \in \mathbf{R}^{C \times r},$

$\boldsymbol{u}_{m}=\left\{\boldsymbol{u}_{m}^{i}\right\}_{i=1}^{C}$表示该图像共有C个局部特征.

记A(m)={(x_m, y_m) }m=12M, 表示2M幅图像样本及其标签的集合, 原图像与增强后的图像拥有相同的类别标签.依据A(m)中的标签信息, 可得到与x_m相同类别的正样本集合, 记为P(m), |P(m)|为集合中样本的个数.A(m)中其余与x_m不同类别的负样本集合记为N(m).设计局部对比学习的损失:

$L_{\text {local }}=-\frac{1}{r} \sum_{i=1}^{r}\left(\sum _ { m \in \boldsymbol { A } ( m ) } \left(\frac{1}{|\boldsymbol{P}(m)|} \sum_{\boldsymbol{p} \in \boldsymbol{P}(m)}\right.\left.\left(\frac{\exp \left(\frac{S_{m p}^{i}}{\tau}\right)}{\sum_{\boldsymbol{p} \in \boldsymbol{P}(m)} \exp \left(\frac{S_{m p}^{i}}{\tau}\right)+\sum_{a \in N(m)} \exp \left(\frac{S_{m a}^{i}}{\tau}\right)}\right)\right)\right),$

其中, τ ∈ i⁺表示温度超参数, p表示P(m)中的第p个样本, a表示N(m)中的第a个样本,

$S_{m p}^{i}=\frac{\left(\boldsymbol{u}_{m}^{i}\right)^{\mathrm{T}} \boldsymbol{u}_{p}^{i}}{\left\|\left(\boldsymbol{u}_{m}^{i}\right)^{\mathrm{T}}\right\|\left\|\boldsymbol{u}_{p}^{i}\right\|},$

表示样本x_m第i个位置的局部特征向量与其正样本集合中第p个正样本第i个位置的局部特征向量之间的余弦相似度,

$S_{m a}^{i}=\frac{\left(\boldsymbol{u}_{m}^{i}\right)^{\mathrm{T}} \boldsymbol{u}_{a}^{i}}{\left\|\left(\boldsymbol{u}_{m}^{i}\right)^{\mathrm{T}}\right\|\left\|\boldsymbol{u}_{a}^{i}\right\|},$

表示样本x_m第i个位置的局部特征向量与其负样本集合中第a个负样本第i个位置的局部特征向量之间的余弦相似度.因此, 对于样本x_m, 其与正负样本之间的特征度量, 由每个位置的局部特征度量求平均得到.

仅使用局部对比学习可能会导致图像整体信息的丢失, 为了保证图像整体的可鉴别性, 本文结合全局对比学习和局部对比学习.全局对比学习保留主干网络E(· )最后的平均池化层, 因此记一幅图像为x, 图像的全局特征z∈ R^C.

全局对比学习使用局部对比学习中随机采样并数据增强的2M幅图像, $\boldsymbol{A}(m)=\left\{\left(\boldsymbol{x}_{m}, \boldsymbol{y}_{m}\right)\right\}_{m=1}^{2 M}$, 表示2M幅图像样本及其标签的集合.与局部对比学习相同, 给定一幅图像x_m, 依据A(m)中的标签信息, 可得到与x_m相同类别的正样本集合, 记为P(m), |P(m)|为集合中样本个数.A(m)中其余与x_m不同类别的负样本集合记为N(m).计算全局的监督对比损失:

$L_{\text {global }}=\sum_{m \in \boldsymbol{A}(m)}\left(\frac{-1}{|\boldsymbol{P}(m)|} \sum_{p \in \boldsymbol{P}(m)}\left(\frac{\exp \left(\frac{S_{m p}}{\tau}\right)}{\sum_{p \in \boldsymbol{P}(m)} \exp \left(\frac{S_{m p}}{\tau}\right)+\sum_{a \in N(m)} \exp \left(\frac{S_{m a}}{\tau}\right)}\right) \right).$

在预训练阶段, 本文引入自监督任务中的旋转分类任务, 能在预训练过程中学到更通用的特征, 从而有效降低过拟合的风险.将图像x_i旋转0° , 90° , 180° , 270° 后输入主干网络, 在主干网络后添加一个四类别分类器Cr(g), 预测图像的旋转角度.Cr(g)可使用矩阵$\boldsymbol{W}_{r}=\left\{\boldsymbol{w}_{r i}\right\}_{i=1}^{4}$表示, 因此, 对于图像x_i, 旋转预测的类别分数如下:

$S_{i}^{r}=C_{r}\left(\boldsymbol{z}_{i}\right)=\boldsymbol{z}_{i}^{\mathrm{T}} \boldsymbol{W}_{r}=\boldsymbol{z}_{i}^{\mathrm{T}}\left[\boldsymbol{w}_{r 1}, \boldsymbol{w}_{r 2}, \boldsymbol{w}_{r 3}, \boldsymbol{w}_{r 4}\right] .$

之后, 使用Softmax函数, 得到第j类的预测概率:

$p_{i j}=\frac{\exp \left(\boldsymbol{z}_{i}^{\mathrm{T}} \boldsymbol{w}_{r j}\right)}{\sum_{k=1}^{4} \exp \left(\boldsymbol{z}_{i}^{\mathrm{T}} \boldsymbol{w}_{r k}\right)} .$

由此得到旋转预测的自监督损失(Self-Supervised Loss, SSL):

$\begin{aligned} L_{\mathrm{SSL}}= & -\sum_{i=1}^{m} \sum_{k=1}^{4} y_{i k} \ln p_{i k}=-\sum_{i=1}^{m} \ln p_{i j}= \\ & -\sum_{i=1}^{m} \ln \left(\frac{\exp \left(\boldsymbol{z}_{i}^{\mathrm{T}} \boldsymbol{w}_{r j}\right)}{\sum_{k=1}^{4} \exp \left(\boldsymbol{z}_{i}^{\mathrm{T}} \boldsymbol{w}_{r k}\right)}\right) . \end{aligned}$

在预训练过程中本文方法的整体损失为:

$L=\alpha L_{\text {local }}+\beta L_{\text {global }}+L_{\mathrm{SSL}},$

其中α 、 β 为系数, 用于控制损失大小.

如图1下半部分所示, 第二阶段为新类特征生成阶段.在N-way K-shot的采样任务中, 每个任务包含一个支持集和一个查询集.基于基类原型的新类特征生成方法用于在支持集有限的情况下生成大量样本特征, 主要包括如下三部分.第一部分是使用预训练阶段主干网络获得的参数提取支持集和查询集样本的特征.第二部分是特征生成模块, 利用K近邻算法(K-Nearest Neighbors, KNN)计算与支持集特征最相似的基类原型, 并通过SMOTE在基类原型与支持特征之间进行线性插值, 从而生成新的样本特征.第三部分是KNN测试分类器, 通过支持特征和生成特征计算类别原型, 并基于查询样本特征与各类原型之间的余弦距离进行分类.

在二阶段的测试过程中, 需要进行N-way K-shot任务的采样.每个任务包含一个支持集

$\boldsymbol{D}_{\text {support }}=\left\{\boldsymbol{S}_{n}\right\}_{n=1}^{N}, \boldsymbol{S}_{n}=\left\{\left(\boldsymbol{x}_{s}, \boldsymbol{y}_{s}\right)\right\}_{s=1}^{K}$

和一个查询集

$\boldsymbol{D}_{\text {query }}=\left\{\boldsymbol{x}_{q}\right\}_{\substack{T \times N \\ q=1}} .$

对于支持集的一幅图像x_s, 将其输入训练好的主干网络后, 得到d维的特征向量u_s.新类中每个类别的原型P_n由该类别中所有样本的特征求平均得到, 即

$\boldsymbol{P}_{n}=\frac{1}{K} \sum_{s \in S_{n}} \boldsymbol{u}_{s} .$

同时, 计算基类中共C_b个类别的原型, 记作

$\boldsymbol{J}_{B}=\left\{\boldsymbol{u}_{C}\right\}_{c=1}^{C_{b}} .$

对于P_n中每个新类类别的原型, 找到在基类原型J_B中与其最近的L个邻居, 距离度量采用余弦相似度, 将这些邻居记为J_n={u_l∈ J_B }l=1L, L表示超参数, 用于决定每个新类类别生成的特征数量.之后, 随机从J_n中选择一个原型u_l, 计算新的特征:

$\boldsymbol{u}_{\text {new }}=\boldsymbol{P}_{n}+\lambda\left(\boldsymbol{P}_{n}-\boldsymbol{u}_{l}\right),$

其中λ ∈ [0, 1]为一个随机数.通过不断改变λ 的数值, 并在J_n中反复随机选择原型数据, 每个新类都能获得大量的新特征.

在分类时, 将这些新生成的特征与支持集中的原特征合并, 进行平均求和操作, 计算每个新类类别的原型.将新类中第n个类别的新原型记为P'_n.对于查询集中的样本, 计算其特征与每个类别原型之间的余弦距离, 选择距离最近的类别作为预测标签:

$\hat{\boldsymbol{y}}_{i}=\arg \min _{n} D\left(E\left(\boldsymbol{x}_{q}\right), \boldsymbol{P}_{n}^{\prime}\right),$

其中D(· , · )表示余弦距离函数.

为了更清晰地阐明全局与局部对比学习阶段以及新类特征生成阶段, 使用伪代码设计LCNFG.

算法1 LCNFG

输入 基类数据集D_base,

支持集的图像及其标签D_support,

查询集D_query, 数据增强模块T(· ),

主干网络E(· ), 批次大小M, 温度参数τ

输出 查询集中每个样本的预测分类

对于每轮epoch:

采样:从D_base中采样一个批次

$\boldsymbol{D}_{\text {batch }}=\left\{\left(\boldsymbol{x}_{m}, \boldsymbol{y}_{m}\right)\right\}_{m=1}^{M}$

特征提取:取图像的局部特征

$\boldsymbol{u}_{m}=E\left(\boldsymbol{x}_{m}\right), \boldsymbol{u}_{m+M}=E\left(\boldsymbol{x}_{m+M}\right)$

计算损失L_local

特征提取:取图像的全局特征

$z_{m}=E\left(\boldsymbol{x}_{m}\right), z_{m+M}=E\left(\boldsymbol{x}_{m+M}\right)$

计算损失L_global、L_SSL和整体损失L, 更新参数

结束

对于支持集的每幅样本x_S:

特征提取:z_S=E(x_S)

计算原型:计算类别n的原型P_n

结束

对于查询集的每幅样本x_q:

特征提取:z_q=E(x_q)

查询样本预测分类标签 ŷi

结束

本文在miniImageNet、tieredImageNet、CIFAR-FS这3个公共数据集上进行实验.

miniImageNet数据集包含100个类别, 每个类别有600幅图像, 依据MatchingNet中的划分方法, 将100类划分为64个训练类、16个验证类和20个测试类.

tieredImageNet数据集包含608个类别, 平均每个类别包含1 281幅图像, 在实验中划分为351个训练类、97个验证类和160个测试类.

CIFAR-FS数据集由CIFAR-100数据集随机划分而成, 其中64类用于训练, 16类用于验证, 20类用于测试.

实验中采用ResNet-12作为主干网络.在预训练过程中, 采用动量为0.9, 权重衰减系数为0.000 5的随机梯度下降算法进行优化.学习率初始化为0.125, 在所有的实验中, 批处理大小为64.在miniImageNet、CIFAR-FS数据集上, 迭代周期设为120, 每30个迭代周期学习率调整为原来的0.2.在CUB数据集上, 迭代周期设为280, 训练70个迭代周期后, 学习率每30个迭代周期调整为原来的0.2.

LCNFG由基分类器、旋转分类器和线性层组成, 分别由每个损失项进行优化.为了更好地评估计算效率, 有必要进行计算复杂度分析.假设训练周期数为T, 每个周期的图像数量为M, 基分类器的输出数量为C_b, 旋转分类器的输出数量为4, 线性层神经元数量为P.基于这3个组件的计算开销, LCNFG的整体计算复杂度为O((C_b+4+P) TM), 由此表明复杂度与图像数量M呈线性关系.随着图像数量的增加, 计算复杂度呈正比例增加, 但由于每个部分的输出维度相对固定, 整体复杂度增长较平稳.因此, 在大规模数据集上, LCNFG也能保持较高的计算效率.

本文选择如下对比方法.

1)基于元学习的方法:Prototypical Networks^[23]、DeepEMD^[24]、CC+rot^[25]、BML(Binocular Mutual Learning)^[26]、RENet(Relational Embedding Net-work)^[27]、FRN(Feature Map Reconstruction Net-works)^[28]、MeTAL(Meta-Learning with Task-Ada- ptive Loss Function)^[29]、文献[30]方法、MCGN(Mutual CRF-GNN)^[31]、IEPT(Instance-Level and Episode-Level Pretext Task)^[32]、APP2S(Adaptive Po-incaré Point to Set)^[33]、HGNN(Hybrid Graph Neural Networks)^[34]、文献[35]方法、MCL(Mutual Cen-tralized Learning)^[36]、STANet(Semantic and Target Attentions Network)^[37]、ALFA(Adaptive Learning of hyperparameters for Fast Adaptation)^[38]、FGFL(Fre-quency-Guided Few-Shot Learning Framework)^[39] 、RN(Relation Network)^[40] 、AFHN(Adversarial Feature Hallucination Networks)^[41] 、Meta Navigator^[42] 、CVET(Cross-View Episodic Training)^[43].

2)基于迁移的方法:PAL(Partner-Assisted Lear-ning)^[20]、Neg-Cosine^[44] 、S2M2^[45]、文献[46]方法、SKD(Two-Stage Self-Supervised Knowledge Distilla-tion)^[47]、文献[48]方法、TPMN(End-to-End Task-Aware Part Mining Network)^[49]、DeepBDC(Deep Brownian Distance Covariance)^[50] 、MABAS(Model-Agnostic Boundary-Adversarial Sampling)^[51].

在LCNFG中去除特征生成模块, 只保留局部对比学习(Local Contrastive Learning, LCL)、全局对比学习(Global Contrastive Learning, GCL)和自监督损失(SSL), 简记为LCL+GCL+SSL, 也放入对比实验中.

在5-way 1-shot和5-way 5-shot任务上分析各对比方法的分类准确率.各方法在CIFAR-FS数据集上的分类准确率对比如表1所示, 表中黑体数字表示最优值.

表1

Table 1

表1(Table 1)

表1 各方法在CIFAR-FS数据集上分类准确率对比 Table 1 Classification performance comparison of different methods on CIFAR-FS dataset 方法 主干网络 5-way 1-shot 5-way 5-shot RN Conv4 55.00± 1.00 69.30± 0.80 CC+rot WRN28 76.09± 0.30 87.83± 0.21 AFHN ResNet-18 68.32± 0.93 81.45± 0.87 RENet ResNet-12 74.51± 0.46 86.60± 0.32 MCGN ResNet-12 76.45± 0.99 88.42± 0.23 BML ResNet-12 73.45± 0.47 88.04± 0.33 Meta Navigator ResNet-12 74.63± 0.91 86.45± 0.59 APP2S ResNet-12 73.12± 0.22 85.69± 0.16 CVET ResNet-12 77.56± 0.47 88.64± 0.31 ALFA ResNet-12 76.32± 0.43 86.73± 0.31 S2M2 WRN28 74.81± 0.19 87.47± 0.13 MABAS ResNet-12 73.51± 0.86 85.49± 0.68 SKD ResNet-12 76.90± 0.90 88.90± 0.60 PAL ResNet-12 77.10± 0.70 88.00± 0.50 TPMN ResNet-12 75.50± 0.90 87.20± 0.60 LCL+GCL+SSL ResNet-12 77.63± 0.46 89.11± 0.33 LCNFG ResNet-12 78.41± 0.47 89.28± 0.33

表1 各方法在CIFAR-FS数据集上分类准确率对比 Table 1 Classification performance comparison of different methods on CIFAR-FS dataset

由表1可见, LCNFG在1-shot任务和5-shot任务上取得最高值.相比Meta Navigator, LCL+GCL+SSL在1-shot任务和5-shot任务上分别提升3%和2.66%.在基于迁移学习的方法中, 相比PAL, LCL+GCL+SSL在1-shot任务和5-shot任务上分别提升0.53%和1.11%.之后, 在LCL+GCL+SSL的基础上, LCNFG在1-shot任务将分类准确率提至78.41%, 5-shot任务将分类准确率提至89.28%, 为最优值.

各方法在miniImageNet、tieredImageNet数据集上的对比结果如表2所示, 表中黑体数字表示最优值.

表2

Table 2

表2(Table 2)

表2 各方法在miniImageNet、tieredImageNet数据集上的分类准确率对比 Table 2 Classification performance comparison of different methods on miniImageNet and tieredImageNet datasets % 方法 主干网络 miniImageNet tieredImageNet 5-way 1-shot 5-way 5-shot 5-way 1-shot 5-way 5-shot Prototypical Networks ResNet-12 60.37± 0.83 78.02± 0.57 - - DeepEMD ResNet-12 65.91± 0.82 82.41± 0.56 71.16± 0.87 86.03± 0.58 CC+rot WRN28 62.93± 0.45 79.87± 0.33 70.53± 0.51 84.98± 0.36 BML ResNet-12 67.04± 0.63 83.63± 0.29 68.99± 0.50 85.49± 0.34 RENet ResNet-12 67.60± 0.44 82.58± 0.30 71.61± 0.51 85.28± 0.35 FPN ResNet-12 66.45± 0.19 82.83± 0.13 72.06± 0.22 86.89± 0.14 MeTAL ResNet-12 66.61± 0.28 81.43± 0.25 70.29± 0.40 86.17± 0.35 文献[30]方法 ResNet-12 67.76± 0.46 82.71± 0.31 71.89± 0.52 85.96± 0.35 MCGN ResNet-12 67.32± 0.43 83.03± 0.54 71.12± 0.85 85.98± 0.98 IEPT ResNet-12 67.05± 0.44 82.90± 0.30 72.24± 0.50 86.73± 0.34 APP2S ResNet-12 66.25± 0.20 83.42± 0.15 72.00± 0.22 86.23± 0.15 HGNN ResNet-12 67.02± 0.20 83.00± 0.13 72.05± 0.23 86.49± 0.15 文献[35]方法 ResNet-12 68.32± 0.62 82.71± 0.46 73.63± 0.88 87.59± 0.57 MCL ResNet-12 69.31 85.11 73.62 86.29 STANet ResNet-12 69.84± 0.47 84.88± 0.30 73.08± 0.49 86.80± 0.34 ALFA ResNet-12 66.61± 0.28 81.43± 0.25 70.29± 0.40 86.17± 0.35 FGFL ResNet-12 69.14± 0.80 86.01± 0.62 73.21± 0.88 87.21± 0.61 Neg-Cosine WRN28 61.72± 0.81 81.79± 0.55 - - S2M2 WRN28 64.93± 0.18 83.18± 0.11 - - 文献[42]方法 WRN28 64.82± 0.60 82.14± 0.43 71.51± 0.69 86.03± 0.49 SKD ResNet-12 67.04± 0.85 82.07± 0.31 72.03± 0.91 86.50± 0.58 文献[44]方法 ResNet-12 67.28± 0.80 84.78± 0.33 72.21± 0.90 87.08± 0.58 PAL ResNet-12 69.37± 0.64 84.40± 0.44 72.25± 0.72 86.95± 0.47 TPMN ResNet-12 67.64± 0.63 83.44± 0.43 72.24± 0.70 86.55± 0.63 DeepBDC ResNet-12 67.34± 0.43 84.46± 0.28 72.34± 0.49 87.31± 0.32 LCL+GCL+SSL ResNet-12 68.40± 0.45 83.69± 0.31 72.15± 0.47 86.84± 0.30 LCNFG ResNet-12 70.19± 0.46 84.23± 0.32 73.80± 0.46 87.22± 0.32

表2 各方法在miniImageNet、tieredImageNet数据集上的分类准确率对比 Table 2 Classification performance comparison of different methods on miniImageNet and tieredImageNet datasets %

由表2可见, 在miniImageNet数据集上, LCL+GCL+SSL在1-shot任务和5-shot任务中取得68.40%和83.69%的分类准确率.LCL+GCL+SSL在1-shot任务上比APP2S提高2.15%, 比文献[35]方法提高0.08%; 在5-shot任务上比APP2S提高0.27%, 比文献[35]方法提高0.98%.在LCL+GCL+SSL的基础上, 结合基于基类原型的LCNFG文献[35]方法进一步提升分类准确率.

在tieredImageNet数据集上, LCL+GCL+SSL同样表现优秀.在此基础上, LCNFG进一步提升分类准确率, 在1-shot任务上取得最高值, 在5-shot任务上略低于文献[35]方法.在5-shot任务上, LCNFG的分类效果略低于文献[35]方法, 其原因可能是5-shot任务的样本数据较多, 特征生成方法带来的提升效果有限.

消融实验包含局部对比学习(LCL)、全局对比学习(GCL)、全局和局部对比学习(LCL+GLC)、结合全局和局部自监督对比学习(LCL+GCL+SSL)、LCNFG.

在miniImageNet、CIFAR-FS数据集上进行消融实验, 选择5-way 1-shot和5-way 5-shot任务, 分类准确率如表3所示.由表可看出, LCL和GCL在两个数据集上都取得不错的分类准确率, LCL在所有的任务中的分类准确率都高于GCL, 由此验证在小样本条件下局部特征比全局特征具有更好的分类效果.在此基础上, 将二者结合的方法LCL+GCL性能更优.在LCL+GCL的基础上引入自监督损失函数的LCL+GCL+SSL进一步提升分类准确率.而LCNFG在LCL+GCL+SSL基础上加入特征生成模块, 获得最优值, 进一步验证其有效性和优势.

表3

Table 3

表3(Table 3)

表3 在2个数据集上的消融实验结果 Table 3 Results of ablation experiment on 2 datasets % 方法 miniImageNet CIFAR-FS 5-way 1-shot 5-way 5-shot 5-way 1-shot 5-way 5-shot LCL 66.29± 0.47 79.70± 0.33 74.91± 0.50 85.56± 0.36 GCL 62.17± 0.47 77.00± 0.33 67.70± 0.60 81.55± 0.36 LCL+GCL 67.81± 0.45 81.47± 0.31 76.21± 0.49 87.09± 0.34 LCL+GCL+SSL 68.40± 0.45 83.69± 0.31 77.63± 0.46 89.11± 0.33 LCNFG 70.19± 0.46 84.23± 0.32 78.41± 0.47 89.28± 0.33

表3 在2个数据集上的消融实验结果 Table 3 Results of ablation experiment on 2 datasets %

从miniImageNet数据集上随机抽取3幅图像, 分别输入使用全局对比学习和局部对比学习预训练的主干网络中.之后使用Grad-CAM(Gradient-Weigh-ted Class Activation Mapping)^[52]对生成的特征图进行热力图可视化, 具体如图2所示.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 在miniImageNet数据集上的Grad-CAM可视化结果Fig.2 Grad-CAM visualization results on miniImageNet dataset

由图2可看出:全局对比学习主要关注物体整体, 在热力图中物体整体部分被高亮显示; 在局部对比学习中, 高亮部分可分散在物体的各个部位, 由此验证局部对比学习可捕获图像的局部特征, 对图像的局部变化敏感性更强.

此外, 为了验证特征生成算法的有效性, 将看不见的支持类样本的特征及其对应的生成特征可视化.在miniImageNet数据集上随机从测试集上选择5类, 每类抽取200幅样本图像.在CIFAR-FS数据集上同样从测试集上随机选择5类, 每类抽取35幅样本图像.计算5个类别的原型特征, 并对这些原型特征及其相应的生成特征进行可视化.每个类别生成特征的数量设为750.

将图像输入主干网络后, 使用t-SNE(t-Distri- buted Stochastic Neighbor Embedding)^[53]进行可视化, 结果如图3所示.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 在2个数据集上t-SNE可视化结果Fig.3 t-SNE visualization results on 2 datasets

从图3左图可看出, 在miniImageNet、CIFAR-FS数据集上, 同类样本特征紧密聚集, 不同类别的特征相互远离, 类与类之间的边界清晰.在图3右图中, ★表示类别原型, ▲表示生成特征, 可以看出, 原型特征和生成特征的类边界是清晰的, 并且生成的样本特征同原型紧凑地靠在一起.这验证特征生成算法的有效性.