阴影集理论^[16]解决模糊集中使用具有精确数值的隶属度描述模糊逻辑这一缺陷.通过三值逻辑映射保留对象的核心模糊信息, 减少量化损失, 常被用于处理不确定性问题, 是研究不确定信息处理问题的有力工具.通过提升部分对象的隶属度值到1(或最大隶属度值), 降低部分对象的隶属度值到0, 同时保持整体不确定性的平衡, 可将传统的隶属度函数转变为具有三值逻辑的阴影集.

在模糊集的阴影化处理过程中, 通过上近似参数α 和下近似参数β 将论域X划分为3个区域.

α =μ _max-β ,

μ _max为最大隶属度值.将隶属度值小于β 的对象集合划分为负域(Exclusion), 表明元素x不属于集合X; 大于α 的对象集合划分为核(Core), 表明元素x属于集合X; 其余对象集合为阴影域(Shadow), 表明元素x可能属于也可能不属于X, 存在不确定性.

因此, 给定下近似参数β , 相应地可定义阴影集的核、阴影域和负域:

其中, F(x)为映射函数, 文中为深度学习输出的样本隶属度值.给定下近似参数, 可将论域划分为3个区域, 从而将数据根据隶属度划分为3部分, 进而确定数据中的不确定区域, 如图1所示.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 基于阴影集进行区域划分Fig.1 Region division based on shadowed sets

阴影集依据不确定性平衡原则求解α 和β , 将论域划分为3个区域:核、阴影域和负域.为了使这3个区域符合实际决策情景, 从三支决策的角度出发, 对其进行解释.

任何将问题一分为三而逐一解决的方法其实都可以称为三支决策, 狭义的三支决策主要指以粗糙集、模糊集、区间集、阴影集等集合论为基础的三支决策, 广义的三支决策泛指使用这种思想求解问题的方法, 如三支聚类、三支粒计算等.因此, 三支决策包含阴影集, 是更一般化、通用化的决策方法.

在三支决策的视角下, 可将阴影集划分的核、阴影域和负域分别解释为决策中的接受决策、延迟决策和拒绝决策, 并对延迟决策部分构建二级模型, 结合深度学习和传统图像分类方法各自的优势, 结合传统方法降低深度学习分类结果中存在不确定性的部分, 提高分类性能.

1.2.1 模型框架

在实际决策过程中, 由于存在信息的不完备性、环境的复杂性、先验知识的有限性等不确定情况, 决策结果存在较大的不确定性, 任何模型都无法保证对样本的预测结果绝对正确.因此, 通过对不确定域进行重点研究, 可对决策对象的认知粒度做出细化, 降低不确定域对分类结果的影响, 提高决策的准确性.为此, 本文从三支决策出发, 提出两阶段图像分类方法, 使信息在深度学习和传统的机器学习之间传递, 结合二者各自的优势, 提高分类性能.

本文方法整体流程如图2所示, 首先, 将测试样本输入一阶段的CNN中, 不同于直接选择隶属度最大的类别作为预测类别, 本文选择输出对应的隶属度矩阵.然后, 通过基于阴影集的样本划分算法将输出结果分为确定域和不确定域, 其中确定域部分的预测类别已确定, 对于不确定域部分做出延迟决策.将不确定域再次输入到二级模型中, 融合深度学习特征和传统特征, 提升二级模型在不确定域部分的分类效果.综合两次模型的输出, 得到最终的分类结果.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 本文方法框图Fig.2 Framework of the proposed method

1.2.2 获取基于阴影集的不确定性数据

在决策信息的不精确或不完备的情况下, 简单地采用接受或拒绝两种方式进行决策是不合理的, 这就是传统的两支决策的弊端.因此本文引入三支决策思想, 对于没有较大把握做出决策的样本, 在进一步的研究和学习后再进行最终判断, 即延迟决策.文中将阴影集理论中的核、负域和阴影域解释为接受域(Accept)、拒绝域(Reject)和不确定域(Un-certain), 划分的3个域可构造相应的三支决策规则, 其中接受域表示接受, 拒绝域表示拒绝, 不确定域表示不做出任何承诺, 即延迟决策.关键问题就在于下近似参数β 的确定.

参照Pedrycz等^{[16, 25]}提出的不确定性平衡原则, 设计目标优化函数, 进而确定β .定义优化目标如下:

其中, β ∈ [μ _min, μ _min+0.5μ _max], μ _min表示隶属度的最小值, μ _max表示隶属度的最大值.

因此, 当已知测试集样本属于某一特定类别c的隶属度μ _i, i=0, 1, …, n-1时, 获取β 的算法如算法1所示.

算法1 获取β

输入 测试集样本i属于某一特定类别c的隶属度值μ _i, i=0, 1, …, n-1

输出β

β ← 0.5, μ _max← max0≤i≤n-1μ _i;

Ω ₁← ∑μi≤βμ _i,

Ω ₂← ∑μi≥μmax-β(μ _max-μ _i),

Ω ₃← ∑β< μi< αμ _i;

O← Ω ₁+Ω ₂-Ω ₃

while O> 0:

β ← β -0.001;

Ω ₁← ∑μi≤βμ _i,

Ω ₂← ∑μi≥μmax-β(μ _max-μ _i),

Ω ₃← ∑β< μi< αμ _i;

O← Ω ₁+Ω ₂-Ω ₃;

end while

return β

根据测试样本隶属于某一类的隶属度, 依据算法1可获得对应的β , 从而将样本划分为3个域.接受域表明样本属于该类; 不确定域表明对该样本的分类存在不确定性, 需要延迟决策获取更多信息后做出判断; 拒绝域表明样本不属于该类, 但该类对应的拒绝域中的样本也会落在其它类的接受域或不确定域中.为此, 本文进一步设计算法2, 用于处理多分类问题, 划分不确定域进行延迟决策.算法2的思想是:对于每个类别, 根据测试样本对应该类的隶属度值, 划分接受域、不确定域和拒绝域, 所有的接受域去除存在重叠的部分即为确定域, 预测类别已知, 剩下的部分为不确定域, 存在不确定性, 需要进一步处理.算法2步骤如下所示.

算法2 基于阴影集的不确定性数据获取算法

输入 测试样本的索引集合D, 大小为1× N, 测试样本的N× C维隶属度矩阵M, N表示样本数, C表示类别数, 第i个样本属于第j类的隶属度M_ij

输出 需要进行延迟决策的不确定域U

K← Ø , P← Ø , β ← 0;

for j← 0 to C-1:

μ _max← max0≤i≤N-1M_ij;

β ← get_β (M[∶ , j]);

/* 根据样本属于第i类的隶属度值计算对应的 β * /

K← {i|0≤ i≤ N-1, M_ij≥ μ _max-β }; /* 根据β 求接受域 * /

P← P∪ K-P∩ K; /* 去除接受域之间重叠的部分 * /

end for

U=D-P;

return U

使用阴影集划分样本并进行三支决策的一个简单示例如图3所示.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 基于阴影集的样本划分示例Fig.3 Sample partitioning based on shadowed sets

1.2.3 构建基于特征融合的二阶段模型

对于在一阶段过程中划分的不确定性域, 由于深度学习针对这一部分的样本不能取得较好的分类效果, 因此考虑引入传统的图像特征并与深度学习特征进行融合, 借助机器学习对该部分样本进行二次分类, 消除不确定性.

在本文实验中, 二阶段选用的特征包括颜色直方图、LBP、HOG.三者的特征维度分别为96维、59维、576维.颜色直方图是一种常见的颜色特征, 描述不同色彩在整幅图像中所占的比例.LBP为描述图像局部特征的算子, 计算简单、效果较好, 具有灰度不变性和旋转不变性等优点.HOG为表征图像局部梯度方向和强度分布特性的描述符, 较好地表达图像中物体的轮廓信息, 对图像几何形变及光照变化都保持较好的不变性.

深度学习特征采用CNN全连接层之前的卷积层输出的特征, 特征维度根据使用的深度学习模型而有所变化.特征融合方法采用将不同特征的特征向量直接拼接当作一个特征向量并进行归一化, 融合后的特征向量维度等于所有特征向量的维度之和.本文选择的深度学习模型有VGG16、ResNet18、GoogleNet、MobileNet_V2.具体的深度学习模型对应的特征维度如表1所示.

表1

Table 1

表1(Table 1)

表1 模型及对应的特征维度 Table 1 Models and corresponding feature dimensions VGG16 ResNet18 GoogleNet MobileNet_V2 深度特征 4096 512 1024 1280 融合特征 4827 1243 1755 2011

表1 模型及对应的特征维度 Table 1 Models and corresponding feature dimensions

在分类器的选择方面, 由于SVM可较好地处理小样本集的情况, 克服传统机器学习容易陷入局部最优解的问题, 并且能将低维空间的非线性问题映射到高维空间, 使其转变为线性问题, 具有较优的推广能力, 因此选用SVM作为二级分类器.

实验采用CIFAR-10数据集和Caltech 101数据集.

CIFAR-10数据集是一个常用的通用图像分类数据集, 由10类32× 32的彩色图像组成, 包含60 000幅图像, 每类包含6 000幅图像.本次实验中, 从原始划分好的包含50 000幅图像的训练集中针对每类选取1 000幅图像共10 000幅图像作为验证集, 其余40 000幅图像作为训练集, 原始的10 000幅测试图像仍作为测试集.

Caltech 101数据集是由101个类别的图像组成的数据集, 不同类别包含40~800幅图像, 大多数类别都有50幅图像.每幅图像的大小约为300× 200.实验中按照0.6∶ 0.2∶ 0.2的比例将原始数据集划分为训练集、验证集、测试集.

实验中选择分类准确率作为评价指标.分类准确率是指分类正确的样本数占样本总数的比例:

T_acc= TcorrectTsum× 100%,

其中, T_acc表示在测试集T上的分类准确率, T_correct表示在测试集T上分类正确的样本数量, T_sum表示测试集T的样本总数.

对于图像分类任务来说, 分类准确率是常见也是常用的性能度量指标.当类别样本不均衡或更想关注某类或某几类的分类效果时, 分类准确率就不能较好地评价性能优劣, 此时可能需要使用查准率或查全率等其它评价指标.但本次实验使用的数据集

中各类别的样本数量较均衡, 并且只需要关注整体的分类效果, 因此选用分类准确率作为性能评价指标.

通过算法2可将测试集T划分为确定域CER和不确定域UNC.为了更直观地表示三支决策带来的实验效果, 定义确定域准确率CER_acc和不确定域准确率UNC_acc, 计算方式同T_acc, 但将T换为相应的确定域CER和不确定域UNC.具体定义如下:

确定域样本总数CER_sum加上不确定域样本总数UNC_sum等于测试集样本数目T_sum.

实验过程中深度学习采用迁移学习, 从在ImageNet上预训练得到的网络权重开始, 整个网络权重在训练集上进行微调, 达到网络训练的目的, 同时保存在验证集上效果最优的模型参数.

使用的深度学习模型有VGG16、ResNet18、GoogleNet和MobileNet_V2.由于VGG16参数量较大, 因此在实验过程中冻结前面的卷积层参数, 不对整个网络权重进行更新, 仅更新全连接层参数.

实验过程中使用随机梯度下降(Stochastic Gradient Descent, SGD)进行网络反传, 损失函数采用交叉熵损失(Cross Entropy Loss).其它训练参数设置如下:学习率为0.001, 动量为0.9, 批尺寸大小为32, 迭代次数为20.

实验过程中首先将CNN在训练集上进行微调并在验证集上进行验证, 保存模型在验证集上具有最佳性能时的参数.训练完成后, 将测试集输入模型中, 得到一阶段模型的分类准确率及对应样本的隶属度矩阵.一阶段模型的实验结果如表2所示.

表2

Table 2

表2(Table 2)

表2 一阶段模型的实验结果 Table 2 Experimental results in stage one 数据集 模型 准确率/% 确定域数量 确定域准确率/% 不确定域数量 不确定域准确率/% CIFAR-10 VGG16 ResNet18 GoogleNet MobileNet_V2 86.40 94.13 94.26 93.70 8377 9557 9501 9422 93.12 96.19 96.20 96.23 1623 443 499 578 51.69 49.66 57.31 52.42 Caltech 101 VGG16 ResNet18 GoogleNet MobileNet_V2 90.03 93.33 93.22 92.15 1527 1470 1444 1479 94.56 97.35 97.78 96.42 168 225 251 216 48.81 67.11 66.93 62.96

表2 一阶段模型的实验结果 Table 2 Experimental results in stage one

由表2可看出, 通过算法2划分的不确定域中的样本确实存在较大的分类不确定性.在CIFAR-10、Caltech101数据集上, 此部分的准确率都远低于确定域部分及整体的分类准确率.由此可证实使用的样本划分算法的有效性.

再通过算法2划分样本的确定域和不确定域, 对于不确定域做出延迟决策, 输入到二阶段模型中.二阶段模型使用传统特征(颜色直方图、LBP、HOG)结合深度学习特征对一阶段模型得到的不确定域样本进行分类.实验过程中将这3种特征与CNN最后一个卷积层输出的特征融合, 并利用SVM进行训练和测试.在CIFAR-10数据集上, 从一阶段模型的训练集中随机抽取25%的样本作为二阶段模型的训练样本, 在Caltech 101数据集上, 二阶段模型与一阶段模型训练样本相同.经过二阶段分类后整体的实验结果如表3所示.

表3

Table 3

表3(Table 3)

表3 两级模型在2个数据集上的实验结果 Table 3 Experimental results of two-stage model on 2 datasets % 模型 CIFAR-10 Caltech 101 一阶段不确定域 准确率 二阶段不确定域 准确率 总体 准确率 总体 提升效果 一阶段不确定域 准确率 二阶段不确定域 准确率 总体 准确率 总体 提升效果 VGG16+SVM 51.69 58.60 87.52 +1.12 48.81 70.23 92.15 +2.12 ResNet18+SVM 49.66 58.01 94.50 +0.37 67.11 75.11 94.40 +1.07 GoogleNet+SVM 57.31 62.32 94.51 +0.25 66.93 79.68 95.10 +1.88 MobileNet_V2+SVM 52.42 58.48 94.05 +0.35 62.96 74.07 93.57 +1.42

表3 两级模型在2个数据集上的实验结果 Table 3 Experimental results of two-stage model on 2 datasets %

由表3可看出, 相比一阶段模型, 二阶段模型在不确定域部分上的分类准确率更高, 可提升整体的分类准确率.这说明基于三支决策的级联模型能在一定程度上解决一阶段模型预测结果的不确定性, 有效提升分类表现.本文方法在CIFAR-10、Caltech 101数据集上的最佳准确率达到94.51%和95.10%.

选择如下对比方法:VGG-19(Spinal Fully Co-nnected Layer, Spinal FC)^[26]、文献[27]方法、Standard ACNet(Adaptively Connected Neural Net-work)^[28]、文献[29]方法、文献[30]方法、文献[31]方法、DTSCNN(Dual-Tree Complex Wavelet Transform ScatterNet Convolutional Neural Network)^[32]、文献[33]方法、ResNet+ELU(Deep Residual Networks with Exponential Linear Unit)^[34]、文献[35]方法.各方法的分类准确率对比如表4所示.表4结果表明本文方法在降低分类结果不确定性方面的有效性.

表4

Table 4

表4(Table 4)

表4 各方法的分类准确率对比 Table 4 Classification accuracy comparison of different algorithms % 方法 CIFAR-10 Caltech 101 VGG-19(Spinal FC) 91.40 93.16 文献[27]方法 - 90.40 Standard ACNet 94.00 - 文献[29]方法 83.10 91.00 文献[30]方法 - 96.80 文献[31]方法 - 93.80 DTSCNN 96.40 91.22 文献[33]方法 95.40 95.40 ResNet+ELU 94.40 - 文献[35]方法 92.40 - 本文方法 94.51 95.10

表4 各方法的分类准确率对比 Table 4 Classification accuracy comparison of different algorithms %

级联模型对于分类性能的改善的主要原因在于单个分类器的预测结果存在较大的不确定性.正如表2所示, 分类器在不确定域部分的分类准确率远低于确定域及整体的分类准确率, 这就是预测结果的不确定性.从三支决策角度出发构建两阶段分类器, 可以从额外的分类器中获取更多的信息, 降低单个分类器的不确定性.正如实验结果所示, 级联深度学习模型和机器学习模型使信息在不同模型之间传递, 弥补单个分类器的局限性, 提升分类准确率.

本文方法主要分为两个阶段, 第一阶段为正常的深度学习分类, 第二阶段针对不确定域通过特征融合和传统方法进行分类.额外的时间开销主要有不确定域的获取和二阶段模型的训练及分类两方面.

在不确定域的获取方面, 算法1只需一次遍历即可获得结果, 假设N为样本数, 时间复杂度为O(N).对于算法2, 需要对每类的隶属度数组执行算法1, 假设C为类别数, 算法2的时间复杂度为O(CN).在实验过程中, 算法1及算法2的时间开销可忽略不计.

在第二阶段, 需要训练一个机器学习模型, 对不确定域进行分类, 这也是本文方法主要的额外时间开销.两个阶段模型训练的时间如表5所示.实际的训练耗时依赖于硬件性能, 实验中所使用的 GPU为 RTX2080Ti, 11 GB显存, CPU为i9-10900X.

表5

Table 5

表5(Table 5)

表5 二阶段模型的训练耗时对比 Table 5 Comparison of training time consuming of two-stage model min 方法 CIFAR-10 Caltech 101 阶段一 阶段二 阶段一 阶段二 VGG16+SVM 76 13 13 3 ResNet18+SVM 54 3 9 1 GoogleNet+SVM 67 3 9 1 MobileNet_V2+SVM 66 3 9 1

表5 二阶段模型的训练耗时对比 Table 5 Comparison of training time consuming of two-stage model min

由表5可看出, 使用VGG16+SVM时, 二阶段训练耗时会显著增加, 这主要是因为此时融合特征维度为4 827, 特征维度较高, 因此训练耗时增加.但总体来说, 相比一阶段, 二阶段的训练耗时占总体比重较小.

在测试阶段, 由于模型已经过训练, 只是进行分类, 此时对不确定域进行延迟决策的耗时可忽略.因此, 本文方法虽然对不确定域进行延迟决策, 但整体的时间效率并不会显著增加.