知识蒸馏是现有深度学习模型压缩和知识迁移的重要技术之一, 其主要思想是将复杂教师模型中的知识进行压缩后迁移到轻量化的学生模型.根据教师模型是否与学生模型同步更新, 知识蒸馏可分为3类:离线蒸馏方式、在线蒸馏方式和自蒸馏方式^[14].

离线蒸馏方式使用预先训练好的教师模型进行蒸馏.Hinton等^[15]首次提出知识蒸馏, 利用预先训练好的教师模型生成的类别概率作为软目标训练学生模型.离线蒸馏方式简单、容易实现.

在线蒸馏方式的教师模型和学生模型同时训练更新, 整个知识蒸馏实现端到端训练.Zhang等^[16]提出DML(Deep Mutual Learning), 让两个学生模型之间互相学习, 共同提高蒸馏效果, 并且扩展到多个学生模型互相学习的场景.共蒸馏方式是在线蒸馏方式的变体.Zhang等^[17]提出ACNs(Adversarial Co-distillation Networks), 生成额外的发散性示例, 增强“ 暗知识” .

自蒸馏方式是将深层信息回传给浅层指导训练过程, 不需要其它教师模型的辅助.Hou等^[18]提出SAD(Self Attention Distillation), 利用中间层注意力, 指导前一层向后一层的注意力传递知识.

基于知识蒸馏的语义分割的核心思想是将教师模型中像素之间的图像语义关系迁移给轻量化的学生模型.现有基于知识蒸馏的语义分割中知识的类型可分为基于关系知识的方法、基于特征知识的方法和基于响应知识的方法^[14].

在基于关系知识的方法中, Yang等^[10]提出CIRKD, 将全局像素相关性从教师网络转移到学生网络中进行语义分割.Liu等^[19]提出AMTML-KD(Adaptive Multi-teacher Multi-level Knowledge Disti-llation Learning Framework), 将结构化知识从教师网络提取, 然后迁移到学生网络, 并使用相似性蒸馏和对抗训练蒸馏传递结构信息.上述方法主要是通过不同层、不同数据样本之间的关系构建教师网络.

在基于特征知识的方法中, Wang等^[20]提出IFVD(Intra-class Feature Variation Distillation), 传递每个像素上的特征与其相应匹配类之间的相似性以实现蒸馏.基于特征知识的方法主要通过中间层的特征作为知识的载体, 为学生网络提供语义信息.

在基于响应知识的方法中, Feng等^[21]利用两种互补的蒸馏方案设计DSD(Double Similarity Distillation), 分别在像素维度和类别维度上捕获相似知识, 提高现有紧凑网络的分类精度.Shu等^[22]提出Channel-Wise Knowledge Distillation, 使用不对称的KL散度(Kullback-Leibler Divergence)最小化教师网络和学生网络之间的差异.上述方法主要是学生网络能学到教师网络的最终预测, 以达到和教师网络一样的预测性能.

浅层神经网络更关注细节信息, 深层神经网络更关注语义信息, 二者的有效融合是精确分割的关键.现有交通场景语义分割算法常采用多尺度特征融合的方式提高分割精度.然而, 大多融合策略将多尺度语义信息视为同等重要, 并使用拼接和逐元素相加方式进行简单融合, 容易造成部分细节信息或语义信息的弱化.因此, 本文针对多层级特征, 设计自适应融合多层级特征模块, 选择性地突出细节信息和语义信息特征提取的优势, 具体结构图如图2所示.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 基于边界特征的自适应融合多层级特征模块结构图Fig.2 Structure of adaptive fusion multi-level feature module based on boundary features

首先, 图像边界等细节信息通常在具有更高尺度的浅层网络中得到更好的预测, 随着逐层逐级的卷积和池化操作, 特征分辨率降低, 图像特征具有越来越强的语义表达能力, 同时容易造成目标边界等空间信息的丢失.

为了防止在特征融合过程中浅层网络的细节信息及深层网络的语义信息被弱化, 本文针对每个阶段的特征图, 赋予目标主体和目标边界不同的权重.每个特征图都与其对应的权重参数矩阵相乘.stage1的输出特征F₁∈ RC×H2×W2, 使用3× 3卷积细化特征, 减小语义鸿沟, 并通过1× 1卷积将特征图的通道数减小为分割类别数, 得到预测分割结果.取通道维度概率最高的类别对应的索引map∈ R1×H2×W2, 通过判断某像素点与其邻域像素分类结果是否相等计算目标边界矩阵Boundary, 对目标边界进行定位.

stage2~stage5的输出特征F₁~F₅处理过程同stage1.

然后, 设非目标边界点为目标主体像素i, 构成目标主体矩阵Body.对于Boundary及Body中的像素i:

Boundary_i= 1, ∃Pi≠Pj, j∈N2(i)0, 其它Bodyi₌1-Boundaryi_, (1)

其中:1表示该像素点预测结果为目标边界点, 0表示该像素点的预测结果为目标主体, 如果Body_i用0表示, 则Boundary_i用1表示; N₂表示像素i的2邻域, 偏移位置为{1, 0}, {0, 1}.

为了获得与各阶段特征空间维度相同的融合权重, 设计双线性插值、最大池化, 分别对Boundary和Body进行上采样、下采样, 得到New Boundary和New Body, 用于构建各阶段对应的目标主体矩阵和目标边界矩阵.

此外, 准确的边界识别对细节分割至关重要, 尤其在复杂的交通场景中.因此, New Boundary可提供更精确的目标边界信息, 提高分割精度, 特别是在边界模糊或细节丰富的区域.

图3为F₁~F₅边界与新边界的可视化图.如图所示, F₁~F₂边界可保留丰富的细节纹理信息, 但语义类别预测结果很差, 而F₃~F₅边界保留大的语义边界, 但逐渐丢失小结构.经过双线性插值后, F₁~F₅的新边界使语义轮廓显著增强, 同时保持边界的连贯性, 减少伪影的出现.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 F1~F5边界可视化对比Fig.3 Comparison of F1~F5 boundary visualization

其次, 设各阶段目标边界像素点的融合权重为λ _s, 目标主体像素点的融合权重为λ _l, 自适应融合多层级特征对各阶段特征的加权计算方式如下, stage t输出特征对应的加权矩阵:

$\text { output }_{t}=\lambda_{s} \otimes \text { Boundary }_{t}+\lambda_{l} \otimes \text { Body }_{t} \in \mathbf{R}^{1 \times H \times W}, $

其中, λ _s、λ _l表示加权值, 为一维可学习参数.

图4为新边界与边界像素点的权重融合生成的加权后的边界图.由图所示, 这一过程突出重要边界信息, 同时减少不重要边界信息或噪声边界的影响.例如, 经加权处理后, 汽车和摩托车的边界变得更平滑和连贯.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 目标边界融合权重前后对比Fig.4 Comparison of object boundary fusing weights before and after

最后, 融合多层级语义特征, 并构建多尺度空洞空间金字塔池化(Multi-scale Atrous Spatial Pyramid Pooling, Ms-ASPP)模块.由于Ms-ASPP、stage3及stage4模块输出的高级特征拥有相同的空间维度, 故采用如下相同的方式逐阶段融合, stage1~stage5的通道位数依次为32, 64, 128, 256和512.为了逐阶段调整输出特征的通道数, 使其与上一阶段的输出特征通道数匹配, 使用1× 1卷积进行通道数调整.此外, 采用通道拼接方式用于融合两阶段高级语义特征.对融合后的高级语义特征, 双线性插值上采样的方式能确保融合低级语义特征stage1、stage2时拥有相同的分辨率大小, 其余融合策略均与高级语义特征相同, 从而逐级保留语义信息和细节信息.为了获得更准确的分割结果, 使用3× 3卷积细化特征融合产生的特征, 减小语义鸿沟, 并通过1× 1卷积将特征图的通道数减小为分割类别数, 双线性插值上采样的方式将特征图恢复到与模型输入相同的空间维度, 得到逐像素分类结果.

注意力机制通过加权特征增强卷积层的特征表示, 核心目标是捕获判别性信息, 抑制非判别性的信息.然而, 现有基于注意力机制的图像语义分割算法直接融合空间注意力和通道注意力, 容易造成不同维度之间的注意力冲突, 导致某些通道注意力在通道维度上具有较低的加权值.为此, 本节设计交互注意力融合模块(IAFM), 构建嵌入行、列空间注意力的通道注意力机制, 充分提取上下文信息的同时捕获更强的语义响应特征, 结构图如图5所示, (a)中自注意力机制的Value值作为(b)中交互注意力融合模块的输入之一.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 基于导向分解的IAFM结构图Fig.5 IAFM Structure with guided decomposition

首先, 在不压缩通道维度和不增加特征计算量的同时捕获全局空间信息, 并将空间自注意力机制分解为列注意力机制和行注意力机制.位于(i, j)的像素与位于(m, j)的像素之间的列相似性关系矩阵如下所示:

A_col(x_{i, j}, x_{m, j})=softmax_m(θ (x_{i, j})^Tθ (x_{m, j})), m∈ [H],

其中, H表示相似关系矩阵的行变量, θ (· )表示1× 1卷积运算, 用于对输入信息进行特征转换.位于(i, j)的像素与位于(i, n)的像素之间的行相似性关系矩阵:

A_row(x_{i, j}, x_{i, n})=softmax_n(ϕ (x_{i, j})^Tϕ (x_{i, n})), n∈ [W],

其中, W表示相似关系矩阵的列变量, ϕ (· )表示1× 1卷积运算, 用于对输入信息进行特征转换.

融合行列的空间注意力机制:

y_{i, j}= ∑∀nβ _{i, j, n}= ∑∀nA_row(x_{i, j}, x_{i, n})(∑∀mα _{i, j, m, n}),

其中

α _{i, j, m, n}=A_col(x_{i, j}, x_{m, j})g(x_{m, n}),

表示行注意力权重,

β _{i, j, n}=A_row(x_{i, j}, x_{i, n}) ∑∀mα _{i, j, m, n},

表示列注意力权重, α _{i, j, m, n}、 β _{i, j, n}用于提取通道关系的中间加权特征, g(x_{m, n})通过线性映射的方式将(m, n)位置的输入信号学习为新值.

其次, 分别基于行、列注意力权重矩阵计算嵌入通道注意力的空间注意力矩阵, 并融合嵌入通道注意力的行、列注意力权重矩阵, 即

$y_{i, j}=\sum_{\forall n} C_{\text {row }}\left(A_{\text {row }}\left(\boldsymbol{x}_{i, j}, \boldsymbol{x}_{i, n}\right)\left(\sum_{\forall m} C_{\text {col }}\left(\alpha_{i, j, m, n}\right)\right)\right), $

其中

$\begin{array}{l} C_{\mathrm{col}}\left(\alpha_{i, j, m, n}\right)= \\ \quad \text { sigmoid }\left(\operatorname{ReLU}\left(\frac{1}{H W} \sum_{\forall m, j}\left(\alpha_{i, j, m, n}\right) \omega_{c 1}\right) \omega_{c 2}\right) \alpha_{i, j, m, n}, \end{array}$

表示嵌入通道注意力的列注意力机制,

$\begin{array}{l} C_{\mathrm{row}}\left(\beta_{i, j, n}\right)= \\ \quad \operatorname{sigmoid}\left(\operatorname{ReLU}\left(\frac{1}{H W} \sum_{\forall i, n}\left(\beta_{i, j, n}\right) \omega_{r 1}\right) \omega_{r 2}\right) \beta_{i, j, n}, \end{array}$

表示嵌入通道注意力的行注意力机制, ω _c1、ω _c2、ω _r1、ω _r2表示通道注意力机制中的全连接层.

知识蒸馏是模型压缩的重要手段之一, 也是提升模型性能和精度的重要方法.现有基于知识蒸馏的图像语义分割算法忽略目标边界信息对预测结果的重要影响, 故本节构建基于细节感知的边界知识蒸馏网络, 确定学生网络合理的优化策略.网络主要包括候选边界和边界损失函数两个部分, 结构图如图6所示.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 基于细节感知的边界知识蒸馏网络结构图Fig.6 Structure of detail-aware boundary knowledge distillation network

2.3.1 提取候选边界

首先, 使用类概率矩阵P∈ R^{C× H× W}检测教师模型、学生模型及真值图的边界点, 其中, C表示分割类别数, H× W表示特征分辨率大小.边界检测方法采用式(1)所示的策略, 由此产生教师网络边界矩阵Boundary_T、学生网络边界矩阵Boundary_S和真值边界矩阵Boundary.然后, 对于Boundary_S上的像素i, 将以真值边界矩阵Boundary像素点i为中心的3× 3区域内像素j作为学生模型的候选边界点, 相比3× 3区域内其余像素, 像素j到Boundary_S中真值边界像素点的距离最小.Boundary_T与Boundary_S选取候选边界点过程一致.为了在边界损失中表示像素j的位置, 计算目标方向map:

Dij=Φ (arg minjM_{i+Δ j}), j∈ {0, 1, …, 7}, (2)

其中

Δ ={{1, 0}, {-1, 0}, {0, -1}, {0, 1}, {-1, 1}, {1, 1}, {-1, -1}, {1, -1}}

Δ _j表示第j个方向集合元素, M表示Boundary_T中非边界点到像素j的最小参数值, 作为下一个候选边界像素, 函数Φ (· )将索引j转换为one-hot向量.例如:如果j=1则

Φ (j)={0, 1, 0, 0, 0, 0, 0, 0}.

2.3.2 构建边界损失函数

首先, 将式(2)中的向量 Dij设为损失函数中的目标分布, 计算学生网络预测结果中像素i与其3× 3区域内的像素j之间的KL散度, 得到预测logits的向量:

Dip= exp(KL(Pi, Pi+Δk))∑m=07exp(KL(Pi, Pi+Δm)), k∈ {0, 1, …, 7},

其中, KL(P_i, P_{i+Δ k})表示计算像素点i的预测值和像素点i+Δ k的预测值之间的KL散度.

然后, 为了增加像素点i、 j的类概率分布之间的KL散度, 同时减少像素点i和其余相邻像素之间的KL散度, 设计加权交叉熵损失函数作为边界损失函数:

BL= 1Nb∑i=0NbΛ (M_i)CE(Dip, Dig),

其中:

Λ (x)= min(x, θ)θ,

表示将像素点i与真值边界像素点最近的距离作为权重, 以惩罚与真值边界像素点之间的偏差; N_b表示学生模型预测结果中边界像素点的数量; θ 表示设置为20的超参数; M_i表示原始边界像素点与候选边界像素点之间的距离, 如果M_i=0, 表示像素已在真值预测边界像素点上, 则该像素点不进行更新.

本文选择在交通场景数据集Cityscapes、CamVid上进行实验.

Cityscapes数据集是无人驾驶环境下的图像分割数据集, 包含50个城市的街道场景, 共5 000幅精细标注的道路交通场景图像.其中, 训练集包含2 975幅图像、验证集包含500幅图像、测试集包含1 525幅图像.为了提高模型的效率及增强模型的稳定性, 本文选取常用的19类进行分割评估, 并将训练集随机裁剪至768× 768进行训练.

CamVid数据集是由英国剑桥大学拍摄的汽车驾驶场景, 包含不同的场景和天气条件, 由701幅逐像素标注的图像组成.其中, 训练集、测试集、验证集分别包括367幅、233幅、101幅图像, 分辨率为960× 720, 分割类别有11类.本文采用随机裁剪为576× 576的训练集、验证集进行训练, 采用分辨率为576× 768的测试集评估算法性能.

为了更好地评估算法性能, 采用像素准确率(Pixel Accuracy, PA)、交并比(Intersection over Union, IoU)、平均交并比(Mean IoU, mIoU)、模型参数量、FLOG(Floating Point Operations per Second)这5个评价指标.

像素准确率(PA)表示正确分类的像素点数量与像素点总和的比值, 计算公式如下:

PA= ∑i=0kPii∑i=0k∑j=0kPij.

平均交并比(mIoU)表示各类别预测分割区域和真实分割区域间交集与并集比值的平均值, 是图像语义分割领域的标准性能衡量指标, 计算公式如下:

mIoU= 1k+1∑i=0kPii∑j=0kPij+∑j=0kPji-Pii,

其中, k+1表示图像类别总数, P_ii表示真实标签i被预测为i类的像素数量, P_ij表示真实标签i被错误预测为j类的像素数量.

实验参数配置如下:64bit-Ubuntu20.04的操作系统、10 GB GeForce RTX 2080 Ti的显卡(GPU)、Pytorch 1.7.1的深度学习框架和Python 3.8数据处理.

网络架构设置如下.使用RepVGG-B1作为教师模型的骨干网络, 使用RepVGG-A1^[23]作为学生模型的骨干网络.在stage3~stage5中引入非比例式串行空洞卷积, 且各阶段第1个卷积步长设为1, 用于保持stage4、stage5的特征输出为输入图像的1/8.引入Ms-ASPP模块, 对应于教师网络和学生网络的模型大小进行构建, 用于在stage5之后提取多层级特征.交互注意力融合模块(IAFM)的输入为stage3、stage4、Ms-ASPP模块的输出特征, 边界损失函数用于教师网络和学生网络输出结果之间的知识迁移.

在训练过程中, 本文算法教师网络和学生网络的编码结构均使用经过ImageNet预训练的网络权重进行参数初始化.解码结构根据不同的网络层使用不同的初始化方式.其中, 卷积模块使用He等^[24]的初始化方式, 批归一化层使用常数初始化方式, 训练过程中的优化器采用随机梯度下降(Stochastic Gradient Descent, SGD), 初始学习率设为0.007 5, 学习率均采用poly方式进行动态调整, 动量设为0.9, 权重衰减设为10^-4, 批次大小设为6, 最大迭代次数设为110 000.

3.3.1 自适应融合多层级特征模块

为了验证不同特征融合方式对算法性能的影响, 设计如下3组基本特征融合方式:加法(Addi-tion)、拼接(Concatenate)和FFM(Feature Fusion Mo-dule)^[25], 并结合加权、上采样和池化等技术进行对比分析.

固定加权融合表示对stage1的特征图进行边界检测, 获取目标边界矩阵, 进而手动设置特征融合时各阶段目标主体和目标边界的加权值, stage1~stage5的目标边界加权值为

(0.6, 0.5, 0.4, 0.3, 0.2),

目标主体加权值为

(0.2, 0.3, 0.4, 0.5, 0.6),

将5个阶段的特征直接上采样到与输入图像相同的大小进行加权并通过加法或拼接的方式进行特征融合.

与固定加权融合的方式不同, 逐级融合通过最大池化的方式将融合权重下采样到与对应特征相同的尺度大小, 然后对对应特征进行加权, 进而采用跳跃连接的方式逐级融合stage5、stage4、stage3、stage2和stage1的特征.

与逐级融合的方式不同, 自适应加权逐级融合动态调整各阶段特征的权重.此外, 自适应加权逐级融合为本文的自适应融合多层级特征方式.

不同特征融合方式在Cityscapes数据集上的性能对比如表1所示, 表中黑体数字表示最优值.由表可见, 自适应加权逐级融合方式具有最高的PA值和mIoU值.对比三组融合方式发现, FFM在处理浅层特征时表现较优, 但在融合多层级特征时效果不佳.对比固定加权融合与逐级融合发现, 逐级融合的分割准确率更高, 表明逐级融合不同层级特征更有利于选择性地突出细节信息和语义信息.对比拼接和加法逐级融合方式发现, 拼接的逐级融合方式mIoU值更高, 表明本文算法更适用于逐级融合拼接方式.对比逐级融合和自适应加权逐级融合发现, 自适应加权目标边界和目标主体的权重在进行逐级融合时提升算法性能, 表明浅层网络对于细节信息的提取能力更强, 深层网络对语义信息的提取能力更强, 这验证自适应融合多层级特征模块的有效性.

表1

Table 1

表1(Table 1)

表1 不同特征融合方式在Cityscapes数据集上的性能对比 Table 1 Performance comparison of different feature fusion methods on Cityscapes dataset 融合方式 参数量/M PA/% mIoU/% 加法 固定加权融合 逐级融合 自适应加权逐级融合 61.59 71.69 71.13 95.64 95.93 95.97 73.65 76.71 76.92 拼接 固定加权融合 逐级融合 自适应加权逐级融合 62.03 71.67 71.72 96.01 96.05 96.14 76.14 77.92 78.36 FFM 62.35 85.34 69.66

表1 不同特征融合方式在Cityscapes数据集上的性能对比 Table 1 Performance comparison of different feature fusion methods on Cityscapes dataset

3.3.2 交互注意力融合模块

为了验证交互注意力融合模块(IAFM)对算法性能的影响, 设计如下9组注意力机制对比实验:通道注意力机制(Channel Attention Mechanism, CAM)、通道注意力机制的行注意力机制(Channel Row Attention Mechanism, C-RAM)、通道注意力机制的列注意力机制(Channel Column Attention Mechanism, C-CAM)、空间自注意力机制(Spatial Self-Attention Mechanism, SSAM)、空间自注意力机制分解为行注意力机制(Row Attention Mechanism, SS-CAM)、空间自注意力机制分解为列注意力机制(Column Atten-tion Mechanism, SS-RAM)、SS-RAM+C-RAM、SS-CAM+C-CAM、融合通道和空间的双注意力机制(Channel Attention-Spatial Attention, CA-SA)^[26].此外, 还选择DANet^[7]和IAFM进行对比.

表2为不同注意力机制在Cityscapes数据集上的性能对比, 表中黑体数字表示最优值.由表可知, IAFM取得最优PA值和mIoU值, 表明基于行、列注意力嵌入通道注意力的空间注意力可有效提高算法精度.CA-SA参数量最少, 表明基于卷积构建的双注意力机制可减少参数量.此外, SS-RAM+C-RAM和SS-CAM+C-CAM分别在CAM和SSAM的基础上提高分割精度, 表明行、列注意力机制嵌入通道注意力的空间注意力可增强捕捉空间维度上关键信息的能力.

表2

Table 2

表2(Table 2)

表2 不同注意力机制在Cityscapes数据集上的性能对比 Table 2 Performance comparison of different attention mechanisms on Cityscapes dataset 注意力机制 参数量/M PA/% mIoU/% CAM 83.47 94.21 76.46 C-RAM 83.47 94.74 76.63 C-CAM 83.47 94.74 76.63 SSAM 84.76 95.47 77.12 SS-CAM 84.76 95.67 77.58 SS-RAM 84.76 95.67 77.58 SS-RAM+C-RAM 84.79 95.91 78.83 SS-CAM+C-CAM 84.71 95.88 78.76 CA-SA 71.72 96.14 78.36 DANet 93.53 96.18 78.80 IAFM 84.27 96.19 79.18

表2 不同注意力机制在Cityscapes数据集上的性能对比 Table 2 Performance comparison of different attention mechanisms on Cityscapes dataset

综上所述, IAFM能减少通道注意力机制和空间注意力机制之间的冲突, 有效提升分割精度.

3.3.3 边界知识蒸馏网络

为了验证边界信息知识蒸馏网络对算法性能的影响, 设计经过预训练的教师网络(简记为Teacher)、经过预训练的学生网络(简记为Student)、经过边界知识蒸馏网络训练的学生网络(简记为EKD-Student).各网络在Cityscapes数据集上的性能对比如表3所示, 表中黑体数字表示最优值.由表可知, Teacher表明复杂的教师网络具有较大的参数量及较高的分割准确率.对比Student和EKD-Student可知, 相比通过真值标签进行反向传播的训练方式, EKD-Student构建基于细节感知的边界知识蒸馏, 将边界信息从教师网络迁移至学生网络, 能有效提升分割精度, 并且避免参数量对于资源的大量消耗.

表3

Table 3

表3(Table 3)

表3 各网络在Cityscapes数据集上的性能对比 Table 3 Performance comparison of different networks on Cityscapes dataset 网络 参数量/M PA/% mIoU/% Teacher 84.27 96.19 79.18 Student 13.24 95.95 74.58 EKD-Student 13.24 96.06 76.32

表3 各网络在Cityscapes数据集上的性能对比 Table 3 Performance comparison of different networks on Cityscapes dataset

为了进一步验证本文算法的有效性和泛化性, 选择如下算法进行对比:CIRCK^[10]、BiSeNet(Bila-teral Segmentation Network)^[25]、SegNet^[27]、PSPNet(Pyramid Scene Parsing Network)^[28]、PSPNet+Knowledge Distillation(PSPNet+KD)、ICNet(Image Cascade Network)^[29]、SwiftNet^[30]、DeepLabv3+^[31]、LCFNet^[32]、CSKD(Channel-Spatial Knowledge Distillation)^[33]、FPANet(Feature Pyramid Aggregation Network)^[34].此外设计Student, 表示融合RepVGG-A1^[23]与文中自适应融合多层级特征模块的学生网络, 进行定性分析.

PSPNet+KD、CIRKD、CSKD和Student为知识蒸馏网络; SegNet、PSPNet和DeepLabv3+为编码-解码网络; ICNet、SwiftNet、BiSeNet、LCTNet、FPANet为实时性语义分割网络.

3.4.1 定量分析

为了定量验证本文算法的有效性, 在CamVid数据集上与对比算法进行性能对比, 结果如表4所示, 表中黑体数字表示最优值.

表4

Table 4

表4(Table 4)

表4 各算法在CamVid数据集上的IoU值对比 Table 4 IoU value comparison of different algorithms on CamVid dataset % 算法 SegNet DeepLabv3+ BiSeNet CIRKD LCFNet CSKD FPANet 本文算法 building 76.8 89.1 86.2 84.1 86.3 84.7 88.8 89.3 sky 87.4 91.4 91.5 89.5 88.3 91.5 92.7 90.6 car 69.1 72.1 80.8 81.5 82.1 81.4 83.1 87.9 signsymbol 20.4 32.5 43.3 51.3 53.4 39.0 53.4 58.6 road 85.2 94.4 93.3 81.4 89.2 93.2 94.3 94.7 sidewalk 47.1 75.6 62.4 63.6 74.1 87.4 80.4 75.3 fence 33.3 46.5 51.8 52.8 55.3 43.3 56.0 58.9 pole 19.5 29.6 31.4 42.5 45.8 38.1 45.3 47.6 pedestrian 63.4 73.6 78.6 72.8 73.4 60.4 75.2 78.2 bicyclist 36.2 58.8 57.0 56.9 65.4 64.6 72.8 73.8 tree 73.4 74.9 78.9 74.3 83.3 74.6 79.7 89.3 PA/% 89.4 91.8 91.9 91.2 92.6 92.3 91.6 93.2 mIou/% 55.6 67.1 68.7 68.2 72.4 68.9 74.7 76.8 参数量/M 29.5 26.6 49.0 13.6 7.3 13.6 15.5 13.2 FLOP/G 104.3 165.2 130.6 61.3 20.6 72.4 83.1 98.3

表4 各算法在CamVid数据集上的IoU值对比 Table 4 IoU value comparison of different algorithms on CamVid dataset %

由表4可知, 本文算法在8种类别上获得最佳IoU值, 特别是在signsymbol、pole和fence等细长条目标上的分割效果最佳.尽管本文算法取得最高的PA值和mIoU值, 但是sky和building等大目标分割效果仍待提高.此外, LCFNet实现最佳的模型参数量和计算复杂度, 这反映出由膨胀卷积和深度可分离卷积组成的扩张瓶颈模块有助于获得更低的复杂度和更少的模型参数量.

各算法在Cityscapes数据集上11种类别的性能对比如表5所示, 表中黑体数字表示最优值.

表5

Table 5

表5(Table 5)

表5 各算法在Cityspaces数据集上的IoU值对比 Table 5 IoU value comparison of different algorithms on Cityspaces dataset % 类别 SegNet PSPNet ICNet SwiftNet PSPNet+KD CIRKD LCFNet CSKD FPANet 本文算法 road 96.4 95.2 96.0 95.9 95.7 96.5 96.2 96.2 96.1 96.8 sidewalk 63.2 75.9 81.9 82.3 75.8 83.3 83.6 83.6 82.1 84.7 building 84.0 82.6 90.3 90.3 83.1 89.7 89.6 90.1 90.2 90.5 wall 28.4 39.2 46.4 48.8 37.3 47.7 50.7 50.9 58.7 44.3 fence 39.0 45.9 48.5 52.4 45.7 53.3 53.7 53.7 56.5 56.8 pole 35.7 52.6 50.5 63.6 51.5 65.8 61.0 67.0 68.7 69.6 traffic light 39.8 55.2 57.3 68.9 58.1 74.3 70.5 72.7 69.6 75.8 traffic sign 45.1 64.3 64.2 69.3 65.7 72.8 72.2 70.5 73.3 73.5 vegetation 87.0 88.7 91.7 91.9 88.3 90.8 87.6 92.5 91.9 90.4 terrain 63.8 67.6 68.2 69.4 68.6 66.7 64.3 70.5 61.7 65.3 sky 91.8 85.3 94.4 94.2 87.5 93.1 90.5 94.9 94.1 91.1 person 62.8 66.2 77.4 82.8 68.3 82.0 83.0 83.3 80.9 83.5 rider 42.8 61.4 57.6 67.8 63.2 69.8 69.8 72.7 60.8 73.7 car 89.3 85.7 93.6 93.7 87.4 91.9 91.7 94.4 94.3 92.4 truck 38.1 68.5 53.4 64.5 69.4 67.1 65.8 63.0 80.7 66.0 bus 43.1 79.4 73.5 75.6 78.5 74.1 74.9 72.4 82.3 76.6 train 44.2 62.8 62.8 62.5 64.3 63.3 64.3 61.0 63.2 66.5 motercycle 35.8 69.1 48.6 64.8 69.6 69.6 74.5 67.1 59.6 75.8 bicycle 52.9 67.4 64.5 75.9 67.5 73.5 73.8 69.3 75.7 76.9 PA/% 93.5 93.2 93.8 95.2 94.1 94.7 95.3 93.6 95.4 96.1 mIoU/% 57.0 69.1 69.5 74.5 69.8 75.1 74.6 75.0 75.8 76.3 参数量/M 29.5 65.6 26.5 24.7 18.6 13.6 7.3 13.6 15.5 13.2 FLOP/G 286.0 412.2 28.3 218.1 128.5 172.3 13.6 90.7 107.1 104.2

表5 各算法在Cityspaces数据集上的IoU值对比 Table 5 IoU value comparison of different algorithms on Cityspaces dataset %

由表5可知, 在Cityscapes数据集上, 本文算法获得最高的PA值和mIoU值, 对于19种类别中的12类别获得最高IoU值, 特别是在traffic light、traffic sign、bicycle等小目标上的分割效果最佳.这归因于本文算法更关注浅层网络细节信息和深层网络语义信息的融合, 从而显著提升小目标的精确分割.此外, 本文算法针对像road、building、sky、terrain等大目标中的road、building的分割效果在一定程度上也得到提高, 但对于terrain和sky的分割效果没有达到最佳.原因在于terrain和sky的细节信息较少, 使得1× 1卷积对这些区域的感知能力较弱, 从而导致自适应融合多层级特征模块难以捕捉关键特征.此外, 加权交叉熵损失函数主要关注边界点, 忽视区域的连续性, 进而影响分割精度.

3.4.2 定性分析

为了直观验证本文算法的有效性, 将本文算法与经典算法在Cityscapes、CamVid数据集上进行定性分析, 结果如图7和图8所示.

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 各算法在Cityscapes数据集上的分割结果Fig.7 Segmentation results of different algorithms on Cityscapes dataset

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 各算法在CamVid数据集上的分割结果Fig.8 Segmentation results of different algorithms on CamVid dataset

由图7和图8可知, 本文算法在分割小目标和细长条形目标方面具有显著优势, 这归因于算法选择性地突出目标主体和目标边界信息, 实现对小目标和细长条形目标的精确分割.其次, 本文算法在分割边界方面更清晰平滑, 与真值标签更接近, 特别是对于小目标和细长条形目标, 表明基于细节感知的边界知识蒸馏网络可减少边界信息丢失.

此外, 本文算法分割区域更完整, 表明交互注意力融合模块中嵌入通道注意力的空间注意力机制能捕获长距离依赖关系.综上分析, 本文算法能有效优化小目标和目标边界的分割效果, 提升图像语义分割性能.