显著图可分开输入图像的前景与背景, 但相比背景信息, 前景通常包含不确定数量和类别不可知的目标, 一些利用显著性前景信息与类激活种子区域进行融合的方法往往不能得到令人满意的分割结果.因此, 本文提出显著性背景引导策略(Saliency Background Guided, SBG).首先利用迭代的方式生成多个显著图, 再结合多个显著图背景信息获得背景种子区域.具体来说, 对于给定的图像X, 首先进行全局显著性映射(Saliency Mapping), 生成第一个显著图M₁, 再按SBG策略, 依次生成第i个显著图:

M_i=S(Avg(M_i-1)), i=2, 3, …, t,

其中, S(· )表示显著性映射, Avg(· )表示将M_i-1中的显著像素值替换为该图像所有像素的平均值, 依次挖掘图中显著性对比度较小的区域.

SBG具体过程如图1中所示, 输入图像在显著性映射下得到第1个显著图M₁, 将M₁中显著部分平均弱化后, 再通过显著性映射, 得到其它显著部位, 生成第2个显著性图M₂, 以此类推.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 显著性背景引导策略流程图Fig.1 Flowchart of saliency background guided strategy

显著性背景引导模块不断重复上述过程, 在第t个时间点, 利用SBG生成t-1个显著性映射图, 即M₂, M₃, …, M_t.最后, 采用一个逐像素点显著值覆盖策略生成显著背景图M_s, 即M_s在位置(i, j)处的像素值 mi, jS取显著图M₁~M_t中相同位置像素值中的最大值:

mi, jS=max{ mi, j1, mi, j2, …, mi, jt}.

利用上述过程, 可有效累积显著背景区域信息, 为生成语义分割网络的伪像素类别标签提供可靠的背景种子, 如图1中M_s所示.

本文借鉴Zhou等^[16]的方法, 在类激活模块中构建CAM网络, 为生成伪标签^[27]提供类别注意力线索.在此网络中, 包含5个模块, 每个模块均由池化层与卷积层组成.为了获取图像中的类映射图, 在分类网络最后的卷积层后再加一个卷积层, 卷积核尺寸为1× 1× |C|, 在PASCAL VOC 2012数据集上|C|=21, 使用平均池化层(Global Average Pooling, GAP)代替分类网络的全连接层, 效果等同于在模型上增加正则项, 并且相比全连接层, 平均池化层能更好地保存图像语义信息.最后, 为了获得图像的类别得分, 连接GAP层与softmax层, 利用这样的网络结构, 可使卷积神经网络(Convolutional Neural Net-work, CNN)具有精确的目标定位^[16].除此之外, 图像经过GAP层后与softmax层连接, 可达到全连接的效果, 并且不含偏置项.

具体来说, 对于图像中的任一像素点(x, y), 设定经过最后一个卷积层第k(k∈ |C|)个通道后得到的输出为f_k(x, y), 则该点经过平均池化层后的输出为 1N∑x, yf_k(x, y), N表示图像X包含的所有像素总数.对于给定类C, softmax层的输出为对所有类别得分取最大概率值:

C_max=arg maxc1N∑kωkc∑x, yf_k(x, y),

其中, ωkc为对应类C在第k通道上的权重, 可通过对分类网络训练得到.将上式顺序略加调整, 可得

C_max=arg maxc1N∑x, y∑kωkcf_k(x, y),

其中, ∑kωkcf_k(x, y)表示像素点(x, y)对于类C的重要程度, 是图像判别为最终类别的重要依据.

利用上述值对经过最后一层卷积层后得到的特征图加权, 再将特征图放大到与输入图像X相同大小进行叠加, 可获得类别注意力线索M_C.

本文算法重点关注类激活映射图中能将区域判定为目标类别具有积极影响的特征, 需要过滤消极影响的部分, 因此选取ReLU激活函数作为前向激活图的加权组合.

通过1.1节提取到较准确的背景种子区域信息、1.2节提取到类别注意力线索后, 本文提出弱监督伪标签生成算法(Weakly-Supervised Pseudo-label Generation Algorithm, WPGA), 将类激活映射不同类别的M_C特征图与背景种子融合, 生成用于分割网络训练的伪像素类别标签.具体过程如算法1所示.通过设置显著背景图和类激活图的阈值, 提取对比度明显的部位, 再对背景图和类激活图设置一定大小的置信度, 减少错误划分的可能性.

算法 1 弱监督伪标签生成算法

输入 原始图像集合X={X_x}, ∀ x∈ X,

显著背景图集S={S_x}, 显著背景阈值T_sg,

类激活图集合CA={CA_x}, 类激活图阈值T_ca,

图像置信度cf, 置信度阈值T_cf

输出 伪标签图集T={T_x}

step 1 初始化伪标签图集T=zeros(W× H)

/* W、H为图像x的宽度和高度* /.

step 2 将CA_x中图像x的每个类激活像素p赋予一定权重:

CA_x(p)= CAx(p)-min(CAx(p))(max(CAx(p))-min(CAx(p))+1e-8),

若像素超过阈值T_ca, 置黑, 并对类激活区域赋予图像置信度cf.

step 3 对于S_x中图像x的每个背景像素p, 若超过阈值T_sg, 置黑, 并对背景区域赋予图像置信度cf.

step 4 将T_x中图像x的每个像素p进行显著背景区域与阈值内类激活区域合并:

T_x(p)=max(S_x(p), (CA_x(p)< T_ca)× 255),

若出现区域重叠, 优先将重叠区域分给类别对象.

step 5 对T_x中图像x的每个小于置信度阈值T_cf的像素p置白.

WPGA过程如图2所示, 输入图像经过SBG策略获得较可靠的背景区域M_s, 同时经过CAM网络获得类激活映射图M_C, 然后将背景种子M_s与类激活映射图M_C进行WPGA并融合, 将生成图中不确定的部分设置为白色, 从而获得伪标签类别图, 用于训练弱监督分割网络.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 弱监督伪标签生成算法流程图Fig.2 Flowchart of weakly-supervised pseudo-label generation algorithm

显著性背景图和类激活图融合后的种子可作为语义分割网络的标签, 用于训练语义分割模型.本文提出混合损失函数, 综合考虑分类网络图像级标签损失和分割网络像素级标签损失两方面因素, 避免单一损失函数的片面性, 提高分割准确率.

由图像级标签监督的CAM网络的全局平均池化层得到预测向量v, v大小为1× 1× ρ , ρ = C.由于显著性背景引导模块已生成背景类别, 类别数为C-1的前景对象分类损失定义为

其中, $\hat{v_{c}}$为真值图像级标签, 对于图像中的所有像素, δ (· )取值为1表示目标存在, 否则为0.

对于分割网络来说, 将大小为m× n的标签图像X中的每个像素X_ij输入分割网络, 设置对应的类标签为Y_ij, 则网络输出函数可表示为Q(X; Θ ), Θ 为训练网络中待优化的参数.因此, 分割网络的损失函数定义为

L_{Seed_loss}= 1Z∑i=1m∑j=1nE(Q(X; Θ ), δ ($\hat{v_{c}}$)),

其中, Z=m× n为图像X的大小, E(· , · )为像素级交叉损失函数, δ (· )∈ {0, 1}.

综上所述, SBGN的损失函数定义为

L=L_{Image_loss}+L_{Seed_loss}.

本文选择Chen等^[28]提出的DeepLab网络模型作为弱监督语义分割网络, 并且为了与其它弱监督语义分割进行对比, 分别以16层深的视觉几何群网络(Visual Geometry Group Network-16 Layers Deep, VGG-16)^[29]和101层深的深度残差网络(Deep Resi-dual Network-101 Layers Deep, ResNet-101)^[30]为骨干网络进行训练.不同于增加卷积核膨胀率的做法^[31], 本文使用1.3节WPGA融合的伪标签作为语义分割网络的标签进行训练.为了减小弱监督语义分割网络对目标类别的错误判断, 本文将CAM网络中的图像标签线索作为语义分割网络的辅助监督.具体来说, 分割网络是CAM分类网络的一个分支, 输入图像在经过卷积层后生成多幅特征图, 作为分割网络的输入, 再结合伪标签的监督, 提高分割准确度.具体SBGN流程图如图3(a)所示.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 SBGN和Ex-SBGN流程图Fig.3 Flowchart of SBGN and Ex-SBGN

Ex-SBGN流程图如图3(b)所示.图像分类器产生的CAM网络往往集中在最有区分度的目标部分, 研究发现分类网络产生的注意力图在迭代的训练中能关注不同的目标区域.为了积累已发现的不同目标区域, 有研究者提出在线注意力积累策略(Online Attention Accumulation, OAA)^[32], 通过对图像中包含的每个目标类别生成一个累积注意力图, 最终生成分割图.本文的SBGN网络中类激活模块很容易与在线注意力累积策略进行结合, 过程如图4所示, 利用如上结构, 可进一步提高分割准确率.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 SBGN网络与OAA结合的流程图Fig.4 Flowchart of combination of SBGN network and OAA method

语义分割任务要求CNN对目标物体的上下文语境信息具有较强的多尺度提取能力.因此, 为了使CNN获得多尺度信息表达能力, 通常会堆叠卷积层, 使用大范围的感受野获得不同尺度的上下文信息等.Gao等^[33]提出的Res2Net架构是可嵌入Res-Net、VGG、聚合残差变换的深度神经网络(Aggrega-ted Residual Transformations for Deep Neural Net-works, ResNeXt)等任意骨干网络的模块, 用于语义分割网络中, 可进一步增强网络的多尺度表达能力.相比ResNet, 基于Res2Net模块集成的类激活映射更能倾向于覆盖整个目标物体.

本文将Res2Net与显著性背景引导网络中的分割模块进行融合, 过程如图5所示, 将分割模块中的1× 1卷积层进行结构转化.输入的图像X经过卷积层生成k个子特征图, 若此时输入图像的通道数为h, 则每个子特征图的通道都为h/k.使用x_i表示子特征图, i=1, 2, …, k.除了x₁, x₂~x_k后都连接一个3× 3的卷积层, 用K_i(· )表示, 定义K_i(· )的输出为y_i, 子特征图x_i和K_i-1(· )相加后, 送入K_i(· )进行处理, 输出结果

y_i= xi, i=1Ki(xi), i=2Ki(xi+yi-1), 2< i≤k

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 SBGN网络与Res2Net结构转换图Fig.5 Conversion between SBGN and Res2Net

PASCAL VOC 2012数据集作为基准数据集之一, 在图像分割网络对比实验与模型效果评估中被广泛使用.它标注21个类别(包含1个背景类别和20个对象类别), 每幅图像包含一个或多个对象.遵循之前的弱监督语义分割方法, 本文使用增强的10 528幅训练图像以及它们的图像级标签训练网络.在验证集和测试集设置方面, 本文分别采用1 449幅和1 456幅图像数据与其它经典方法进行对比, 所有图像均来自PASCAL VOC官方网站.

为了评估和对比不同网络得到的图像语义分割结果, 使用如下定义的平均交并比(Mean Intersection over Union, mIoU)^[34]作为评价指标:

mIoU= 1N∑i=1NxiiTi+∑j=1N(xji-xii),

其中, N表示图像像素的类别数量, T_i表示第i类的像素总数, x_ii表示实际类型为i、预测类型为i的像素总数, x_ji表示实际类型为i、预测类型为j的像素总数.mIoU值越大, 表示分割效果越优.

在本文实验中, 在与其它基于图像级标签的弱监督方法进行分割性能对比的同时, 也和一些利用显著性信息的弱监督工作进行分割效果对比.SBGN网络中的显著性背景引导模块采用以全局对比度为基准的显著性检测算法^[35], SGB策略的迭代次数可根据显著性背景的效果图进行用户自定义, 实验中最好的效果值为5次.除此之外, 用户还可自定义背景图和类激活图的置信度, 工作中经验值为0.9.

本文将分类网络的输入统一设置为321× 321, 批尺寸大小为5, 动量为0.9, 衰减权重为e× 10^-4, 初始学习率为0.001, 对网络进行100次迭代训练, 每10次迭代, 学习率降低1/10.分割网络设置批尺寸大小为15, 动量为0.9, 衰减权重为0.000 1, 初始学习率为0.01, 对网络进行10 000次迭代训练, 每1 000次迭代, 学习率降低0.5倍进行实验.

本文所有实验均使用PyTorch, 在一个8 GB内存的NVIDIA TITAN Xp GPU上实现.

实验选择如下对比方法:多示例学习加平滑先验(Multiple Instance Learning+SP-seg, MIL+seg)^[14]、SEC^[17]、文献[19]方法、文献[20]方法、像素语义关联网络(AffinityNet)^[22]、挖掘共同对象特征(Mining Common Object Features, MCOF)^[23]、文献[25]方法、文献[26]方法、随机推理网络(FickleNet)^[31]、OAA^[32].

在PASCALVOC 2012数据集上, SBGN网络分别利用VGG-16和ResNet-101的部分分割效果如图6所示.由图可看出, VGG-16在单个目标场景下与ResNet-101的分割效果相似, 但在一些复杂环境下, 会稍显逊色.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 SBGN网络分别利用VGG-16和ResNet-101在PASCAL VOC 2012数据集上的分割结果对比Fig.6 Segmentation result comparison of SBGN using VGG-16 and ResNet-101 on PASCAL VOC 2012 dataset

各方法在PASCAL VOC 2012验证集和测试集上的mIoU值如表1所示.

表1

Table 1

表1(Table 1)

表1 各方法在PASCAL VOC 2012验证集和测试集上的mIoU值对比 Table 1 mIoU comparison of different methods on PASCAL VOC 2012 val and test datasets % 方法 基准网络 验证集 测试集 SEC VGG-16 50.7 51.1 AffinityNet VGG-16 Wide ResNet-38 58.4 61.7 60.5 63.7 MCOF VGG-16 ResNet-101 56.2 60.3 57.6 61.2 FickleNet VGG-16 ResNet-101 61.2 64.9 61.8 65.3 文献[19]方法 ResNet-101 66.2 66.9 文献[20]方法 ResNet-101 66.7 68.8 OAA ResNet-101 65.2 66.4 SBGN VGG-16 ResNet-101 62.1 65.7 62.9 66.5 Ex-SBGN VGG-16 ResNet-101 63.1 66.8 63.5 68.9

表1 各方法在PASCAL VOC 2012验证集和测试集上的mIoU值对比 Table 1 mIoU comparison of different methods on PASCAL VOC 2012 val and test datasets %

由表1可看出, 当分别采用VGG-16和ResNet-101作为语义分割网络基准时, SBGN和Ex-SBGN在PASCALVOC 2012测试集上分别获得62.9%和66.5%的mIoU值, VGG-16上的分割结果都有所提升, ResNet-100上的分割结果相对于大部分方法都有所提升, 但仍有不足.

图7列出SBGN和Ex-SBGN在PASCAL VOC 2012验证集上的一些分割结果.图7第1列和第2列包含鸟的图像, 一般具备背景和前景目标颜色、轮廓较分明的特征, 因此在分割结果中可获得较清晰、准确的轮廓.而对于一些包含过渡色的图像, 如图7第7列, SGB策略不能较好地检测到准确的背景信息, 不能获得十分清晰的背景轮廓.最后一列图像中人的头发与背景色区分度不明显, 造成最终的分割误差.

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 SBGN和Ex-SBGN网络在PASCAL VOC 2012验证集上的分割结果对比Fig.7 Segmentation result comparison of SBGN and Ex-SBGN network on PASCAL VOC 2012 val set

表2详细列出各方法在PASCAL VOC 2012验证集的21个类别上的mIoU值对比, 表中黑体数字表示最优结果.由表可知, SBCN和Ex-SBGN在12个类别上性能都有所突破, 在bkg类别上取得90.2%的mIoU值, 相比其它方法, 获得更高的分割准确度, 说明显著性背景引导模块的有效性.除此之外, air-plane、bird、person类别的图像通常场景较简单, 轮廓单一, 与背景区分度较明显, 因此分割效果较优.而chair、bike类别的图像通常背景较复杂, 区域轮廓不明显, 因此不容易被分割.

表2

Table 2

表2(Table 2)

表2 各方法在PASCAL VOC 2012验证集的21个类别上的mIoU值对比 Table 2 mIoU comparison of different methods on PASCAL VOC 2012 val set % 方法 mIoU bkg aero bike bird boat bottle bus car cat chair cow table dog horse mbk person plant sheep sofa train tv MIL+seg 42.0 79.6 50.2 21.6 40.9 34.9 40.5 45.9 51.5 60.6 12.6 51.2 11.6 56.8 52.9 44.8 42.7 31.2 55.4 21.5 38.8 36.9 SEC 50.7 82.4 62.9 26.4 61.6 27.6 38.1 66.6 62.7 75.2 22.1 53.5 28.3 65.8 57.8 62.3 52.5 32.5 62.6 32.1 45.4 45.3 AffinityNet 61.7 88.2 68.2 30.6 81.1 49.6 61.0 77.8 66.1 75.1 29.0 66.0 40.2 80.4 62.0 70.4 73.7 42.5 70.7 42.6 68.1 51.6 MCOF 60.3 87.0 78.4 29.4 68.0 44.0 67.3 80.3 74.1 82.2 21.1 70.7 28.2 73.2 71.5 67.2 53.0 47.7 74.5 32.4 71.0 45.8 文献[25]方法 52.9 83.8 59.2 27.0 64.3 26.4 39.0 67.4 57.9 71.8 22.6 52.5 24.4 62.6 54.8 60.8 53.8 35.0 63.6 31.8 47.4 51.8 文献[26]方法 54.9 86.8 73.7 26.3 67.6 57.2 65.9 73.6 66.6 70.9 13.5 63.4 14.9 63.2 59.3 63.6 59.2 34.0 65.0 20.5 59.3 48.1 FickleNet 64.9 89.5 76.6 32.6 74.6 51.5 71.1 83.4 74.4 83.6 24.1 73.4 47.4 78.2 74.0 68.8 73.2 47.8 79.9 37.0 57.3 64.6 SBCN 65.7 90.2 78.5 34.0 83.9 62.7 71.9 77.5 73.8 84.5 29.0 77.0 51.5 66.7 75.9 65.7 80.9 45.1 68.6 37.8 63.5 61.0 Ex-SBGN 66.8 90.3 79.3 35.2 83.6 63.6 71.9 80.3 74.9 84.5 30.5 79.8 52.8 69.2 76.2 66.3 81.9 47.6 70.6 37.9 63.1 63.3

表2 各方法在PASCAL VOC 2012验证集的21个类别上的mIoU值对比 Table 2 mIoU comparison of different methods on PASCAL VOC 2012 val set %

此外, 将本文网络与Wang等^[23]提出的MCOF网络和文献[25]方法在PASCA-LVOC 2012验证集进行分割结果对比, 具体实验结果如图8所示.观察图8不难发现, 因为本文网络利用SBG策略, 相比其它方法, 在最终的分割结果中拥有更完整的目标轮廓.

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 各方法在PASCAL VOC 2012验证集的分割结果对比Fig.8 Comparison of segmentation results of different methods on PASCAL VOC 2012 val set

为了验证本文网络各模块的有效性, 对SBGN网络的不同部分进行消融实验.不利用伪标签生成算法, 只采用CAM网络生成语义分割结果图时, mIoU值为32.05%, 效果很差.将CAM网络得到的结果放入语义分割网络进行训练, mIoU值为39.22%, 有所上升.而SBG策略和伪标签生成算法加入后, mIoU值为66.50%, 大幅提高弱监督语义分割网络的性能, 表明SBGN网络各个组成部分的有效性和重要性.

在表1中, 当扩展后的Ex-SBGN网络以ResNet-101为语义分割网络基准时, 在PASCALVOC 2012验证集和测试集上分别获得66.8%和68.9%的mIoU值, 充分体现显著性背景引导网络经过扩展后大幅提升分割能力.在图7中, 对比最后一列分割结果, 不难发现引入网络多尺度信息, 可更好地让网络学习到上下文信息, 减少类别错误划分的可能性.一系列实验数据表明, 本文网络具有可扩展性, 并且可更换不同类响应映射方案和语义分割网络结构, 进一步提升网络分割性能.