在CNN中, 浅层特征图分辨率较高, 通常包含大量空间细节信息, 适用于目标定位.深层特征图保留较丰富的语义信息, 适用于目标分类.语义分割网络U-Net通过跳接结构直接融合不同层次的多尺度特征, 即将浅层详细的空间上下文信息逐步融合到更深层次的特征中, 增强特征的表达能力^[20].

AntiNet-MFF网络架构参考U-Net的网络结构, 但在编码器部分使用多层次特征分割提取模块替换U-Net网络原有的3× 3卷积, 在具有与普通卷积相近参数量的前提下, 对卷积通道进行多层次分割提取, 旨在将浅层特征图中的细节信息进行多次分割复用后获得更清晰的特征表达.编码器最后一层连接多尺度上下文特征聚合模块, 进一步提取多尺度特征, 为解码阶段提供更清晰的语义指导.

1.1.1 基础网络

首先, 参照U-Net网络搭建编码器基础模型.编码器的骨干网络由13个卷积层和4个下采样层组成, 它们是多尺度特征提取的基础.具体结构如图2所示, 编码器共包含4个下采样层, 其中“ 卷积层(2 3× 3 64)+下采样” 表示2个通道数为64的卷积层连接一个下采样层, 卷积核大小为3× 3.编码器基础模型搭建好之后, 再将除第1个卷积层之外的所有3× 3卷积替换成HFS Block.这样经过多次卷积和下采样之后, 卷积层1~卷积层4这4层输出的特征图大小分别是原始图像的1/2、1/4、1/8和1/16.与多阵列计数网络偏好采用不同大小卷积核提取多尺度特征不同, AntiNet-MFF从单阵列网络的不同卷积层提取多尺度特征, 具有更灵活的训练过程和更少的计算量.

1.1.2 多层次特征分割提取模块

多层次特征分割提取模块(HFS Block)参照GhostNet网络^[21]进行构建, 基本架构如图3所示, 通过替换普通卷积, 以分割融合的方式提取多尺度特征.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 HFS Block架构图Fig.3 Structure of HFS Block

HFS Block的具体流程如图4所示.首先, 输入图像经过1× 1卷积获得初始特征图x.然后, x分割成s组特征子图x_i(i=1, 2, …, s), 每组的通道数均为w.第1组特征子图x₁直接作为本组的输出y_{1, 1}, 拼接到最后的输出层.第2组特征子图x₂经过3× 3卷积输出特征图y₂, 等分为y_{2, 1}和y_{2, 2}, y_{2, 1}作为本组的输出, y_{2, 2}送入下一组.其余特征子图x_i(i=3, 4, …, s)与前一组输入的y_{i-1, 2}进行拼接, 然后经过3× 3卷积输出特征图y_i(i=3, 4, …, s).y_i(i=3, 4, …, s-1)被等分为y_{i, 1}和y_{i, 2}, y_{i, 1}作为本组输出, y_{i, 2}送入下一组.第s组特征图y_s直接作为本组的输出y_{s, 1}.此过程多次重复, 直到所有特征子图均处理完毕.最后, 拼接各组的输出y_{i, 1}(i=1, 2, …, s), 使其和初始特征图的通道数保持一致, 其中各个y_{i, 1}的通道数各不相同.拼接后的特征图会经过1× 1卷积进行重构.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 HFS Block结构图Fig.4 Structure of HFS Block

例如, 若输入的通道数为32, s=4, 经过1× 1的卷积后通道数变为64, 均分为4个通道数为16的组.第1组直接拼接到输出层, 第2组特征图经过3× 3卷积后, 在通道维度上均分为通道数为8的两个部分, 第1部分直接拼接到输出层, 第2部分与第3组特征子图进行拼接, 通道数为24.然后, 拼接后的第3组经过3× 3卷积后, 在通道维度上均分为通道数为12的两个部分, 第1部分直接拼接到输出层, 第2部分与第4组进行拼接, 通道为28.随后, 拼接后的第4组进行3× 3卷积, 直接拼接至输出层.最后, 4个通道数分别为16、8、12、28的特征进行拼接, 输出通道数为64的特征图.分组数量s取不同值对计数模型的性能具有一定影响.

多层次特征分割提取模块中y_i的划分是实现多尺度感知的关键.y_i被均分为y_{i, 1}和y_{i, 2}, y_{i, 1}直接作为本组的输出, 更专注于图像细节信息的表达, y_{i, 2}参与下一组的拼接.对于特征子图x_i, 来自上一组的y_{i-1, 2}感受野更大, 适合捕获更大的目标, 同时也包含丰富的抽象语义信息, 可对多尺度特征的提取进行指导.最后, 拼接每组输出的y_{i, 1}, 复原成与原始输入具有相同通道数的特征图.y_i的计算公式如下:

y_i= xi, i=1Con3×3(xi), i=2Con3×3(xi⊕yi-1, 2), 3≤i≤s

其中, Conv^{3× 3}(· )表示3× 3卷积, x_i表示经过1× 1卷积分割得到的第i组输入, 􀱇表示通道上的拼接(Concat)操作.相比像素间简单叠加的相加(Add)操作, 拼接能保留特征表示的空间相关性信息.

1.1.3 多尺度上下文特征聚合模块

多尺度上下文特征聚合模块结构如图5所示, 用于获取不同感受野的上下文信息, 扩展多尺度表达的范围.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 多尺度上下文特征聚合模块结构图Fig.5 Structure of multi-scale context feature aggregation module

多层次特征分割提取模块在编码阶段能提取不同层级特征, 在一定程度上丰富特征的尺度多样性, 但是连续的卷积和池化仅能在有限的尺度范围内提取多尺度信息.因此, 采用金字塔池化^[22]将编码器最后一层卷积层4的特征图池化为3种不同的尺寸.然后, 利用1× 1卷积整合不同通道维度上的特征信息, 最后通过对低维的上下文信息特征图进行双线性插值上采样, 使其和输入特征图尺寸保持一致.

解码器的主要作用是通过跳接进一步对编码器提取的多尺度特征进行融合, 并生成背景分割注意力图, 然后在注意力的指导下, 生成更准确细致的人群密度图.

如图2所示, 编码器提取的特征图经过多尺度聚合输入解码器后, 首先会进行上采样, 得到的特征图与卷积层3输出的特征图进行拼接, 然后输入CCU (拼接+卷积层+上采样)模块进行聚合, CCU模块的结构如图6(a)所示.图2中的第2个CCU模块聚合卷积层2跳接后的特征.经过2个CCU 模块的卷积和上采样操作之后, 输出的特征图与卷积层1跳接后的特征图进行拼接, 然后输入CC(拼接+卷积层)模块, CC模块的结构如图6(b)所示.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 2个模块结构图Fig.6 Structure of 2 modules

CC模块和CCU模块均可聚合不同层次的多尺度特征, 但是相比CCU模块, CC模块在结构上缺少上采样层, 同时使用更平滑的卷积层实现特征转换.与编码器类似, 解码器中原有的3× 3卷积全部替换为HFS Block.

解码器包含两路输出, 如图2所示.路径1生成背景分割注意力图, 路径2融合注意力图和特征图, 生成高质量的密度图进行计数.

1.2.1 背景分割注意力图

背景分割注意力图可提供输入图像中人群的位置分布信息, 减少背景噪声对计数的干扰.设经过CC模块生成的密度特征图为f_den, 则生成的背景分割注意力图为:

M_b-seg=Sigmoid(W⊗ f_den+b),

其中, ⊗ 表示卷积操作, W和b分别表示卷积的权重和偏置, Sigmoid(· )表示激活函数, 可在网络层引入非线性, 该函数输出0~1之间的概率表示, 用于指示人群区域的概率.

1.2.2 注意力特征融合

背景分割注意力图生成后, 还需要和解码获得的密度特征图f_den进行融合, 从而在准确定位人群空间位置的基础上生成高质量的密度图.首先, 背景分割注意力图M_b-seg通过和密度特征图f_den对应位置元素相乘生成重新定义的密度特征图:

F_re=f_den☉M_b-seg.

再通过1× 1卷积动态学习两者之间的关系, 从而生成高质量的密度图:

F_H-qua=Conv^{1× 1}(F_re).

其中☉表示对应位置元素相乘(Element-wise Mul-tiply).在进行操作之前, M_b-seg需要进行扩张, 使通道数和f_den的通道数保持一致.

为了验证AntiNet-MFF的有效性, 在Shanghai-Tech^[12]、UCF_CC_50^[22]、UCF-QNRF^[23]这3个经典的人群计数数据集上进行实验.数据集的详细信息如表1所示.

表1

Table 1

表1(Table 1)

表1 实验数据集 Table 1 Experimental datasets ShanghaiTech UCF_CC_50 UCF-QNRF PartA PartB 图像数量 482 716 50 1535 平均尺寸 589× 868 768× 1024 2101× 2888 2013× 2902 平均人数 501 123.6 1279 815 最大人数 3139 578 4633 12865 总人数 241677 88488 63974 1251642

表1 实验数据集 Table 1 Experimental datasets

ShanghaiTech数据集共包含1 198幅图像, 分为part_A和part_B两部分, 共标注330 165个头部坐标.人群分布较密集的Part A数据集包含300幅训练图像, 182幅测试图像, 图像分辨率是变化的.人群分布较稀疏的Part B数据集包含400幅训练图像, 316幅测试图像, 图像分辨率固定不变.总体上, 在ShanghaiTech数据集上进行精确计数是具有挑战性的, 因为该数据集无论是场景类型、透视角度, 或是人群密度都是变化多样的.

UCF_CC_50数据集内容涵盖音乐会、抗议活动、体育场和马拉松比赛等不同场景, 是第一个真正意义上具有挑战性的大规模人群计数数据集.包含50幅不同分辨率的图像, 共标注63 075个头部位置, 其中每幅图像包含的人数从94到4 543不等, 密度等级变化极大.

UCF-QNRF数据集具有场景丰富, 视角、密度及光照条件均变化多样的特点, 是一个具有挑战性的人群计数数据集, 包含1 535幅密集人群场景图像, 其中训练集1 201幅图像, 测试集334幅图像, 共标注1 251 642个目标.由于标注数量众多, 该数据集适合采用深度卷积神经网络进行训练.此外, 该数据集图像的分辨率很高, 因此在训练过程中可能出现内存不足的问题.

由于人群数据集标注困难, 特别是在密集场景中, 对人头进行标注的代价极大, 因此人群计数图像资源十分有限.为了获取更多的实验数据, 在训练之前对人群图像进行预处理.首先, 将ShanghaiTech数据集上所有图像的边长调整至400.同时, 针对UCF-QRNF、UCF_CC_50数据集图像分辨率过大导致计算量过高的问题, 统一将图像调整为1 024× 768的固定大小.然后, 借鉴CSRNet^[15]的数据扩充方法对训练数据进行裁剪.如图7所示, 在原图上裁剪9个尺寸为原图1/4的图像子块, 其中前4个子块P₁由原图均分为4份得到, 后5个子块P₂由原图随机裁剪而成.后续将以0.5的概率对裁剪得到的图像进行随机水平翻转, 并以0.3的概率对其进行γ 对比度变换.对于ShanghaiTech 数据集上存在灰色图像的现象, 会以0.1的概率将彩色图像转换成灰色图像.同时, 为了匹配模型输出, ground truth密度图和背景分割注意力图均被调整为原图的1/2.

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 数据增强裁剪示例图Fig.7 Sample of cropping for data enhancement

在人群计数任务中, 数据集通常会标注人头的中心位置, 为了实现基于密度图的人群计数, 需要将这些人头标注信息转化为人群密度图.本文参照SFANet(Dual Path Multi-scale Fusion Network with Attention Mechanism)^[24], 采用高斯核函数^[25]对中心坐标进行处理, 生成人群密度图.具体步骤如下.

首先, 使用脉冲函数δ (x-x_i)表示人群图像中N个人头坐标:

H(x)= ∑i=1Nδ (x-x_i),

其中x_i为第i个人头的中心位置.

然后, 将图像的人头坐标通过高斯核函数转化为连续的密度函数, 得到模糊化后的人群密度图, 即使用高斯核函数 Gμ, σ2(X)对H(x)进行卷积, 得到密度函数:

F^GT(x)=H(x)* Gμ, σ2(x)= ∑i=1Nδ (x-xi)* Gμ, σ2x),

其中, μ 为高斯核的大小, σ 为高斯核的标准差.

在ShanghaiTech数据集上, 采用固定高斯核的方式生成人群密度图, μ =15, σ =4.在UCF-QRNF、UCF_CC_50数据集上, 采用自适应高斯核的方式生成人群密度图, 再将密度图尺寸统一规整为1 024× 768, μ 、σ 采用文献[26]的计算方法得到:

μ =1+15× 2int( w2048), σ = μ+44,

其中, int(· )为取整函数, w为图像宽度.

最终生成的密度图F^GT(x)作为ground truth密度图参与训练.

根据已有的标注信息及密度图可进一步生成背景分割注意力图(B-Seg Attention Map).首先, 使用固定高斯核函数生成人群分布密度图F^GT(x), 然后根据给定的阈值th, 如th=0.001, 对得到的F^GT(x)进行二值化处理,

∀ p_i∈ F^GT(x), SG^T(x)= 0, pi< th1, pi≥th

对于F^GT(x)中所有像素点p_i, 如果p_i> th, 映射为背景分割注意力图上的像素值1; 否则映射为像素值0, 由此可得到人群背景分割注意力图S^GT(x).

需要特别说明的是, 此处的背景分割注意力图不同于传统意义上的语义分割^[27].后者需要详细拟合每位行人的准确轮廓, 而前者并不需要准确了解每人的详细轮廓, 主要是为了显示人头的大致位置和分布, 以便在模型的训练过程中对人头所在区域进行重点关注, 从而达到强化人群区域和弱化背景噪声的目的.实验结果也表明, 即使是这样简单的策略对计数性能的影响也是积极的.

本文选用预测人数与真实标注人数的绝对误差(Mean Absolute Error, MAE)及均方误差(Mean Square Error, MSE)度量网络性能, 其中, MAE主要评估网络精度, MSE评估网络鲁棒性.MAE和MSE值越小, 说明预测值误差越小, 性能越优, 泛化能力越强.具体计算公式如下:

MAE= 1N∑i=1N|C_i- CGTi|, MSE= 1N∑i=1N|Ci-CiGT|2

其中, N为测试图像总数量, CGTi为真实人数,

C_i= ∑l=1L∑w=1WF(l, w),

为预测人数, F(l, w)为密度图在(l, w)处的像素值, L、W分别为预测密度图的长和宽.

为了生成人群分布密度图, 参考文献[12], 采用欧氏距离作为人群计数的损失函数, 用于度量预测密度图与真实密度图之间的差异:

L_den= 12m∑i=1mFouti(Xi; Θ)-FGTi2,

其中, X_i为输入图像, FGTi为X_i的真实密度图, Fouti(X_i; Θ )为X_i的预测密度图, Θ 为可学习参数, m为训练图像数量.

除了密度图回归之外, 对于背景分割注意力模块, 还引入交叉熵作为损失函数:

L_b-seg=- 1m∑i=1mSGTilnPi+(1-SGTi)ln(1-Pi)1,

其中, SGTi为背景分割注意力图, P_i为由预测的背景分割注意力图中的每个像素经过Sigmoid激活函数后得到的概率值.

在整个网络的训练过程中, 将两种损失加权求和, 生成最终的损失函数:

Loss=L_den+λ L_b-seg,

其中, 超参数λ 可调节两种损失的比例, 本文设λ =0.1.

算法的实现基于Pytorch框架, 数据集遍历次数为500, 批量大小设为1, 采用Adam(Adaptive Moment Estimation)优化器, 初始学习率设为1× 10^-7, 动量因子设为0.95, 权重衰减设为5× 10^-4, 填充方式采用边界添加0(same)的方式.此外, 后期在损失趋于稳定时, 对学习率进行适当调整.

在训练之前, 对训练集样本进行归一化处理, 保证图像中每个像素点的值都位于(-1, 1)内, 避免出现训练内存溢出.

本文选择如下对比网络:Crowd CNN Model、MCNN^[12]、Switch-CNN^[13]、CP-CNN^[14]、CSRNet^[15]、SANet^[17]、文献[23]网络、SFANet^[26]、ic-CNN(Itera-tive Counting CNN)^[28]、文献[29]网络.各对比网络在3个数据集上的实验数据均取自原文献.

各网络在ShanghaiTech数据集上的实验结果如表2所示, 其中ic-CNN采用双分支CNN结构以生成高质量密度图.由表可见, AntiNet-MFF在MAE和MSE指标上的表现均为最优.无论是采用多阵列结构的计数模型, 如MCNN, 还是采用空洞卷积的计数模型, 如CSRNet, 性能表现均差于AntiNet-MFF, 这说明AntiNet-MFF的多尺度特征表达能力更强.此外, 通过背景分割剔除背景噪声的干扰, 使网络更专注于人群区域, 也有助于计数性能的提升.

表2

Table 2

表2(Table 2)

表2 各网络在ShanghaiTech数据集上的实验结果 Table 2 Experimental result comparison of different networks on ShanghaiTech dataset 网络 Part A Part B MAE MSE MAE MSE Crowd CNN Model 181.8 277.7 32.0 49.8 MCNN 110.2 173.2 26.4 41.3 Switch-CNN 90.4 135.0 21.6 33.4 CP-CNN 73.6 106.4 20.1 30.1 CSRNet 68.2 115.0 10.6 16.0 ic-CNN 68.5 116.2 10.7 16.0 SANet 67.0 104.5 8.4 13.6 SFANet 59.8 99.3 6.9 10.9 AntiNet-MFF 58.9 98.4 6.7 10.6

表2 各网络在ShanghaiTech数据集上的实验结果 Table 2 Experimental result comparison of different networks on ShanghaiTech dataset

MAE和MSE的收敛趋势如图8所示.由图可知, 经过多次迭代, AntiNet-MFF的MAE、MSE可收敛到较稳定的值.

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 AntiNet-MFF在ShanghaiTech数据集上的MAE和MSE曲线Fig.8 MAE and MSE curves of AntiNet-MFF on ShanghaiTech dataset

各网络在UCF_CC_50数据集上的实验结果如表3所示.由表可见, AntiNet-MFF的准确率和鲁棒性优于大部分计数网络, 仅次于SFANet.SFANet也包含前端特征提取和后端特征融合两部分, 但后端由平行的两路网络构成, 一路生成注意力图, 另一路融合多尺度信息生成密度图, 而AntiNet-MFF的后端将注意力生成和信息融合在同一路网络中完成.相比SFANet, AntiNet的后端减少一半参数量.此外, 由于AntiNet-MFF的前后端都融入多层次特征分割提取模块, 能在保持性能不变的前提下, 进一步降低参数量, 因此, 虽然AntiNet-MFF的性能略次于SFANet, 但更简单, 计算复杂度更低.

表3

Table 3

表3(Table 3)

表3 各网络在UCF_CC_50数据集上的实验结果 Table 3 Experimental result comparison of different networks on UCF_CC_50 dataset 网络 MAE MSE Crowd CNN Model 467.0 541.6 MCNN 377.6 509.1 Switch-CNN 318.1 439.2 CP-CNN 295.9 320.9 CSRNet 266.1 397.5 ic-CNN 260.9 365.5 SANet 258.4 334.9 SFANet 219.6 316.2 AntiNet-MFF 225.7 319.0

表3 各网络在UCF_CC_50数据集上的实验结果 Table 3 Experimental result comparison of different networks on UCF_CC_50 dataset

AntiNet-MFF在UCF_CC_50数据集上的MAE和MSE的收敛趋势如图9所示.由图可见, 经过多次迭代, MAE和MSE均可收敛到较稳定的值.此外, 需要特别说明的是, UCF_CC_50数据集的样本数据量太少, 验证效果可能偏弱.

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 AntiNet-MFF在UCF_CC_50数据集上的MAE和MSE曲线Fig.9 MAE and MSE curves of AntiNet-MFF on UCF_CC_50 dataset

各网络在UCF-QNRF数据集上的实验结果如表4所示, 其中, 文献[29]网络是一个端到端级联CNN网络, 可同时完成人群数量分类和密度图估计两个关联的任务, 文献[23]网络可同时对计数、密度图估计和定位这3个任务进行训练和估计.由表可见, AntiNet-MFF在MAE和MSE指标上优于大部分计数网络, 其较好的准确性和鲁棒性进一步得到验证.

表4

Table 4

表4(Table 4)

表4 各网络在UCF-QNRF数据集上的实验结果 Table 4 Experimental result comparison of different networks on UCF-QNRF dataset 网络 MAE MSE MCNN 277.0 426.0 文献[29]网络 252.0 514.0 Switch-CNN 228.0 445.0 文献[23]网络 132.0 191.0 SFANet 100.8 174.5 AntiNet-MFF 124.4 208.1

表4 各网络在UCF-QNRF数据集上的实验结果 Table 4 Experimental result comparison of different networks on UCF-QNRF dataset

由于UCF-QNRF数据集包含数量极多的高分辨率图像, 人群密集, 场景种类繁多, 包括建筑物、道路、天空等野外真实的场景, 光照及目标尺度变化多样, 因此训练过程对实验的硬件条件要求较高.受已有实验条件的限制, AntiNet-MFF的训练过程未及时收敛.AntiNet-MFF的MAE和MSE指标在UCF-QNRF数据集上的收敛趋势如图10所示.由图可知, 随着遍历次数的增加, MAE和MSE并未及时收敛到某个稳定值, 这也是AntiNet-MFF未取得最优值的主要原因.

图10

Fig.10

	Figure Option ViewDownloadNew Window
	图10 AntiNet-MFF在UCF_QNRF数据集上的MAE和MSE曲线Fig.10 MAE and MSE curves of AntiNet-MFF on UCF_QNRF dataset

在HFS Block中, 特征图经过1× 1卷积后被分割成s组输入, 本节讨论参数s的取值对AntiNet-MFF性能的影响.实验在ShanghaiTech Part A数据集上进行, s分别取4种不同的值, 结果如表5所示.由表可知, s取不同值对性能会产生一定影响.当s=8时, MAE和MSE达到最优.

表5

Table 5

表5(Table 5)

表5 s不同时AntiNet-MFF的性能对比 Table 5 Performance comparison of AntiNet-MFF with different s s=2 s=4 s=8 s=16 MAE 69.0 66.3 58.9 59.1 MSE 105.2 102.4 98.4 98.6

表5 s不同时AntiNet-MFF的性能对比 Table 5 Performance comparison of AntiNet-MFF with different s

为了验证添加多尺度特征融合和背景分割注意力的有效性, 移除编码器中的HFS Block和多尺度上下文特征聚合模块, 恢复成普通的3× 3卷积, 同时移除解码器中的背景分割注意力模块, 不考虑背景干扰, 从而得到基础模型BaseNet.然后, 将Base-Net和融入HFS Block的基础模型BaseNet_MFF在ShanghaiTech数据集上进行实验对比, 即从计数性能与模型参数量两方面分析网络优劣, 验证多尺度特征融合模块的有效性.

HFS Block的消融实验结果如表6所示.由表可见, BaseNet-MFF性能优于BaseNet, 同时参数量也远少于BaseNet.由此可知, 在BaseNet中融入HFS Block可提升多尺度特征的表达能力和计数性能, 同时有效减少参数量, 因此降低模型复杂度的思路是正确可行的.

表6

Table 6

表6(Table 6)

表6 HFS Block的消融实验结果 Table 6 Ablation experiment results of HFS Block 网络 参数量/M Part A Part B MAE MSE MAE MSE BaseNet 17.0 75.4 134.1 12.7 19.9 BaseNet-MFF 6.8 66.5 112.4 6.8 11.5

表6 HFS Block的消融实验结果 Table 6 Ablation experiment results of HFS Block

其次, 再将BaseNet和融入背景分割注意力模块的基础模型AntiBaseNet进行对比, 结果如表7所示.

表7

Table 7

表7(Table 7)

表7 背景分割注意力模块的消融实验结果 Table 7 Ablation experiment results of B-Seg attention map 网络 Part A Part B MAE MSE MAE MSE BaseNet 75.4 134.1 12.7 19.9 AntiBaseNet 60.5 104.3 6.9 11.1

表7 背景分割注意力模块的消融实验结果 Table 7 Ablation experiment results of B-Seg attention map

由表7可见, 无论是在Part A数据集还是Part B数据集上, AntiBaseNet的MAE和MSE值都优于Base-Net.由此可知, 通过图像分割方法添加注意力, 指导生成更高质量的密度图、降低背景噪声干扰的思路是正确可行的.

AntiNet-MFF相当是在BaseNet基础上, 同时添加HFS Block和背景分割注意力模块.BaseNet、BaseNet-MFF、AntiBaseNet、AntiNet-MFF的消融实验结果如图11所示.由图可知, 添加两个模块中的任意一个, 都会对性能产生积极影响, MAE和MSE值均会下降, 尤其是两个模块同时添加时, 性能达到最佳.

图11

Fig.11

	Figure Option ViewDownloadNew Window
	图11 各网络在ShanghaiTech数据集上的消融实验结果Fig.11 Ablation experiment results of different networks on ShanghaiTech dataset

此外, 实验发现, 背景分割注意力模块的消融实验结果优于HFS Block, 说明抑制人群图像中的背景噪声至关重要.

AntiNet-MFF的部分结果如图12所示.可视化图像全部选自ShanghaiTech数据集.由图可见, 背景分割注意力图可指示人群所在位置, 在它的指导下, 生成的密度图接近于真实密度图.

图12

Fig.12

	Figure Option ViewDownloadNew Window
	图12 AntiNet-MFF可视化结果Fig.12 Visualization results of AntiNet-MFF