由于人脸尺度和分布的多样性, 现有研究主要采用基于数据的方法和基于锚点补偿的方法, 应对人脸匹配锚点数量不均衡问题^[15].

基于数据的方法应用多尺度特征图、数据增强及调整锚点的宽高比等应对锚点数量不均衡问题.Zhu等^[16]提出TinaFace, 使用4至128倍下采样的6层特征图, 并在每层上部署3种尺寸的锚点.Li等^[17]提出DSFD(Dual Shot Face Detector), 随机裁剪人脸尺寸并调整至锚点大小, 以增加匹配锚点的数量并稳定训练过程.Tang等^[18]提出PyramidBox, 引入数据锚点采样技术, 增加小尺度人脸样本.

然而, 基于数据的方法受限于数据和锚点配置, 难以从根本上解决锚点数量不均衡的问题.因此, 研究者进一步采用基于锚点补偿的方法, 弥补基于数据的方法的不足.Zhang等^[19]提出S³FD(Single Shot Scale-Invariant Face Detector), 为未匹配锚点的人脸选择IoU(Intersection over Union)大于0.1的K个锚点.Yashunin等^[20]提出MaskFace, 采用低质量锚点匹配策略, 将IoU最高的锚点分配给未匹配的人脸.Liu等^[21]提出MogFace, 设计自适应在线增量锚点挖掘策略, 动态挖掘并分配高质量锚点.上述方法虽然为未充分匹配锚点的人脸增加更多锚点, 但忽视那些已有足够正样本的目标.

CNN在目标检测领域已展现卓越性能, 当前检测器通常通过融合不同尺度特征图以完善特征提取.尽管特征增强技术层出不穷, 但深度挖掘多尺度特征以检测不同尺寸的目标仍是该领域的关键挑战之一.Lin等^[22]提出FPN(Feature Pyramid Network), 通过横向连接构建跨尺度的高级语义特征.Liu等^[23]提出PANet(Path Aggregation Network), 进一步利用低层特征信息, 增强整个特征层次结构.Zhao等^[24]提出RT-DETR(Real-Time Detection Transfor-mer), 结合FPN自上而下的路径与PANet自下而上的路径, 并设计一个融合模块, 整合相邻的特征图.上述研究虽然探讨跨尺度特征融合的策略, 但尚未充分考虑融合后特征的上下文.

CNN和多头自注意力都是注意力机制的表现, 其区别在于:假设卷积核的尺寸为K, 单次卷积运算后特征点的注意力尺寸为K× K, 而自注意力机制的感受野是全局.除了感受野的范围外, 以大小为K的卷积核为例, CNN获得的注意力是对称的, 而自注意力机制可灵活调整^{[25, 26]}.

在WIDER FACE人脸数据集^[10]上, 除了人脸尺度分布广泛, 人脸的宽高比存在极端比例, 如宽高比为1∶ 3或3∶ 1的人脸, 如何有效检测各种纵横比的人脸是当前学者积极探索解决的一个重要问题.Luo等^[27]指出, 单一的感受野结构不足以应对极端纵横比人脸的定位问题, 并据此提出WARM(Wide Aspect Ratio Matching).Wang等^[28]提出EfficientFace, 设计感受野增强模块, 采用非对称卷积, 提升对极端纵横比人脸的检测效能.Zhu等^[29]提出特征模仿方案, 评估不同分支输出特征的余弦相似性, 增强网络的建模能力.Li等^[17]提出DSFD, 设计双分支网络结构, 在辅助分支中集成特征增强模块, 扩展感受野, 实现多样化特征学习.Zong等^[30]提出Co-DETR, 继承FCOS(Fully Convolutional One-Stage Object Detector)^[31]和ATSS(Adaptive Training Sample Selection)^[32]等锚点分配方案, 旨在增加正样本的数量.但上述方法往往在CNN和自注意力机制这两种注意力机制间权衡, 难以达到最优效果.

在复杂场景中进行人脸检测时, 目标的尺度多样性是一个关键挑战, 因此引入多尺度特征图进行人脸检测至关重要.低分辨率的特征图富含高层语义信息, 而高分辨率的特征图包含精细的空间位置细节.因此, 颈部网络的设计必须能有效融合不同分辨率的特征图, 增强低级特征的语义信息, 丰富高级特征的细节信息.

本文提出上下文特征融合模块(CFF), 旨在处理多尺度的人脸检测任务.CFF由融合模块和上下文模块组成, 结构如图2所示, 其中C表示通道数量.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 CFF基本组成单元Fig.2 Basic components of CFF

颈部网络接收来自Stage2、Stage3、Stage4的输出, 分别记为F₂、F₃和F₄.对于CFF, 输出

F_l=C(F(F_l)), l=2, 3, 4,

其中, F(· )表示特征融合操作, C(· )表示上下文增强操作.FPN的上采样过程中, 有

F_l=U(F_l+1)+F_l,

其中U(· )表示上采样操作.

然后, 拼接两个相邻层的特征, 分别经过1× 1卷积和3× 3卷积后融合.经过FPN处理后, 特征进入PANet, 进行下采样融合:

F_l=D(F_l-1)+F_l,

其中D(· )表示步长为2的下采样卷积.F(· )的输出并通过多个不同感受野的卷积层提取上下文信息, 即

F_out=C( Fl(3×3), Fl(5×5), Fl(7×7)),

其中C(· )旨在整合相对感受野为3× 3、5× 5和7× 7的特征信息.

通过使用不同数量的卷积, CFF能有效挖掘融合后的多尺度特征信息, 最终拼接具有不同感受野信息的特征图, 从而扩展多尺度特征融合模块输出的感受野, 增强方法对不同尺度特征的捕捉能力.

CNN每层的注意力提升与卷积核的大小及特征图的下采样率密切相关, 不同层的特征图捕获特征的长度有限, 难以获得广泛全面的信息.为了有效挖掘前后背景之间的关系并深入学习不同纵横比人脸的特征, 本文设计自注意力辅助分支(SAB), 仅在训练阶段引入轻微的计算负担, 而在推理阶段可被移除, 确保推理效率不受影响.SAB结构如图3所示.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 SAB结构图Fig.3 Structure of SAB

注意力机制采用文献[26]中的自注意力机制, 有助于建模全局信息, 捕获长距离依赖关系.输入特征转化为

X=[x₁, x₂, …, x_i, …, x_n],

其中, x_i∈ R^c, c=256, n表示向量数量, 在数量上等于输入特征图的面积.首先, 初始化查询Q、键K和值V, 再对Q、K施加位置编码, 本文使用绝对位置编码中的正弦位置编码和余弦位置编码.Q、K经过位置编码后进行多头注意力的计算.对于输入的Q、K、V, 分别与8个不同的全连接层进行计算, 对应权重为

W iq∈ R^{256× 32}, W ik∈ R^{256× 32}, W iv∈ R^{256× 32},

输出

Q_i=QW iq, K_i=KW ik, V_i=VW iv,

本文共使用8个头进行自注意力的计算, 故注意力

$\text { head }_{i}=f_{\text {SelfAttention }}\left(\boldsymbol{Q}_{i}, \boldsymbol{K}_{i}, \boldsymbol{V}_{i}\right)=f_{\text {softmax }}\left(\frac{\boldsymbol{Q}_{i} \boldsymbol{K}_{i}^{\mathrm{T}}}{\sqrt{d_{k}}} \boldsymbol{V}_{i}\right),$

其中, d_k表示向量维度, 使用$\sqrt{d_{k}}$进行注意力的归一化.拼接每个多头注意力机制的输出, 即

$\begin{array}{l} \text { MultiHead }(\boldsymbol{Q}, \boldsymbol{K}, \boldsymbol{V})= \\ \quad f_{\text {concat }}\left(\text { head }_{1}, \text { head }_{2}, \cdots, \text { head }_{8}\right) \boldsymbol{W}^{o}, \end{array}$

其中W^o∈ R^{256× 256}, 表示输出权重.

多头注意力机制的输出进入残差连接和层归一化, 再进入前馈神经网络(Feedforward Neural Net-work, FNN), 进行残差连接和层归一化, 最后将输出重塑为3种不同尺度的特征图.通过SAB, 不同特征图对全局信息拥有建模能力, 可辅助主分支更好地处理复杂场景下的特征.

本文首先从损失分布的角度出发, 定性分析锚点损失优化算法(ALO)的可行性, 并在MobileNet、ResNet上进行验证.

为了深入理解人脸匹配锚点数量与检测器在分类和定位能力的关系, 探讨匹配锚点数量与定位损失之间的相关性, 结果如图4所示.图中, W ALO表示对应模型使用ALO后的损失分布, W/O ALO表示对应模型不使用ALO后的损失分布, 即原始损失分布, 匹配锚点数表示与单张人脸匹配的锚点数, 锚点的定位损失表示与相应人脸匹配锚点的平均定位损失, 人脸的定位损失表示与一定数量锚点匹配人脸的平均定位损失.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 定位损失与人脸匹配锚点数的关系Fig.4 Relationship between localization loss and number of anchors matched per face

图4(a)表明, 锚点的定位损失与人脸匹配锚点数量之间存在负相关性, 表明检测器准确定位单张人脸的能力与该人脸匹配的锚点数量呈正相关.(b)中进一步展示人脸的定位损失与人脸匹配锚点数量之间的正相关性, 这种不平衡的关系可能导致网络性能的下降.此外, 从(a)中右图可观察到, 增加与人脸匹配的锚点数量并不总能改善检测结果, 与人脸匹配的锚点数量线性增加, 锚点的定位损失也不会按比例减少.即使ALO更偏向于匹配锚点数量较少的人脸, 但最终结果表明那些降低权重的人脸检测结果也有所改善, 由此表明ALO的鲁棒性.

基于上述分析, 本文从损失分布的角度出发, 设计锚点损失优化算法(ALO), 伪代码如算法1所示.与基于数据的方法或基于补偿锚点的方法不同, ALO不会增加额外的锚点, 而是专注于提升现有锚点在分类和回归任务中的表现, 从而增强检测性能.

算法1 ALO

输入 D_g, D_a, D_lm, L_cls, L_loc, L_IoUAware, L_lm, m-, m-k

输出 调整后的损失L_cls, L_loc, L_IoUAware, L_lm

初始化

(1)D_g的数据结构为字典, 键为人脸索引, 值为该人脸匹配的锚点数量;

(2)D_a的数据结构为字典, 键为锚点索引, 值为该锚点匹配的人脸索引, 如果该锚点为负样本, 值为-1;

(3)D_lm的数据结构为字典, 键为锚点索引, 如果该锚点为负样本或该锚点匹配的人脸没有关键点, 值为-1, 否则为1;

(4)L_cls、L_loc、L_IoUAware、L_lm的数据结构为字典, 键为人脸索引, 值为该人脸对应的分类损失、定位损失、交并比感知损失和关键点损失;

(5) m-和 m-k为正实数, m-表示一个训练批次中人脸匹配锚点的平均数量, m-k表示带有关键点的人脸匹配锚点的平均数量;

for index, g_i in D_a do

if g_i=-1 then

continue /* 负样本* /

else

$f_{\mathrm{ALO}}\left(g_{i}\right)=\operatorname{pow}\left(\frac{\bar{m}}{D_{g}\left(g_{i}\right)}, \frac{1}{\alpha}\right)$ /* 使用式(1)计算调整系数* /

L_cls(g_i)=f_ALO(g_i)L_cls(g_i) /* 调整分类损失* /

L_loc(g_i)=f_ALO(g_i)L_loc(g_i) /* 调整定位损失* /

L_IoUAware(g_i)=f_ALO(g_i)L_IoUAware(g_i) /* 调整交并比感知损失* /

if D_lm(index)=-1 then

continue/* 该人脸无关键点* /

else

$f_{\mathrm{ALO}}\left(g_{i}\right)=\operatorname{pow}\left(\frac{\bar{m}_{k}}{D_{g}\left(g_{i}\right)}, \frac{1}{\alpha}\right)$ /* 使用式(2)计算调整系数* /

L_lm(g_i)=f_ALO(g_i)L_lm(g_i) /* 调整关键点损失* /

end if

end if

end for

ALO首先在每个训练批次中统计与每个人脸匹配的锚点数量m_i, 其中, i∈ {1, 2, …, N}, N表示当前批次中的人脸数量.再计算该批次内所有人脸的平均匹配锚点数量:

m-= 1N∑i=1Nm_i.

由于并非所有训练样本都带有关键点标注, 需要进一步计算带关键点标注的人脸匹配锚点的平均数量, 记为 m-k.在此基础上, 调整分类损失、定位损失和交并比感知损失, 为每个正样本或负样本引入对应的自适应损失权重函数:

$f_{\mathrm{ALO}}\left(g_{i}\right)=\left\{\begin{array}{ll} 1, & g_{i} \text { 为负样本 } \\ \left(\frac{\bar{m}}{m_{i}}\right)^{\frac{1}{\alpha}}, & g_{i} \text { 为正样本 } \end{array}\right.$ (1)

其中, α 表示超参数, 为一个正实数.

如图5所示, α 与损失调整程度呈负相关, 当α 趋于无穷大时, f_ALO输出恒等于1, 所有损失函数保持不变.在实验中α 默认设为2.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 正样本对应的fALO函数曲线Fig.5 fALO function curve corresponding to positive sample

在多任务损失函数中, 为所有正样本引入一个额外的权重项, 负样本损失保持不变.对于关键点损失函数, 采用类似的调整策略:

$f_{\mathrm{ALO}}\left(g_{i}\right)=\left(\frac{\bar{m}_{k}}{m_{i}}\right)^{\frac{1}{\alpha}},$ (2)

其中g_i表示正样本.

在训练阶段, 先执行常规损失计算, 并保留每个人脸的损失值.再统计每个人脸匹配的锚点数量及平均数, 使用f_ALO计算最终损失, 确保模型在训练过程中能有效挖掘正样本的特征.

本文将人脸检测任务定义为一个基于CNN的优化过程, 涉及到人脸检测任务中对锚点和真实框(Ground Truth)的匹配, 并计算损失.整个过程拆解成如下步骤.

首先定义人脸目标集合和锚点集合, 设A={a₁, a₂, …, a_N}, 表示一个批次中所有锚点集合, 其中, a_i表示第i个锚点, N表示锚点数量.G={g₁, g₂, …, g_M}, 表示一个批次中所有人脸目标集合, 其中, g_j表示第j个目标人脸, M表示人脸目标的数量.

随后, 通过Assigner(匹配策略)将锚点a_i匹配到目标人脸g_j, 并记录匹配情况.通常, 匹配是基于目标人脸与锚点的IoU进行的, 可得到匹配关系A∶ A→ G.本文使用一个匹配矩阵C∈ R^{M× K}表示锚点与人脸目标的匹配关系, C_ij∈ {0, 1}, 表示锚点a_i是否与目标g_j匹配.匹配后的已分配锚点集合A_assigned⊆A, 匹配后的已分配人脸目标集合G_assigned⊆G.由此容易得到未匹配的锚点集合:

A_unassigned=A-A_assigned,

未匹配的人脸集合:

G_unassigned=G-G_assigned.

对于未匹配到锚点的目标人脸G_unassigned, 本文通过一个补充匹配过程(第二次分配)匹配这些人脸目标与锚点.假设第二次匹配时, 每个未分配的锚点与未匹配的人脸目标进行重新匹配.本文定义新的匹配关系A'∶ A_unassigned→ G_unassigned, 补充匹配后的结果会将A_unassigned中的锚点与G_unassigned中的人脸目标进行匹配, 形成新的匹配关系.匹配后的锚点集合:

A_final=A_assigned∪ A_unassigned,

匹配后的目标人脸集合:

G_final=G_assigned∪ G_unassigned.

第二次锚点匹配使用低质量匹配, 即将未匹配的人脸与其具有最大IoU的未匹配的锚点进行匹配.

对于所有人脸目标, 无论是第一次匹配还是第二次匹配, 都需要计算损失.在实验中, 分类损失函数使用焦点损失(Focal Loss, FL)^[34], 定位损失函数使用EIoU(Efficient Intersection over Union)^[35], 关键点损失函数使用Smooth-L1, 交并比感知损失函数使用二元交叉熵损失函数(Binary Cross En-tropy, BCE).每个人脸目标g_j的损失:

L(g_j)=L_cls(g_j)+L_loc(g_j)+L_lm(g_j)+L_IoUAware(g_j),

其中, L_cls(g_j)、L_loc(g_j)、L_lm(g_j)、L_IoUAware(g_j)表示该人脸目标的分类损失、定位损失、关键点损失、交并比感知损失.对于每个人脸目标g_j, 通过ALO细粒度调整每个人脸的损失:

L︿(g_j)=f_ALO(g_j)· L(g_j).

所有人脸目标的加权损失相加, 得到总损失L_total, 每个损失项都有一个损失平衡系数β _cls、 β _loc、 β _lm、β _IoUAware.因此, 针对每个人脸目标的总损失:

L_total= ∑j=1Mf_ALO(g_j)(β _clsL_cls(g_j)+β _locL_loc(g_j)+ β l_mLl_m(gj₎+β I_oUAwareLI_oUAware(gj₎.

本文使用随机梯度下降(Stochastic Gradient Descent, SGD)最小化总损失L_total并更新网络参数θ , 即

θ ^* =arg minθL_total(θ ).

本文实验环境软硬件配置如下:操作系统为Ubuntu 20.04.1, 配备单卡24 GB RTX 4090D GPU和Intel i9-13900K CPU.实验中深度学习框架为PyTorch 1.10.0, CUDA版本为11.8.实验使用SGD优化器, 共训练100个周期, 设置批量大小为32, 动量为0.9, 权重衰减为5× 10^-4.前3个周期采用预热策略, 学习率从10^-5线性增至10^-2, 并在第70个周期和第90个周期将学习率除以10.为了确保网络的稳定训练, 采用L2梯度裁剪, 阈值设为10.

在数据增强策略方面, 首先将随机剪裁的图像缩放至640× 640, 并以50%的概率应用随机翻转和颜色抖动.此外, 未采用其它数据增强技术.

本文所有实验均在MobileNet-0.25和ResNet50上进行.基线方法设置输出下采样率为8、16、32的特征图, 特征融合使用FPN.对于FALO, 主分支中输出特征图像对应锚点为[16, 32], [64, 128], [256, 512].辅助分支对应锚点为[8, 12, 16], [32, 48, 64], [128, 256, 512].主分支和辅助分支的监督标签均为真实框.最终的损失函数结合分类损失L_cls(β _cls=1.0)、定位损失L_loc(β _loc=10.0)、关键点损失L_lm(β _lm=0.01)和交并比感知损失L_IoUAware(β _IoUAware=0.1).

实验使用WIDER FACE数据集^[10]作为训练集, 该数据集包含32 203幅图像和393 703张标注的人脸.关于面部特征, 数据集涵盖模糊、表情、光照、遮挡和姿势等多种属性.包括61种不同场景, 如游泳、握手、会议等.同时, 为了全面评估检测器的检测精度, 根据检测难度将WIDER FACE数据集上数据划分为Easy、Medium和Hard三个子集.此外, 数据集按照40%、10%、50%的比例分别划分为训练集、验证集和测试集.

在FDDB(Face Detection Data Set and Bench-mark)数据集^[36]上进行离散得分和连续得分测试, 数据集包含2 845幅图像, 共标注5 171张人脸, 专门用于研究无约束人脸检测问题.

本文在WIDER FACE数据集上对比Easy、Me-dium、Hard子集和整个数据集(ALL)上的AP@50和召回率, 在FDDB数据集上对比误报数量为2 000时的离散得分精度和连续得分精度.

3.3.1 WIDER FACE数据集上实验结果

本文选择如下方法进行对比实验:Multi-scale Cascaded CNN^[10]、Two-Stage CNN^[10]、TinaFace^[16]、DSFD^[17]、PyramidBox^[18]、MaskFace^[20]、MogFace^[21]、WARM^[27]、EfficientFace^[28]、 SSH(Single Stage Headless)^[37]、HAMBox(High-Quality Anchor Mining Stra-tegy)^[38]、 RetinaFace^[39]、YOLO5Face(包括YOLO-v5l、YOLOv5x6、YOLOv5n0.5)^[40]、融合多尺度特征的轻量级人脸检测算法(Lightweight Face Detection Algorithm with Multiscale Feature Fusion, LFDMF)^[41]、SCRFD(Sample and Computation Redistribution for Efficient Face Detection)^[42]、FaceBoxes^[43]、Scale-Face^[44]、Multitask Cascaded CNN^[45]、文献[46]方法.

各方法在WIDER FACE验证集上的AP@50、参数量和计算复杂度对比如表1所示.表中黑体数字表示最优值, 斜体数字表示次优值, FALO-R表示使用ResNet50作为主干网络的方法, FALO-M表示使用MobileNet-0.25作为主干网络的方法.参照文献[40], 将参数量小于2 M、计算量小于3 G的小型模型记作轻量化模型, 参数量大于3 M、计算量大于5 G的大型模型记作高精度模型.

表1

Table 1

表1(Table 1)

表1 各方法综合性能对比 Table 1 Comprehensive performance comparison of different methods 模型 算法 主干网络 AP@50/% 参数量/M 计算量/G Easy Medium Hard 高精度模型 RetinaFace ResNet50 94.92 91.90 64.17 29.50 37.59 MogFace ResNet50 94.6 93.6 87.3 36.07 59.11 WARM ResNet50 96.5 95.5 90.4 - - HAMBox ResNet50 95.27 93.76 76.75 30.24 43.28 TinaFace ResNet50 95.61 94.25 81.43 37.98 172.95 DSFD ResNet152 94.29 91.47 71.39 120.06 259.55 EfficientFace EfficientNet-B5 95.1 94.0 90.1 31.46 52.59 YOLOv5l YOLOv5-CSPNet 95.9 94.4 84.5 46.63 41.61 YOLOv5x6 YOLOv5-CSPNet 96.67 95.08 86.55 141.16 88.67 SCRFD-34GF Bottleneck ResNet 96.06 94.92 85.29 9.80 34.13 LFDMF-L Bottleneck ResNet 96.12 95.00 85.51 10.63 36.76 FALO-R ResNet50 96.28 95.61 91.82 27.85 33.70 RetinaFace MobileNet-0.25 87.78 81.16 47.32 0.44 0.80 SCRFD-0.5GF Depth-Wise Convolution 90.57 88.12 68.51 0.57 0.51 FaceBoxes - 76.17 57.17 24.18 1.01 0.28 轻量化模型 YOLOv5n0.5 ShuffleNetv2-0.5 90.76 88.12 73.82 0.45 0.57 LFDMF-S Depth-wise Convolution 90.69 88.07 70.21 0.55 0.56 LFDMF-M Basic ResNet 93.71 92.35 78.61 0.72 2.66 FALO-M MobileNet-0.25 92.29 90.50 85.13 0.47 0.79

表1 各方法综合性能对比 Table 1 Comprehensive performance comparison of different methods

由表1可见, ResNet50作为主干网络时, 相比复杂度相近的YOLOv5l, FALO-R在Easy、Medium、Hard子集上AP@50值分别提升0.38%, 1.21%和7.32%.相比更大容量的YOLOv5x6, 尽管YOLOv5x6在Easy子集上的AP@50值略提升0.39%, 但FALO-R在Medium、Hard子集上的AP@50值分别提升0.53%和5.27%, 且YOLOv5x6的参数量和计算量是FALO-R的数倍.相比准确率和复杂度较综合的以EfficientNet-B5为主干网络的EfficientFace, FALO-R的AP@50值仍能在Easy、Medium、Hard子集上提升1.12%、1.61%和1.72%.

在轻量级模型性能的对比中, 相比YOLOv5n0.5, FALO-M在Easy、Medium、Hard子集上的AP@50值提升1.53%、2.38%和11.31%.相比LFDMF-M, FALO-M的AP@50值在Easy、Medium子集上降低1.42%和1.85%, 但在Hard子集上却提升6.52%.FALO-M在Hard子集的表现甚至可与一些相对较大的模型媲美, 由此展现其在困难样本挖掘中的潜力.在相同参数量或计算复杂度时, FALO-M的表现接近最佳.

总之, FALO在准确率与计算开销之间达到良好平衡.

选取开销近似的FALO-M、YOLOv5(ShuffleNet-v2-0.5)、RetinaFace(MobileNet-0.25), 在WIDER FACE验证集上的检测可视化对比如图6所示.由图可见, 虽然RetinaFace在部分场景上可检测到全部人脸, 但其在遮挡情况下的检测效果有误差, 而FALO-M在上述场景中具有更好的检测效果.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 各方法检测效果可视化对比Fig.6 Visualization comparison of detection performance among different methods

为了验证FALO-M在各种非约束复杂场景下的鲁棒性, 在广泛使用的WIDER FACE数据集^[10]上进行测试, 各方法在Easy、Medium、Hard子集上准确率-召回率曲线如图7所示.由图可见, FALO-R优于大部分对比方法, 特别是在Hard子集上的表现, 进一步证明其处理复杂样本的有效性.虽然FALO-R在Easy、Medium子集上的准确率略低于YOLO5-Face和MaskFace, 这是因为YOLO5Face和Mask-Face使用YOLOv5-CSPNet^[40]和DenseNet121^[50]等更强大的主干网络.然而, 这些模型带来的精度提升有限, 而代价是更大的计算开销.

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 各方法在WIDER FACE数据集上准确率-召回率曲线Fig.7 Precision-Recall curves of different methods on WIDER FACE dataset

3.3.2 FDDB数据集上实验结果

FDDB数据集虽然检测规模不及WIDER FACE数据集, 但检测结果AP@50-100能更细粒度地评价检测器效果.该数据集注重误报数量, 在一些高精度场景应用广泛.

在FDDB数据集上, 选择如下对比方法:Multi-task Cascaded CNN^[45]、Face R-FCN^[51]、UnitBox^[52]、LDCF(Locally Decorrelated Channel Features)^[53]、FD-CNN^[54]、DP2MFD(Deep Pyramid Deformable Parts Model for Face Detection)^[55]、HyperFace^[56]、BB-FCN(Backbone-Branches Fully-Convolutional Neural Network)^[57].各方法结果对比如图8所示.

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 各方法在FDDB数据集上的准确率对比Fig.8 Accuracy comparison of different methods on FDDB dataset

由图8可见, 当误报数量为2 000时, FALO-M实现99.3%的AP@50和76.6%的AP@50-100, 比大部分二阶段检测方法和级联检测方法性能更优.虽然FALO-M在AP@50上略低于Face R-FCN, 但在AP@50-100上更优, 证明FALO在细粒度指标上的优势.

3.3.3 锚点损失优化算法对比结果

本文的锚点损失优化算法(ALO)选择与如下标签分配改进方法进行对比分析:DSFD^[17]中IAM(Improved Anchor Matching)、S³FD^[19]中Scale Compensation Anchor Matching Strategy、HAMBox^[38]中Online High-Quality Anchors Compensation Strategy、MogFace^[21]中Adaptive Online Incremental Anchor Mining、文献[58]中ADAS(Adaptive Dynamic An-chor Mining Strategy).其中, MogFace与文献[58]方法均采用在线信息和离线信息的联合优化策略.

基于MobileNet-0.5, 在相同的实验条件下, 各方法的AP@50值对比如表2所示.由表可见, ALO在ALL上取得最高的AP@50值.DSFD以40%的概率进行数据增强, 提高Hard子集和ALL的AP@50值.由于存在大量低质量的锚, S³FD采用Max-out策略^[19]抑制分类中负样本的干扰, 实现约1%的整体AP@50值提升.HAMBox在3个子集上均表现较优, 但整体提升幅度有限.

表2

Table 2

表2(Table 2)

表2 ALO与标签分配改进方法的AP@50值对比 Table 2 AP@50 comparison of ALO and label assignment improvement methods % 方法 Easy Medium Hard ALL 基线方法 91.66 89.40 74.64 79.27 DSFD 91.41 89.29 74.83 79.34 S3FD 90.80 88.70 76.58 80.28 HAMBox 91.73 89.41 74.89 79.46 MogFace 90.47 87.84 74.91 78.97 文献[48]方法 89.23 86.09 73.40 77.38 ALO 91.19 88.99 77.31 80.81

表2 ALO与标签分配改进方法的AP@50值对比 Table 2 AP@50 comparison of ALO and label assignment improvement methods %

实验观察到, 同时依赖在线信息和离线信息可能会降低最终AP@50值, 原因可能如下.首先, 这类方法通常涉及一组复杂的超参数, 这些超参数需要微调, 难以推广至其它任务中.其次, 基于离线标准和在线标准建立双重标准, 增加网络训练的协调难度.ALO均衡分配损失权重, 优先考虑匹配锚点较少的目标, 这部分目标集中在Hard子集上, 在该子集上实现约3%的性能提升.值得注意的是, 由于Easy、Medium子集包含匹配更多锚点的目标, AP@50值出现轻微下降, 这一现象验证传统标签分配中锚点匹配不均衡导致的优化偏差问题.实验表明, ALO通过动态且细粒度地调整每个目标的训练损失, 有效提升整体检测精度.

3.4.1 锚点损失优化算法

在分类损失函数、定位损失函数、关键点损失函数和交并比感知损失函数中选择性地移除ALO, 评估这些调整对FALO性能的影响, 结果如图9所示.由图可见, 在所有调整中, 定位损失的调整对整体准确率的影响最显著, 而关键点损失的调整对整体准确率的影响相对较小.定位损失和交并比感知损失的调整均有助于提升3个子集的准确率.关键点损失和分类损失的调整虽然导致Easy、Medium子集的准确率轻微下降, 但提升Hard子集的准确率, 从而提高整体准确率.总之, ALO在各类检测任务中都有效提升准确率, 展现出良好的鲁棒性.

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 ALO消融实验结果Fig.9 Ablation experiment results of ALO

3.4.2 上下文特征融合模块

为了进一步探究融合模块和上下文模块相对位置对FALO性能的影响, 设计两种类型的上下文特征融合模块(CFF):上下文模块位于融合模块之前的记为A0, 反之记为A1.

两个模块位置改变后的消融实验结果如表3所示.由表可见, A1模块的AP@50总体高于A0模块.在A0模块中, 上下文模块紧邻主干网络, 本质上相当于在主干网络上增加一个类似残差连接的上下文模块, 对多尺度的特征挖掘作用较小.在A1模块中, 主干网络输出的特征经过跨尺度融合之后, 使用上下文模块能进一步扩大融合后特征图的感受野, 从而提高检测准确率.

表3

Table 3

表3(Table 3)

表3 融合模块与上下文模块相对位置改变后的消融实验结果 Table 3 Ablation experiment results after changing relative positions of fusion module and context module % 模块 Easy Medium Hard ALL A0 92.50 90.44 77.09 81.23 A1 93.15 90.75 76.90 81.28

表3 融合模块与上下文模块相对位置改变后的消融实验结果 Table 3 Ablation experiment results after changing relative positions of fusion module and context module %

3.4.3 超参数α

ALO仅有一个超参数α , 对α 进行消融实验, 评估其对FALO性能的影响, 具体AP@50值如表4所示.由表可见, α 值从+∞ 逐渐减少为2时, AP@50值逐渐上升, 但之后由于损失调整剧烈, AP@50值开始下降, 由此可见, 调整应当适度.由式(1)和式(2)可知, 当α 取值+∞ 时, ALO输出为1, 即与原损失保持一致.当α =2时, 尽管部分子集上AP@50值略有降低, 但是整体AP@50值最高, 这在ALO应用时提供一个较好的选择.

表4

Table 4

表4(Table 4)

表4 α 不同对FALO性能的影响 Table 4 Effect of α on FALO performance % α Easy Medium Hard ALL 0.75 86.77 85.14 77.48 79.38 1.0 89.65 87.62 77.99 80.71 1.5 90.57 88.33 77.41 80.64 2.0 91.19 88.99 77.31 80.81 2.5 91.27 89.22 76.98 80.68 3.0 91.48 89.20 76.63 80.48 +∞ 91.66 89.40 74.64 79.27

表4 α 不同对FALO性能的影响 Table 4 Effect of α on FALO performance %

3.4.4 多模块效果分析

在MobileNet-0.25、ResNet50主干网络上评估ALO、CFF、SAB模块的性能, 并从不同主干网络的角度分析FALO的有效性, 结果如表5所示.表中, 第1行和第6行数据为未使用各模块的基线方法(见3.1节), MST(Multi Scale Test)表示将图像的最长边缩放至(500、800、1 100、1 400、1 700)进行多尺度测试.

表5

Table 5

表5(Table 5)

表5 各模块消融实验结果 Table 5 Ablation experiment results of different modules 主干网络 ALO CFF SAB MST Easy Medium Hard ALL - - - - 91.66 89.40 74.64 79.27 - √ - - 93.15 90.75 76.90 81.28 MobileNet-0.25 - √ √ - 93.63 91.18 77.90 82.03 √ √ √ - 92.64 90.41 79.83 82.95 √ √ √ √ 92.29 90.50 85.13 86.04 - - - - 95.64 94.73 85.61 88.12 - - √ - 95.65 94.84 86.53 88.70 ResNet50 - √ √ - 95.67 94.75 86.83 88.93 √ √ √ - 95.39 94.44 87.97 89.57 √ √ √ √ 96.28 95.61 91.82 92.57

表5 各模块消融实验结果 Table 5 Ablation experiment results of different modules

由表5可见, FALO-M在Easy、Medium、Hard子集和ALL上的AP@50值分别提升0.63%、1.10%、10.49%和6.77%.FALO-R的AP@50值则分别提升0.45%、0.88%、6.21%、4.45%.ALO尽管其在Easy、Medium子集上的AP@50值略有下降, 但仍有效提高ALL和Hard子集的AP@50值, 表示其对整体检测性能具有积极作用.CFF能充分融合不同尺度的特征, 提高3个子集上的AP@50值.SAB在训练过程中引入更多的监督样本, 并通过自注意力机制学习不同纵横比的特征, 在不增加推理开销的前提下, 使检测器能更有效地学习特征, 提升AP@50值.

在WIDER FACE数据集上, Hard子集包含最丰富的人脸样本, 涵盖Easy、Medium子集的样本类型, 因此能更全面反映检测器的整体性能.

如图10所示, FALO在世界上最大的自拍照片上进行可视化.以ResNet50为主干网络, 检测的置信度阈值为0.2, 图中共有1 151张人脸, FALO检测出993张人脸, 包括许多肉眼难以分辨的低分辨率人脸目标.

图10

Fig.10

	Figure Option ViewDownloadNew Window
	图10 FALO在世界上最大的自拍照片上检测的人脸Fig.10 Faces detected by FALO in the world's largest selfie photo

基于MobileNet-0.25检测器对同幅图像生成不同特征的类激活图如图11所示.由图可见, FALO-M不仅能有效感知不同尺度的人脸, 还能显著区分背景类和目标类.

图11

Fig.11

	Figure Option ViewDownloadNew Window
	图11 不同特征的类激活图Fig.11 Class activation maps of different features