YOLOv5通过多尺度特征融合网络整合不同层级的特征图, 使用一种特征金字塔结构融合网络底层到高层的特征, 以此提供丰富的上下文信息和多尺度感知能力^[21], 并通过1/8、1/16、1/32三个比例尺度的检测头共同检测不同尺度目标.

然而YOLO对航拍图像中的大量小目标并不敏感, 因为小目标通常具有较少的像素信息, 在YOLO中经过多次下采样操作后丢失信息过多.深层网络较大的感受野对小目标不敏感, 而浅层网络通常具有较小的感受野, 可捕捉图像中更细节化的信息.Zhu等^[22]提出TPH-YOLO(Transformer Prediction Head YOLOv5), 在YOLO中增加小目标检测层, 有效提高网络对小目标的检测能力, 然而小目标检测层的添加导致网络复杂度和计算量增加, 额外的上采样操作使网络丢失更多的细节信息.

因此本文改进YOLOv5网络结构, 减少网络中的下采样操作以减缓特征图尺寸的下降速度.具体地, 将主干网络中最后一次步长为2的卷积操作修改为步长为1的卷积操作, 并修改多尺度特征融合网络结构, 如图3所示, 在多尺度特征融合网络中通过Concat模块融合主干网络中浅层特征图信息, 在保持网络深度不变的情况下提高网络获取的特征图尺度.本文在无人机航拍目标检测数据集上的实验发现, 当不断降低YOLO中大尺度检测头及中尺度检测头获取特征图通道数时, 对最终训练好的模型精度并未产生较大影响, 说明YOLO中的大尺度检测头甚至中尺度检测头在进行无人机航拍目标检测时工作效率较低.而经过本文对多尺度特征融合网络的改进, 原网络中进行大、中、小三个尺度目标检测的检测头现在将进行中、小、微小三个尺度的目标检测, 在提高网络工作效率的同时使网络能更好地捕捉小目标的细节信息.

网络中下采样操作的减少同时会导致网络感受野的降低, 可能会丢失一部分上下文信息.无人机航拍图像中目标除了尺寸较小以外, 还容易被复杂的背景干扰, 如密集的建筑物、树木、道路等, 这些背景元素可能与小目标在颜色、纹理等方面相似.在某些场景中, 小目标的分布还可能不均匀, 可能会出现集中在某个区域的情况, 这使目标检测算法很难准确区分背景和小目标.

因此, 本文引入PfAAM(Parameter-Free Average Attention Module)^[23], 增强目标的区分度, 减少背景的干扰, 提高目标检测的准确性和定位精度.PfAAM包含空间注意力和通道注意力两部分, 空间注意力(A_sp)与通道注意力(A_ch)的计算公式如下:

$ \begin{array}{l} A_{s p}\left(x_{H \times W}\right)=\frac{1}{C} \sum_{i=1}^{C} x_{H \times W}(i), \\ A_{c h}\left(y_{C}\right)=\frac{1}{H \times W} \sum_{i=1}^{H} \sum_{j=1}^{W} y_{C}(i, j), \end{array}$

其中x_{H× W}、y_C分别表示每个空间及通道上的元素.PfAAM的空间注意力部分沿输入特征图的每个通道进行平均计算, 降低特征图维度, 生成特征图的每个元素表示跨通道的平均值, 从而突出高激活的空间区域并抑制低激活的空间区域.同理通道注意力部分沿特征图的空间维度进行平均计算, 突出检测到特征的高激活值通道, 抑制低激活通道带来的影响, 进一步增强网络对特征的提取能力.

由于PfAAM仅基于输入特征图的平均计算改善网络性能, 因此并未引入其它可训练参数或超参数, 符合本文对于网络轻量化要求, 通过实验验证, PfAAM可为航拍小目标检测提供更好的性能.

IoU损失函数用于衡量预测的边界框与实际目标边界框之间的重叠度.IoU损失函数在训练模型时起关键作用, 有助于模型学习准确的边界框位置.YOLOv5在训练过程中采用CIoU(Complete IoU)损失函数衡量预测框和真实框之间的差异.相比传统的IoU损失函数, CIoU损失函数考虑预测框和真实框之间的位置偏移和尺寸偏移, 能更准确地评估目标检测的准确性.CIoU损失函数的公式如下:

L_CIoU=1-IoU+ ρ2(b, bgt)c2α v,

其中, ρ ²(b, b^gt)为预测框与真实框之间的距离, v为两框纵横比影响因子,

$ v=\frac{4}{\pi^{2}}\left(\tan ^{-1}\left(\frac{w_{g t}}{h_{g t}}\right)-\tan ^{-1}\left(\frac{w}{h}\right)\right)$

w_gt、h_gt分别为真实框的宽和高, w、h分别为预测框的宽和高.然而当预测框与真实框的宽度和高度呈线性比例时, 纵横比影响因子v=0, 此时纵横比差异不会对回归优化产生影响, 导致模型在优化过程中无法充分学习并调整预测框的尺寸.因此本文采用EIoU(Efficient IoU)损失函数进行改进, 并通过VariFocal Loss^{[24, 25]}机制聚焦优质锚框.EIoU的计算公式如下:

$ \begin{array}{l} L_{\mathrm{EIOU}}= \\ \qquad 1-I o U+\frac{\rho^{2}\left(b, b_{g t}\right)}{c^{2}}+\frac{\rho^{2}\left(w, w_{g t}\right)}{c_{w}^{2}}+\frac{\rho^{2}\left(h, h_{g t}\right)}{c_{h}^{2}}, \end{array}$

其中, c_w、c_h分别为预测框与真实框最小外接矩形的宽度和高度, 即将CIoU中的纵横比影响因子中宽度与高度分别进行计算, 从而加快收敛速度, 提升回归精度.同时, 由于航拍目标检测中正负样本不平衡, 图像中背景占大部分区域, 导致训练数据中负样本数量过多.因此本文进一步引入VariFocal Loss, 减少负样本在计算损失过程中的贡献, 公式如下:

$ \begin{array}{l} \operatorname{VEL}(p, q)= \\ \left\{\begin{array}{ll} -q(q \ln p+(1-q) \ln (1-p)), & q> 0 \\ -\alpha p^{\gamma} \ln (1-p), & q=0 \end{array}\right. \end{array}$

其中, p为IoU感知分类评分, q为目标得分, α 为可调节的比例因子.由上式可见, VariFocal Loss减少负样本(q=0)的损失贡献, 提升网络训练过程中对正样本的敏感度.

本文选取VisDrone公开无人机目标检测数据集^[11]对模型进行训练与测试.VisDrone数据集包含行人、人(非行走或站立状态)、自行车、汽车、货车、卡车、三轮车、遮阳篷三轮车、公共汽车及摩托车共10类.训练集包含6 471幅图像, 验证集包含548幅图像, 测试集包含1 610幅图像, 均采用无人机平台采集得到, 小尺寸目标(小于32像素)众多.VisDrone数据集上各实例的分布情况如图4所示, YOLOv5s的混淆矩阵如图5所示.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 VisDrone数据集实例分布Fig.4 Instance distribution of VisDrone dataset

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 YOLOv5s在VisDrone数据集上的混淆矩阵Fig.5 Confusion matrix of YOLOv5s on VisDrone dataset

从图4和图5可见, VisDrone数据集具有实例情况复杂、分布不均衡、类别混淆严重的特点, 是一个十分具有挑战性的数据集.

本文选取mAP@0.5与mAP@0.5:0.95作为模型精度的评价指标, mAP@0.5指每个类别计算IoU阈值为0.5时的平均精度均值, 而mAP@0.5:0.95指每个类别计算IoU阈值为0.5到0.95之间步长为0.05的多个mAP平均值.mAP具体计算公式如下:

$ \begin{array}{l} P=\frac{T P}{T P+F P}, \\ R=\frac{T P}{T P+F N}, \\ A P=\int_{0}^{1} P R \mathrm{dr}, \\ m A P=\frac{1}{N} \sum_{i=0}^{n} A P_{i}, \end{array}$

其中, P为精确率, R为召回率, AP为平均精度, TP为预测正确的正样本, FP为预测错误的正样本, FN为预测错误的负样本.同时本文选取模型规模、模型参数量评价模型复杂程度.

本文模型训练使用的操作系统为CentOS7, CPU为Intel Xeon Gold 6253CL@3.10 GHz, 显卡为Nvidia RTX 4090 24G, 采用深度学习框架pytorch 2.0.1版本搭建模型, 采用CUDA 12.0加速训练.训练过程中批次大小为16, 初始学习率为0.01, 训练轮次为300, 优化器采用Adam, 采用余弦退火算法调整学习率.

为了验证本文选取MobileNetV3作为特征提取网络的合理性与对MobileNetV3改进的有效性, 选择其它主流轻量化网络模型在同等条件下进行对比实验:YOLOv5s、MobileNetV3^[18]、ShuffleNet V2^[26]、GhostNet^[27]、GSConv^[28].

各模型对比实验结果如表1所示.由表可见, ShuffleNetV2具有更少的参数量和计算量, 但精度损失过大, 不能达到本文对航拍目标检测准确率的要求.GhostNet与GSConv性能相近, 虽然平均精度高于MobileNetV3, 但参数量与计算量下降较少, 不能达到本文对网络轻量化的要求.本文的研究目的在于提高网络精度的同时对网络进行轻量化处理.因此, 选择MobileNetV3作为新的主干网络更符合本文平衡精度与轻量化的要求.同时, 本文改进的MobileNetV3-CA的平均精度与模型复杂度均优于MobileNetV3, 可见本文对主干网络的改进合理有效.

表1

Table 1

表1(Table 1)

表1 各模型实验结果对比 Table 1 Comparison of experimental results among different models 模型 mAP@0.5/% mAP@0.5:0.95/% 参数量/M 浮点计算量/G 模型大小/MB FPS YOLOv5s 32.8 17.4 7.0 15.8 14.4 116 MobileNetV3 29.1 15.0 5.6 10.7 11.5 138 ShuffleNet V2 25.8 14.1 3.8 8.0 8.0 158 GhostNet 30.4 16.8 6.3 14.2 12.9 127 GSConv 30.7 16.9 6.3 14.2 12.9 127 MobileNetV3-CA 29.8 15.3 4.3 10.0 9.1 150

表1 各模型实验结果对比 Table 1 Comparison of experimental results among different models

为了验证本文提出的各个改进的有效性, 以YOLOv5s为基线模型, 在同等实验条件下设计一组消融实验, 所有实验均在VisDrone数据集上完成.

1)改进A.使用MobileNetV3-CA替换YOLOv5s的特征提取主干网络.2)改进B.在改进A的基础上, 使用调整后的网络结构改进多尺度特征融合网络.3)改进C.在网络中引入PfAAM.4)改进D.使用VariFocal Loss替换CIoU损失函数.

YOLOv5s添加不同改进后的消融实验结果如表2所示.由表可见, 使用改进的MobileNetV3-CA替换YOLOv5s主干网络, 虽然模型精度出现下降, 但参数量和计算量均大幅减少.进一步改进模型网络结构, 使模型的平均精度提升9.6%, 同时参数量也进一步下降, 但计算量出现提升, 这是因为网络结构的改进使网络层数减少、深度降低, 但同时导致网络计算特征图的尺度增加, 从而影响计算量.PfAAM的引入和VariFocal Loss的改进均未带来模型参数量和计算量的增加, 分别使模型mAP@0.5提升0.9%和1.3%, 表明引入PfAAM和VariFocal Loss的有效性.

表2

Table 2

表2(Table 2)

表2 各模型在VisDrone测试集上的消融实验结果 Table 2 Results of ablation experiments of different models on VisDrone test set 模型 mAP@0.5/% mAP@0.5:0.95/% 参数量/M 浮点计算量/G 模型大小/MB YOLOv5s 32.8 17.4 7.0 15.8 14.4 YOLOv5s+A 29.8 15.3 4.3 10.0 9.1 YOLOv5s+B 39.4 20.9 2.0 21.0 4.8 YOLOv5s+B+D 40.7 22.1 2.0 21.0 4.8 YOLOv5s+B+C 40.3 21.6 2.0 21.0 4.8 YOLOv5s+B+C+D(本文模型) 41.7 23.4 2.0 21.0 4.8

表2 各模型在VisDrone测试集上的消融实验结果 Table 2 Results of ablation experiments of different models on VisDrone test set

本文模型和YOLOv5s的精度与定位损失曲线如图6所示, 由图可见, 本文模型对目标位置和大小的预测更准确, 学习到更准确的边界框信息.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 改进前后模型精度与定位损失曲线对比Fig.6 Comparison of model accuracy and positioning loss curves before and after improvement

总之, 相比YOLOv5s, 本文模型的mAP@0.5提升8.9%, 参数量下降71.4%, 计算量增加5.2 G.改进后模型精度与复杂度均得到有效改善, 为模型在终端平台的部署提供可行性.

为了进一步验证本文模型的有效性, 与当前主流一阶段目标检测算法及学者们针对VisDrone数据集的改进性YOLO进行对比.对比模型包括:SSD、YOLOv5s、TPH-YOLO^[22]、 YOLOv7-tiny^[29]、YOLOv8n、YOLOv5sm+^[30]、基于多尺度分割注意力的无人机航拍图像目标检测算法(Multi-scale Split Atten-tion-YOLO, MSA-YOLO)^[31].

各模型在VisDrone数据集上的对比结果如表3所示.由表可见, 相比YOLOv5s、YOLOv7-tiny、YO-LOv8n, 本文模型虽然计算量分别提升5.2 G、7.7 G、12.9 G, 但mAP@0.5分别提升8.9%、5.8%、9.6%, 参数量分别下降71.4%、66.7%、33.3%, 模型规模分别下降66.7%、61.0%、23.8%, 具有检测性能上的优势.

表3

Table 3

表3(Table 3)

表3 各模型在VisDrone测试集上的对比结果 Table 3 Results of comparative experiments of different models on VisDrone test set 模型 mAP@0.5/% mAP@0.5:0.95/% 参数量/M 浮点计算量/G 模型大小/MB SSD 28.6 14.7 39.8 365.3 261.4 YOLOv5s 32.8 17.4 7.0 15.8 14.4 YOLOv7-tiny 35.9 18.6 6.0 13.3 12.3 YOLOv8n 32.1 18.4 3.0 8.1 6.3 YOLOv5sm+ 36.0 - - 30.8 - MSA-YOLO 34.7 - 54.21 146.1 108 TPH-YOLO 39.2 - - 259.0 - 本文模型 41.7 23.4 2.0 21.0 4.8

表3 各模型在VisDrone测试集上的对比结果 Table 3 Results of comparative experiments of different models on VisDrone test set

相比YOLOv5sm+、MSA-YOLO, 本文模型的mAP@0.5分别提升5.7%、7.0%, 计算量分别下降9.8 G、125.1 G.

相比目前针对VisDrone数据集的主流算法TPH-YOLO, 本文模型的mAP@0.5提升2.5%, 计算量下降238.0 G.由此可见, 本文模型检测性能整体上得到有效提高, 更适合边缘设备的部署.

为了对比本文模型与基线模型YOLOv5s的检测效果, 分别选取白天场景和夜晚场景的图像进行检测, 结果如图7所示.由图可见, 本文模型的漏检率明显减少, 如(b1)左下方的黑色摩托车, 在夜晚场景下特征模糊、边界不清晰, 导致YOLOv5s无法对其检测.但在(b2)中可见, 本文模型成功检测到此目标, 同时目标的检测精度也普遍高于YOLOv5s, 整体检测效果得到有效提升, 这进一步验证本文模型的有效性.

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 不同场景下各模型检测结果对比Fig.7 Detection result comparison of models in different scenes