本文提出无锚框关键点与注意力机制结合的自适应孪生网络目标追踪方法(AAASiam), 结构如图1所示.首先, 通过孪生大核卷积注意力子网络提取当前帧图像(搜索图像)和参考帧图像(模板图像)中的特征信息, 进行互卷积操作, 计算相似度, 判断当前帧图像中是否包含参考帧图像中的待追踪目标.如果当前帧图像中不包含待追踪目标, 跳过5帧图像并重新初始化; 若包含待追踪目标, 无锚框多关键点模块会学习当前帧图像中目标的多关键点进行定位.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 AAASiam结构图Fig.1 Structure of AAASiam

本文选择使用ResNet作为孪生大核卷积注意力子网络的骨干网络.ResNet 通常在大规模的图像数据集上进行预训练, 如 ImageNet.这种预训练使ResNet 学到通用的图像特征表示, 具有较强的泛化性.当ResNet作为骨干网络应用于孪生大核卷积注意力子网络时, 这些预训练的参数可提供良好的初始化, 加速网络的收敛速度, 提高性能.

无锚框多关键点模块首先会根据目标的中心点回归第一阶段的关键点, 再根据第一阶段的关键点, 采用最大-最小转换函数产生一个预测框, 并根据标签, 使用第一阶段的预测框进行目标追踪的训练.之后是第二阶段关键点的定位损失训练, 即在第一阶段得到的关键点的基础上通过可变形卷积继续回归, 再次得到偏移量, 产生更贴近目标的定位.重复上述操作, 并同时采用两组可变形卷积, 得到关于目标的多关键点, 通过自适应学习权重系数模块(Adaptive Learning Weight Coefficient, ALWC)筛选更准确的关键点.

自适应学习权重系数模块会根据损失函数不断反向传播, 更新第一阶段关键点与第二阶段关键点的权重系数, 用于保证关键点的准确性.最后, 将得到的更准确的关键点转换成预测框, 完成目标的最终定位.

注意力机制通过模仿人类视觉和认知系统的方式, 使深度学习模型选择性地关注输入中的重要信息, 提高模型的泛化能力.其中, 以ViT(Vision Trans- former)^[20]为代表的自注意力机制在计算机视觉中开辟新的方向, 突破传统卷积神经网络无法关注全局信息的局限, 并在多种视觉任务中表现出色^[21].

自注意力机制通过计算元素之间的相对重要性捕捉长距离依赖关系, 但随着序列长度的增加, 计算复杂度显著上升, 对具有实时性要求的任务构成挑战.传统的卷积操作能较好地捕获局部信息, 但受限于感受野尺寸, 可能会忽略全局信息.通过增大卷积核以扩展感受野可捕获更多的全局信息, 但也增加模型复杂度和训练难度.

基于上述分析, 本文在孪生子网络的主干网络中集成大核卷积注意力, 帮助神经网络提取全局特征^[22].大核卷积注意力将标准大卷积分解为深度卷积^[23]、深度扩张卷积^[24]和逐点卷积^[25]三个独立的卷积操作, 实现广泛的感受野, 同时大幅减少计算量, 具体网络结构如图2所示.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 大核卷积注意力网络结构Fig.2 Structure of large-kernel convolutional attention network

标准大卷积分解方法如下.将一个 K× K的标准大卷积核分解为一个 Kd× Kd的深度扩张卷积、一个(2d-1)× (2d-1)的深度卷积, 一个1× 1的逐点卷积, 其中d为扩张率.这种分解方式可理解为采用不同大小的感受野覆盖整幅图像, 代替原有标准大卷积核的感受野.

卷积核为13× 13的标准大卷积与大核卷积注意力分解之后3种卷积操作的参数量之和的对比结果如表1所示.表中输入通道均为RGB3通道, 扩张率为3. 由表可见, 卷积核为13× 13标准大卷积的参数量是大核卷积注意力分解之后的参数量之和的4.2倍, 进一步验证这种分解方法有助于减少参数量和计算复杂度, 允许模型捕获更广泛的感受野和自适应关注输入数据中的重要部分.

表1

Table 1

表1(Table 1)

表1 不同卷积的参数量对比 Table 1 Comparison of the number of parameters for different convolutions 卷积 输出通道 64 128 256 标准大卷积 32448 64896 129792 大核卷积注意力 7680 15360 30720

表1 不同卷积的参数量对比 Table 1 Comparison of the number of parameters for different convolutions

大核卷积注意力结合自注意力机制和卷积操作的优点, 避免二者的不足.深度卷积在输入数据的通道维度上进行卷积, 捕获局部信息.深度扩张卷积引入扩张率, 获得更大的感受野, 捕获全局信息.逐点卷积用于整合之前两部分卷积的输出, 自适应学习和选择性关注输入中的重要信息.

孪生大核卷积注意力子网络结构图如图3所示.搜索图像与模板图像在经过孪生大核卷积注意力子网络提取特征后^[26], 分别生成特征图F₁、F₂.二者进行互卷积操作以计算相似度, 生成一个响应图, 其中每个像素值都表示搜索图像中对应位置与模板图像的相似度.然后, 在响应图中找到最大值, 该最大值对应的位置即为目标对象在搜索图像中的估计位置.通过这种方式, 孪生大核卷积注意力子网络能在特征空间中量化模板图像和搜索图像之间的相似度, 判断当前帧图像中是否包含待追踪目标.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 孪生大核卷积注意力子网络结构Fig.3 Structure of Siamese large-kernel convolutional attention subnetwork

有锚框(Anchor-Based)方法和无锚框(Anchor-Free)方法是两种不同的目标追踪方法^[27], 区别在于是否使用预定义的锚框匹配真实框.

在传统的有锚框方法中, 效果往往受限于锚框的配置参数, 如锚框大小、正负样本采样和锚框宽高比等.这要求开发者深入了解数据, 正确配置锚框参数, 从而训练得到一个较好的模型.同时, 有锚框方法会产生大量预定义的锚框, 需要通过NMS(Non-maximum Suppression)^[28]去除高度重叠的候选框, 保留置信度最高的框.最后, 使用分类器对筛选后的候选框进行目标分类, 判断每个框内是否包含目标, 并预测目标类别.这一系列操作无疑增加计算量和内存消耗, 降低追踪的实时性.

与之相比, 无锚框方法无需配置锚框参数, 即可训练得到一个较好的模型, 并减少训练前对数据复杂度的分析过程, 也不需要生成预定义的锚框, 从而大幅降低计算复杂度.

因此, 本文提出无锚框多关键点模块, 完成对追踪目标的精准定位工作, 模块结构如图4所示.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 无锚框多关键点模块结构图Fig.4 Structure of anchor-free multi-RepPoints module

关键点是一组点集, 可通过约束目标空间范围的方式在目标上自适应定位, 并指示语义上重要的局部区域.首先, 中心点作为目标的原始表示, 通过回归中心点上的偏移量得到第一阶段关键点.然后, 通过两组可变形卷积^{[29, 30]}自适应学习第二阶段关键点的偏移量, 得到第二批关键点的位置.可变形卷积计算过程如图5所示.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 可形变卷积计算过程Fig.5 Computing process of deformable convolution

通过一个卷积层获得偏移量, 输入特征图后输出偏差.生成通道维度是2N, 其中的2分别对应X、Y方向的偏移量, N表示关键点的个数.整个过程一共有两种卷积核:标准卷积核和学习偏移量卷积核, 这两种卷积核通过双线性插值反向传播同时进行参数更新.图4中蓝点为初始关键点的预测位置, 黄点为基于偏移量进行精细调整后的最终关键点位置, 通过拼接得到目标的多关键点.

多关键点模块可表示为

R={(xk, yk)}k=1N

其中, x_k、y_k分别为第k个关键点的横纵坐标, N表示使用的关键点数量, 本文中默认为18.

通过可变形卷积学到的预测偏移量设为Δ x_k与Δ y_k, 故Rep的细化表示如下:

Rr={(xk+Δxk, yk+Δyk)}k=1N.

最后, 采用最大-最小转换函数将关键点转换为预测框.该转换函数通过确定预测框的左下角和右上角的点, 生成一个可包含所有关键点的最小矩形框.通过Smooth L1 损失函数^[31]计算预测框与真实框之间的Loss值.

SmoothL1损失表达式如下:

L(x)=12x2, |x|≤1|x|-12, |x1

其中x表示预测值与真实值之间的差值.当|x|≤ 1时Smooth L1损失函数退化为平方损失; 当|x|> 1时Smooth L1损失函数退化为绝对值损失.因此Smooth L1损失函数可有效处理预测值与真实值之间的较大差异, 同时避免在接近0时的数值不稳定性.

无锚框多关键点模块采用两组可变形卷积自适应学习目标的关键点, 这些点集往往可描述物体的轮廓并将其与背景区分.每组可变形卷积可学习9个关键点, 通过对两组可变形卷积的结果进行拼接, 得到关于目标对象的多关键点.

同时, 本文也对比只使用一组可变形卷积及使用三组可变形卷积的结果.实验表明, 使用18个关键点结果优于9个关键点和27个关键点, 特别是在追踪纹理丰富或边缘形状复杂的目标时, 效果更明显.

无锚框多关键点模块结构如图6所示.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 无锚框多关键点模块结构Fig.6 Structure of anchor-free multi-RepPoints module

无锚框多关键点模块整体框架基于全卷积网络, 但与其它单阶段方法不同, 采用两次回归与一次分类, 确定最终的目标位置.此外, 分类和最后一次回归阶段采用可变形卷积, 允许卷积核在不同位置进行自适应的变形采样.

在训练过程中, 由第一次回归得出可变形卷积的偏移量, 因此偏移量是有监督的.这些偏移量可根据输入数据的特征动态调整卷积核的形状和位置, 从而确保特征质量和准确性.

由于引入大核卷积注意力与无锚框多关键点模块, AAASiam取得良好结果.然而, 通过多次实验发现, 结果存在一定的上下浮动.这是因为通过无锚框多关键点模块获取的多关键点, 最终被转换成预测框, 也就是说, 关键点位置的预测结果直接决定预测框的位置以及后续的追踪效果.虽然无锚框多关键点模块通常有助于更好地定位目标, 因为多关键点信息有利于描述物体的内部及轮廓边缘, 但在某些情况下也可能会带来负面效果, 即某些关键点可能会偏离目标对象, 对后续的目标定位和追踪产生极大影响.

因此, 本文提出自适应学习权重系数模块(ALWC), 负责整合无锚框多关键点模块学到的多关键点, 保留对目标描述更准确的关键点并转换成预测框, 从而提升目标追踪的精准度和鲁棒性.

无锚框多关键点模块采用两次回归定位目标的多关键点.第一次回归预测多关键点的初始位置, 第二次回归在第一次回归的基础上进行偏移, 定位多关键点的最终位置.因此, 第一次回归预测的关键点位置至关重要.为此神经网络新增两个权重信息:初始关键点位置权重和最终关键点位置权重.初始关键点位置权重系数设为0.8, 最终关键点位置权重系数设为0.2.

通过权重乘和的方式, 可以得到更准确的关键点信息, 并不断通过优化器随训练一起学习, 自适应更新权重系数并进行反向传播, 以优化关键点预测结果.

为了验证AAASiam的有效性, 选择在ImageNet数据集上训练模型, 并在VOT2019、VOT-2016、TC-128、OTB100数据集^[32]上进行测试和验证.图7为VOT2019数据集上具有代表性的图像.

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 VOT2019数据集图像示例Fig.7 Image examples from VOT2019 dataset

本文设定批次大小为32, 轮次为20, 学习率为0.38, 优化器使用随机梯度下降对模型进行训练.实验环境为pytorch1.10, python3.8, cuda11.3, gcc-8.1.0.同时, 采用随机裁剪、颜色扭曲、随机缩放、随机翻转和随机旋转等图像增强策略^[33], 提升目标追踪的性能和鲁棒性.

测试评价指标选择精准度、鲁棒性、平均期望重叠率(Expected Average Overlap, EAO)和每秒帧数(Frames per Second, FPS).

根据追踪算法预测的目标边界框和标注的真实边界框面积重叠率计算得到精准度, 数值越大, 算法追踪效果越优.首先计算第i个追踪器第 t 帧的重叠率:

${{\phi }_{t}}(i)=\frac{1}{{{N}_{rep}}}\underset{k=1}{\overset{{{N}_{rep}}}{\mathop \sum }}\, \left( \frac{A_{t}^{k}\cap B_{t}^{k}}{A_{t}^{k}\cap B_{t}^{k}} \right)$,

其中, Atk、 Btk分别表示第t帧第k次重复得到的预测边界框和真实边界框, ∩ 和∪ 分别表示预测边界框和真实边界框面积的交集和并集, N_rep表示重复次数.故第i个追踪器在该视频序列的精准度为:

${{\rho }_{A}}(i)=\frac{1}{{{N}_{valid}}}\underset{t=1}{\overset{{{N}_{valid}}}{\mathop \sum }}\, {{\phi }_{t}}(i)$,

其中N_valid表示该视频序列的长度.

鲁棒性用于评价追踪器追踪目标稳定性, 数值越小, 追踪算法的稳定性越优.计算公式如下:

${{\rho }_{R}}(i)=\frac{1}{{{N}_{rep}}}\underset{k=1}{\overset{{{N}_{rep}}}{\mathop \sum }}\, F(i, k)$,

其中F(i, k)表示第i个追踪器重复k次时失败次数.

根据准确性和鲁棒性计算得到EAO, 可用于评价跟踪算法的综合性能.首先依据长度对全部视频序列分组, 再令跟踪器在序列长度为N_s的视频上运行算法, 获得序列准确率:

${{\Phi }_{{{N}_{s}}}}=\frac{1}{{{N}_{s}}}\underset{i=1}{\overset{{{N}_{s}}}{\mathop \sum }}\,{{\Phi }_{i}}$.

追踪器在所有长度为N_s的序列上的EAO值:

$\hat{\Phi }=\frac{1}{{{N}_{h}}-{{N}_{l}}}\underset{{{N}_{s}}={{N}_{l}}}{\overset{{{N}_{h}}}{\mathop \sum }}\, \hat{\Phi }{{~}_{{{N}_{s}}}}$.

最后计算其它长度的视频序列EAO值, 假设序列长度范围为[N_l, N_h], 求得追踪器的EAO值:

$\hat{\Phi }=\frac{1}{{{N}_{h}}-{{N}_{l}}}\underset{{{N}_{s}}={{N}_{l}}}{\overset{{{N}_{h}}}{\mathop \sum }}\, \hat{\Phi }{{~}_{{{N}_{s}}}}$.

为了验证大核卷积注意力、无锚框关键点模块、无锚框多关键点模块、自适应学习权重系数模块对目标追踪的影响, 进行消融实验, 选择SiamRPN++^[17]作为基线方法, 观察每个模块对方法追踪结果的影响.具体消融实验结果如表2所示, 表中黑体数字表示最优值.

表2

Table 2

表2(Table 2)

表2 各模块消融实验结果 Table 2 Ablation experiment results of different modules 模型 大核卷积注意力 无锚框关键点 模块 无锚框多关键点 模块 自适应权重系数 模块 精准度 鲁棒性 EAO SiamRPN++ - - - - 0.582 0.557 0.258 SiamRPN++_1 √ - - - 0.587 0.477 0.266 SiamRPN++_2 - √ - - 0.589 0.522 0.266 SiamRPN++_3 √ √ - - 0.595 0.496 0.282 SiamRPN++_4 - - √ - 0.609 0.478 0.281 SiamRPN++_5 √ - √ - 0.611 0.467 0.288 SiamRPN++_6 √ - √ √ 0.618 0.455 0.311

表2 各模块消融实验结果 Table 2 Ablation experiment results of different modules

由表2可见, 相比SiamRPN++, 同时添加大核卷积注意力和无锚框关键点模块之后, 精准度提升1.3%, EAO提升2.4%, 鲁棒性同时也降低6.1%.由于自适应学习权重系数模块仅用于整合优化无锚框多关键点模块学到的结果, 故不能单独使用, 也不能与关键点模块或大核卷积注意力同时使用.相比SiamRPN++, AAASiam的精准度提升3.6%, EAO提升5.3%, 鲁棒性降低11.2%.鲁棒性的降低可有效避免追踪失败的问题.同时, 分别单独添加大核卷积注意力、无锚框关键点模块与无锚框多关键点模块, 发现无锚框多关键点模块在各项指标上都取得更优值, 这表明无锚框多关键点模块可帮助方法更好地追踪目标.

为了进一步验证AAASiam的检测性能, 选择多种对比方法:ATOM^[10]、SiamRPN^[13]、DaSiamRPN^[14]、SiamMask^[16]、SiamRPN++^[17]、DiMP^[34]、PrDiMP(Pro-babilistic DiMP)^[35]、SiamBAN(Siamese Box Adaptive Network)^[36]、ViPT(Visual Prompt Multi-Modal Tracking)^[37]、文献[38]方法、基于元循环优化的多尺度感知孪生网络目标跟踪方法(Meta-cyclic Optimiza-tion Based Multiscale Perceptual Siamese Networks Method for Object Tracking, SiamMP-Meta)^[39]、MEEM(Multiple Experts Entropy Minimization)^[40]、Struck^[41]、IKPCA-KCF(Incremental Kernel Principal Component Analysis-Based Kernelized Correlation Filter)^[42]、ALPCA^[43]、ECO^[44]、文献[45]方法、文献[46]方法.

各方法在VOT2019数据集上的指标值结果如表3所示, 表中SiamMRep为使用27个关键点的AAASiam, 黑体数字表示最优值.

表3

Table 3

表3(Table 3)

表3 各方法在VOT2019数据集上的测试结果对比 Table 3 Result comparison of different methods on VOT2019 dataset 方法 精准度 鲁棒性 EAO FPS ATOM 0.603 0.477 0.292 62 DiMP 0.606 0.463 0.304 50 PrDiMP 0.615 0.457 0.309 45 SiamRPN++ 0.582 0.557 0.258 55 SiamMask 0.580 0.482 0.288 42 DaSiamRPN 0.575 0.512 0.267 65 SiamMRep 0.577 0.431 0.260 60 SiamBAN 0.609 0.452 0.302 52 ViPT 0.612 0.443 0.307 40 文献[38]方法 0.604 0.487 0.303 55 SiamMP-Meta 0.609 0.464 0.302 33 AAASiam 0.618 0.455 0.311 66

表3 各方法在VOT2019数据集上的测试结果对比 Table 3 Result comparison of different methods on VOT2019 dataset

由表3可知, SiamMRep的鲁棒性很好但精准度和EAO并不理想.这是因为SiamMRep使用27个关键点描述目标, 增加训练过程的计算复杂度, 需要处理大量的关键点, 导致网络无法收敛或需要更多的训练轮次.因此, 这些关键点可能会在网络学习过程中偏离目标, 根据最大-最小函数, 这会导致最后生成的预测框大小超出目标实际真实框.而在VOT-2019数据集上, 根据目标追踪失败的次数衡量鲁棒性, 大的预测框容易与目标的真实框重叠, 因此可能被错误认为是成功追踪, 但这在实际应用中并不理想.

此外, SiamRPN++、SiamMask、SiamBAN 等孪生目标追踪方法的EAO值较优, 但由于引入目标检测或目标分割的组件, 在速度方面的表现并不突出.

各方法的EAO气泡图如图8所示.由图可知, AAASiam气泡面积最大, 这表明其在相同环境下能更快地对目标进行追踪的同时保持较高的EAO值.

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 EAO的气泡图Fig.8 Bubble chart of EAO

DaSiamRPN、SiamRPN++、SiamMask、SiamRPN++_3(见2.3节)和AAASiam追踪可视化结果如图9所示.在图中, 绿框为标注框, 黄框为预测框.由图可看出, AAASiam的预测框较贴合目标的标注框, 由此表明其追踪目标时的准确性.

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 各方法在VOT2019数据集上追踪可视化结果Fig.9 Visualization results of tracking by different methods on VOT2019 dataset

此外, 还在VOT2016、TC-128、OTB100数据集上进行单独评估, 各方法在VOT2016数据集上的测试结果如表4所示, 在TC-128数据集上的测试结果如表5所示, 表中黑体数字表示最优值.各方法在OTB100数据集上的追踪成功率对比如图10所示.

表4

Table 4

表4(Table 4)

表4 各方法在VOT2016数据集上的测试结果对比 Table 4 Test result comparison of different methods on VOT2016 dataset 方法 精准度 鲁棒性 EAO FPS ATOM 0.617 0.190 0.424 75 DiMP 0.626 0.153 0.440 67 PrDiMP 0.643 0.140 0.476 65 SiamRPN++ 0.619 0.163 0.441 68 SiamMask 0.623 0.233 0.412 76 DaSiamRPN 0.610 0.220 0.411 80 SiamMRep 0.592 0.125 0.266 72 SiamBAN 0.627 0.144 0.491 67 ViPT 0.648 0.141 0.482 50 文献[38]方法 0.607 0.169 0.467 60 SiamMP-Meta 0.617 0.220 0.406 41 AAASiam 0.649 0.135 0.490 82

表4 各方法在VOT2016数据集上的测试结果对比 Table 4 Test result comparison of different methods on VOT2016 dataset

表5

Table 5

表5(Table 5)

表5 各方法在TC-128数据集上的测试结果对比 Table 5 Test result comparison of different methods on TC-128 dataset. 方法 精准度 成功率 SiamRPN 0.675 0.526 MEEM 0.596 0.458 Struck 0.569 0.441 IKPCA-KCF 0.513 0.384 ALPCA 0.487 0.380 ECO 0.740 0.597 文献[45]方法 0.694 0.551 文献[46]方法 0.391 0.312 ViPT 0.721 0.583 SiamRPN++ 0.712 0.573 AAASiam 0.744 0.599

表5 各方法在TC-128数据集上的测试结果对比 Table 5 Test result comparison of different methods on TC-128 dataset.

图10

Fig.10

	Figure Option ViewDownloadNew Window
	图10 各方法在OTB100数据集上追踪成功率对比Fig.10 Tracking success rate comparison of different methods on OTB100 dataset

由表4、表5和图10可知:在VOT2016数据集上, 相比SiamRPN++, AAASiam精准度提升3.0%, EAO值提升4.9%, 鲁棒性降低2.8%, 同时FPS也提升19, 提升目标追踪的实时性.在OTB100、TC-128数据集上, 相比SiamRPN++, AAASiam成功率也分别提升1.0%与2.6%.这表明AAASiam在其它数据集上依然表现良好.