本文提出基于动态语义聚类关系建模的目标跟踪方法(DSCTrack), 框架如图1所示.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 DSCTrack框架图Fig.1 Framework of DSCTrack

DSCTrack从初始帧截取模板z∈ RHz×Wz×3, 从当前帧截取搜索区域x∈ RHx×Wx×3, 其中, H_z、W_z表示模板的高和宽, H_x、W_x表示搜索区域的高和宽.两幅跟踪图像被划分为不相连的小块, 经过线性投影生成特征序列.

模板特征E_z∈ RNz×d, 搜索区域特征E_x∈ RNx×d, 其中, d表示特征维数, N_z、N_x表示序列数量.E_z和E_x包含位置嵌入, 从而附加图像的空间信息.混合特征序列

E=[E_z; E_x]∈ R(Nz+Nx)×d

被送入编码器, 联合执行特征提取和关系建模, 其中[; ]表示拼接操作.

编码器通过语义关系建模模块改进ViT(Vision Transformer)架构^[29], 交替堆叠Transformer基础层与语义关系建模层, 实现多粒度信息交互.基础层利用多头注意力机制和前馈网络更新输入的混合特征, 语义关系建模层重点增强混合特征中目标至目标、背景至背景的语义关联, 提取目标鉴别特征和背景关系.

语义关系建模模块接收前一层输出的混合特征向量作为输入, 根据动态语义聚类模块, 采用图神经网络捕捉特征向量之间的关联关系, 经过几轮聚合与消息传递, 多层感知机 (Multilayer Perceptron, MLP)层被用于预测每个特征向量所属的类别.输入特征被编码为图数据, 经GCNs(Graph Convolu-tional Networks)后, 通过MLP计算节点-簇相似度, 最终输出维度为N× G的软分配矩阵.该矩阵可被解释为节点属于各簇的对数概率, 通过arg max操作可获得硬聚类结果.根据预测的类别结果, 同簇内相似类别的语义特征向量执行自适应聚类.区别于传统Transformer直接点对点地交互所有特征向量, 语义引导的动态注意力在每个类别内部计算自注意力, 从而避免搜索区域和模板混合特征向量中目标-背景像素的跨语义关联.根据语义进一步细分特征向量类别, 增强搜索区域和模板中同类特征的语义一致性.生成的语义标签同步传输至背景消除模块.该组件评估不同类别的显著性, 动态消除搜索区域中非关键的背景特征, 保留高相关性语义信息, 用于后续特征更新和边界框预测, 在降低计算复杂度的同时提升判别性能.

在目标预测阶段, 对编码器输出的搜索区域特征标记进行空间维度解耦, 通过坐标映射重定位策略恢复原始二维特征结构.重构后的特征图输入卷积预测头, 最终实现端到端的边界框回归与置信度预测.DSCTrack逐帧预测目标位置和大小, 获得完整的视频跟踪轨迹, 在该过程中不更新初始模板.

给定目标模板z和当前搜索区域x, 目标跟踪可表示为对搜索区域中目标边界框b_x的预测, 即

b_x=ψ (ϕ (x; z)), (1)

其中, ϕ (· )表示特征提取网络, ψ (· )表示预测头.在单流范式中, 特征提取网络拼接z和x, 提取混合特征向量E, 并通过Transformer编码器层的多头自注意力机制(Multi-head Self-Attention, MHA)更新模板和搜索区域的特征.具体公式如下:

$\begin{align} & q=k=v=E=\left[ E_{z}^{O}; E_{z}^{B}; E_{x}^{O}; E_{x}^{B} \right] \\ & MHA\left( q, k, v \right)=\text{Softmax(}\frac{q{{k}^{T}}}{\sqrt{{{d}_{k}}}}\text{)}\cdot v \\ \end{align}$ (2)

其中, q、k、v分别表示多头注意力的查询向量、键向量和值向量, EzO、 EzB分别表示模板特征E_z中目标和背景, ExO、 ExB分别表示搜索区特征E_x中目标和背景.

基于式(2)的点积注意力qk^T, 上述特征交互过程同时集成自我关系和交叉关系的建模.例如: EzO( EzO)^T描述模板中目标的自我表示, 模板中的目标特征 EzO能通过 EzO( ExB)^T集成背景 ExB的信息.尽管注意力机制可抑制目标-背景非期望交互, 但背景中错误整合的目标语义容易引发特征混淆, 同时模板特征容易受背景噪声污染造成信息稀释.完全交互机制可能引发目标特征学习的欠优化问题.

为了缓解关系建模中的错误信息聚合, 可简单地将搜索区域特征E_x划分为目标 ExO和背景 ExB, 并限制背景 ExB参与关系建模, 以此缓解判别信息的损失.然而, 浅层特征语义难以准确划分目标和背景的高级语义, 并且背景特征关联关系的缺失造成鉴别信息的流失.为此, 设计语义关系建模模块, 细化关系建模过程.

在式(2)中, 特征向量间的注意力由向量间的点积相似性决定.因此, 在混合特征构成的特征空间中, 模板和搜索区域的近似语义特征向量彼此接近, 具有较大的注意力权重.如图2所示, 相同颜色表示接近的语义类别.在此基础上, 设置特征空间内的局部注意力能限制远距离特征向量的干扰, 并强化近距离特征的关系建模.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 搜索区域和模板在特征空间的局部语义关系对比Fig.2 Comparison of local semantic relation between search region and target template in feature space

给定模板和搜索区域的混合特征向量

E=[ EzO; EzB; ExO; ExB],

E能被划分为G个语义类别, 即

E=[E₁, E₂, …, E_G].

模板和搜索区域中隶属于目标的特征向量 EOl=[ EzO; ExO]共同持有G_O个类别, 隶属于背景的特征向量 EBl=[ EzB; ExB]包含余下的G_B个类别.

语义关系建模模块规则定义为:对于目标特征 EOl持有的G_O个类别, 第i类仅聚合模板 EzO和搜索区域 ExO中同类特征的信息.第i类特征向量为:

q=k=v= Eil, Eil, EilMHA(q, k, v), (3)

其中, i∈ [1, G_O], l表示当前编码器层数.

对于背景特征 EBl持有的G_B个类别, 第j类仅聚合模板 EzB和搜索区域 ExB内同类特征的信息, EBl中第j类特征向量为:

q=k=v= Ejl, Ejl, EjlMHA(q, k, v), (4)

其中j∈ [1, G_B].

根据式(3)和式(4), 语义关系建模模块的输出向量如下所示:

E^l+1=[E'^l_z; E'^l_x]+FFN([E'^l_z; E'^l_x]), (5)

其中,

E'^l_z =[ EzO; EzB], E'^l_x =[ ExO; ExB],

表示类内注意力的输出特征, FFN(· )表示前馈神经网络(Feedforward Neural Network).

式(5)从语义角度将目标或背景分为多种语义类别, 避免二元划分策略中的类别混淆.早期特征具有的图像高频信息和低级语义也为细化的分类提供依据, 类内信息聚合能有效减少判别信息的损失.同时, 关联特征空间的注意力机制建模模板与搜索区域中的背景特征, 可提高在目标变化时的判别能力.

实现语义关系建模的关键是合理准确的类别划分, 一些非参数化方法能基于特征向量本身信息执行聚类, 如DPC-KNN(Density Peaks Clustering Based on k-Nearest Neighbors)^[30].然而, 此类方法依赖传统的迭代策略, 需要预先手工设计聚类中心数量和迭代次数, 灵活性较差, 容易受初始参数选择的影响.此外, 在处理高维数据时, 此类方法的计算量较大, 在聚类中常忽略多个特征向量描述的图像局部关联.

因此, 本文设计动态语义聚类模块, 在每个特征层中, 通过各特征向量在空间中的局部关联关系, 端到端地自适应划分特征类别.

给定无向图Graph=(H, T), H表示无向图的节点, T表示无向图的边, 节点表示混合特征E中每个特征向量, 边表示节点之间的相关性.首先采用特征向量在Transformer中的键值投影k作为节点特征, 利用其丰富的物体细节信息^[31].无向图的边表示节点的边缘权重矩阵:

W=kk^T∈ R(Nz+Nx)×(Nz+Nx),

权重w_{u, v}表示节点E_u和E_v之间的相关性.与先前采用MHA(· )的注意力图qk^T建模的独立相关性^{[15, 24]}不同, 为了进一步捕捉特征之间局部关联信息, 利用GCNs在图中聚合与传递消息, 使用局部滤波器从节点的邻域中聚合信息.每个节点更新过程如下:

hml+1= ∑n∈N(m)Θ hnl|N(m)|,

其中, Θ 表示可训练参数矩阵, N(m)表示节点h_m的邻居, |N(m) |表示邻居个数.

通过求和运算符执行GCNs聚合, 求和运算符中的项表示消息传递操作.训练目标是优化网络参数Θ , 生成有意义的消息在节点间传递, 优化损失函数.

对具有权重矩阵W的图执行多次GCNs聚合操作后, 输出节点的特征矩阵 N︿.随后, N︿通过轻量级MLP和Softmax函数预测节点在特征空间中表示的语义类别.定义第i个搜索特征向量预测为第κ 个类别的概率:

$\tau_{i, \kappa}=\operatorname{Softmax}(\operatorname{MLP}(\widehat{N})) \in \mathbf{R}^{\left(N_{z}+N_{x}\right) \times K}$,

其中K表示类别最大数量.选择预测概率最高的类别作为向量的语义类别.

在实际计算中, 可根据关联矩阵W和节点特征 N︿自适应执行分类, 并允许出现一些类别不对应的特征向量, 从而实现自适应的聚类操作.判别性特征随着网络加深而增强^[25], 模型能自适应归纳特征类别数量, 提供更高的灵活性以处理不同层特征的情况, 应对目标在跟踪中的变化.

语义关系建模模块能在相应类别内更新特征.然而, 由于不同语义聚类的特征向量数量不一致, 无法并行计算多个类别的内部注意力.若分组执行内部注意力, 多次循环网络前向过程会显著减慢训练速度.

为此, 受掩码注意力思想^[25]的启发, 本文采用语义引导的动态注意力实现并行计算.当存在G个预测类别时, 分类结果被转换为独热向量D∈ {0, 1 }(Nz+Nx)×G, 每个特征向量在所属的类别中值为1, 否则值为0.然后, 构建注意力掩码矩阵:

m∈ {0, 1 }(Nz+Nx)×(Nz+Nx), mi_{, j=}Di_{, 0D}j_{, 0+}Di_{, 1D}j_{, 1+}…+Di_{, MD}j_{, M,}

m_{i, j}> 0表示特征向量E_i能按照语义关系建模模块规则从特征向量E_j中聚合信息.最后, 利用式(2)对所有特征之间的注意力进行合并计算, 并通过将注意力权重矩阵与注意掩码进行Hadamard乘积计算, 屏蔽类别外部的关联, 合并多个类内注意力为一个并行的注意力计算.

对上述过程进行计算复杂度分析.假设通过动态语义聚类模块将特征均匀划分为G个互斥类别, 每类独立计算自注意力, 从原始计算复杂度O(N²d)变为O(N²d/G), 降至原始的1/G.尽管分组的计算复杂度线性下降, 但在实际过程中, 掩码策略仍保留全局的注意力计算, 即计算复杂度为O(N²d), 通过屏蔽关联实验语义引导, 该部分保持与原始Transformer层相同的计算复杂度.

单流跟踪器利用搜索区域的全部像素执行特征提取, 基于式(2), 保留其中大量冗余背景会降低特征更新的计算效率, 还可能引入噪声.因此, 引入语义背景消除模块, 在特征提取和交互的过程中动态消除搜索区域内的部分冗余背景, 减少背景干扰, 提升跟踪速度.

如1.4节所述, 每个特征向量表示一块图像区域, 减少与目标语义最不相关的背景类别能排除冗余背景.给定模板中目标的真实值, 计算目标特征相对每个类别中心E_c的重要性得分S, 由此评估这些候选区域.从混合特征E中删除得分较低的候选区域, 不参与后续特征更新.搜索区域中第i个特征向量的重要性得分为:

S_i= 1Ngt∑j∈Ngtdist( Egtj, E_c), (6)

其中, N_gt表示真实值中包含目标特征向量的数量, dist(· )表示真实值第j个向量 Egtj与一个类别中心E_c的余弦相似度.

通过式(6)筛选k个低响应搜索特征并剪枝, 对上述过程进行计算复杂度分析.Transformer层的输入序列长度从N=N_z+N_x变为N=N-k, 单层自注意力计算复杂度从O(N²d)降至O((N-k)²d), 前馈网络计算复杂度从O(Nd²)降至O((N-k)d²).由于计算复杂度主要来源于二次复杂度的注意力计算, 将搜索特征保持比率定义为ρ =k/N , 消除其余候选特征以提高整体跟踪速度.此外, 式(6)考虑不同语义类别与目标的整体相似度, 从而避免因为局部遮挡而消除的重要区域.相比基于模板中心特征的对比方式^[16], 语义背景消除模块能更细致评估目标不同部位的重要性.

编码器通过预测头网络处理搜索区域特征, 预测目标位置和尺寸.针对背景消除导致的空间结构被破坏, 采用0填充方式恢复特征向量的2D空间结构.本文的预测头网络来自文献[15], 预测头接收0填充2D特征图以预测目标位置.网络包含3个并行卷积网络分支:中心分类分数图

P∈ [0, 1 ]HxP×WxP、

局部偏移

O∈ [0, 1 )HxP×WxP

和归一化边界框尺寸

S∈ [0, 1 )2×HxP×WxP.

具有最高分类分数的位置

(x_d, y_d)=arg maxx, yP_{(x, y)}

被认为是目标的中心位置, 最终目标边界框为:

(x, y, w, h)=(x_d+O(0, x_d, y_d), y_d+O(1, x_d, y_d), S(0, x_d, y_d), S(1, x_d, y_d)). (7)

训练时监督信号根据真实目标边界框的中心坐标(c_x, c_y), 生成的高斯标签在响应图上对应的位置为一个2D高斯分布, 表示该位置是目标中心的置信度:

$G\left( i, j \right)=\exp \left( -\frac{{{\left( i-{{c}_{x}} \right)}^{2}}}{2\sigma _{x}^{2}}-\frac{{{\left( j-{{c}_{y}} \right)}^{2}}}{2\sigma _{y}^{2}} \right)$,

其中, (i, j)表示响应图中的像素坐标, σ 控制高斯分布的宽度.

预测头的总损失包括中心分类分数图与高斯标签的焦点损失、根据式(7)得到目标预测边界框的GIoU(Generalized Intersection over Union)损失和L1损失, 则总损失如下所示:

L_total=λ _centerL_focal+λ _giouL_giou+λ _l1L_l1,

其中, λ _center、λ _giou和λ _l1表示联合优化的损失权重, 遵循文献[15], λ _center=1, λ _giou=2, λ _l1=5.

实验基于AMD 3990X+RTX 3090硬件平台和Ubuntu 22.04系统, 采用PyTorch 1.8.1框架实现.根据基准数据集初始帧目标指定模板, 为初始目标2倍(调整至128²), 搜索区域为目标4倍(调整至256²), 经步长为16的线性投影生成初始特征后输入编码器.

网络架构采用MAE初始化的12层ViT-Base主干, 在第2层、第4层、第6层和第8层引入语义关系建模模块.GCNs部分输入维度为512, 隐藏层维度为64, 执行一阶邻居聚合, 输出经过ReLU函数激活后馈入MLP.MLP由双层全连接层组成, 隐藏层维度为32, 使用ELU函数增强非线性表达.所有数据集的预设聚类簇数量为10, 最终通过Softmax归一化生成分配概率矩阵.在第6层和第8层后嵌入语义背景消除模块, 消除40%搜索特征向量.语义关系建模模块的预测头由4组Conv-BN-ReLU堆叠构成, 其它设置与OSTrack^[15]保持一致.

在LaSOT^[32]、GOT-10k^[33]、TrackingNet^[34]、COCO^[35]数据集的指定训练集上学习, 在LaSOT、GOT-10k、TrackingNet、OTB100^[35]、UAV123^[36]、NFS^[37]测试基准数据集上验证, 其中GOT-10k数据集严格遵循官方协议, 仅使用自身训练集学习的模型进行测试.

训练阶段使用AdamW(Adam with Decoupled Weight Decay)优化器训练300周期, 在GOT-10k数据集上缩减为100周期, 在每个周期上从视频序列随机采样模板和搜索区域, 共60 000样本对, ViT主干的预训练参数学习率为4× 10^-5, 模型的其它参数随机初始化, 学习率为4× 10^-4, 并在第240周期时进行10倍衰减, 在GOT-10k数据集上, 在第80个周期时进行衰减.推理阶段保留初始模板并应用汉宁窗抑制目标位移.

为了验证DSCTrack在不同情况下的鲁棒性, 在 GOT-10k数据集上选取平均重叠度(Average Over-lap, AO)和成功率(Success Rate, SR)作为评价指标.AO表示预测边界框与真实边界框之间的交集与并集比率(Intersection over Union, IoU)的平均值.SR表示跟踪算法在特定IoU阈值下成功跟踪目标的比例, 本文选取阈值为0.5和0.75的SR评价边界框与真实边界框的重合度.

在LaSOT、Tracking-Net数据集上, 选择精确度(Precision, PR)、归一化精确度(Normalized Preci- sion, NPR)和成功率的曲线下面积(Area Under Curve, AUC)作为评估指标.AUC在成功率的阈值从0至1变化时计算每个成功率的曲线下面积, 对跟踪算法进行排名.在OTB- 100、NFS、UAV123数据集上, 选择AUC和PR作为评价指标.

2.2.1 定量分析

选择如下对比方法:SiamRPN++^[5]、KeepTrack^[6]、TransT^[7]、STARK^[8]、SwinTrack^[10]、FCAT^[12] 、OS-Track^[15]、DyTrack^[19]、MixFormer^[23]、AiA-Track^[24]、RTDiMP^[26]、DiMP^[38]、TrDiMP^[39]、CSWinTT(Multi-scale Cyclic Shifting Window Transformer Tra-cker)^[40]、PromptVT^[41]、TiT (Tracking-in-Tracking)^[42]、MIMTrack^[43].

各方法在GOT-10k、LaSOT、TrackingNet数据集上的指标值对比如表1所示, 表中黑体数字表示最优值, 斜体数字表示次优值.

表1

Table 1

表1(Table 1)

表1 各方法在GOT-10k、LaSOT、TrackingNet数据集上的指标值对比 Table 1 Metric value comparison of different methods on GOT-10k, LaSOT and TrackingNet datasets % 方法 GOT-10k LaSOT TrackingNet AO SR0.5 SR0.75 AUC NPR PR AUC NPR PR SiamRPN++ 51.7 61.6 32.5 49.6 56.9 49.1 73.3 80.0 69.4 DiMP 61.1 71.7 49.2 56.9 65.0 56.7 74.0 80.1 68.7 TrDiMP 67.1 77.7 58.3 63.9 - 61.4 78.4 83.3 73.1 TransT 67.1 76.8 60.9 64.9 73.8 69.0 81.4 86.7 80.3 STARK 68.0 77.7 62.3 67.1 77.0 - 82.0 86.9 - KeepTrack 68.3 79.3 61.0 66.5 76.6 69.6 78.1 83.5 73.8 SwinTrack 69.4 78.0 64.3 69.6 78.6 74.1 82.5 87.0 80.4 AiATrack 69.6 80.0 63.2 69.0 79.4 73.8 82.7 87.8 80.4 CSWinTT 69.4 78.9 65.4 66.2 75.2 70.9 81.9 86.7 79.5 MixFormer 70.7 80.0 67.8 69.1 78.7 74.7 83.1 88.1 81.6 OSTrack 71.0 80.4 68.2 69.1 78.7 75.2 83.1 87.8 82.0 PromptVT 68.2 79.3 61.8 63.7 73.8 66.8 78.0 83.5 78.0 TiT 71.6 82.5 67.4 66.7 79.5 75.4 71.6 87.8 81.8 RTDiMP 68.2 79.9 58.8 63.7 - 72.9 72.8 82.9 78.1 FCAT 71.5 81.0 67.4 70.8 - 76.3 81.9 87.2 80.4 DyTrack 71.4 80.2 68.5 69.2 78.9 75.2 82.9 87.3 81.2 MIMTrack 72.6 83.2 69.3 69.1 78.8 75.7 83.1 87.7 80.9 DSCTrack 73.0 82.5 70.5 70.3 79.6 76.2 83.3 88.7 83.4

表1 各方法在GOT-10k、LaSOT、TrackingNet数据集上的指标值对比 Table 1 Metric value comparison of different methods on GOT-10k, LaSOT and TrackingNet datasets %

GOT-10k数据集包含超过10 000个视频片段, 共1.5× 10⁶帧, 涵盖563种物体类别和87种动作类别.数据集的训练集和测试集的目标类别不重叠, 强调模型对未见类别的泛化能力.如表1所示, 相比单流方法OSTrack的全局特征交互, DSCTrack集成特征空间局部注意力机制, 在AO、SR0.5、SR0.75指标上分别提升2.0%、1.9%、0.5%, 有效抑制干扰信息聚合.对比双流方法TransT的分离特征提取和Transformer全局建模, DSCTrack通过类内信息交互, 实现模板-搜索区域双向增强, SR0.5值提升5.7%.针对SwinTrack的图像空间分块注意力会削弱特征交互, DSCTrack采用特征空间局部建模, 在AO、SR0.5指标上分别提升3.6%和4.5%, 验证语义关系建模模块的有效性.DSCTrack优于生成式方法MIMTrack, MIMTrack合并分类与回归分支, 减少SR0.5指标的精度损失, DSCTrack得益于判别能力的提升, 在AO、SR0.75指标上仍具有优势.

LaSOT测试集包含280个视频, 涉及70个跟踪类别, 平均长度为2 500帧, 是一个具有高质量注释的长期数据集, 包含大量随时间变化和从视野中消失再现的目标.如表1所示, 相比OSTrack, DSC-Track的AUC值提升1.2%, 表明外观模型在持续形变中的判别优势.DSCTrack虽未集成目标重检测和在线更新以解决长期跟踪的目标消失再现的问题, 但在NPR指标上优于TiT且PR值提升0.8%.TiT采用在线更新机制, 显示初始判别力提升对长期精度的增益.相比双流方法AiATrack与图像局部注意的MixFormer, DSCTrack的AUC值均提升1%, 表明特征交互中语义约束的有效性.DSCTrack的AUC、PR值略低于具有细化多尺度注意力的FCAT, FCAT在处理一些特定小目标时具有一定优势.

DSCTrack、TransT^[7]、OSTrack^[15]、AiATrack^[24]、DiMP^[38]、PromptVT^[41]在LaSOT数据集上针对14个不同跟踪属性的可视化结果如图3所示, 越靠近外侧的点值越大, 图中数字为DSCTrack在该属性下的子数据集上的AUC值.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 各方法在LsSOT数据集上针对14个不同跟踪属性的可视化结果Fig.3 Visualization results of 14 different tracking attributes of 6 methods on LsSOT dataset

由图3可看出, 在Scale Varia-tion、Rotation、Par-tial Occlusion等属性上, DSCTrack性能较优, 由此说明语义关系建模模块可改善跟踪器在特殊条件下的整体判别能力.

TrackingNet数据集包含511个测试序列, 跟踪场景复杂多样.如表1所示, 相比OSTrack, DSC-Track的NPR、PR值分别提升0.9%和1.4%.相比双流方法TransT和STARK, DSCTrack的AUC值分别提升1.9%和1.3%.

PromptVT利用网络不同深度和尺度的高级语义特征和低级语义特征学习全面的Transformer视觉表示, 但这种结合不具备区分性, 缺乏对目标特定特征的学习, 因此AUC值低于DSCTrack.DSCTrack性能优于RTDiMP和DyTrack, 但速度较慢, 原因是DyTrack采用分支选择策略, 减少在更简单情况下启用的参数数量, 而RTDiMP采用更轻量的卷积网络, 在更大规模和平稳的TrackingNet数据集上具有优势, 而在更复杂的跟踪情境下, 如在GOT10K、LaSOT数据集上, RTDiMP和DyTrack性能损失更多.

在OTB100、UAV123、NFS数据集上, 选择如下对比方法:SiamRPN++^[5]、KeepTrack^[6]、TransT^[7]、OSTrack^[15]、ProContEXT^[16]、EVPTrack^[17]、AQA-Track^[18]、MixFormer^[23]、AiATrack^[24]、GRM^[25]、DiMP^[38]、PromptVT^[41]、MIMTrack^[43]、ARTrack^[44].

各方法在OTB100、UAV123、NFS数据集上的指标值对比如表2所示, 表中黑体数字表示最优值, 斜体数字表示次优值.

表2

Table 2

表2(Table 2)

表2 各方法在OTB100、UAV123、NFS数据集上的指标值对比 Table 2 Metric value comparison of different methods on OTB100、UAV123 and NFS datasets % 方法 OTB100 UAV123 NFS AUC PR AUC PR AUC PR AQATrack - - 70.7 92.3 - - EVPTrack - - 70.3 91.6 - - ProContEXT - - - - 69.5 85.5 AiATrack - - - - 67.5 83.1 KeepTrack - - - - 65.7 79.5 TransT 66.3 85.6 - - - - OSTrack 68.1 88.6 68.2 88.8 64.2 78.8 PromptVT 68.6 89.4 67.1 88.5 - - DiMP 68.6 89.9 64.3 85.0 62.3 75.1 ARTrack 68.7 89.3 68.0 88.5 63.0 78.0 GRM 68.8 90.0 69.0 89.8 65.2 79.8 SiamRPN++ 69.5 90.6 - - - - MixFormer 70.0 92.9 70.4 91.7 65.0 79.7 MIMTrack 70.7 92.1 68.2 88.8 68.0 83.6 DSCTrack 71.2 93.2 71.1 92.5 67.4 83.0

表2 各方法在OTB100、UAV123、NFS数据集上的指标值对比 Table 2 Metric value comparison of different methods on OTB100、UAV123 and NFS datasets %

OTB100数据集是一个包含100个视频序列的经典视觉目标跟踪数据集, 涵盖遮挡、光照变化、快速移动、尺度变化等多种跟踪挑战.由表2可见, GRM采用固定的二分类策略, 是具有动态注意力的Transformer单流跟踪器.由于DSCTrack对单流跟踪器的混合特征执行自适应聚类, 因此不同深度网络中特征交互能根据特征信息自适应地调整类别数量, 在面对更复杂的跟踪场景时, AUC指标优于GRM, 提升2.4%.

UAV123数据集是评估无人机视频跟踪技术的数据集, 具有高动态和高视角的特点, 能验证跟踪方法在复杂环境中的性能.由表2可见, DSCTrack获得最优值.相比判别式跟踪方法DiMP, DSCTrack通过模板和负样本集合在线学习目标的特定判别表示.在高动态的复杂环境中, DSCTrack建立的目标表示仍具有较高的判别性能, 相比DiMP, AUC值提升6.8%.

NFS数据集是专为评估在高帧率视频中目标跟踪方法表现的视觉目标跟踪数据集, 尤其适用于处理运动模糊和快速目标丢失的问题.NFS数据集上相邻帧的目标位置和外观变化差异较小, 在运动模糊时, 尽管ARTrack引入额外的目标轨迹信息帮助预测目标, 但DSCTrack考虑背景的关系建模并通过语义背景消除模块排除大量无关区域, 因此AUC指标优于ARTrack, 提升4.4%.

各对比方法在3个数据集上的成功率曲线和精确度曲线对比如图4所示.由图可见, 在具有短期时间变化OTB100数据集上, DSCTrack的排名显著优于具有模型更新机制和生成式特征建模能力的MIMTrack.在UAV123数据集上, 目标更小、运动更快, DSC-Track优于传递时空特征的AQATrack, 获得最优排名.上述结果说明在短期变化时DSCTrack具有最优的区分能力.然而, NFS数据集上目标使用高速相机拍摄, 并随机抽取图像帧构建数据集, 目标随时间变化的特性更明显, 由于DSCTrack缺乏更新手段, 因此仅获得第4名.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 各方法在OTB100、UAV123、NFS数据集上的成功率和精确度曲线Fig.4 Success rate and precision curves of different methods on OTB100, UAV123 and NFS datasets

2.2.2 定性分析

为了直观说明DSCTrack在不同场景上的跟踪性能, 以及语义关系建模模块、语义背景消除模块的有效性, 通过定性实验分析DSCTrack在不同视频实例上的表现.

基于ViT-Base主干网络, 原始输入图像经过16倍降采样后获得特征图.在降采样后的特征空间中使用动态语义聚类模块, 如1.4节所述, 针对非零特征向量的有效类别进行可视化.将各特征向量对应的图像块按空间位置映射回原始图像, 并进行色彩填充, 具体聚类结果如图5所示, 在图中, 每个示例左侧为模板图像, 右侧为搜索区域图像.模板图像与搜索区域图像中相同颜色的区域表示同类语义区域, 目标区域均被划分为近似类别以执行类间交互.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 动态语义聚类模块聚类结果可视化Fig.5 Visualization of clustering results of dynamic semantic clustering module

在图5(a)中, 所有区域被划分为3类.模板图像与搜索区域图像中, 鱼体目标及其周边区域显示为绿色语义区域, 背景分为深蓝色和黄色.在动态语义聚类模块中, 仅对两幅图像中的水体背景实施交互, 而大部分背景区域未参与目标像素的交叉关系建模, 从而有效抑制无关背景错误信息聚合.

在图5(b)中, 模板图像明确划分为两类.两类目标区域与搜索区域中的目标独立进行关系建模, 相比RTDiMp^[26]仅分类搜索区域, 动态语义聚类模块避免模板区域中背景与目标像素的混淆.

在图5(c)中, 复杂背景导致搜索区域按低级语义划分为5类.目标区域(绿色)与模板目标像素高度一致, 与背景手掌像素形成显著区分.

在图5(d)中, 除了袋鼠主体像素以外, 毗邻像素也被归入目标类别, 这可能源于目标框内包含部分背景像素, 导致基于浅层语义的划分存在歧义.总之, 大部分背景仍被排除在目标交互之外.

图5(e)为复杂背景下的摩托车干扰场景.搜索区域划分为3类, 语义相似的干扰物被归类为背景.这表明动态语义聚类模块能通过背景-背景关联有效区分目标与干扰物.

在图5(f)中, 动态语义聚类模块成功区分大部分背景, 构建清晰的目标-目标、背景-背景空间关系模型.目标语义类别不仅包含主体像素, 还涵盖周边少量区域.这种现象源于两个因素:特征聚类结果经缩放后对应较大的空间范围; 跟踪任务需通过目标及邻近像素判别物体边界以生成预测框.在相同消除比例下, 优先消除远离目标的特征, 表明邻近背景对空间定位的重要性.

DSCTrack、KeepTrack^[6]、OSTrack^[15]、MixFormer^[23]、DiMP^[38]、ARTrack^[44]在guitar-10、train-20、monkey-3、basketball序列上的跟踪结果如图6所示.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 各方法在视频序列上的跟踪结果对比Fig.6 Tracking result comparison of different methods on video sequences

在guitar-10序列上, 存在多把类似的吉他, 在人体遮挡发生后, 第59帧中仅有DSCTrack定位在中间正确的吉他上, OSTrack、DiMP、KeepTrack在发生遮挡后偏移到右侧相似干扰上, 在第62帧, KeepTrack从右侧的相似物体转移到左侧相似物体, 而DSCTrack能保持跟踪, 说明该模型可有效排除语义干扰.

在train-20序列上, 第42帧发生遮挡后, Mix-Former、DiMP、KeepTrack对目标尺寸估计错误, 边界框定位在背景房子的边缘, 第115帧离开房子后仍未恢复, 而DSCTrack通过减少与背景之间的错误关联, 仍维持对局部车厢的跟踪.

在monkey-3序列上, 第746帧中目标出现在多个相似物体附近且目标露出部分较小, DiMP、AR-Track、MixFormer分别关注错误物体, 但DSCTrack依然能正确跟踪.

在basketball序列上, 第580帧球员发生快速运动和形状变化, KeepTrack和ARTrack丢失跟踪目标, OSTrack和MixFormer错误扩大定位目标的准确边界.由于减少与复杂背景交互, DSCTrack对嘈杂背景和目标变化更鲁棒.

语义背景消除模块旨在特征学习的过程中自适应减少部分背景特征参与后续关系建模, 消除比例为当前搜索特征向量的40%.图7表示搜索区域消除特征的对应区域放大至原始图像尺寸后的位置, 每组示例从左至右依次为搜索区、第一次消除结果和第二次消除结果, 绿色框表示目标的边界框, 白色掩蔽区域表示搜索区域被消除的冗余背景.

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 语义背景消除模块可视化结果Fig.7 Visualization results of semantic background elimination module

在图7(a)中, 目标是白色狗, 经过两次候选消除后, 大幅减少周边背景.在被减少的区域中, 包含大量可能引发歧义的其它狗, 即在两次消除中去除具有与目标相似语义的背景的干扰, 不再参与后续的特征提取与关系建模.

在图7(b)中, 第一次消除具有与目标球员相似外观和类别的其他球员, 减少该部分困难语义背景在后续的关系交互.在第二次消除中, 进一步排除相似球员的区域, 使目标像素在最终的特征交互中仅与简单背景进行关系建模, 减少最终目标边界框预测的歧义.

在图7(c)、(e)中, 大部分路面被消除, 说明该类简单背景在早期的特征学习中得到良好识别.与目标分割等像素级任务不同, 目标跟踪任务需要区分目标与背景的边界并预测边界框, 因此, 早期特征交互中背景消除仍倾向保留目标附近的区域用于判别学习.

在图7(d)中, 目标与背景中的其它杯子高度相似, 但形态略有区别, 由于整体考虑模板中目标的所有特征, 在两次背景消除中仍删去外围大部分干扰物体的特征向量.

在图7(f)中, 背景中的水花大致分为绿色和白色两类, 与目标较远且颜色差异较大的绿色水花首次被大部分消除, 在第二次消除中, 对于白色水花仅保留目标附近的背景用于准确定位.

为了验证DSCTrack的有效性, 在GOT-10k数据集和相同的硬件平台上开展消融实验, 分析不同组件和参数对跟踪性能的影响.

2.3.1 模块有效性分析

DSCTrack中各模块的有效性验证如表3所示.OSTrack^[15]叠加动态语义聚类模块后, AO、SR0.5、SR0.75值分别提升2.5%, 3.0%和1.4%, 但伴随着计算量的增加和速度下降.实验表明, 动态语义聚类模块通过改善关系建模大幅提升跟踪精度, 但小幅降低跟踪速度.其原因是1.5节中语义引导的动态注意力通过屏蔽策略维持与原始Transformer层近似的计算量, 但聚类网络带来的额外网络参数仍总体上略微增加计算负荷, 累积操作次数(Multiply-Accu-mulate Operations, MACs)增加2 G.引入语义背景消除模块后, 在动态语义聚类模块的基础上, AO、SR0.5、SR0.75值分别再提升0.2%、0.1%、1.8%, 同时MACs降低2.1 G.语义背景消除模块通过排除干扰信息可显著提升严格阈值(SR0.75)下的定位精度, 根据1.6节的分析, 该模块在理论上能降低二次计算复杂度, 提升跟踪速度.总体上, 完整跟踪器的跟踪速度和MACs指标与OSTrack近似, AO值增加2.7%, 综合性能明显提升.

表3

Table 3

表3(Table 3)

表3 不同模块的消融实验结果 Table 3 Ablation experiment results of different modules OSTrack 动态 语义 聚类 语义 背景 消除 GOT-10k/% MACs/G FPS AO SR0.5 SR0.75 √ - - 70.3 79.4 67.3 29.1 72.5 √ √ - 72.8 82.4 68.7 31.1 68.0 √ √ √ 73.0 82.5 70.5 29.0 70.9

表3 不同模块的消融实验结果 Table 3 Ablation experiment results of different modules

2.3.2 聚类数量

为了验证聚类数量对DSCTrack的影响, 在OSTrack中引入具有固定聚类数量的DPC-KNN和本文的动态语义聚类模块进行对比实验, 具体指标值如表4所示, 在表中, 第1行至第5行数据表示聚类数量固定为0、2、4、10、20的DPC-KNN的结果, 最后一行数据为最大聚类数量设为10的动态语义聚类模块的结果.相比聚类数量为0, 采用DPC-KNN执行语义建模的AO值有所上升, 其中聚类数量为4时获得最优AO值, 由此验证对关系建模过程进行合理约束的作用, 但过大的聚类数量导致增益降低.动态语义聚类模块的最大聚类数量为10, 聚类后该类别下特征向量数量大于0的类别称为有效类别, 通过有效类别的自适应变化能够实现基于非固定聚类数量的语义关系建模.相比不使用聚类模块, 动态语义聚类模块获得整体的最大增益, AO值提升2.5%; 相比聚类数量为4时的DPC-KNN, 动态语义聚类模块在AO和SR0.5指标上分别提升0.6%和0.9%:以上说明该模块的优越性.

表4

Table 4

表4(Table 4)

表4 聚类数量不同时的消融实验结果 Table 4 Ablation experiment results for different numbers of clusters 聚类数量 AO/% SR0.5/% SR0.75/% 0 70.3 79.4 67.3 2 70.8 80.1 67.6 4 72.2 81.5 69.2 10 72.0 81.2 68.4 20 71.8 81.3 68.3 Max-10 72.8 82.4 68.7

表4 聚类数量不同时的消融实验结果 Table 4 Ablation experiment results for different numbers of clusters

为了直观展示动态语义聚类模块的有效性, 下文进行可视化分析.引入语义关系建模模块的第2特征层、第4特征层、第6特征层、第8特征层, 在GOT10-10k数据集上前4个测试视频序列中的有效聚类数量如图8所示.

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 语义关系建模模块的有效聚类数量Fig.8 Effective number of clusters for semantic relation modeling module

动态语义聚类模块在特征网络的早期层(第2层)倾向较少聚类数保留高频信息, 随着网络加深(第2~8层), 有效聚类数量逐渐增加, 进一步细化区分语义, 最高聚类数量为6, 远低于最大聚类数量10.

总之, 动态语义聚类模块无需手动调整聚类数量, 能根据不同视频序列自适应划分, 在多数指标上优于固定数量的聚类策略.

2.3.3 语义关系建模模块位置影响

为了探究语义关系建模模块在ViT主干网络不同深度的作用, 设计5种层次配置方案, 在GOT10-10k数据集上的指标值对比如表5所示, 表中黑体数字表示最优值.由表可见, 在1~6层引入语义关系建模模块, 利用早期聚类策略抑制低判别性特征中的错误交互, 获得71.5%的AO值.在2~12层和7~12层引入语义关系建模模块, 深层网络若仅采用类间的交互约束, 会过度聚焦局部语义信息, 导致全局建模能力下降(AO值分别降低4.3%和2.2%).在2、3、6、8层交替使用聚类与全局交互, 在早期实现语义特征高效聚合的同时保留全局信息流, 最终获得72.8%的AO值.值得注意的是, 在深层网络引入间隔策略后AO值骤降, 证实深层特征需要完整的全局交互空间.实验表明, 对于语义关系建模模块的层次部署, 需早期抑制干扰并在深层保持全局交互.

表5

Table 5

表5(Table 5)

表5 语义关系建模模块位置不同时的消融实验结果 Table 5 Ablation experiment results of semantic relation modeling module with different positions % 模块位置 AO SR0.5 SR0.75 1~6 71.5 80.6 68.2 2~12 67.2 76.7 61.8 7~12 69.3 78.2 65.0 2, 4, 6, 8 72.8 82.4 68.7 2, 4, 6, 8, 10, 12 70.2 79.5 67.4

表5 语义关系建模模块位置不同时的消融实验结果 Table 5 Ablation experiment results of semantic relation modeling module with different positions %

2.3.4 语义背景消除模块

语义背景消除模块的目标是根据目标所属类别的重要性, 识别并剔除背景区域的候选特征.为了验证该模块的有效性, 在GOT10-10k数据集上进行消融实验, 结果如表6所示, 表中黑体数字表示最优值.

表6

Table 6

表6(Table 6)

表6 语义类别消除模块的消融实验结果 Table 6 Ablation experiment results of semantic category elimination module % 重要性评估方法 AO SR0.5 SR0.75 Template 64.1 75.2 54.7 Groundtruth 73.0 82.5 70.5 Center Region 71.4 81.0 67.0 Center Point 64.7 75.7 55.4 Without 72.8 82.4 68.7

表6 语义类别消除模块的消融实验结果 Table 6 Ablation experiment results of semantic category elimination module %

由表6可见, 当采用包含背景区域的完整模板特征向量(简记为Template)时, 跟踪性能显著劣化, 相比无消除方法(简记为Without), AO值下降8.7%.采用模板内真实值特征向量(简记为Groundtruth)时取得最优性能, 这得益于目标特征向量的完整表征能力能有效缓解遮挡误差.选用真实值中心区域特征向量(简记为Center Region)和采用中心点单一特征向量(简记为Center Point)时, 尽管Transformer架构赋予特征向量全局感知能力, 但局部特征的缺失仍导致目标表征不完整.实验表明, 基于完整真实值特征向量的重要性评估方法能最准确反映语义类别重要性.

在bottle-14序列和cat-18序列上的跟踪失败示例如图9所示, 图中红色标注表示真实值轨迹, 绿色标注表示DSCTrack.

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 DSCTrack跟踪失败示例Fig.9 Tracking failure examples of DSCTrack

在bottle-14序列上, 第4 066帧展示DSCTrack对短时局部遮挡的定位与位置估计能力.然而从第4 196帧开始, 目标遭遇大面积长时间遮挡, 由于采用固定初始模板且缺乏外观模型更新机制, DSCTrack始终聚焦于瓶盖区域, 直至第4 211帧仍未能恢复全局跟踪.

在cat-18序列上, 目标自车轮左侧短暂消失后, 于第941帧从右侧重新出现, DSCTrack在搜索范围有效覆盖时可适应此类短时消失现象.但是, 当目标自第1 426帧进入遮挡区域后, 经历长时间消失状态, 至第1 491帧重现时, 因缺乏重检测与模板更新机制, DSCTrack未能恢复跟踪.