本文提出基于全局轨迹感知的多相机多目标跟踪方法(GTAT), 遵循全局跟踪范式, 整体架构如图1所示.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 GTAT整体架构Fig.1 Overall architecture of GTAT

在环境中设置C个具有重叠视野的相机, 多相机多目标跟踪的任务是实时检测、跟踪所有相机拍摄的每个目标, 并为不同相机中的相同目标赋予统一的身份ID.在s时刻, 输入为所有相机采集的图像M_s={ msc}c=1C, 其中每幅图像先由骨干网络提取特征f sc, 再通过目标检测器输出每幅图像内所有目标的检测框$\boldsymbol{B}_{s}^{c}=\left\{\boldsymbol{b}_{s, j}^{c}\right\}_{j=1}^{N_{s}^{c}}$, 其中, bs, jc表示第c个视角下图像中的第j个检测框, Nsc表示检测框数量.根据检测框从特征f sc中裁剪目标的外观特征, 并提取对应的时间特征和相机特征, 经特征拼接与投影层映射, 得到第j条轨迹最终用于关联的目标特征 Fs, jasso, c.对于第j条轨迹, 从历史帧中收集其跨时间、跨视角的关联特征, 构成轨迹特征集合, 相应轨迹定义如下:

$\boldsymbol{\tau}_{j}=\left\{\boldsymbol{F}_{s, j}^{\text {asso }, c} \mid s \in[t-T+1, t-1], c \in[1, C]\right\}, $

其中, t表示当前时刻, T表示时间窗口长度.

GTAT首先通过全局轨迹语义编码模块(GTSE)聚合全局轨迹中的长期身份信息, 构建全局轨迹记忆库, 再通过全局轨迹感知增强模块(GTAE)将轨迹级身份语义注入目标级关联特征, 得到全局轨迹感知的关联特征, 然后通过全局轨迹关联模块(GTA)计算当前帧所有目标与全局轨迹的匹配分数, 最终使用匈牙利算法为目标分配轨迹ID.

在推理初始化阶段, 首先, 选择目标数量最多的视角作为主视角, 并为该视角中的各目标分配唯一的初始ID.然后, 将其余视角中目标依次与主视角中的目标进行匹配.对于匹配成功的目标, 并入对应的全局轨迹, 并赋予与该轨迹一致的ID; 对于未能成功匹配的目标, 分配新的ID, 并建立相应的全局轨迹.由此完成全局轨迹的初始化.当历史时间窗口长度为T-1时, 采用滑动窗口方式进行后续推理.时间窗口每次整体向后滑动一个时间步, 并移除窗口中上一时刻的观测.

与GMT直接基于目标级关联特征进行全局匹配不同, GTAT通过全局轨迹感知模块(GTAM)将全局轨迹感知过程拆分为两步:全局轨迹级语义提取和目标级特征增强.首先, 对于每条历史轨迹, 利用GTSE, 聚合跨时间、跨视角的历史关联特征, 得到显式轨迹级表示, 用于描述该轨迹的长期身份语义.其次, 将所有轨迹级表示组织为全局轨迹记忆库.在此基础上, 通过GTAE, 利用交叉注意力机制, 按视角建模轨迹级表示与目标级关联特征之间的依赖关系, 并将轨迹级上下文信息注入时间-视角窗口内的目标级关联特征.即便推理阶段GTA依旧采用均值相似度策略, 计算当前目标与整条历史轨迹的匹配得分, 但经过增强后的目标特征已融入显式轨迹身份语义, 可有效区分外观相似目标, 维持跨时间跨视角的身份一致性, 输出更稳定可靠的全局关联结果.

1.2.1 全局轨迹语义编码模块

为了提取轨迹级别的全局表示, 设计GTSE, 引入可学习的全局轨迹令牌 ctrajg, 并拼接至展平后的轨迹特征序列前端, 与该轨迹在历史时间-视角窗口内的所有目标特征共同输入Transformer编码器.由于编码器内置自注意力机制可建模序列任意元素间的依赖关系, 令牌 ctrajg作为查询向量, 对轨迹内全部历史目标特征进行加权聚合, 得到蕴含全局身份语义的轨迹级表征.与简单平均池化不同, 该过程能根据不同目标特征对轨迹身份建模的重要性自适应分配权重, 从而更有效聚合跨时间、跨视角的身份一致性信息.

为了适配Transformer编码器输入形式, 将轨迹τ _j按照时间和视角组织的特征展平为一维序列, 定义如下:

$\left\{x_{\tilde{t}, j}\right\}_{\tilde{t}=1}^{T_{g}}=\operatorname{Flatten}\left(\boldsymbol{\tau}_{j}\right), $

其中,

T_g=(T-1)C,

表示全局时间总步数, Flatten(· )表示将轨迹τ _j展平的函数, t˜表示展平后的全局时间索引. t˜与原始历史帧索引s及视角索引c的映射关系如下:

t˜=(s-(t-T+1))C+c∈ [1, 2, …, T_g],
s∈ [t-T+1, t-1], c∈ [1, C].

由此构造模块原始输入:

Z j0=[ ctrajg, x_{1, j}, x_{2, j}, …, xTg, j].

将其送入Transformer编码器, 完成特征编码:

Z jn=TransformerEncoder(Z j0),

其中n表示编码器层数.最终截取输出序列中全局轨迹令牌对应的首位特征作为第j条轨迹的全局轨迹特征:

cjg= Zjn[0]∈ R^D,

其中D表示特征维度. cjg综合编码该轨迹在历史时间维度和相机视角维度上的身份一致性信息, 可用于时间窗口关联特征的增强.

1.2.2 全局轨迹感知增强模块

然而, 当前时间窗口内的关联特征仍缺乏显式的全局轨迹级信息.为此, 设计GTAE, 利用全局轨迹记忆库, 对时间窗口[t-T+1, t]内的关联特征进行分视角增强.

对于第c个视角, 构建时间窗口内的关联特征集合:

$\boldsymbol{F}_{[t-T+1, t]}^{\text {asso }, c}=\bigcup_{s=t-T+1}^{t} \boldsymbol{F}_{s}^{\text {asso }, c}$,

其中 Fsasso, c表示第s时刻、第c个视角下的关联特征集合.将该集合作为交叉注意力的查询Q^c.与此同时, GTSE提取的所有历史轨迹全局表示构成全局轨迹记忆库, 作为交叉注意力的键和值:

K=V=[ c1g, c2g, …, cJg]∈ R^{J× D},

其中J表示历史窗口内轨迹的数量.在此基础上, 通过交叉注意力将历史轨迹级全局上下文分视角注入时间窗口的关联特征中, 得到第c个视角下的增强特征:

$\widehat{\boldsymbol{F}}_{[t-T+1, t]}^{\text {asso }, c}=\operatorname{Softmax}\left(\frac{\boldsymbol{Q}^{c} \boldsymbol{K}^{\mathrm{T}}}{\sqrt{D}}\right) \boldsymbol{V}, $

其中softmax(· )表示沿键向量维度对注意力得分矩阵进行逐行归一化.采用残差连接得到最终增强特征:

F˜[t-T+1, t]asso, c=Q^c+ F︿[t-T+1, t]asso, c.

最终, 整个时间窗口内的全局轨迹感知关联特征为:

$\widetilde{\boldsymbol{F}}_{[t-T+1, t]}^{\text {asso }}=\bigcup_{c=1}^{C} \widetilde{\boldsymbol{F}}_{[t-T+1, t]}^{\text {asso }, c} .$

该模块利用提取的全局轨迹级表示, 对时间窗口内的关联特征进行全局轨迹感知增强, 从而引入目标的长期身份一致性特征, 有效解决原有关联特征全局信息不足的缺陷.

本文采用全局跟踪范式, 将多相机多目标跟踪建模为全局层面的轨迹-目标关联过程.首先将历史时间窗口内的轨迹感知关联特征 F˜[t-T+1, t]∈ R^{L× D}输入自注意力编码器中进行编码, 得到轨迹特征集合Γ , 其中L表示历史目标数量.然后处理当前帧的轨迹感知关联特征 F˜tasso.先利用自注意力机制为当前帧目标特征建模上下文信息, 再以当前帧目标特征作为查询向量, 通过交叉注意力机制与轨迹特征集合Γ 完成信息交互, 学习不同轨迹之间的判别性特征, 最终输出增强目标特征 F¯tasso.

在推理阶段, 首先计算增强后的当前目标特征 F¯tasso与历史轨迹特征集合Γ 之间的目标级相似度矩阵E_S∈ R^{N× L}, 其中N表示当前目标数量.本文将当前目标与单条轨迹的相似度定义为该目标与轨迹内所有历史关联目标相似度的均值, 由此进一步求解得到当前目标-轨迹相似度矩阵E∈ R^{N× J}.最后利用匈牙利算法获得最终的关联结果.

在训练阶段, 编码器和解码器将时间窗口内轨迹感知增强的目标特征 F˜[t-T+1, t]asso作为输入, 对所有目标进行关联相似度计算.在训练时N=L, 两者均表示当前时间窗口下所有目标数量.训练目标是最大化由目标级相似度矩阵E_S定义的预测分布相对于真实匹配标签的对数似然.对于 F¯tasso中的任意目标a, 若其无法与轨迹特征集合Γ 内任意历史目标完成匹配, 则标记为未匹配样本.本文额外引入未匹配类别, 在相似度矩阵E_S基础上添加一列全零向量, 然后通过softmax归一化得到概率分布矩阵H∈ R^{N× (L+1)}, 相应元素计算方式如下:

$H_{a b}=\frac{\exp \left(E_{a b}\right)}{\exp \left(E_{a 0}\right)+\sum_{q=1}^{N} 1_{\left(t_{q}=t_{b} \text { and } c_{q}=c_{b}\right)}\left(\exp \left(E_{a q}\right)\right)} $.

其中: 1(tq=tbandcq=cb)表示示性函数, 当在时间t_b和视角c_b下能检测该目标时取1, 否则取0; E_ab、E_a0表示目标-轨迹相似度矩阵E中元素.

对于真实标签矩阵X∈ R^{N× (L+1)}, 相应元素计算方式如下:

X_ab= 1, pa↔pb0, 其它

其中, p_a↔ p_b表示Γ 中第b个目标与H中第a个标签匹配.最终的关联损失为:

$L_{\text {asso }}=-\frac{1}{N}\left(\sum_{a=1}^{N}\left(\sum_{b=1}^{L+1} X_{a b} \ln H_{a b}\right)\right) .$

现有关联损失本质上仅对目标级匹配关系施加约束, 缺乏轨迹层面的身份一致性监督.为此, 本文引入全局轨迹一致性损失(GTC), 以第1.2.1节中得到的全局轨迹表示和目标级关联特征的匹配关系为监督信号, 要求每条轨迹的全局表示在整个历史窗口内始终与其身份一致的关联特征保持稳定匹配关系.这样可在训练过程中同时从不同层面对关联特征进行优化与约束, 并保证历史窗口内全局轨迹级表示与关联特征之间的一致性, 从而增强全局轨迹级表示的身份一致性建模能力, 提升关联特征的判别能力.

本文仅考虑历史窗口[t-T+1, t-1].对于该窗口内的所有帧, 按照“ 时间优先、视角次优先” 的顺序, 将时间索引s与视角索引c联合展平为全局时间步 t˜.

由此, 第j条轨迹在全局时间步 t˜上对应的关联特征 Fj, t˜asso= Fs, jasso, c∈ R^D, 其中, (s, c)与 t˜满足第1.2.1节中定义的映射关系, 即 t˜为展平后全局时间轴上的统一时间索引.

对于第i条轨迹的全局表示 cig及任意轨迹j在全局时间步 t˜上经GTSE处理后的关联特征 F·j, t˜asso, 分别通过2个独立的多层感知机将其投影到统一的匹配空间, 分别得到投影后的第i条轨迹的全局特征

$z_{i}^{\text {traj }}=M L P_{\text {traj }}\left(c_{i}^{g}\right)$

和第j条轨迹在全局时间步 t˜上关联特征

$z_{j, i}^{\text {asso }}=M L P_{\text {asso }}\left(\dot{\boldsymbol{F}}_{j, i}^{\text {asso }}\right) .$

再通过点积计算两者之间的相似度:

Ai, j, t˜=( zitraj)^T zj, t˜asso.

若将(j, t˜)映射为一维列索引, 则可等价得到一个轨迹-目标相似度矩阵A∈ RJ×(J×Tg).

为了构建GTC的监督信号, 定义有效候选掩码矩阵M和轨迹-目标对应矩阵G, 分别用于刻画候选轨迹的有效性及轨迹与目标之间的身份对应关系.首先, 掩码矩阵M用于表征历史窗口内哪些候选轨迹-时间对是有效的, 矩阵中元素

$M_{i, j, \tilde{t}}=\left\{\begin{array}{ll} 1, & \text { 轨迹 } i, j \text { 在全局时间步 } \tilde{t} \text { 中同时存在有效目标特征 } \\ 0, & \text { 其它 } \end{array}\right.$

其次, 轨迹-目标对应矩阵G用于表征正负样本, 矩阵中元素

$G_{i, j, \tilde{t}}=\left\{\begin{array}{ll} 1, & \text { 轨迹 } i 、 j \text { 在全局时间步 } \tilde{t} \text { 中同时存在有效目标特征, 且二者属于同一身份 } \\ 0, & \text { 其 } \end{array}\right.$

上述监督信号的作用可理解为:对于第i条全局轨迹, 其轨迹级表示应当与该轨迹在不同时间、不同视角下的目标级关联特征保持较高的相似度, 而与其它轨迹的关联特征保持较低的相似度.由于多相机多目标视频中目标并非在所有时间和所有视角下均可见, 若直接在所有轨迹-全局时间对上计算损失, 会引入无效监督.为此, 引入有效候选掩码矩阵M, 用于避免不可观测或不可匹配的候选项参与损失计算, 确保GTC仅在有效候选集合上进行优化.基于上述定义, 记正样本集合

P={(i, j, t˜)| Gi, j, t˜=1},

其中每个三元组表示第i条全局轨迹与(j, t˜)对应的目标特征构成一个正样本.对于第i条全局轨迹, 定义有效候选集合:

Ω _i={(j, t˜)| Mi, j, t˜=1}.

在此基础上, 将GTC定义为一个带掩码约束的多分类交叉熵损失:

$L_{\mathrm{GTC}}=-\frac{1}{|P|} \sum_{(i, j, \tilde{t}) \in P} \ln \left(\frac{\exp \left(A_{i, j, \tilde{t}}\right)}{\sum_{\left(j^{\prime}, \tilde{t}^{\prime}\right) \in \Omega_{i}} \exp \left(A_{i, j^{\prime}, \tilde{t}^{\prime}}\right)}\right) .$

GTC中相关矩阵构建示例如图2所示.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 GTC中相关矩阵的构建示例Fig.2 Example of constructing relevant matrices in GTC

示例包含2条全局轨迹和4个全局时间步, 矩阵的行表示全局轨迹索引i, 列表示展平后的轨迹-全局时间步索引(j, t˜).GTC鼓励第i条轨迹的全局表示 cig在整个历史窗口内对与正样本对应的关联特征赋予更高响应, 并降低其与负样本的匹配分数.掩码矩阵M用于筛除历史窗口中无效的轨迹-全局时间对, 使分母中的归一化仅在有效候选集合Ω _i上进行, 保证监督信号仅来自可观测、可匹配的候选项.相比仅约束目标级匹配关系的关联损失, GTC从轨迹级全局表示出发, 在展开后的历史时间-视角窗口上统一建模身份一致性, 从而为全局轨迹级表示的学习提供更充分的跨时间、跨视角的监督信号, 最终引导方法学习判别性更强的关联特征.

鉴于跟踪任务高度依赖于目标定位的准确性, 本文将训练过程划分为两个阶段.在第1阶段中, GTAT沿用GMT的检测器和关联特征提取模块进行训练:以DLA-34(Deep Layer Aggregation-34)^[23]作为骨干网络, CenterNet^[24]作为检测器.CenterNet以特征图为输入, 直接预测目标中心点的置信热力图, 并对目标尺寸和中心偏移进行回归.该设计能在保持结构简洁的同时实现较精确的目标定位, 为后续的目标特征提取与跟踪关联提供可靠的位置信息.目标检测分支的损失函数表示如下:

L_det=L_heatmap+λ _sizeL_size+λ _offL_off,

其中, λ _size=0.1, λ _off=1.0, L_heatmap表示中心点热力图损失, L_size表示目标尺度(长宽)回归损失, L_off表示中心点偏移回归损失.

为了学习具有身份判别性的外观特征, 采用交叉熵损失、三元组损失和中心损失进行联合监督.该分支损失函数如下所示:

L_REID=L_CE+L_Triplet+L_Center,

其中, L_CE表示交叉熵损失, L_Triplet表示三元组损失, L_Center表示中心损失.训练时每个预测框会被分配给与其交并比(Intersection over Union, IoU)最大的真实框对应的身份标签, 以此为L_REID提供可靠的监督信号.因此, 第1阶段的训练损失函数为:

L_stage1=L_det+L_REID.

第2阶段对完整模型进行训练, 损失函数为:

L_stage2=L_det+λ ₁L_asso+λ ₂L_GTC,

其中, λ ₁=3.0, λ ₂=1.0, L_asso表示时间窗口内所有目标匹配关系的交叉熵损失, L_GTC表示本文的全局轨迹一致性损失.

本文采用DLA-34作为骨干网络, CenterNet作为目标检测器.在VisionTrack数据集^[20]上, 先将输入图像等比例缩放至1 280× 720, 再采用取值范围为0.8~1.2的随机尺度因子对图像进行缩放增强, 然后输入骨干网络.在预训练阶段, 采用Adam(Adaptive Moment Estimation)优化器, 初始学习率设为1× 10^-4.在CrowdHuman数据集^[25]上对骨干网络与目标检测器进行联合预训练, 共迭代4.5× 10⁴次, 批次大小设为32.在正式训练阶段, 在两块NVIDIA RTX L40 48 G GPU上完成训练, 仍采用Adam优化器, 学习率设为5× 10^-5, 时间窗口长度T设为9.其中, 第1阶段训练迭代1.05× 10⁴次, 第2阶段训练迭代1.4× 10⁴次.在推理阶段, 使用单张NVIDIA A6000 GPU进行评估, 时间窗口长度T设为60, 目标检测器的置信度阈值设为0.525, 与大多数现有工作保持一致.虽然训练和推理设置的时间窗口长度不一致, 但训练和推理都依据目标级关联特征之间的匹配关系, 因此并不存在训练和推理不一致的问题.

为了全面评估GTAT的性能, 在 MvMHAT^[15]、DIVOTrack^[18]、VisionTrack^[20]、EPFL^[26]、CAMPUS^[27]、WILDTRACK^[28]数据集上进行实验. MvMHAT数据集仅包含1个场景, 每段序列由3~4个不同视角组成.DIVOTrack数据集覆盖10个真实世界场景, 共包含20段视频序列, 涵盖室内与室外公共环境, 并由3台运动相机完成采集.VisionTrack数据集覆盖15个真实场景, 包含88段视频序列, 场景环境类型多样, 目标分布情况多样, 在数据规模与多样性方面均优于现有同类数据集.与采用固定地面相机采集的数据集不同, VisionTrack数据集上的数据由两架运动中的无人机完成拍摄, 从而引入更复杂的视角变化与动态成像条件^[29].EPFL数据集包含5个场景, 每段序列由3~4个不同视角组成, 主要采集6~11名行人行走或奔跑的视频.各视角分辨率相对较低, 均为360× 288.CAMPUS数据集包含4个场景, 每个场景由4台1080P相机拍摄.WILDTRACK数据集仅包含1个场景, 具有7个视角, 场景中目标密度较高、遮挡与交互频繁, 因此更能体现模型的跨视角关联能力.

本文采用MOTA(Multiple Object Tracking Accuracy)^[30]、HOTA(High Order Tracking Accuracy)^[31]、AssA(Association Accuracy Score)^[31]、ID F1^[32]对单视角跟踪性能进行综合评估.MOTA指标是多目标跟踪领域主流的整体评价指标, 综合考量误检、漏检与身份跳转等各类误差, 易受检测结果影响, 更侧重于反映模型检测效果与基础跟踪能力.HOTA指标将检测精度与数据关联精度融合至统一评价体系, 兼顾目标检测正误与时序身份关联效果, 可全面衡量模型检测与轨迹关联的综合表现.IDF₁指标从身份匹配维度衡量预测轨迹与真实轨迹的契合程度, 有效体现模型长时序跟踪中的身份维持能力.AssA指标为HOTA框架下的关联精度子指标, 聚焦已检测目标间的匹配合理性, 可直观反映轨迹连续性与身份稳定程度.联合采用上述指标, 能从检测质量、整体跟踪效果、身份一致性等多维度完成方法单视角性能评估.

为了评估跨视角的跟踪性能, 使用CVIDF1(Cross-View IDF₁ Metric)和CVMA(Cross-View Ma-tching Accuracy)^[18]指标.CVIDF1指标是IDF₁指标的跨视角版本, 主要用于衡量跨视角的ID一致性, 公式如下:

CVIDF1= 2·CVIDP·CVIDRCVIDP+CVIDR,

其中, CVIDP表示跨视角的ID精度, CVIDR表示跨视角的ID召回率.

CVMA指标是MOTA指标的跨视角版本, 公式如下:

$C V M A=1-\sum_{t}\left(m_{t}+f_{\mathrm{pt}}^{c}+2 m_{\mathrm{met}}\right)\left(\sum_{t} g_{t}\right)^{-1}, $

其中, m_t表示在时间t时丢失的检测, g_t表示在时间t时来自所有视角的真实目标, f_pt表示假阳性匹配对的数量, m_met表示错误匹配对的数量.

实验选取如下对比方法:$MvMHAT _{\text {prev }}$^[15]、$MvMHAT_{\text {Res }}$^[16]、$MvMHAT_{Trans}$^[16]、CrossMoT^[18]、GMT^[20]、AGW (Attention Generalized Mean Pooling with Wei- ghted Triplet Loss)^[33]、CTL^[34].AGW和CTL均为行人重识别方法, 二者作为外观特征提取网络接入DIVOTrack基准采用的统一跨视角关联流程, 完成多相机多目标跟踪.MvMHAT_prev表示MvMHAT的前期版本.MvMHAT_Res和MvMHAT_Trans分别表示Mv-MHAT的ResNet版本和Transformer版本.

为了保证公平性, GTAT的检测器设置与GMT相同, 各对比方法的实验结果采用文献[20]中公布的结果.

各方法在VisionTrack、DIVOTrack数据集上的指标值如表1所示.由表可见, 在VisionTrack 数据集上, 相比GMT, GTAT取得更优值, 表明其在跨视角匹配与身份一致性方面均取得提升, 其中IDF₁、AssA、CVMA、CVIDF1指标分别提升1.7%、1.5%、1.3%和1.6%, 表明挖掘和利用目标的身份一致性信息能有效提升跨视角关联性能.不同于Vision-Track数据集上由多架无人机拍摄带来的显著动态视角变化, DIVOTrack数据集上的视角变化相对有限, 因此场景变化也相对较弱.实验表明, 相比GMT, GTAT取得更优性能, IDF₁、AssA、CVMA、CVIDF1指标分别提升2.1%、2.5%、3.2% 和 2.9%.

表1

Table 1

表1(Table 1)

表1 各方法在VisionTrack、DIVOTrack数据集上的性能对比 Table 1 Performance comparison of different methods on VisionTrack and DIVOTrack datasets % 方法 VisionTrack DIVOTrack CVMA CVIDF1 MOTA HOTA IDF1 AssA CVMA CVIDF1 MOTA HOTA IDF1 AssA AGW 70.1 68.4 77.0 59.5 77.0 57.0 68.0 63.9 75.9 57.6 68.5 53.1 CTL 65.0 62.7 76.7 55.8 65.5 50.9 67.6 66.5 75.6 58.2 62.6 54.4 MvMHATprev 39.2 53.6 76.9 56.3 66.0 51.3 64.3 57.7 78.4 60.2 70.5 55.0 CrossMOT 64.5 64.4 75.6 54.5 65.5 49.3 69.0 69.1 77.8 60.5 73.9 57.1 MvMHATRes 51.1 61.3 77.0 56.0 66.4 50.8 67.5 65.3 78.9 62.0 70.1 51.8 MvMHATTrans 68.8 70.0 77.6 59.6 72.3 57.2 69.4 68.6 78.9 64.8 74.1 56.3 GMT 75.2 81.3 78.0 66.2 82.1 69.4 74.5 73.2 80.5 64.5 76.7 62.1 GTAT 76.5 82.9 79.3 67.0 83.8 70.9 77.7 76.1 80.6 65.3 78.8 63.6

表1 各方法在VisionTrack、DIVOTrack数据集上的性能对比 Table 1 Performance comparison of different methods on VisionTrack and DIVOTrack datasets %

各方法在WildTrack、MvMHAT数据集上的指标值如表2所示.由表可见, 在WildTrack数据集上, 相比GMT, 尽管GTAT的AssA指标略有下降, 但CVMA、CVIDF1、MOTA、HOTA、IDF₁指标均取得明显提升, 说明GTAT能更有效地提升复杂多视角场景中的全局身份建模能力与跨视角匹配能力, 在整体跟踪性能上取得更优平衡.MvMHAT数据集上行人目标尺度较大、外观清晰、背景干扰较少、极端遮挡情况相对较少, 同时行人活动范围与相机运动模式较为规律, 目标通常不会频繁进出视野, 因此轨迹断裂与身份切换发生的概率较低, 整体跟踪难度相比其它密集复杂场景也相对较小.相比GMT, GTAT的IDF₁、AssA、CVMA、CVIDF1指标分别提升2.1%、5.8%、2.3% 和 2.3%.

表2

Table 2

表2(Table 2)

表2 各方法在WildTrack、MvMHAT数据集上的性能对比 Table 2 Performance comparison of different methods on WildTrack and MvMHAT datasets % 方法 WildTrack MvMHAT CVMA CVIDF1 MOTA HOTA IDF1 AssA CVMA CVIDF1 MOTA HOTA IDF1 AssA AGW 15.9 23.2 52.6 51.4 63.7 57.9 89.6 90.4 89.7 71.0 73.1 60.9 CTL 17.3 27.7 53.6 51.6 46.3 57.5 48.9 56.6 93.7 74.9 84.2 66.7 MvMHATprev 9.4 15.9 47.4 43.4 51.6 44.1 82.4 71.8 93.1 75.7 82.8 67.5 CrossMOT 40.4 54.8 55.6 49.8 63.4 52.7 90.9 86.1 95.9 78.0 90.5 74.0 MvMHATRes - - - - - - 89.0 85.9 92.0 82.0 86.9 70.6 MvMHATTrans - - - - - - 89.6 88.9 91.8 82.3 87.7 71.6 GMT 61.7 72.0 64.9 56.1 74.1 59.1 94.1 95.6 96.2 87.5 95.8 85.3 GTAT 66.8 74.4 67.7 59.2 75.5 58.4 96.4 97.9 96.5 91.1 97.9 91.1

表2 各方法在WildTrack、MvMHAT数据集上的性能对比 Table 2 Performance comparison of different methods on WildTrack and MvMHAT datasets %

各方法在CAMPUS、EPFL数据集上的指标值如表3所示.

表3

Table 3

表3(Table 3)

表3 各方法在CAMPUS、EPFL数据集上的性能对比 Table 3 Performance comparison of different methods on CAMPUS and EPFL datasets % 方法 CAMPUS EPFL CVMA CVIDF1 MOTA HOTA IDF1 AssA CVMA CVIDF1 MOTA HOTA IDF1 AssA AGW 51.2 50.5 58.5 41.9 50.2 33.4 51.6 39.9 70.5 30.6 32.5 16.1 CTL 58.5 47.8 59.0 42.7 52.3 34.6 40.5 28.6 69.3 30.5 58.1 16.2 MvMHATprev 45.7 43.6 60.0 40.6 49.7 31.4 29.1 20.3 77.2 22.5 21.3 9.1 CrossMOT 65.4 52.4 72.2 45.9 56.6 35.8 70.8 59.1 77.6 36.2 38.2 21.3 MvMHATRes 50.8 45.7 66.3 36.8 48.9 34.7 31.1 23.5 78.5 30.1 31.6 14.8 MvMHATTrans 58.2 51.2 68.5 44.7 55.8 37.1 65.9 35.0 77.6 34.6 37.7 19.8 GMT 66.4 66.8 69.5 52.3 69.1 48.2 73.9 66.7 78.2 51.2 67.5 42.2 GTAT 70.1 70.0 73.2 55.9 72.5 52.4 73.7 69.4 77.9 53.2 69.6 44.5

表3 各方法在CAMPUS、EPFL数据集上的性能对比 Table 3 Performance comparison of different methods on CAMPUS and EPFL datasets %

由表3可见, 在CAMPUS数据集上, 相比GMT, GTAT的CVMA、CVIDF1指标分别提升3.7%和3.2%.在EPFL数据集上, 相比GMT, GTAT在部分与检测相关的指标上略有下降, 但其跟踪性能更优, IDF₁、CVIDF1指标分别提升2.1%和2.7%.尽管EPFL、CAMPUS数据集上场景类型相对单一、可跟踪目标数量有限, 但测试集通常由较长的连续视频序列构成, 更强调跟踪过程中的时序一致性、长时遮挡恢复能力和身份保持能力, 因此更能体现GTAT的长期关联建模能力.

为了更直观地展示GTAT和GMT的性能差异, 选取2组GMT典型失效场景展开对比分析.Vision-Track数据集上00018court1场景涵盖篮球运动, 属于长时序视频, 具有目标运动剧烈、遮挡频繁等特点, 适用于评估方法的单视角跟踪性能.DIVOTrack数据集上SHOP场景为拥挤的室内商场环境, 跨视角外观差异显著, 且场景中目标尺度变化较大, 适用于评估跨视角匹配性能.GTAT和GMT的可视化结果如图3和图4所示.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 各方法在VisionTrack数据集0018court1场景中的可视化结果Fig.3 Visualization results of different methods in 0018court1 scene of VisionTrack dataset

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 各方法在DIVOTrack数据集SHOP场景中可视化结果Fig.4 Visualization results of different methods in SHOP scene of DIVOTrack dataset

由图3可见, 在00018court1场景中, 相似目标干扰和遮挡同时存在时, GMT出现ID交换, 并将影子产生的误检错误关联至已有轨迹, 而GTAT能降低该误检对轨迹身份关联的干扰, 并保持较稳定的目标关联.

由图4可见, 在SHOP场景中, GMT的跨视角关联结果不够稳定, 而GTAT能更有效地应对外观差异与尺度变化带来的挑战, 实现更准确的跨视角匹配, 整体效果优于GMT.

为了明确多相机在线场景中的统计口径, 在VisionTrack推理配置下对比GMT和GTAT的参数量、浮点运算量和推理速度.输入图像缩放至1 280× 720, 设置摄像头数C=2, 时间窗口T=60, 全局时间总步数T_g=118, 特征维度D=1 152.考虑到在线关联开销随目标和轨迹规模动态变化, 覆盖Vision-Track数据集上全部22个测试序列, 并从每个序列的早期、中段和末段分别采样一个包含80帧的片段.去除窗口预热后, 每个片段保留21个稳定样本, 即每个序列保留63个样本, 共获得1 386个样本.再对各序列的统计结果进行帧数加权.最终得到完整时间窗口内的目标特征数U=1 213.6, 历史窗口内轨迹数量J=18.1.

在上述统计条件下, 全局轨迹语义编码模块(GTSE)对J条历史轨迹分别进行自注意力编码, 复杂度为O(J(T_gD²+T g2D)).全局轨迹感知增强模块(GTAE)将完整时间窗口内的U个目标特征按视角组织为查询, 并使用J个全局轨迹表示作为各视角的键和值, 复杂度为O((U+C_J)D²+UJD).

按照与GMT相同的有效推理模块统计口径, GTSE、GTAE参数量为18.6 M, 加上GMT原先46.0 M的参数量, 最后GTAT的总参数量为64.6 M.在VisionTrack的统计条件下, GTSE、GTAE分别产生17.8 G和9.9 G的浮点运算量, 相比GMT的227.6 G, GTAT增加27.7 G的浮点运算量, 总浮点运算量为255.3 G.推理速度由GMT的14.6帧/秒降至12.0帧/秒.

WildTrack数据集上目标分布密集、视角数量多、遮挡频繁、场景难度高.为了直观验证GTAT中各模块的实际作用, 在该数据集上开展消融实验.基线方法为GMT, 再分别引入全局轨迹感知模块(GTAM)和全局轨迹一致性损失(GTC), 移除掩码约束.相应消融实验结果如表4所示.

表4

Table 4

表4(Table 4)

表4 各模块在WildTrack数据集上的消融实验结果 Table 4 Ablation experiment results of different modules on WildTrack dataset % 模块 CVMA CVIDF1 MOTA HOTA IDF1 GMT 61.7 72.0 64.9 56.1 74.1 GMT+GTAM 66.7 73.7 67.6 59.0 74.6 GMT+GTAM+GTC 66.8 74.4 67.7 59.2 75.5 移除掩码约束 66.5 73.4 67.6 59.1 75.1

表4 各模块在WildTrack数据集上的消融实验结果 Table 4 Ablation experiment results of different modules on WildTrack dataset %

由表4可见, 仅引入GTAM后, 跨视角跟踪性能得到明显提升, CVMA指标提升5.1%, CVIDF1指标提升2.4%, 充分表明将全局轨迹级信息注入关联特征的有效性.在此基础上引入GTC, 单视角与跨视角关联性能均获得进一步提升, IDF₁指标提升0.9%, CVIDF1指标提升0.7%, 验证通过额外约束轨迹级表征与目标级关联特征的匹配关系, 能有效实现全局轨迹信息的跨时间、跨视角监督, 学习判别性更强的关联特征.移除掩码约束后, 单视角与跨视角跟踪性能均出现明显下降, 表明掩码机制能筛选有效样本、过滤无效监督噪声, 保证仅基于可观测、可匹配的样本开展学习, 是提升跟踪稳定性的关键约束之一.

为了验证GTC有助于学习更具有判别性的关联特征, 单独将GTC加入GMT, 在WildTrack数据集上的消融实验结果如表5所示.由表可见, GTC通过显式监督轨迹级表示与目标级关联特征的匹配关系, 直接强化关联特征与对应轨迹的对齐度, 提升目标特征在跨视角、跨时间匹配任务中的判别能力, 减少身份混淆.

表5

Table 5

表5(Table 5)

表5 GTC对GTAT性能的影响 Table 5 Effect of GTC on GTAT performance % 方法 CVMA CVIDF1 MOTA HOTA IDF1 GMT 61.7 72.0 64.9 56.1 74.1 GMT+GTC 66.2 72.9 67.2 58.5 74.3

表5 GTC对GTAT性能的影响 Table 5 Effect of GTC on GTAT performance %

为了验证GTAE中分视角交叉注意力增强设计的有效性, 在DIVOTrack数据集上, 将其与未分视角的交叉注意力增强方案开展对比实验, 结果如表6所示.

表6

Table 6

表6(Table 6)

表6 分视角交叉注意力增强对GTAT性能的影响 Table 6 Effect of view-specific cross-attention enhancement on GTAT performance % 方法 CVMA CVIDF1 MOTA HOTA IDF1 未分视角 76.6 73.5 79.9 64.3 77.7 分视角 77.7 76.1 80.6 65.3 78.8

表6 分视角交叉注意力增强对GTAT性能的影响 Table 6 Effect of view-specific cross-attention enhancement on GTAT performance %

由表6可见, 采用分视角交叉注意力增强后, 各项指标均获得一定提升, 表明视角信息的解耦利用较重要:未分视角的交叉注意力会将不同视角的特征直接混合, 容易引入视角间噪声与干扰; 分视角设计能保留各视角的上下文信息, 使目标特征更精准地感知轨迹级身份语义, 强化跨视角关联能力.

为了验证GTSE使用可学习的全局轨迹令牌对全局轨迹语义编码的有效性, 在DIVOTrack数据集上对比轨迹平均池化与注意力池化, 结果如表7所示.由表可见, 相比静态单层注意力池化和无差别平均池化, 动态参与序列交互的全局轨迹令牌能建模更精准的全局轨迹表征.

表7

Table 7

表7(Table 7)

表7 全局轨迹聚合策略对GTAT性能的影响 Table 7 Effect of global trajectory aggregation strategies on GTAT performance % 策略 CVMA CVIDF1 MOTA HOTA IDF1 平均池化 77.2 76.0 80.5 65.2 78.6 注意力池化 77.1 75.8 80.4 65.2 78.7 全局轨迹令牌 77.7 76.1 80.6 65.3 78.8

表7 全局轨迹聚合策略对GTAT性能的影响 Table 7 Effect of global trajectory aggregation strategies on GTAT performance %

为了验证推理时间窗口长度对GTAT的影响, 在VisionTrack数据集上进行实验, 设定时间窗口长度为50、60、70, 相应结果如表8所示.由表可见, 随着时间窗口长度由50增至60, 各项性能均有所提升, 说明适当增加时间窗口长度能提供更充分的历史观测, 改善跟踪性能.当时间窗口长度进一步增至70时, CVIDF1指标保持不变, 其余指标均出现小幅下降.这可能是因为更长的时间窗口引入更多的冗余历史观测和更大的外观变化, 同时增加计算开销.综合关联性能与计算效率, 本文最终将推理时间窗口长度设为60.

表8

Table 8

表8(Table 8)

表8 时间窗口长度对GTAT性能的影响 Table 8 Effect of window length on GTAT performance % 时间窗口长度 CVMA CVIDF1 MOTA HOTA IDF1 50 76.0 82.1 79.0 66.5 83.4 60 76.5 82.9 79.3 67.0 83.8 70 76.4 82.9 79.2 66.8 83.6

表8 时间窗口长度对GTAT性能的影响 Table 8 Effect of window length on GTAT performance %