本文提出基于视觉语义动态锚定的双空间约束可见光-红外行人重识别方法(DS-VSDA), 总体架构如图1所示.可见光图像与红外图像共享Res-Net50骨干网络, 在残差层3和残差层4之后嵌入模态注意力模块(Modality Attention Module, MAM), 缓解模态分布差异.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 DS-VSDA总体架构Fig.1 Overall architecture of DS-VSDA

输入特征图X∈ R^{C× H× W}, 其中, C表示特征图的通道数, H、W分别表示特征图的高度和宽度.MAM输出为:

$ \boldsymbol{Y}=G(\boldsymbol{X}) \odot \boldsymbol{X}+(\mathbf{1}-G(\boldsymbol{X})) \odot I N(\boldsymbol{X}) .$

其中:

$ G(\boldsymbol{X})=\sigma\left(\operatorname{Conv}_{1 \times 1}\left(\operatorname{ReLU}\left(\operatorname{Conv}_{1 \times 1}(\operatorname{AvgPool}(\boldsymbol{X}))\right)\right)\right)$

表示通道注意力门控函数(降维比r=16), σ (· )表示Sigmoid函数, Conv_{1× 1}(· )表示1× 1卷积计算, ReLU(· )表示ReLU激活函数, AvgPool(· )表示平均池化; IN(X)表示实例归一化; ☉表示逐通道乘积.在结构上, MAM由通道注意力门控与实例归一化(Instance Normalization, IN)两条支路构成.通道注意力支路通过全局平均池化后连接两层1× 1卷积(降维比r=16), 生成通道级软门控权重; IN支路对特征进行实例级归一化, 去除模态特有的均值与方差统计信息.两个支路通过门控权重进行动态融合:门控值大时偏向保留原始判别特征, 门控值小时增强IN的去模态化效果, 从而在保留身份判别能力的同时自适应缩小可见光特征与红外特征的模态分布差异.

骨干网络在残差层2输出浅层特征图, 经轻量升维模块生成浅层特征, 构建浅层细节空间.在残差层4输出深层特征图, 经语义驱动的原型动态锚定模块(SPDA)生成部件特征, 与全局池化特征拼接后经双分支瓶颈层(Bottleneck, BN)归一化, 得到最终的深层特征表示, 送入共享分类器及模态专属互学习分类器进行身份学习.

模态专属互学习分类器由可见光分类器与红外分类器及其对应的影子分类器构成, 影子分类器不参与梯度更新, 而是通过指数移动平均(Exponential Moving Average, EMA)平滑主分类器的权重, 并与主分类器进行互学习.

训练阶段的总损失由身份分类损失、跨模态中心损失、部件多样性损失与本文新增的3项损失加权求和构成.推理阶段分别在深层空间和浅层空间计算余弦相似度, 经一致性校验动态校准后输出最终匹配距离.

现有部件学习方法可大致分为2类:固定水平分割和可学习注意力.这两类方法的共同特点是部件语义完全由数据驱动形成, 缺乏人体结构的显式引导.固定分割的部件边界刚性, 难以适应姿态变化; 可学习注意力虽具有空间灵活性, 但由于采用随机初始化策略, 不同原型在无监督收敛后常出现语义重叠与漂移.因此, 本文设计语义驱动的原型动态锚定模块(SPDA), 核心区别在于引入人体部位空间位置先验:利用垂直方向上头部-躯干-下肢的解剖学分布规律对原型进行软初始化, 使各原型在训练之初获得明确的空间语义锚点.与PartMix等方法的本质差异在于:SPDA并非简单地让模型“ 学习” 部件划分, 而是为部件学习提供人体结构驱动的初始约束与持续正则(互斥损失), 使部件表征与人体部位之间建立更稳定、可解释的对应关系.SPDA框架如图2所示.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 SPDA框架图Fig.2 SPDA framework

1)注意力特征聚合.如图2中间区域所示, 深层特征图F_d∈ R^{B× C× H× W}展平为像素特征序列X∈ R^{B× N× C}(N=H× W), 其中B表示训练批次大小, 叠加可学习位置嵌入E∈ R^{N× C}, 得到加入位置嵌入的输入特征:

$ \boldsymbol{X}_{\mathrm{pos}}=\boldsymbol{X}+\boldsymbol{E}, $

其中, E为各样本共享, 通过广播机制沿批量维度B复制, 与X逐元素相加.

P(P=7)个语义原型T∈ R^{P× C}与X_pos计算内积并经Sigmoid激活, 生成注意力图:

$ \boldsymbol{A}=\boldsymbol{\sigma}\left(\boldsymbol{T} \cdot \boldsymbol{X}_{\text {pos }}^{\mathrm{T}}\right) \in \mathbf{R}^{B \times P \times N} .$

以A为权重对X加权聚合, 得到部件特征f_part∈ R^{P× C}, 再与全局池化特征f_g拼接, 得到拼接特征 f∈ R^{(P+1)× C}.

2)位置先验锚定初始化.如图2左侧区域所示, 利用人体部位在垂直方向上的空间分布先验初始化原型.将特征图划分为P(P=7)个具有适度重叠的语义区域, 从上到下依次对应头部、上胸、下胸、腰部、上腿、下腿和脚部, 构建先验分布矩阵M∈ R^{P× N}, 矩阵元素:

$ M_{p, n}=\left\{\begin{array}{ll} \frac{1}{\left|R_{p}\right|}, & n \in R_{p} \\ 0, & \text { 其它 } \end{array}\right.$

其中R_p表示第p个部位对应的像素集合.利用M对位置嵌入加权求和, 生成初始原型:

$ \boldsymbol{T}^{(0)}=\boldsymbol{M} \cdot \boldsymbol{E} .$

该初始化使每个原型在训练开始阶段就能锚定对应人体区域的空间位置信息.相邻区域设置约10%的重叠, 兼顾先验引导的稳定性与数据驱动的灵活性.原型初始化后仍作为可学习参数参与端到端训练.为了保证遮挡、姿态弯曲等复杂场景中位置先验的有效性, 首先, 位置先验的初始化仅提供训练起点的引导, 采取如下措施.原型在端到端训练中可根据数据自适应调整, 当行人出现局部遮挡或姿态变化时, 原型可通过梯度优化偏离初始锚点以适应实际空间偏移.其次, 原型间互斥损失对注意力重叠的约束是软性的(取上三角均值而非逐对强制正交), 为非标准姿态下的空间重叠保留容忍度, 避免因强制正交而导致部件割裂.

3)原型间互斥损失.如图2右侧区域所示, 为了防止训练中原型注意力趋同, 对注意力图的空间重叠施加惩罚.将注意力图沿空间维归一化为概率分布 A¯p, 计算任意两个原型的重叠度矩阵:

$ \boldsymbol{O}=\overline{\boldsymbol{A}}_{p} \cdot \overline{\boldsymbol{A}}_{p}{ }^{\mathrm{T}} \in \mathbf{R}^{P \times P} .$

互斥损失取所有原型对上三角元素的均值:

$ L_{\mathrm{me}}=\frac{1}{B} \sum_{b=1}^{B} \frac{2}{P(P-1)} \sum_{i=1}^{P} \sum_{j=i+1}^{P} O_{i, j}^{(b)}, $

其中, Oi, j(b)表示第b个样本中, 第i个原型和第j个原型注意力分布的重叠度.

最小化L_me促使各原型的注意力分布趋向空间正交.位置先验初始化提供语义锚点, 互斥损失提供持续约束, 二者协同保障原型对人体部位的稳定覆盖.

现有红外-可见光重识别方法的训练损失以单样本身份分类和成对/三元组度量为主, 缺乏对批次内全局样本拓扑结构的显式感知.本文提出跨样本邻域关联损失(NRL), 为每个样本显式构建正负邻域并分别施加聚合与推离约束.

对于批次内归一化特征$ \left\{\widetilde{\boldsymbol{f}_{i}}\right\}_{i=1}^{B}$, 计算余弦相似度矩阵S, 矩阵元素

$ S_{i, j}=\tilde{\boldsymbol{f}}_{i}^{\mathrm{T}} \cdot \tilde{\boldsymbol{f}}_{j} .$

定义余弦距离

$ d_{i, j}=1-S_{i, j} .$

对于锚点样本i, 从同身份样本中选取相似度最高的M(M=4)个构成正邻域 Ni+, 从异身份样本中选取相似度最高的最难负样本j^* , 分别定义正负邻域损失:

$ \begin{array}{l} L_{\mathrm{pos}}^{(i)}=\frac{1}{M} \sum_{j \in N_{i}^{+}} \max \left(0, d_{i, j}-m_{\mathrm{pos}}\right), \\ L_{\mathrm{neg}}^{(i)}=\max \left(0, m_{\mathrm{neg}}-d_{i, j^{* }}\right), \end{array}$

其中, m_pos=0.3, m_neg=0.7, 分别表示正负邻域的距离阈值.最终的邻域关联损失为批次内的均值:

$ L_{\mathrm{nr}}=\frac{1}{|V|} \sum_{i \in V} L_{\mathrm{pos}}^{(i)}+\frac{1}{B} \sum_{i=1}^{B} L_{\mathrm{neg}}^{(i)} .$

NRL与现有度量学习及对比学习方法的区别体现在约束形式、优化目标和计算特性三个层面.首先, 在约束形式上, 三元组和对比学习使用相对排序损失(Margin-Based或Softmax-Based), NRL对正负邻域分别施加绝对距离阈值, 为特征空间提供更明确的几何边界.在负样本策略上, 对比学习依赖大batch或记忆库构建全局负样本, 存在假阴性风险, NRL仅使用批次内样本, 计算开销较小且避免跨批次的假阴性问题.上述设计使训练阶段的优化目标与推理阶段的检索逻辑保持高度一致.

从理论角度上, NRL与SupCon Loss和Multi-similarity Loss等代表性度量学习变体的关键区别如下.1)SupCon Loss使用softmax形式的全局归一化对比损失, 梯度由全体负样本共同决定:在VI-ReID中每个身份仅有少量样本的情况下, softmax分母受噪声负样本主导, 梯度信号被稀释.NRL的绝对阈值约束不依赖全局归一化, 梯度由正负邻域的局部几何关系直接确定.2)Multi-similarity Loss通过自相似性、正相对相似性和负相对相似性三个准则加权采样, 本质上仍是相对排序优化.NRL将优化从相对排序推广至绝对几何约束, 通过正邻域距离阈值margin_pos和负邻域距离阈值margin_neg直接规定正负邻域的期望距离界限, 对齐训练约束与推理时基于绝对距离的检索逻辑.3)上述损失函数均未显式建模多正样本的聚合结构, NRL对M个最近正邻域施加联合约束, 鼓励正样本形成紧致簇, 这对跨模态场景中身份特征的模态不变性尤其重要.

现有方法在推理阶段仅依赖深层特征空间计算匹配距离, 无法利用浅层网络中具有跨模态不变性的轮廓边缘等细节信息.本文构建双空间一致性约束与匹配动态校准机制(DSCC), 保持浅层细节空间与深层语义空间的独立性, 在训练阶段通过一致性损失对齐两个空间, 在推理阶段以双空间匹配结果的一致性作为校准信号, 一致时增强置信度, 不一致时抑制噪声.DSCC结构如图3所示.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 DSCC结构图Fig.3 DSCC architecture

在训练阶段, 对于L₂归一化后的浅层特征 f˜s与深层全局特征 f˜g, 通过余弦损失

$ L_{\cos }=\frac{1}{B} \sum_{i=1}^{B}\left(1-\tilde{\boldsymbol{f}}_{s, i}^{\mathrm{T}} \cdot \tilde{\boldsymbol{f}}_{g, i}\right), $

与均方误差损失

$ L_{\mathrm{mse}}=\frac{1}{B} \sum_{i=1}^{B}\left\|\tilde{\boldsymbol{f}}_{s, i}-\tilde{\boldsymbol{f}}_{g, i}\right\|_{2}^{2}$

联合约束, 得到双空间一致性损失:

$ L_{\mathrm{dc}}=\alpha L_{\mathrm{cos}}+(1-\alpha) L_{\mathrm{mse}}, $

其中, α =0.6, 用于控制余弦损失与均方误差损失的相对重要性.L_cos约束特征方向一致性, L_mse约束特征幅度接近程度, 为推理阶段的双空间互证提供可靠基础.

在推理阶段, 如图3下侧所示, 对于查询集与图库集的L₂归一化特征, 分别在深层空间和浅层空间计算余弦相似度矩阵S^(d)和S^(s), 进而计算平均相似度

$ \bar{S}_{i, j}=\frac{S_{i, j}^{(d)}+S_{i, j}^{(s)}}{2}, $

与一致性偏差

$ \Delta_{i, j}=\left|S_{i, j}^{(d)}-S_{i, j}^{(s)}\right|, $

其中, $ S_{i, j}^{(d)}$表示深层空间的余弦相似度矩阵中元素, $ S_{i, j}^{(s)}$表示浅层空间的余弦相似度矩阵中元素.

定义双空间一致性:

$ \boldsymbol{\Delta}=\left|\boldsymbol{S}_{\text {shallow }}-\boldsymbol{S}_{\text {deep }}\right|, $

值越小, 表示浅层特征与深层特征对同一匹配的判断越一致, 匹配置信度越高.校准后的相似度为:

$ S_{i, j}^{\text {cal }}=\left\{\begin{array}{ll} \bar{S}_{i, j}\left(1+\beta\left(1-\Delta_{i, j}\right)\right), & \Delta_{i, j} \leqslant \tau \\ \bar{S}_{i, j}\left(1+\gamma \Delta_{i, j}\right), & \Delta_{i, j}> \tau \end{array}\right.$

其中: β 表示增强系数, 用于增强匹配置信度的幅度; Δ _{i, j}表示一致性偏差, 即深层空间与浅层空间对同一匹配对判断的差异; τ 表示评定双空间判断是否一致的阈值; γ ∈ [0, 1], 表示惩罚系数, 控制不一致时的抑制强度, 默认取γ =0.8.

为了抑制校准后的孤立噪声值, 对每个查询样本i, 取校准相似度中top-K近邻均值 μ _i, 进行插值平滑, 得到平滑后的匹配相似度:

$ S_{i, j}^{\text {final }}=(1-\eta) S_{i, j}^{\text {cal }}+\eta \mu_{i} .$

其中:η =0.1, 表示平滑权重, 即邻域均值只占10%的贡献; K=10, 取top-10个最相似近邻求均值.最终匹配距离为:

$ d_{i, j}=-S_{i, j}^{\text {final }} .$

总之, 训练阶段的一致性损失为双空间建立统一语义基准, 推理阶段的动态校准利用一致性信息自适应增强或抑制匹配结果, 整个机制保持两个特征空间的独立性, 避免简单拼接融合可能引入的噪声耦合.双空间校准中的一致性阈值τ 控制校准的灵敏度.τ 过小时校准过激, τ 过大时校准退化.增强系数β 与惩罚系数γ 控制校准强度.

本文在SYSU-MM01、RegDB这2个红外-可见光跨模态行人重识别领域通用的基准数据集上开展实验, 验证DS-VSDA的有效性与泛化性.

SYSU-MM01数据集上通过4台可见光、2台近红外摄像机采集图像, 覆盖室内外多场景, 包含491个行人身份, 其中395个身份用于训练、96个身份用于测试, 共287 628幅图像, 模态差异与场景复杂度突出.实验同时以红外图像为查询集、可见光图像为图库集, 设置全场景搜索(All-Search)和室内搜索(Indoor-Search)两种检索模式.

RegDB数据集是双视角对齐采集的受控基准数据集, 包含412个行人身份, 每个身份对应10幅可见光图像和10幅红外图像, 共8 240幅图像.选取206个身份用于训练, 剩下206个身份用于测试.检索设置包括红外-可见光模式和可见光-红外模式.

本文采用Rank-1识别率与平均精度均值(Mean Average Precision, mAP)评估方法的跨模态检索性能, Rank-1识别率衡量检索首检命中率, mAP衡量模型整体检索精度.

本文采用在ImageNet上预训练的ResNet50作为骨干网络, 输入图像统一缩放至288× 144.训练阶段采用随机水平翻转、随机裁剪(填充10像素)和随机擦除进行数据增强.使用Adam(Adaptive Mo- ment Estimation)优化器进行端到端训练, 设置初始学习率为3.5× 10^-4, 权重衰减系数为5× 10^-4, 批次大小为128, 共计训练160轮.

关键超参数的选择依据如下.原型数量P(P=7)对应人体自然部位划分(头、上胸、下胸、腰、上腿、下腿、脚), 为经验取值.邻域损失的正邻域近邻数M=4、正邻域距离阈值margin_pos=0.3和负邻域距离阈值margin_neg=0.7均通过验证集网格搜索确定.基于余弦项与均方误差项的等权重实验择优选择双空间一致性损失的平衡系数α =0.6.3项损失权重均设为0.1, 平衡各模块贡献.基于验证集检索性能调优确定校准参数τ =0.5, β =0.8, K=10.DS-VSDA的结果均为3次独立运行(seed=0, 1, 2)的均值± 标准差.

所有实验在单块NVIDIA 4090 GPU上完成.

为了全面评估DS-VSDA的性能, 在SYSU-MM01、RegDB基准数据集上进行实验, 选择如下对比方法:Zero-Padding^[4]、AGW^[5]、cmGAN^[6]、Align-GAN^[7]、JSIA-ReID^[8]、MCLNet^[12]、cm-SSFT^[16]、FMC- Net^[17]、SMCL^[18]、LbA^[19]、MAUM^[20]、CMGR^[21]、CMT^[25]、CFET^[26]、CM-NAS^[27]、MPANet^[28]、CIFT^[29]、MSCLNet^[30]、DDAG^[31]、文献[32]方法、NFS^[33]、WF-CAMReViT^[34]、TNAS^[35]、MIP^[39]、CSVI^[42]、MID(Modality-Adaptive Mixup and Invariant Decomposi-tion)^[47]、SAAI^[48].

各方法在SYSU-MM01数据集上指标值如表1所示, 表中黑体数字表示最优值, 在与相同实验设置下的SAAI对比时, 所有改进均在同一代码框架和训练协议下复现.

表1

Table 1

表1(Table 1)

表1 各方法在SYSU-MM01数据集上的指标值 Table 1 Metric values of different methods on SYSU-MM01 dataset % 方法 全场景搜索模式 室内搜索模式 单样本查询 多样本查询 单样本查询 多样本查询 Rank-1 mAP Rank-1 mAP Rank-1 mAP Rank-1 mAP Zero-Padding 14.80 15.95 19.13 10.89 20.58 26.92 24.43 18.86 cmGAN 26.97 27.80 31.49 22.27 31.63 42.19 37.00 32.76 JSIA-ReID 38.10 36.90 45.10 29.50 43.80 52.90 52.70 42.70 AlignGAN 42.40 40.70 51.50 33.90 45.90 54.30 57.10 45.30 AGW 47.50 47.65 - - 54.17 62.97 - - LbA 55.41 55.41 - - 58.46 66.33 - - NFS 56.91 55.45 63.51 48.56 62.79 69.79 70.03 61.45 MID 60.27 59.40 - - 64.86 70.12 - - cm-SSFT 61.60 63.20 63.40 62.00 70.50 72.60 73.00 72.40 CM-NAS 61.99 60.02 68.68 53.45 67.01 72.95 76.48 65.11 MCLNet 65.40 61.98 - - 72.56 76.58 - - FMCNet 66.34 62.51 73.44 56.06 68.15 74.09 78.86 63.82 SMCL 67.39 61.78 72.15 54.93 68.86 75.56 79.57 66.57 CMGR 67.60 64.30 - - 73.80 78.00 - - WF-CAMReViT 68.05 65.17 - - 72.43 77.58 - - MIP 70.84 66.41 - - 78.80 79.92 - - CFET 69.59 67.71 - - 75.91 80.73 - - MPANet 70.58 68.24 75.58 62.91 76.74 80.95 84.22 75.11 MAUM 71.68 68.79 - - 76.97 81.94 - - CMT 71.88 68.57 80.23 63.13 76.90 79.91 84.87 74.11 CIFT 74.08 74.79 79.74 75.56 81.82 85.61 88.32 86.42 MSCLNet 76.99 71.64 - - 78.49 81.17 - - SAAI 75.90 77.03 82.86 82.39 83.20 88.01 90.73 91.30 DS-VSDA 75.28 (± 0.74) 76.45 (± 0.38) 83.25 (± 0.34) 82.53 (± 0.42) 84.07 (± 0.37) 88.09 (± 0.23) 91.87 (± 0.23) 92.19 (± 0.16)

表1 各方法在SYSU-MM01数据集上的指标值 Table 1 Metric values of different methods on SYSU-MM01 dataset %

由表1可见, DS-VSDA在全场景搜索单样本查询设置下, Rank-1值为75.28%, mAP值为76.45%.在mAP指标上, DS-VSDA(76.45%)与SAAI(77.03%)基本持平, 同时在室内搜索单样本查询和多样本查询设置下取得最优值.在全场景搜索多样本设置下, DS-VSDA的Rank-1值达83.25%, mAP值达82.53%, 相比SAAI, mAP值有所提升.室内搜索模式下DS-VSDA优势更突出:单样本查询设置下Rank-1值为84.07%、mAP值为88.09%, 多样本查询设置下两项指标分别达到91.87%和92.19%, 在所有设置下均取得具有竞争力的性能.相比CIFT、CMT、MAUM、MIP等前沿方法, DS-VSDA的mAP值更高, 综合检索精度优势显著.尽管MSCLNet在全场景搜索单样本查询设置下的Rank-1指标(76.99%)略高, 但mAP值为71.64%, 低于DS-VSDA.总之, DS-VSDA在Rank-1、mAP指标上均保持较高水平, 检索性能更均衡稳健.

各方法在RegDB数据集上的指标值如表2所示, 表中黑体数字表示最优值.由表可见:DS-VSDA在可见光-红外检索模式下, Rank-1值为91.52%、mAP值为92.35%; 红外-可见光检索模式下, Rank-1值为92.91%, mAP值为93.81%.两个检索方向的mAP值均为最优值.

表2

Table 2

表2(Table 2)

表2 各方法在RegDB数据集上的指标值 Table 2 Metric values of different methods on RegDB dataset % 方法 可见光-红外 红外-可见光 方法 可见光-红外 红外-可见光 Rank-1 mAP Rank-1 mAP Rank-1 mAP Rank-1 mAP Zero-Padding 17.75 18.90 16.63 17.82 文献[32]方法 85.03 79.14 84.75 77.82 JSIA-ReID 48.50 49.30 48.10 48.90 MID 87.45 84.85 84.29 81.41 AlignGAN 57.90 53.60 56.30 53.40 MAUM 87.87 85.09 86.95 84.34 DDAG 69.34 63.46 68.06 61.80 FMCNet 89.12 84.43 88.38 83.86 AGW 70.05 66.37 70.49 65.90 CIFT 91.96 92.00 90.30 90.78 cm-SSFT 72.30 72.90 71.00 71.70 CMT 95.17 87.30 91.97 84.46 LbA 74.17 67.64 72.43 65.46 SAAI 91.07 91.45 92.09 92.01 MCLNet 80.31 73.07 75.93 69.49 CMGR 93.20 87.50 92.60 86.80 NFS 80.54 72.10 77.95 69.79 CSVI 91.40 85.10 90.10 83.90 MPANet 83.70 80.90 82.80 80.70 MIP 92.38 85.99 91.26 85.90 SMCL 83.93 79.83 83.05 78.57 TNAS 91.07 86.32 89.27 84.83 MSCLNet CM-NAS 84.17 84.54 80.99 80.32 83.86 82.57 78.31 78.31 DS-VSDA 91.52 (± 0.32) 92.35 (± 0.19) 92.91 (± 0.37) 93.81 (± 0.42)

表2 各方法在RegDB数据集上的指标值 Table 2 Metric values of different methods on RegDB dataset %

相比SAAI, DS-VSDA在可见光-红外、红外-可见光两个方向上的mAP值分别提升0.90%和1.80%, 改进幅度大于在SYSU-MM01数据集上的效果, 由此验证DS-VSDA在受控场景中的突出优势.尽管CMT在可见光-红外模式下的Rank-1值高达95.17%, 高于DS-VSDA, 但mAP值为87.30%, 低于DS-VSDA.对比实验验证双空间一致性约束与匹配动态校准机制对排序质量的优化效果.

DS-VSDA的总参数量为57.99 M(其中可训练部分参数量为45.01 M), 相比SAAI, 参数量增加约1.05 M, 增量主要来源于浅层特征提取模块.新增的浅层特征提取模块引入约1.06 M的额外参数量, 包括:浅层特征提取器中的1× 1卷积层(参数量约为0.26 M)和批归一化层(可忽略), 而语义驱动的原型动态锚定模块(SPDA)、跨样本邻域关联损失(NRL)及双空间推理阶段的瓶颈层均不引入额外参数.

为了验证DS-VSDA中各模块的有效性及其协同效果, 在SYSU-MM01、RegDB数据集上进行逐步叠加的消融实验.

以SAAI作为基线方法, 依次引入模态注意力模块(MAM)、视觉语义驱动的原型动态锚定模块(SPDA)、跨样本邻域关联损失(NRL)、双空间一致性约束与匹配动态校准机制(DSCC), 观察性能的增量变化.相应消融实验结果如表3和表4所示, 表中黑体数字表示最优值.

表3

Table 3

表3(Table 3)

表3 各模块在SYSU-MM01数据集上的消融实验结果 Table 3 Ablation experiment results of different modules on SYSU-MM01 dataset % MAM NRL DSCC SPDA 全场景搜索模式 室内搜索模式 单样本查询 多样本查询 单样本查询 多样本查询 Rank-1 mAP Rank-1 mAP Rank-1 mAP Rank-1 mAP - - - - 72.73 73.21 81.53 80.29 80.36 85.37 90.85 90.88 √ - - - 75.90 77.03 82.86 82.39 83.20 88.01 90.73 91.30 √ √ - - 73.28 75.49 81.41 81.06 83.14 86.85 90.36 90.76 √ - √ - 74.14 75.29 82.64 81.75 83.05 87.28 90.93 90.94 √ √ √ - 74.20 75.67 81.81 81.05 83.10 87.46 90.95 91.39 √ - - √ 75.61 76.53 82.92 82.09 83.64 88.19 91.46 91.57 √ - √ √ 75.14 75.83 83.07 82.26 82.50 87.01 90.55 90.95 √ √ - √ 75.30 76.61 83.12 82.75 83.53 88.58 91.67 91.88 - √ √ √ 73.16 73.98 81.52 80.50 83.11 87.26 91.54 91.61 √ √ √ √ 75.28 (± 0.74) 76.45 (± 0.38) 83.25 (± 0.34) 82.53 (± 0.42) 84.07 (± 0.37) 88.09 (± 0.23) 91.87 (± 0.23) 92.19 (± 0.16)

表3 各模块在SYSU-MM01数据集上的消融实验结果 Table 3 Ablation experiment results of different modules on SYSU-MM01 dataset %

表4

Table 4

表4(Table 4)

表4 各模块在RegDB数据集上的消融实验结果 Table 4 Ablation experiment results of different modules on RegDB dataset % MAM SPDA NRL DSCC 可见光-红外 红外-可见光 Rank-1 mAP Rank-1 mAP - - - - 88.34 88.51 88.67 89.12 √ - - - 91.07 91.45 92.09 92.01 √ √ - - 91.21 92.17 92.86 93.37 √ √ √ - 91.38 92.24 93.06 93.69 √ √ √ √ 91.52 (± 0.32) 92.35 (± 0.19) 92.91 (± 0.37) 93.81 (± 0.42)

表4 各模块在RegDB数据集上的消融实验结果 Table 4 Ablation experiment results of different modules on RegDB dataset %

由表3可见, 在全场景搜索模式单样本查询设置下, DS-VSDA的Rank-1值为75.28%, mAP值为76.45%, 均未超越添加MAM的SAAI(75.90%, 77.03%), 这是因为DS-VSDA在该设置下的客观局限性.具体而言, SPDA单独使用时Rank-1值为75.61%(仅比添加MAM的SAAI减少0.29%), 表明人体部位空间先验在室外复杂场景中的偏差影响相对有限.进一步叠加NRL后, Rank-1值降至75.30%, 再叠加DSCC后Rank-1值降至75.28%, 说明NRL的邻域约束和DSCC的校准惩罚在这一协议下产生额外的负面作用, 3个模块在全场景搜索单样本设置下呈现一定的负协同效应.造成该现象的原因可能在于:1)全场景搜索单样本查询设置下要求根据单幅红外图像在可见光图库中检索唯一匹配结果, 检索空间较大且单样本信息有限, 任何额外的特征约束都可能进一步压缩特征空间的灵活性; 2)NRL的绝对距离阈值约束与DSCC的惩罚机制在多样性场景中可能对部分原本正确的跨模态匹配产生误约束.相比之下, 室内搜索模式下摄像头角度和拍摄距离相对固定, 上述约束的负面影响基本消失, 各模块转为正向增益.

在其它3组评估设置下, 各模块均呈现清晰的正向增益:在全场景搜索多样本查询设置下, 仅使用SPDA, Rank-1值从82.86%升至82.92%, 添加NRL后进一步升至83.12%, 再添加DSCC后达到83.25%; mAP值从82.39%逐步升至82.53%.在室内搜索模式单样本查询设置下, 增益最显著.仅使用SPDA使Rank-1值从83.20%升至83.64%, mAP值从88.01%升至88.19%.添加NRL后, mAP值进一步升至88.58%.再添加DSCC后, Rank-1值达到84.07%, mAP值达到88.09%.室内搜索模式下3个模块的递进增益完整且一致, 由此验证在姿态变化较小、场景相对受控的条件下各模块设计充分有效.室内搜索多样本查询设置下增益最大.仅使用SPDA使Rank-1值从90.73%升至91.46%, 添加NRL后升至91.67%, 再添加DSCC后达到91.87%; mAP值也从91.30%升至92.19%.单独添加NRL和DSCC后的指标值均低于SAAI, 由此验证递进式设计的必要性.NRL和DSCC需SPDA提供的结构化部件语义作为特征基础.添加NRL+DSCC后的指标值低于所有含SPDA的配置, 这从反面验证SPDA的作用.添加MAM后Rank-1、mAP指标值均有所上升, 这进一步确认MAM的基础性贡献.

由表4可见, 两个检索方向上各模块均呈现代际递增趋势, mAP指标值累计增益达1.80%.各模块在RegDB数据集受控环境下的平滑递增与SYSU-MM01数据集室内场景中的显著增益共同验证各模块设计的合理性与有效性.

在推理阶段, 双空间匹配动态校准需要额外计算浅层特征的余弦相似度矩阵, 复杂度为O(Nq· Ng· D), 其中, Nq表示查询图像数量, Ng表示图库图像数量, D表示特征维度, 这与深层检索的矩阵乘法复杂度相同.在SYSU-MM01全测试集(单块RTX 4090, 查询集3 803幅, 图库集6 775幅)上实测, ResNet特征提取耗时约6.5 s(查询集上耗时2.4 s、图库集上耗时4.1 s), 双空间矩阵乘法与校准耗时仅需约0.031 s, 占总推理时间的0.5%.其中浅层特征的额外矩阵乘法约0.013 s, 仅占总推理时间的0.2%.该类额外开销极小, 且可通过特征降维或近似近邻搜索进一步降低.

为了直观展示DS-VSDA的有效性, 从注意力图对比、检索结果对比、特征分布可视化及双空间一致性这4个方面进行定性分析.

2.5.1 注意力图可视化

为了验证SPDA的有效性, 将原始SAFL(Seman-tic-Aligned Feature Learning)与SPDA在SYSU-MM01测试集上的注意力响应进行可视化对比, 在可见光模态与红外模态下, 选取4个人体部位原型(头部、下胸、大腿、脚部), 相应注意力热力图如图4所示.由图可观察到, SAFL的注意力响应呈现明显的弥散现象:各部位原型的激活区域存在大面积重叠, 尤其在下胸、大腿处原型响应难以区分.这一现象表明,

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 原型注意力可视化图Fig.4 Prototype attention visualization

随机初始化的原型在收敛后仍缺乏对人体结构的清晰语义对应.相比之下, SPDA通过位置先验软初始化和原型间互斥损失, 显著改善注意力分配的空间精度.在下胸等相邻区域, 注意力图呈现更高的空间聚焦度, 重叠区域明显减小.这一结果验证位置先验初始化为原型学习提供合理的起点, 而互斥损失进一步约束原型间的注意力竞争, 使各原型形成语义一致的空间分区.上述改善在红外模态下同样显著, 说明SPDA学习的人体结构先验具有跨模态泛化能力.

2.5.2 双空间特征激活区域可视化

为了直观展示浅层细节空间与深层语义空间在空间区域级别的一致性与差异, 对浅层特征和深层特征在可见光图像与红外图像上的特征激活区域分布进行可视化, 结果如图5所示.在图中, 第2列为浅层特征激活图, 第3列为深层特征激活图, 第4列为两者的空间一致性度量, 绿色表示双空间高度一致, 红色表示双空间存在分歧.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 双空间一致性可视化图Fig.5 Dual-space regional consistency visualization

由图5可观察到, 浅层特征的激活主要分布于行人的轮廓边缘和纹理丰富区域, 空间模式细粒度较高、响应分散, 体现浅层网络对跨模态不变的低级结构信息的敏感性.深层特征的激活聚焦于行人的整体语义区域, 空间模式较平滑和集中, 体现深层网络对高层身份语义信息的抽象能力.

一致性图显示:在行人身体区域(躯干、腿部), 浅层特征与深层特征呈现较高的一致性, 训练约束使两个空间在语义相关的身体区域形成统一的特征表达, 由此验证双空间一致性损失的有效性.

2.5.3 双空间一致性分析

为了验证双空间一致性约束与匹配动态校准机制(DSCC)的实际效果, 对比分析浅层细节空间、深层语义空间及校准后的距离排序结果, 具体如图6所示.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 双空间距离相关性散点图及匹配校准效果图Fig.6 Scatter plots of dual-space distance correlation and matching calibration effect

由图6(a)所示, 浅层特征与深层特征的检索排序存在明显差异.浅层特征倾向于匹配低级纹理与局部轮廓模式, 深层特征则聚焦于行人的高级语义身份信息.若仅依赖单一空间的排序结果, 当两者判断出现分歧时, 容易产生匹配错误.DSCC引入一致性门控进行融合修正, 增强深浅层判断一致样本的匹配置信度, 惩罚分歧样本以过滤噪声, 实现更鲁棒的跨模态匹配.统计显示, 测试集上共有138个查询样本的Rank-1值, 经校准后从深层空间的错误匹配修正为正确匹配.

图6(b)、(c)分别给出浅层距离与深层距离、校准后距离的相关性散点分布.正样本对(红色)与负样本对(蓝色)在浅层-深层距离空间中整体呈现正相关, 但两类样本的分布区域存在明显重叠.经DSCC校准后, 正样本对的距离下降幅度显著大于负样本对, 使得正负样本在校准距离维度上的可分性明显提升.可视化结果验证DSCC可有效融合深浅层特征的互补信息, 提升匹配决策的可靠性.

在SYSU-MM01数据集上对NRL及SPDA中4个核心参数进行单变量敏感性分析.各参数在默认值附近变化时, 其余参数保持为默认值.实验采用全场景搜索多样本查询(10-shot)设置, 以Rank-1和mAP作为评估指标.

定义正邻域近邻数M=2, 3, 4, 5, 其对DS-VSDA性能的影响如图7所示, 由图可见, M从2增至4时, Rank-1值从82.68%逐步升至83.22%, mAP值在M=3时达到最高(82.37%), M=5时性能略有回落.M过小, 正邻域信息不足, 难以充分建模类内拓扑; M过大, 引入语义较远的同身份样本, 弱化近邻约束的聚焦性.M=4时方法在Rank-1指标上表现最优.

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 M对DS-VSDA性能的影响Fig.7 Effect of M on DS-VSDA performance

定义正邻域距离阈值margin_pos=0.2, 0.3, 0.4, 0.5, 其对DS-VSDA性能的影响如图8所示, 由图可见, margin_pos从0.2增至0.4时, 性能持续提升(Rank-1值从82.85%升至83.41%, mAP值从82.05%升至82.46%).margin_pos=0.5时性能出现下降.过小的margin_pos对正样本聚合施加不切实际的紧约束, 使方法难以收敛到有效解; 过大的margin_pos使约束过度松弛, 失去正则化效果.默认值margin_pos=0.3虽非最优, 但与最优值0.4的性能差距在0.6%以内.

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 margin_pos对DS-VSDA性能的影响Fig.8 Effect of margin_pos on DS-VSDA performance

定义负邻域距离阈值margin_neg=0.6, 0.7, 0.8, 其对DS-VSDA性能的影响如图9所示, 由图可见, margin_neg从0.6增至0.7时, Rank-1值从82.09%升至82.65%, margin_neg=0.8时Rank-1值回落至82.58%.margin_neg 控制负样本与锚点之间需要保持的最小距离.该值过小时, 与锚点外观相近的难分负样本被推离得不够远, 仍容易被误判为正样本; 该值过大时, 又会把这些本应保留一定相似性的负样本强制推得过远, 使特征空间过度拉伸, 反而破坏样本间原有的邻近关系.margin_neg=0.7时方法在两个指标上均为最优值.

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 margin_neg对DS-VSDA性能的影响Fig.9 Effect of margin_neg on DS-VSDA performance

定义SPDA原型数量P=5, 6, 7, 8, 其对DS-VSDA性能的影响如图10所示, 由图可见, P=6时Rank-1、mAP指标均达到峰值(83.62%和82.61%), P=5和P=8时性能均有所下降.P过少则空间粒度不足, 难以精细捕捉不同人体部位的语义差异; P过多则引入冗余部件, 原型间语义重叠增加.默认值P=7与最优值P=6的性能差距很小(Rank-1值差0.4%), 均在合理范围内.

图10

Fig.10

	Figure Option ViewDownloadNew Window
	图10 P对DS-VSDA性能的影响Fig.10 Effect of P on DS-VSDA performance

综合上述分析可知, 4个参数在默认值附近时方法均处于性能较优的区间, Rank-1波动幅度最大不超过1.5%, mAP波动幅度最大不超过1.2%.参数敏感性分析验证本文超参数选择的合理性:默认值均位于或接近于各参数空间内的最优区域.