视觉-语言学习范式近年来颇受学者欢迎, CLIP作为一种具有代表性的视觉语言学习模式, 通过图像-文本对的相似性约束, 在自然语言和视觉内容之间建立联系.

本文考虑到小样本数据集的复杂性, 使用CLIP具有先验知识的视觉编码器V(· )和文本编码器T(· )提取视觉特征和文本特征.

一方面, CLIP的视觉编码器V(· )有ViT-B/16和CNN两种结构可供选择, 都能将图像归纳为跨模态嵌入中的特征向量.

另一方面, 文本编码器T(· )是以ViT-B/16的形式实现的, 用于从句子生成表示.

具体地, 给定一个句子, 例如:一张[T₁][T₂]…[T_M][类别]的人照片, 其中, [类别]一般用具体的文本标签代替.T(· )首先会将每个[T_m](m=1, 2, …, M)转换成一个唯一的数字ID.然后, 将每个ID映射到512维的词嵌入中.为了实现并行计算, 每个文本序列的长度固定为77, 包括开始[SOS]标记和结束[EOS]标记.经过一个有8个注意头的12层模型后, [EOS]标记被视为文本的特征表示.之后进行层归一化, 线性投射到跨模态嵌入空间中.损失L_i2t和L_t2i共同约束视觉编码器V(· )提取的视觉特征和文本编码器T(· )提取的文本特征, 确保其在跨模态空间中相互对应.L_i2t和L_t2i的计算方式如下:

${{L}_{i2t}}=-\frac{1}{B}\underset{i=1}{\overset{B}{\mathop \sum }}\,{{\log }_{2}}\left( \frac{\exp \left( S\left( ~f{{~}^{V}}_{i},~f{{~}^{T}}_{i} \right) \right)}{\mathop{\sum }_{j=1}^{B}\exp \left( S\left( ~f{{~}^{V}}_{i},~f{{~}^{T}}_{j} \right) \right)} \right)$,

${{L}_{t2i}}=-\frac{1}{B}\underset{i=1}{\overset{B}{\mathop \sum }}\,{{\log }_{2}}\left( \frac{\exp \left( S\left( ~f{{~}^{V}}_{i},~f{{~}^{T}}_{i} \right) \right)}{\mathop{\sum }_{j=1}^{B}\exp \left( S\left( ~f{{~}^{V}}_{a},~f{{~}^{T}}_{i} \right) \right)} \right)$,

其中, fVi表示通过视觉编码器得到的特征, fTi表示通过文本编码器得到的特征, 下标i表示第i幅图像, 上标V表示来自视觉编码器, 上标T表示来自文本编码器, S(· )表示相似度度量函数, B表示批量大小.

实验表明, CLIP通过对数以亿计的图文进行训练, 能对任意给定的图像和文本计算相关性分数.

鉴于Li等^[25]发现文本模态有助于行人重识别网络提取具有判别性的行人特征.本文尝试将其应用在换衣场景下, 结果是性能显著下降.原因如下:CLIP虽然具有强大的图文匹配功能, 但对行人的文本描述更注重行人的穿着.在换衣场景下, 同一行人可能会有不同的服装, 不同行人可能有相似或相同的服装, 这导致直接使用CLIP的文本编码器无法学到独立于行人身份的文本特征, 不利于发挥CLIP强大的图文匹配功能^[24].为此本文提出伪文本生成器(PTG)和语义对齐损失L_SA, 通过PTG生成身份独立的伪文本特征, 并利用L_SA约束PTG生成的伪文本特征兼顾语义一致性和差异性.

为了生成可靠的伪文本, 采用特定于ID的可学习标记学习伪文本描述.如图1所示, 输入文本编码器的文本描述被设计为“ 一张[T₁][T₂]…[T_M][类别]的人照片” , 其中, 每个[T_m](m=1, 2, …, M)表示一个可学习的文本标记, 维度与单词嵌入相同, M表示可学习文本标记的数量.

在第一阶段, 固定视觉编码器和文本编码器的参数, 只优化标记[T_m].受Shu等^[14]启发, 首先, 将同一批次的图像输入SCHP(Self-Correction for Hu-man Parsing)人体解析模型中, 获得人体(背景、头部、躯干、上臂、下臂、上腿、下腿)的语义分割图.将躯干语义图应用于图像, 获得人体服装部分.随机交换批次中原始图像服装区域的像素, 增加样本的视觉差异性.然后, 将原始图像和增强后图像依次输入冻结的视觉编码器中, 获得视觉特征(F₁, F₂), 其中, F₁=f iRe, 表示增强图像的视觉特征, F₂=f iRo, 表示源图像的视觉特征, 下标i(i=1, 2, …, B)表示第i幅图像, 上标Re表示来自增强图像学到的视觉特征, 上标Ro表示来自源图像学到的视觉特征.此时, PTG未经过训练, 将根据输入图像的标签, 生成对应的伪文本, 并输入冻结的文本编码器中, 获得对应文本特征(T₁, T₂), 其中, T₁=f iTe, 表示增强图像对应的文本特征, T₂=f iTo, 表示源图像对应的的文本特征, 上标Te表示来自增强图像学到的文本特征, 上标To表示来自源图像学到的文本特征.

同一批次中存在多幅属于同个行人的图像, 这些图像身份标签相同但视觉表现不同.如果只依赖身份标签获取的文本特征指导视觉特征学习, 由于相同身份标签的图像具有相同的文本特征, 优化中将无法利用CLIP的文本描述能力对应文本特征与视觉特征, 从而无法通过消除文本中服装干扰间接消除视觉特征中的服装干扰.因此本文将获得的视觉特征(F₁, F₂)依次通过一个映射层FC(768, 512), 映射为同文本标记[T_m]相同大小的512维偏置参数π , 并将π 与[T_i]相加, 增强文本对同一行人描述的差异性.

最后, 与CLIP类似, 伪文本描述的生成需要使用损失L_i2t和L_t2i约束视觉特征和文本特征在跨模态空间进行交互, 但不同于CLIP的每个ID共享相同的文本描述.在CC-ReID场景下, 一个批次图像中的不同图像可能属于同一个人, 因此引入修改后的L_i2t和L_t2i, 约束T₁, T₂后分别向F₁, F₂靠齐, 提高文本特征(T₁, T₂)的可靠性.修改后的L_i2t和L_t2i如下所示:

${{L}_{i}}_{2t}=-\frac{1}{B}\underset{i=1}{\overset{B}{\mathop \sum }}\, \left( {{\log }_{2}}\left( \frac{\exp \left( S\left( ~f~_{i}^{Ro}, ~f~_{i}^{To} \right) \right)}{\mathop{\sum }_{j=1}^{B}\exp \left( S\left( ~f~_{i}^{Ro}, ~f~_{j}^{To} \right) \right)} \right)+{{\log }_{2}}\left( \frac{\exp \left( S\left( ~f~_{i}^{\operatorname{Re}}, ~f~_{i}^{Te} \right) \right)}{\mathop{\sum }_{j=1}^{B}\exp \left( ~S\left( ~f~_{i}^{\operatorname{Re}}~, ~f~_{j}^{Te} \right) \right)} \right) \right)$, (1)

${{L}_{t}}_{2i}=-\frac{1}{B}\underset{i=1}{\overset{B}{\mathop \sum }}\, \left( {{\log }_{2}}\left( \frac{\exp \left( S\left( ~f~_{i}^{Ro}, ~f~_{i}^{To} \right) \right)}{\mathop{\sum }_{j=1}^{B}\exp \left( S\left( ~f~_{j}^{Ro}, ~f~_{i}^{To} \right) \right)} \right)+{{\log }_{2}}\left( \frac{\exp \left( S\left( ~f~_{i}^{\operatorname{Re}}, ~f~_{i}^{Te} \right) \right)}{\mathop{\sum }_{j=1}^{B}\exp \left( S\left( ~f~_{j}^{\operatorname{Re}}, ~f~_{i}^{Te} \right) \right)} \right) \right)$, (2)

其中, S(· )表示相似度度量函数, B表示批量大小, f iRe表示第i幅增强图像的视觉特征, f iRo表示第i幅源图像的视觉特征, f iTe表示第i幅增强图像的文本特征, f iTo表示第i幅源图像的文本特征.

PTG在训练过程中会产生两倍ID数量的伪文本描述, 一部分为对应原始图像的伪文本, 另一部分为对应增强图像的伪文本, 通过L_i2t和L_t2i损失可在跨模态空间中对齐文本特征和视觉特征.本文发现, PTG虽然仅增强文本描述的差异性有助于提升性能, 但却忽略文本描述的一致性.由于伪文本本身的缺陷, 语义信息不具有完备性, 因此PTG需要多描述生成增强伪文本的数量, 但对于同一行人的文本描述应当是既有差异又具有共性.为此, 本文提出L_SA, 在L_i2t和L_t2i的基础上加入L_t2t损失, 进一步缩小文本特征T₁、T₂之间的距离, 减弱相同样本仅服装区域不同情况下的语义差距.L_SA损失如下所示:

L_SA=α (L_i2t+L_t2i)+(1-α )L_t2t,

其中

${{L}_{t}}_{2t}=\sqrt{\underset{i=1}{\overset{l}{\mathop \sum }}\, {{\left( \frac{f~_{i}^{Te}-f~_{i}^{To}}{{{s}_{i}}} \right)}^{2}}}$, (3)

l表示特征f_i的长度, s_i表示各个维度的标准差, 参数α 用于调控伪文本描述的差异性和一致性, 确保发挥文本的指导作用.

针对当前换衣行人重识别网络在整合局部信息与全局信息方面的不足, 本文进一步提出局部全局融合网络(GLFNet), 结构如图2所示.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 GLFNet框架图Fig.2 Framework of GLFNet

GLFNet网络架构由局部分支和全局分支组成, 旨在高效提取并融合图像中的多尺度特征和全局信息.

在局部分支中, 首先利用一组大小分别为9× 9、7× 7、5× 5、3× 3的卷积核, 捕捉图像中的多尺度特征.为了减轻多尺度卷积操作带来的计算压力, 引入分组卷积技术, 并按照8∶ 4∶ 2∶ 1的比例为不同大小的卷积核分配通道数.值得注意的是, 由于较大的卷积核计算量相对较小, 因此可分配更多的通道, 充分利用其捕捉大尺度特征的能力.

全局分支侧重于提取图像的全局信息.首先, 使用大小为16× 16、步长为16的卷积核将图像分割成128个补丁.然后, 通过序列嵌入技术, 将每个补丁映射为768维的序列, 并加入一个类嵌入补丁, 以便将数据格式从原始图像的尺寸(B, 3, 256, 128)转换为适用于序列学习的格式(B, 129, 768), 其中B表示批量大小.为了促进所有补丁之间的信息交互, 全局分支采用多头自注意力机制, 为每个头独立计算注意力权重, 并对对应的值(Value)进行加权求和, 得到每个头的输出.在最后一个维度上拼接所有头的输出, 并通过一个线性变换得到全局分支的最终输出.计算过程如下所示.

图像转换后的序列如下所示:

z₀=[x_class; xp1E; xp2E; …; xpNE]+E_pos.

其中: xpi表示图像被划分为N个补丁的第i个, 下标p表示补丁; E∈ R^{(PH× PW× C)× D}, 表示序列嵌入, 用于将序列化的图像块从PH× PW× C长度映射为指定维度D, PH表示补丁的高, PW表示补丁的宽, C表示补丁通道数; E_pos∈ R^{(N+1)× D}, 表示位置编码.

经过注意力后的序列如下所示:

z'_l=MHSA(LN(z_l-1))+z_l-1,

其中, MHSA(· )表示多头注意力, LN(· )表示层归一化, l=1, 2, …, L, L表示Transformer块的层数.

经过多层感知后的序列如下所示:

z_l=MLP(LN(z'_l))+z'_l,

其中MLP(· )表示全连接层.

最终预测结果为:

y=LN( zL0),

其中 zL0表示经过Transformer最后一层的用于分类学习的序列.

为了充分利用局部分支和全局分支提取的特征, GLFNet还引入一个局部全局融合模块.对于局部特征(B, 2 048, 16, 8), 首先, 采用自适应平均池化技术将其变形为(B, 2 048).对于全局特征(B, 129, 768), 从第二维使用类嵌入补丁, 分割全局信息(B, 768).然后, 将局部特征和全局特征拼接成新的特征向量feat(B, 2 816).最后, 通过批量归一化和全连接层处理, 将融合后的特征映射为类分数score(B, num_class), 用于后续的推理任务.

本文的损失函数分为两个阶段.

第一阶段的损失函数如下所示:

L_SA=α (L_i2t+L_t2i)+(1-α )L_t2t.

其中:L_i2t+L_t2i表示第一阶段的视觉特征和文本特征的交叉熵损失, 用于拉近文本特征和视觉特征之间的距离, 计算方式如式(1)和式(2)所示; L_t2t表示文本对齐损失函数, 采用欧氏距离度量源图像对应文本和增强图像对应文本之间的距离, 计算方式如式(3)所示.

第二阶段的损失函数如下所示:

L_stage2=L_id+L_tri+L_i2tce+L_i2i.

身份损失函数

${{L}_{id}}=-\frac{1}{B}\underset{i=1}{\overset{B}{\mathop \sum }}\, {{q}_{i}}{{\log }_{2}}(W({{f}_{i}}))$,

计算基于模型预测身份和行人的身份标签, 其中, q_i表示第i幅图像标签y_i的标签平滑的编码值, W(· )表示分类器, 计算第i幅图像的类置信分数.

三元组损失

${{L}_{tri}}=\underset{i=1}{\overset{N}{\mathop \sum }}\, \max ({{d}_{p}}(i)-{{d}_{n}}(i)+m, 0)$,

其中,

dp(i)=‖fi-fp‖2,

表示正类之间的特征距离,

dn(i)=‖fi-fn‖2,

表示负类之间的特征距离, f_i表示样本x_i的特征, f_p表示一个批量中与f_i最不相似的正样本特征, f_n表示一个批量中与f_i最相似的负样本特征, N表示样本总数, ‖ · ‖ ₂表示欧氏距离, m表示边界参数, 用于控制网络优化, 防止出现震荡.

由于传统方法仅注重视觉信息, 忽略语言的潜力, 本文定义图像到文本的交叉熵损失L_i2tce, 利用第一阶段的伪文本指导视觉特征的学习, 增强视觉特征的抗服装干扰性, 则

${{L}_{i2tce}}=-\frac{1}{B}\underset{i=1}{\overset{B}{\mathop \sum }}\, {{q}_{i}}\left( {{\log }_{2}}\left( \frac{\exp \left( s\left( ~f~_{i}^{Ro}, ~f~_{i}^{To} \right) \right)}{\mathop{\sum }_{j=1}^{B}\exp \left( s\left( ~f~_{i}^{Ro}, ~f~_{j}^{To} \right) \right)} \right)+\log 2\left( \frac{\exp \left( s\left( ~f~_{i}^{\operatorname{Re}}, ~f~_{i}^{Te} \right) \right)}{\mathop{\sum }_{j=1}^{B}\exp \left( s\left( ~f~_{i}^{\operatorname{Re}}, ~f~_{j}^{Te} \right) \right)} \right) \right)$

针对源图像和增强图像的视觉特征, 本文进一步使用L_i2i损失, 拉近相同身份间的距离:

${{L}_{i2i}}=\sqrt{\underset{i=1}{\overset{l}{\mathop \sum }}\, {{\left( \frac{f~_{i}^{\operatorname{Re}}-f~_{i}^{Ro}}{{{s}_{i}}} \right)}^{2}}}$,

其中l表示特征f_i的长度.

本文选择在PRCC、Celeb-ReID、Celeb-Light、VC-Clothes这4个常规的换衣ReID数据集上进行实验, 数据集上的图像示例如图3所示.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 实验数据集示例Fig.3 Examples of experimental datasets

PRCC数据集包含221个身份和33 698幅行人图像.Celeb-ReID数据集包含1 052个身份和34 186幅行人图像.Celeb-Light数据集包含590个身份和10 842幅行人图像.VC-Clothes数据集包含512个身份和19 060幅行人图像.VC-Clothes数据集来源于虚拟游戏GTA-V, 容易识别相同行人.Celeb-ReID、Celeb-Light数据集为小数据集, 来源于街头名人, 更符合实际情况, 也更复杂, 具有一定的挑战性.

本文采用的评价指标包括累积匹配特征(Rank-n)和平均精度(Mean Average Precision, mAP).Rank-n表示搜索结果中置信度最高的前n个结果中正确匹配的概率.mAP将行人重识别看作检索任务, 计算数据集上所有类的预测平均精度的均值, 计算公式如下:

$mAP=\underset{i=1}{\overset{q}{\mathop \sum }}\, \left( \frac{A{{P}_{i}}}{q} \right)$,

其中, AP_i表示类别的平均精度, q表示类别数.

所有实验都是在GTX4090GPU上进行, 输入图像统一调整为256× 128大小, 并采用随机翻转、填充和裁剪等数据增强策略.在训练第一阶段, PTG训练120轮, 初始学习率设为3× 10^-4, 并根据余弦方案进行衰减.在第二阶段, GLFNet训练60轮, 在前10轮中, 学习率从3× 10^-6线性增至3× 10^-4, 在第20轮和第40轮训练中, 学习率以0.1的速率下降.批次大小设为64, 每个批次8位行人, 每位行人8幅RGB图像, 采用Adam(Adaptive Moment Estima-tion)动态优化器优化训练过程.

本节选择如下换衣行人重识别方法进行对比:文献[12]方法、FSAM(Fine-Grained Shape-Appea-rance Mutual Learning Framework)^[13]、IGCL(Identity-Guided Collaborative Learning Scheme)^[15]、CAL^[21]、RCSANet(Regularization via Clothing Status Aware-ness Network)^[26]、GI-ReID(Gait-Assisted Image-Based ReID Framework)^[27]、IRANet(Identity-Relevance Aware Neural Network)^[28]、文献[29]方法、MVSE(Multi-granular Visual-Semantic Embedding Algorithm)^[30]、文献[31]方法、CAMC(Co-attention Aligned Mutual Cross-Attention)^[32]、ADC(Attentive Decoupling)^[33]、CCIL(Causal Clothes-Invariant Learning)^[34]、AIM(Causality-Based Auto-Intervention Model)^[35]、ACID(Auxiliary-Free Competitive Identification)^[36]、DCR-ReID(Deep Component Reconstruction ReID)^[37]、CCFA(Clothing-Change Feature Augmentation)^[38]、SC-ReID^[39]、文献[40]方法.

各方法在PRCC、Celeb-ReID、Celeb-Light、VC-Clothes数据集上的指标值对比结果如表1所示, 表中黑体数字表示最优值, 斜体数字表示次优值, -表示原文献未在该数据集上进行相关实验.由表可看出, TIML在Celeb-ReID、Celeb-Light、VC-Clothes数据集上取得最优值, 在PRCC数据集的换衣场景下, 取得次优值.相比ACID和IGCL, 在PRCC数据集的换衣场景下, TIML在Rank-1指标上比ACID提升8.4%, 在mAP指标上比IGCL提升1.1%.虽然相比ACID在mAP指标上和IGCL在Rank-1指标上, TIML未能取得优势, 但在Celeb-Lgiht、Celeb-ReID数据集上的表现优于ACID和IGCL, 在Celeb-ReID数据集上, Rank-1和mAP值分别比ACID提升15.2%和16.9%, 在Celeb-Light数据集上, Rank-1和mAP值分别比IGCL提升20.9%和20.4%, 这说明TIML更能提取判别力强的特征, 也更适用于在小数据场景下构建行人重识别系统.

表1

Table 1

表1(Table 1)

表1 各方法在4个数据集上的指标值对比 Table 1 Metric value comparison of different methods on 4 datasets % 方法 PRCC(服装不变) PRCC(换衣) Celeb-ReID Celeb-Light VC-Clothes Rank-1 mAP Rank-1 mAP Rank-1 mAP Rank-1 mAP Rank-1 mAP FSAM 98.8 - 54.5 - - - - - 78.6 78.9 RCSANet 100.0 97.2 50.2 48.6 65.3 17.5 46.6 24.4 - - CAL 100.0 99.8 55.2 55.8 - - - - - - GI-ReID - - 33.3 - - - - - 64.5 57.8 IRANet 100.0 99.4 54.9 53.0 64.1 19.0 46.2 25.4 - - 文献[29]方法 99.6 97.3 61.8 58.7 - - - - 84.5 84.3 MVSE - - 47.4 52.9 64.5 19.2 - - - - 文献[31]方法 99.7 - 47.0 - - - - - - - CAMC - - - - 57.5 12.3 - - - - ADC 99.6 98.8 51.6 56.2 - - - - - - 文献[12]方法 95.2 - 48.8 - - - - - 82.0 80.0 CCIL 58.2 - - - - - - - 80.4 - AIM 100.0 99.9 57.9 58.3 - - - - - - ACID - - 55.1 66.4 52.5 11.4 27.9 15.8 84.3 74.2 IGCL - - 65.6 59.5 - - 41.0 23.4 82.9 84.8 DCR-ReID 100.0 99.7 57.2 57.4 - - - - - - CCFA 99.6 98.7 61.2 58.4 - - - - - - SC-ReID - - 62.4 57.9 - - - - - - 文献[40]方法 - - 58.6 57.8 55.6 14.7 - - - - TIML 100.0 99.4 63.5 60.6 67.7 28.3 61.9 43.8 90.8 84.5

表1 各方法在4个数据集上的指标值对比 Table 1 Metric value comparison of different methods on 4 datasets %

相比目前主流的换衣行人重识别方法, TIML引入文本模态指导视觉特征的学习.相比图像信息中服装区域占据行人的大部分区域, 难以准确分离其中的服装信息和行人身份信息, 语言描述更具体, 可准确消除服装因素造成的干扰, 并且由于PTG提供充满差异性和一致性的文本描述, 使得在小数据集上视觉特征的学习能从文本特征中得到帮助, 提高其在小数据集上的表现.

本节首先验证TIML中PTG和GLFNet的性能.基准方法使用ResNet50, TIML(v1)表示第二阶段不使用图像到文本的交叉熵损失L_i2tce, TIML(v2)表示使用图像到文本的交叉熵损失L_i2t, TIML(v3)表示使用增加标签平滑q_i的图像到文本的交叉熵损失L_i2tce, 即TIML.

各模块在PRCC、Celeb-ReID、Celeb-Light数据集上的消融实验结果如表2所示, 表中黑体数字表示最优值.由表可见, L_i2t和L_i2tce能提升方法性能, 同时证实加入q_i的有效性.在PRCC、Celeb-ReID、Celeb-Light数据集上, 相比ResNet50, TIML-1的Rank-1分别提升7.7%, 13.6%和37.3%, mAP分别提升11.0%, 17.4%和27.4%.这说明TIML-1能帮助在小样本场景下构建行人重识别系统.当在第一阶段添加PTG时, 相比TIML-1, 在PRCC、Celeb-ReID、Celeb-Light数据集上, TIML-2的Rank-1分别提升9.2%, 0.8%和0.3%, mAP分别提升6.9%, 0.5%和0.2%, 这说明PTG能提供具有指导意义的伪文本信息, 也更具有泛化性.当仅在第二阶段添加GLFNet, 相比TIML-1, 在PRCC、Celeb-ReID、Celeb-Light数据集上, TIML-3的Rank-1分别提升7.8%, 0.1%和0.1%, mAP分别提升7.2%, 0.4%和0.1%, 这验证GLFNet融合局部特征和全局特征的方式更有利于提取具有判别性的视觉特征.加入PTG和GLFNet后, TIML达到最优值, 这表明本文设计组件的有效性.同时, 相比ResNet50, TIML在Celeb-ReID、Celeb-Light数据集上取得最优值, 这表明其有利于在小数据集上构建行人重识别系统.

表2

Table 2

表2(Table 2)

表2 各模块的消融实验结果 Table 2 Ablation experiment results of different modules % 方法 PTG GLFNet PRCC Celeb-ReID Celeb-Light Rank-1 mAP Rank-1 mAP Rank-1 mAP ResNet50 - - 41.0 37.5 52.9 9.9 23.6 15.9 TIML-1 - - 48.7 48.5 66.5 27.3 60.9 43.3 TIML-2 √ - 57.9 55.4 67.3 27.8 61.2 43.5 TIML-3 - √ 56.5 55.7 66.6 27.7 61.3 43.4 TIML(v1) √ √ 48.7 48.5 66.5 27.3 60.9 43.3 TIML(v2) √ √ 62.6 60.1 67.2 27.9 61.7 43.6 TIML(v3) √ √ 63.5 60.6 67.7 28.3 61.9 43.8

表2 各模块的消融实验结果 Table 2 Ablation experiment results of different modules %

是否添加PTG或GLFNet模块后的热力图如图4所示.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 各模块的可视化热力图Fig.4 Visual heatmaps of different modules

由图4可见, 未添加任何模块时, 方法识别行人身份时对服装区域依赖较大.当添加PTG后, 将注意力转移向头部、脚部等微小却具有独立代表行人身份的区域.当进一步添加GLFNet后, 方法一定程度上减弱对服装区域的依赖, 增强对非服装区域的关注.值得注意的是, 方法对行人身份的识别是综合考虑图像的所有因素, 并且由于伪文本的引入, 可能学到人们无法理解的识别模式.例如:图中ID2虽然降低对脸部区域关注, 但仍能准确识别行人, 其内在原因是ID2存在有比面部更重要的判别信息.

为了验证PTG的合理性, 在PRCC、Celeb-ReID、Celeb-Light数据集上展开实验, 针对PTG中偏置参数、增强伪文本、源伪文本进行消融实验, 结果如表3所示, 表中黑体数字表示最优值.由表可见, 添加偏置参数后取得更优值, 说明偏置参数能增添伪文本的差异性.综合考虑增强伪文本和源伪文本的方式能丰富对行人的描述, 由此说明本文设计的合理性.

表3

Table 3

表3(Table 3)

表3 PTG模块内部设计合理性的实验结果 Table 3 Experimental results of internal design rationalization for PTG module % 偏置参数 增强伪文本 源伪文本 PRCC Celeb-ReID Celeb-Light Rank-1 mAP Rank-1 mAP Rank-1 mAP - √ - 45.6 47.1 65.4 25.2 60.1 41.6 - - √ 48.7 48.5 66.5 27.3 60.9 43.3 - √ √ 53.2 53.5 66.9 27.4 61.0 43.3 √ √ - 50.2 49.3 65.6 25.5 60.4 41.9 √ - √ 50.9 50.8 67.0 27.5 61.1 43.4 √ √ √ 57.9 55.4 67.3 27.8 61.2 43.5

表3 PTG模块内部设计合理性的实验结果 Table 3 Experimental results of internal design rationalization for PTG module %

定义超参数α =0.1, 0.2, …, 0.9, 验证不同α 对TIML性能的影响. 在PRCC、Celeb-ReID、Celeb-Light、VC-Clothes数据集上进行实验, 识别率结果如图5所示.由图可看出, 第一阶段用于平衡文本差异性和一致性的超参数α 的最优值为0.4.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 α 对TIML性能的影响Fig.5 Effect of α on TIML performance

为了验证GLFNet的优越性, 分别对比如下以ResNet(Residual Networks)、DenseNet(Densely Con-nected Convolutional Networks)、ViT(Vision Trans-former)为骨干网络的方法:FSAM^[13]、CAL^[21]、RCSANet^[26]、GI-ReID^[27]、MVSE^[30]、文献[31]方法、MGN(Multiple Granularity Network)^[41]、ResNet-50(50-Layers Residual Network)^[42]、DenseNet-121^[43].

各方法的指标值结果如表4所示, 表中黑体数字表示最优值.

表4

Table 4

表4(Table 4)

表4 GLFNet的消融实验结果 Table 4 Ablation experiment results of GLFNet 方法 骨干网络 Rank-1 Rank-10 mAP 方法 骨干网络 Rank-1 Rank-10 mAP MGN ResNet 25.9 - - MVSE DenseNet 47.4 - 52.5 ResNet-50 ResNet 19.6 - 8.1 文献[31]方法 ViT 47.0 - - FSAM ResNet 54.5 - - CAL ViT 32.7 - 33.6 GI-ReID ResNet 37.6 - - MVSE ViT 27.3 - 28.8 CAL ResNet 55.2 - 55.8 GLFNet 全局分支 45.8 52.3 47.1 DenseNet-121 DenseNet 18.7 - 23.7 GLFNet 局部分支 41.0 49.6 37.5 RCSANet DenseNet 31.6 - 31.5 GLFNet 全局分支+局部分支 63.5 73.9 60.6

表4 GLFNet的消融实验结果 Table 4 Ablation experiment results of GLFNet

由表4可见:对比以ResNet为骨干网络的方法, GLFNet的Rank-1和mAP指标比CAL提升8.2%和4.8%.对比以DenseNet为骨干网络的方法, GLF-Net的Rank-1和mAP指标比MVSE提升15.8%和8.1%.对比以ViT为骨干网络的方法, GLF-Net的Rank-1指标比文献[31]方法提升16.5%.这些表明GLFNet能提高视觉特征的判别性.

对比表4后三行可看出, 混合使用局部分支和全局分支更能提高GLFNet的特征提取能力, 这表明GLFNet设计的合理性.GLFNet的局部分支采用金字塔卷积结构, 通过多尺度卷积核充分提取多尺度的局部信息, 全局分支采用传统的ViT结构, 将图像划分为多个补丁, 并映射为序列, 再通过多头自注意力层, 交互学习各部分之间的信息, 并在[类别]序列集中提取全局信息.在融合头中, 对局部特征使用池化操作, 对全局特征使用分割操作, 同时拼接局部特征和全局特征, 再经过批量归一化和全连接层, 融合局部信息和全局信息, 提高最终特征的鉴别能力.

为了直观观察TIML的效果, 随机选取ID1~ID4这4个身份, 并生成与其排序结果最相似的10个身份, 选择CAL^[21]和DCR-ReID^[31]为对比方法, 具体结果如图6所示.图中绿框表示身份匹配正确, 红框表示身份匹配错误.由图可看出, 相比基于深度重建的DCR-ReID和基于对抗学习的CAL, TIML能更准确地匹配目标行人, 提取判别性特征.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 各方法在4个身份上的可视化排序结果Fig.6 Visual ranking results of different methods on 4 identities