本文使用预训练好的残差网络(ResNet50)^[51]提取不同模态特征.同样其它的深度网络也可用于提取特征, 如密集连接的卷积网络(DenseNet)^[52]、VGG^[53]等.本文使用的ResNet50网络^[51]和原始的残差网络(Residual Network, ResNet)有所区别:ResNet整体分为4个模块, 本文使用网络的前3个模块提取图像特征.输出特征的通道数减少为原始网络的1/2, 既可节省计算量, 又能避免因数据集过小网络过深而造成的过拟合.

受文献[48]启发, 本文将单模态下的特征精细化技术扩展至跨模态行人重识别, 在获取更鲁棒的特征的同时, 为后续的协同融合提供更精细的特征.首先, 专注于学习行人不同位置的局部特征, 再采用全局最大池化(Global Max Pooling, GMP)提取行人局部的精细特征.与单模态行人提取特征的方法^[48]类似, 特征精细化如图1中对应部分所示.具体过程如下.

1)特征提取.将N对可见光和红外图像通过深度网络得到2个大小为N× H× W× C 的特征张量, 其中, H、W表示特征张量的高、宽, C表示通道数.

2)特征池化.将1)中提取的行人特征张量通过全局最大池化得到具有区分度的特征, 特征张量的大小变成N× H× 1× C.

3)特征细化.将2)获取高度为 H 的特征平均分割成 m 份大小为 N× Hm× 1× C 的特征, 不同位置的局部特征包含行人对应部位的局部信息.

跨模态行人重识别中的关键问题是可见光图像和红外图像两种异质数据如何进行融合.受协同学习^[4]的启发, 本文提出协同融合策略, 解决不同模态数据的融合问题.不同于文献[47]中使用多个分类器协同学习同一数据, 本文提出的协同融合策略先将不同模态的特征投射至相同的特征空间, 然后让一个模态中不同局部的特征向另一个模态的所有特征相互补充信息, 使不同模态信息之间的相似度更高, 提升重识别的效果.

本文的协同融合过程如图1中的对应部分所示.首先将不同模态相同位置的局部特征输入由2个全连接层组合的分类器中:第1个全连接层单元包含512个神经元, 在其后添加BN(Batch Normali-zation)层和ReLU激活函数, 第2个全连接层单元的神经元数目和训练样本中的类别数相同.注意到不同位置的局部特征使用不同的分类器.上述过程是网络阶段的融合, 目的是为了让不同模态的特征通过一系列转换后映射至相同的特征空间.经过上述过程得到各模态不同位置的局部特征信息对应的类别向量.再进行学习目标阶段的融合, 在此阶段学习目标不关注特征属于哪个局部位置, 也不关注它们分布在哪个特征空间, 只关注局部特征所属的身份, 让同个身份下不同模态的局部特征交流融合.具体的学习目标函数的定义过程如下.

网络输出的类别概率向量进行Softmax转换, 生成对应的类别概率向量, 假设类别概率向量为

z^{(r, h)}={ z1(r, h), z2(r, h), …, zk(r, h)},

其中, k为类别数, h为特征所属的局部位置, r为可见光模态v或红外模态t.带有参数T的Softmax函数定义如下:

δ _i(z^{(r, h)}; T)= exp(zi(r, h)T)∑j=1kexp(zi(r, h)T),

其中, T值的大小表示概率分布的软化程度, T值越大, 软化程度越高.

再将得到的类别概率向量分两步计算损失.1)分组.一个模态下获得某个局部特征的类别概率向量与另一个模态的所有类别概率向量为一组.2)计算协同损失.以某一个可见光局部特征最终计算得到的类别概率向量和红外图像得到的所有类别概率向量进行组合为例, 协同损失函数如下:

L_{v, h}=β J_hard(y, z^{(v, h)})+(1-β )J_soft(q^{(v, h)}, z^{(v, h)}).

其中:z^{(v, h)}为当前的可见光图像获得的类别概率向量; v为可见光; β 在(0, 1]之间, 用于平衡 Jhard^[47]和 Jsoft^[47]的比例; J_hard为常用的交叉熵函数, 通过标签引导网络学习方向, 由对应的One-Hot编码和标签y得到,

J_hard=- ∑i=1kq_iln(δ _i(z^{(v, h)}; 1));

J_soft通过拉近跨模态信息的距离学习模态间的协同互补, 这得益于学习标签q^{(v, h)}来源于另一个模态.在可见光模态学习时, q^{(v, h)}等于其它所有红外局部位置的特征对应的类别概率向量的平均值,

q^{(v, h)}=δ ( 1m∑i=1mz^{(t, i)}; T),

m为总共的局部特征数量, t为红外.

q^{(v, h)}综合考虑相同标签下同一模态信息的平均情况.携带软标签和 T 值的损失函数^[47]如下:

J_soft(q^{(v, h)}; z^{(v, h)})=- ∑j=1kqj(v, h)ln(δ _j(z^{(v, h)}; T)).

J_soft度量2个模态输出向量的距离.最小化J_soft意味着将一个模态的平均信息传递至另一个模态的局部信息, 同时可正则化整个网络.

同理, 根据上述过程得出L_{t, h}, 最终不同模态的损失函数之和为

L_all= ∑h=1m(L_{v, h}+L_{t, h}),

其中, L_{v, h}为可见光图像的协同损失函数, L_{t, h}为红外图像的协同损失函数.

首先, 受行人局部特征提取方法^[48]启发, 本文将单模态下的特征精细化技术扩展至跨模态行人重识别, 在获取更鲁棒的特征的同时, 为后续的协同融合提供更精细化的特征.实验结果也验证通过特征精细化可进一步提升协同融合的效果.

另外, 协同学习^[47]广泛应用于分类任务中, 主要思想是利用多个结构一致的分类器学习同一数据的不同知识, 通过分类器间的信息协同获得更优的分类效果.本文借鉴协同学习的思想, 通过局部特征间的协同学习和不同模态间的协同学习实现跨模态行人重识别的协同融合.本文方法充分发挥局部信息和跨模态信息的互补性, 提高跨模态行人重识别的鲁棒性.

为了验证本文方法的有效性, 在跨模态行人重识别数据集RegDB^[54]和SYSU-MM01^[32]上和当前主流的跨模态行人重识别的方法进行对比.

RegDB数据集的红外图像由远红外相机拍摄, 共有412个行人, 单个行人包含10幅RGB图像和10幅红外图像.本文采用的评测协议和文献[33]~文献[35]一致:从412人中随机挑选206人用于训练, 另外206人用于测试.在测试阶段, 将其中一个模态的数据当作被检索图像, 另一个模态的数据当作检索图像.最终结果均为10次实验的平均结果.

与RegDB数据集^[54]不同, SYSU-MM01数据集的红外图像由近红外相机拍摄, 与RegDB数据集的图像风格差异较大.数据集包含来自于6个相机采集的491个行人图像, 包括4个RGB相机和2个红外相机.训练集包含395个行人, 共22 258幅RGB图像和11 909幅红外图像.测试集包含96个行人, 其中3 803幅红外图像当作被检索图像, 随机抽取的301幅RGB图像当作检索图像.由于随机选择图像当作检索图像的原因, 在测试阶段采用10次随机实验的平均值作为最终结果.同时, 遵循文献[32]的验证协议, 本文分别采用单幅图像命中加全局搜索(Single-Shot All-Search)的评估模式评测方法.

为了评价方法的性能, 本文使用Rank1、Rank10、Rank20和平均精度均值(Mean Average Precision, mAP)作为评估指标.给定一幅被检索的行人图像, Rank 排名反映搜索正确的匹配率, mAP评估算法的平均检索性能.

在训练期间, 批大小设置为32, 取样阶段从训练集中随机各取1幅RGB图像和1幅红外图像, 本文仅使用图像随机水平翻转作为图像增强, 图像初始大小与文献[48]~文献[50]一致, 为384× 128.预训练好的ResNet50网络被用作主体框架, 优化器使用随机梯度下降算法(Stochastic Gradient Descent, SGD), 其中动量(Momentum)等于0.9.预训练网络的初始学习率为0.001, 分类器的初始学习率为0.01, 经过训练迭代30轮以后, 所有网络的学习率降至原来的1/10.在协同融合的过程中, 当数据集为SYSU-MM01时, T=2, β =0.6.数据集为RegDB时, T=2, β =0.5.代码的实现使用pytorch 1.1.0框架, 总共训练50轮, 训练过程使用GTX1080Ti显卡加速.2个数据集的训练过程都遵从上述设定.

实验中选择的对比方法如下:单流网络算法(One-Stream Network, One-Stream)^[32], 双流网络算法(Two-Stream Network, Two-Stream)^[32], 零填充网络算法(Deep Zero-Padding, Zero-Padding)^[32], 双流卷积神经网络算法(Two-Stream CNN Network, TONE)^[33], 分层跨模态度量学习算法(Hierarchical Cross-Modality Metric Learning, HCML)^[33], 双向跨模态排序算法(Bi-directional Cross-Modality Top-Ranking, BCTR)^[34], 双向双重限制的排序算法(Bi-directional Dual-Constrained Top-Ranking, BDTR)^[34], 双向中心约束的排序算法(Bi-direc-tional Center-Constrained Top-Ranking, eBDTR)^[35], 跨模态生成对抗网络算法(Cross-Modality Gene-rative Adversarial Network, cmGAN)^[36], 超球面流形嵌入算法(HyperSphere Manifold Embedding, HSME)^[37], 双重差异减小算法(Dual-Level Discre-pancy Reduction Learning, D2RL)^[38], 增强辨别性特征学习算法(Enhancing Discriminative Feature Learning, EDFL)^[39], 对齐的生成对抗网络算法(Alignment Generative Adversarial Network, AlignGAN)^[40], 数据集与实例的联合对齐算法(Joint Set-Level and Instance-Level Alignment Re-ID, JSIA-ReID)^[41], 跨模态共享与特异特征变换算法(Cross-Modality Shared-Specific Feature Transfer Algorithm, cm-SSFT)^[41], 双流局部特征网络算法(Two-Stream Local Feature Network, TSLFN)^[43], 异质中心损失和双流局部特征网络算法(Two-Stream Local Feature Network+Hetero-Center Loss, TSLFN+HC)^[43].

在RegDB数据集上, 由于行人数量和图像数量具有较好的对称性, 训练集和测试集可随机分成均等的两份, 因此本文在RegDB数据集上进行2种不同搜索模式下的实验:可见光图像搜索红外图像(Visible to Thermal)模式、红外图像搜索可见光图像(Thermal to Visible)模式.

在RegDB数据集上, 各方法在2种不同的匹配模式下的实验结果如表1所示.

表1

Table 1

表1(Table 1)

表1 各方法在RegDB数据集上的实验结果对比 Table 1 Experimental results comparison of different methods on RegDB dataset % 方法 Visible to Thermal Thermal to Visible Rank1 Rank10 Rank20 mAP Rank1 Rank10 Rank20 mAP One-Stream 13.11 32.98 42.51 14.02 - - - - Two-Stream 12.43 30.36 40.96 13.42 - - - - Zero-Padding 17.75 34.21 44.35 18.90 16.63 34.68 44.25 17.82 TONE 16.87 34.03 44.10 14.92 13.86 30.08 40.05 16.98 HCML 24.44 47.53 56.78 20.80 21.70 45.02 55.58 22.24 BCTR 32.67 57.64 66.58 30.99 - - - - BDTR 33.47 58.42 67.52 31.83 32.72 57.96 68.86 31.10 eBDTR 34.62 58.96 68.72 33.46 34.21 58.74 68.64 32.49 HSME 50.85 73.36 81.66 47.00 50.15 72.40 81.07 46.16 D2RL 43.40 66.10 76.30 44.10 - - - - EDFL 52.58 72.10 81.47 52.98 51.89 72.09 81.04 52.13 AlignGAN 57.90 - - 53.60 56.30 - - 53.40 JSIA-ReID 48.50 - - 49.30 48.10 - - 48.90 cm-SSFT 65.40 - - 65.60 63.80 - - 64.20 本文方法 68.62 84.64 90.35 66.27 67.65 84.08 89.68 64.49

表1 各方法在RegDB数据集上的实验结果对比 Table 1 Experimental results comparison of different methods on RegDB dataset %

由表1可看出, 相比cm-SSFT, 在Visible to Thermal模式中, 本文方法的Rank1值和mAP值达到68.62%和66.27%, 提高各3.22%和0.67%.在Thermal to Visible模式中, 本文方法Rank1值和mAP值达到67.65%和64.49%, 依旧占据优势.在两种模式中, Visible to Thermal模式的结果在各项指标上略高, 原因可能在于三通道的RGB图像比单通道的红外图像携带更丰富的信息, 因此搜索结果更优.

本文方法效果最优的原因如下:

1)本文方法学习不同位置的行人局部信息, 获取不同模态下更精细、更具有区分度的特征, 此种方式在单模态行人重识别任务中被证明是有效的;

2)本文的协同融合策略考虑不同模态之间的局部信息互补, 不仅在空间层面上缩小模态之间的距离, 同时也让模态信息之间相互转换, 最终达到更优的特征融合效果.

为了更好地展示本文方法的有效性, 将RegDB数据集上检索排序结果的前10名与BDTR进行对比, 结果分别包含Visible to Thermal和Thermal to Visible两种模式, 具体如图2所示, 图中绿色框表示匹配正确, 红色框表示匹配错误.由图可看出, 相比BDTR, 无论被检索图像是可见光图像还是红外图像, 本文方法在2种搜索模式下的匹配成功率都较高.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 本文方法和BDTR在RegDB 数据集上的重识别结果Fig.2 Re-identification results of the proposed method and BDTR on RegDB dataset

当被检索的图像是可见光图像时, 本文方法可清晰分辨信息量少的红外图像, 如图2(a)所示.BDTR难以完整地识别正确的结果, 而本文方法可全部正确搜索不同行人对应不同姿势的红外图像, 这验证本文方法可提取鲁棒的特征.

当被检索图像是红外图像时, 本文方法依旧可通过较少的行人结构信息检索对应的可见光图像.如图2(b)中Query 2所示, 本文方法检索富含颜色信息(该行人身穿花纹格子衫)的行人可见光图像, 而BDTR检索姿势相似而身份不同的行人图像.这进一步说明本文方法对同一身份的行人在不同模态之间建立的关系更牢固.

SYSU-MM01数据集为一个大型的跨模态行人重识别数据集, 红外图像由近红外相机拍摄, 符合大多数的实际场景条件.与文献[32]的评测协议保持一致, 在此数据集上本文使用行人的红外图像检索可见光图像.

各方法在SYSU-MM01数据集上对比结果如表2所示.

表2

Table 2

表2(Table 2)

表2 各方法在SYSU-MM01数据集上的实验结果对比 Table 2 Experimental results comparison of different methods on SYSU-MM01 dataset % 方法 Rank1 Rank10 mAP One-Stream 12.04 49.68 13.67 Two-Stream 11.65 47.99 12.85 Zero-Padding 14.80 54.12 15.59 TONE 12.52 50.72 14.42 HCML 14.32 53.16 16.16 BDTR 17.01 55.43 19.66 eBDTR 27.82 67.34 28.42 cmGAN 26.97 67.51 27.80 HSME 20.68 62.74 23.12 D2RL 28.90 70.60 29.20 EDFL 36.94 84.52 40.77 AlignGAN 42.40 85.00 40.70 JSIA-ReID 38.10 80.70 36.90 cm-SSFT 47.7 - 54.10 TSLFN 46.78 86.13 46.13 TSLFN+HC 56.96 91.50 54.95 本文方法 50.12 89.64 50.08 本文方法+HC 57.01 92.96 53.80

表2 各方法在SYSU-MM01数据集上的实验结果对比 Table 2 Experimental results comparison of different methods on SYSU-MM01 dataset %

相比使用度量学习的方法BDTR、EDFL, 及同时使用度量学习和对抗生成策略的cmGAN、D2RL、AlignGAN和JSIA-ReID, 本文方法具有更高的识别性能, Rank1值和mAP值分别提高33.11%和30.42%(BDTR), 13.18%和9.31%(EDFL), 23.15%和22.28%(cmGAN), 21.22%和20.88%(D2RL), 7.72%和9.38%(AlignGAN), 12.02%和13.18%(JSIA-ReID).同时, 本文方法的Rank1值比cm-SSFT提高3%左右, 也明显优于TSLFN.

由于异质中心(Hetero-Center, HC)度量损失的引用, TSLFN+HC与本文方法相比具有明显优势.为公平起见, 在本文方法上增加HC损失函数的结果进行验证.实验结果如表2最后一行所示.由表可看出, 增加HC度量损失函数后, 本文方法在各个指标上的效果和TSLFN+HC相当(Rank1值略高, mAP值略低).结果再次证实协同学习的有效性, 同时验证HC度量损失的优越性.本文方法优于大部分方法的原因在于它不仅可获取不同模态下更精细的局部特征, 从粒度层面上缩小不同模态特征之间的差异, 同时也让不同模态的局部特征之间进行信息互补、相互转换, 进一步缩小不同模态之间的差异, 所以会有更优的识别效果.

将本文方法在SYSU-MM01数据集上的检索结果和BDTR进行对比.在该数据集的测试阶段只包含Thermal to Visible模式, 随机选取其中的3个示例对比, 如图3所示, 图中绿色框表示匹配正确, 红色框表示匹配错误.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 本文方法和BDTR在SYSU-MM01数据集上的重识别结果Fig.3 Re-identification results of the proposed method and BDTR on SYSU-MM01 dataset

由图3可看出, 整体上SYSU-MM01数据集因为行人姿势、光照和背景杂斑等因素影响较大, 挑战难度更大.由于跨模态异质图像中行人外观及跨相机行人姿态的差异, BDTR很难查询到正确结果, 而本文方法可较好地克服这些挑战, 成功匹配正确图像.然而, 本文方法在光线较暗(如Query1的Rank1和Rank4)及有遮挡的场景(如Query2的Rank1), 仍无法查询到正确结果.同时, 对于具有类似姿势的不同行人(如Query3的Rank6和Rank10), 本文方法也表现一般.由此可见, 相比单模态行人重识别任务而言, 跨模态行人重识别存在更严峻的挑战.

为了软化网络输出的概率分布和平衡协同损失与交叉熵损失之间的学习过程, 本文使用超参数β 和T增强最终的学习效果.其中, β 可以平衡损失J_hard和J_soft, T可以软化输出的概率分布.在SYSU-MM01数据集上重识别检索性能指标Rank1和mAP随超参数β 和T的变化情况如图4所示.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 在SYSU-MM01数据集上超参数β 和T对模型性能的影响Fig.4 Influence of hyperparameter β and T on Rank1 and mAP on SYSU-MM01 dataset

在分析β 的影响时, T=2; 在分析T时, β =0.6.图4结果表明, 当β =0.6时, 效果最优, 此时Rank1值为50.12%, mAP值为50.08%. 当T值为较小值(2、3、4、5、6 )时, Rank1值和mAP值相差在 1% 以内, 说明 T 值在小范围内波动对性能的影响不大.而当T值大于6时, Rank1值和mAP值随着T值增大而逐渐减小.本文最终设定T=2.

为了验证本文提出的协同融合方法的关键部分的有效性, 在SYSU-MM01数据集上对不同的网络融合方式、学习目标阶段不同的融合损失函数及不同的局部特征数量进行分析.

首先分析不同的网络融合方式对不同数量的局部特征的影响.分别得到行人的可见光模态的m个局部特征后, 局部特征的网络融合策略的选择是本文方法的重点.因此本文设计4种不同的网络融合方式进行验证.4种融合方式的具体结构如图5所示, 主要区别在于不同模态的特征共享全连接层参数的方式:方式1中所有局部位置的特征共享同一个分类器的参数; 方式2中不同模态下相同位置的局部特征共享同一个分类器; 方式3中一个模态下各局部的特征与另一个模态所有局部的特征共享分类器; 方式4中各个模态下每个局部特征使用单独的分类器.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 四种不同的网络融合方式Fig.5 Architectures of 4 kinds of network fusion

在实验中, 将不同模态下的行人全局特征划分成表示不同位置的局部特征进行实验.图6为不同的局部特征数量使用4种不同的网络融合方式在SYSU-MM01数据集上的Rank1值的结果对比.由图可见, 第2种网络融合方式的效果最佳, 原因在于此种方式分类器的职责分工明确, 不同的分类器融合对应的跨模态局部特征, 因此方式2中对齐融合的方式结果最优.第1种融合方式效果次佳, 原因可能在于一个分类器难以支撑多个局部特征进行融合, 因此重识别效果会稍差.第3种网络融合方式使得各个全连接层的学习过程中混杂各个局部特征的信息, 为其它局部的特征学习过程中引入过多的噪音, 因此几乎没有效果.第4种融合方式让不同模态的各局部位置的特征在分离的参数空间中学习, 达不到融合的目的.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 局部特征数不同时4种网络融合方式的Rank1值对比Fig.6 Rank1 values comparison of different local features using 4 kinds of network fusion

根据上述实验结果, 本文采用第2种方式作为局部特征的网络融合策略.

再分析不同的损失融合方式在不同数量的局部特征上的影响.为了验证本文使用的协同融合损失的有效性, 将其与通用的交叉熵损失(普通融合)进行对比.两者都使用身份标签进行引导, 不同之处在于协同融合的损失考虑不同分类器网络之间进行交互学习, 而交叉熵损失只引导单个分类器学习.两种融合损失基于不同数量的局部特征的对比结果如图7所示.

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 局部特征的层次数量不同时2种融合损失的Rank1值对比Fig.7 Rank1 values comparison of 2 kinds of fusion with different numbers of local features

由图7可看出, 总体而言, 本文采用的协同融合损失在不同数量的局部特征下均优于通用的交叉熵融合, 原因在于, 相比交叉熵损失函数, 协同损失更好地学习各个局部特征间的信息互补, 最终学习的特征更有辨识力.当局部特征的数量在一定范围(普通融合数量为8, 协同融合数量为6)内, 匹配结果随局部特征数量的增加而提升, 说明将特征分成一定数量的局部特征可更有效地挖掘各个模态下的特征信息, 从而为后期的协同融合阶段提供更好的特征表达.当局部特征数量(局部特征数量为1时, 此时只有全局特征)超过一定范围时, 无论是通用的交叉熵损失还是协同融合损失, 匹配结果趋于相对稳定而后下降的情况.原因在于过度地将特征细化, 导致深度网络难以学习更有区分度的特征.同时随着分类器的数目增多, 整个网络的训练参数增加使网络训练难度增加.局部特征的数量为6时的协同融合效果最佳, 因此本文实验的局部特征数量固定为6.