在重识别方向, 相比完全依赖标签的全监督式模型训练方法, 近期的工作更关注于训练泛化性能高的重识别模型, 如域适应重识别方法和域泛化重识别方法.相比域适应重识别方法, 域泛化重识别方法直接使用多个源域训练重识别模型并直接将获得的模型部署到目标域中, 无需进一步微调^[9].因此, 域泛化重识别方法对目标域的标签依赖非常小, 更适用于真实场景.Zhang等^[10]提出SuA-SpML(Style-Uncertainty Based Self-Paced Meta Learning), 使用高斯噪声干扰行人样本的风格以随机化初始训练数据, 并结合自步元学习策略, 逐步提高模型的泛化性.Zhao等^[11]设计随机分裂滑动采样器, 抑制模型偏向源域, 并从优化过程的角度提出方差变化的梯度随机失活(Dropout), 从而增强重识别的泛化性能.Zhao等^[12]提出M³L(Memory-Based Multi-source Meta-Learning), 利用元学习提高重识别模型的泛化能力, 并将记忆库整合到训练过程中, 解决数据传输中存在的一些问题.Ni等^[13]考虑在训练和测试期间分别将源域分布和目标域分布与已知的先验分布对齐, 提出MDA(Meta Distribution Alignment), 通过分布编码器将身份特征编码到潜在空间中, 并与标准高斯分布对齐, 以此提高模型的泛化性能.Zhou等^[14]为学习细粒度特征和防止模型在源域数据上过拟合, 设计OSNet(Omni-Scale Network), 通过具有多个不同感受野大小的卷积块捕获全尺度特征, 由此产生全尺度特征图, 进一步通过统一聚合门生成的通道权重动态融合该图, 实现动态尺度融合, 增强模型的重识别泛化性能.Zhang等^[15]为了解决领域冲突问题, 提出ACL(Adaptive Cross-Domain Learning), 为域不变特征和域特定特征维护一个公共特征空间, 捕捉不同领域之间的关系, 同时通过动态调整的模型架构学习领域自适应特征, 在提高模型泛化性能的同时有效降低计算成本.Gong等^[16]受人类终身学习的课程式学习启发, 从域泛化角度提出DCCL(Debiased Contrastive Curriculum Learning), 旨在以一种从易到难的训练范式帮助模型学习丰富的域不变判别特征, 逐步有效消除域偏移, 增强模型的泛化性能.

现有的域泛化行人重识别方法的数据大都来自多个不同的域, 并且需要将数据收集后, 再进行统一的训练.但是, 集中大量行人图像会增加潜在的隐私泄露风险.因此, 本文针对隐私保护的域泛化行人重识别方法展开研究.

联邦学习技术^[17]为协同人工智能模型训练带来新的解决方案.利用多方数据进行协同模型训练, 往往需要各方数据进行一定程度上的共享, 这意味着各方的私有数据面临着数据隐私泄露的风险.已有分布式机器学习方式可以在独立的各个节点上进行模型训练, 但对数据分布有要求, 适用于节点数据呈现独立同分布的情形.而联邦学习消除上述弊端, 在进行多方协同模型训练时, 各方用于训练的私有数据存储在本地而无需提前收集或共享, 通过聚合各局部模型在其训练数据上的参数更新, 学习全局模型, 最终各方在保证数据隐私的前提下获得集成各方数据优势的共享模型.

传统的联邦学习旨在利用同个标签空间中的分散数据学习一个共享模型并降低通信成本.McMahan等^[8]提出联邦随机梯度下降算法和联合平均算法, 用于迭代平均局部参数, 更新共享模型.但是, 在行人重识别任务中, 每个局部域中的数据都是来自完全不同的人群, 与其它域不存在重叠, 是独立的, 导致在ID空间和语义空间上的独立.因此, 需要同时学习每个本地客户端中的非共享本地知识和中央服务器中潜在的共享知识.所以, Zhuang等^[18]首次利用联邦学习构建分布式行人重识别模型, 并利用知识蒸馏和权重重分配方法解决数据异构性带来的性能问题.Wu等^[7]提出FedReID, 同时学习多个隐私保护的局部, 用于构建可通用的全局模型, 注重局部模型和全局模型在训练过程中差异性的维护.每个客户端由一个用于视觉特征提取的特征嵌入网络和一个用于分类的映射网络组成, 并且在每个本地客户端中, 额外使用本地专家规范本地客户端模型的训练过程, 提高泛化性能.Yang等^[19]提出DFH(Domain and Feature Hallucinating), 主要使用随机权重法合成新域的统计信息与本地信息, 平滑多个客户端中不同分布数据之间的异质性.Sun等^[20]提出SKA(Selective Knowledge Aggregation):平衡模型个性化和泛化训练, 将注意力归一化整合到模型的归一化层中, 局部学习个性化知识; 利用双局部归一化机制学习本地客户端中模型的泛化信息, 并传输到全局服务器端, 提高全局模型的泛化能力.

现有的基于联邦学习的重识别方法较少, 主要关注点是平衡服务器中的全局模型和本地客户端的局部模型的训练, 发掘更多的潜在的泛化信息, 但是大部分方法只考虑利用全局模型和本地客户端模型之间的关联问题, 忽视客户端的泛化能力.因此, 本文重点考虑利用频域信息增强客户端对新环境的适应能力, 并在客户端构建多网络训练模型, 保持客户端和服务器端学习过程中的一致性.

假设有N个有标签的源域, 对于一个有M_i幅图像的域i(1≤ i≤ N), 训练客户端的局部模型φ _i, 数据集可表示为

D_i={(x₁, y₁), (x₂, y₂), …, (xMi,yMi)}.

本文目标是在多个源域之间无任何通信的前提下, 共同协作优化泛化性较强的服务器端的全局重识别模型T, 而生成的全局模型T将会用于未见过的域.

本文主要研究面向隐私保护的域泛化行人重识别任务.该任务旨在无需本地私有数据, 通过从独立的多源域标签空间中学习泛化性较高的模型.因此, 提出面向隐私保护的联邦域泛化行人重识别方法(PFReID), 具体结构如图1所示.假设有N个从不同地区捕获的私有数据集, 但是由于隐私保护, 导致这些数据集无法共享, 因此形成N个独立的客户端.每个客户端使用私有数据训练局部模型, 并将模型更新参数上传到中心服务器.中心服务器中的全局模型聚合局部更新参数后, 再将聚合参数传输到每个客户端.客户端-服务器协作学习过程是迭代处理的, 并从具有隐私保护的分散数据中学习泛化性能高的模型.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 PFReID示意图Fig.1 Schematic diagram of PFReID

如图1所示, 对于每次训练, 服务器和客户端协作训练模型, 可分为如下四步.

1)局部训练.每个客户端第t-1次训练得到局部模型(wkt-1,ξkt-1), 其中,wkt-1为局部模型中的主干网络,ξkt-1为局部模型中的分类器.

2)模型上传.每个客户端上传训练好的局部模型wkt-1到服务器端.

3)模型聚合.服务器端接收各客户端的局部模型参数, 并聚合得到新的全局模型w^t.

4)模型更新.服务器端将聚合后的全局模型w^t下发到局部模型, 作为局部模型第t次训练的初始化参数.

中心服务器T(w^t)不需要任何客户端数据用于模型的优化, 它的参数使用客户端局部模型上传的数据进行更新.其中, w^t为第t次通信后中心模型的参数.在实施部署阶段, 服务器端全局模型T(w^t)直接用于新环境中进行重识别测试.

训练数据为多分布的数据集, 并且每个客户端模型只能接触到一个单一分布.如何保证模型跨分布的泛化性是需要解决的一个主要问题.考虑到本文方法是建立在客户端之间无信息交互的基础上, 禁止共享原始图像, 因此, 本文提出在保证无信息泄露的前提下, 使用全局均值和方差建立与全局数据分布的联系.主要考虑如下2个问题.1)由文献[21]可知, 同个客户端内的数据集上由于采集时间和采集地点的不同, 也存在域偏差.客户端的重识别模型会由于域偏差, 导致局部模型的判别能力不高.2)由于不同客户端数据量不同, 图像多样性也有差别.因此, 可能会出现模型训练程度不同的情况, 导致部分客户端因数据过于简单出现局部模型过拟合.因此, 本文提出使用频域空间插值方法平滑各个客户端的数据集上的域偏差, 并增加客户端的训练样本多样性.

频域空间插值方法示意图如图2所示.假设给定第k个客户端的输入图像xik∈ R^{H× W× C}, 通过快速傅里叶变换(Fast Fourier Transform, FFT), 得到对应的频域特征:

$F(x_{i}^{k})(u, v, c)=\sum\limits_{h=0}^{H-1}{\sum\limits_{w=0}^{W-1}{x_{i}^{k}(h, w, c){{e}^{-j2\pi (\frac{h}{H}u+\frac{w}{W}v)}}}}$

其中, H、W分别为图像的高、宽, C为通道数.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 频域空间插值方法示意图Fig.2 Frequency domain spatial interpolation method

获得的频域特征F(xik)可被进一步分解为幅值信息Aik∈ R^{H× W× C}和相位信息Pik∈ R^{H× W× C}.这两种信号分别表示低层特征分布和高层语义信息.

此外, 通常认为客户端中的数据D_k符合高斯分布, 因此, 可以使用均值μDk和方差σDk2表示.由于各个客户端之间数据是独立的, 不存在任何传输行为, 因此, 本文不直接传输图像数据, 而是计算每个客户端的均值和方差, 并构建全局数据的均值μ̂D和方差σ̂D, 以此模拟全局数据分布, 则

${{\hat{\mu }}_{D}}=\frac{1}{N}\sum\limits_{i=1}^{N}{{{\mu }_{{{D}_{k}}}}}$,

${{({{\hat{\sigma }}_{D}})}^{2}}=\frac{1}{N}\sum\limits_{i=1}^{N}{{{({{{\hat{\sigma }}}_{{{D}_{k}}}})}^{2}}}$,

其中μDk、σDk分别表示数据集D_k的均值和方差.

因此, 为了提高客户端和服务器端的联系, 对于第k个客户端内随机选取的另一幅图像xjk, 需先进行归一化处理:

xjk=xjk-μ̂D(σ̂D)2.

然后利用图像xjk对xik的低频部分进行插值, 以此获取新的训练样本.该过程可表示为

Ai, λk=(1-λ )Aik(1-M)+λ AjkM,

其中, λ ∈ [0, 1.0]表示插值系数,Aik、Ajk分别表示图像xik和xjk的幅值信息, M=Ι _{(h, w)∈ [-α H∶α H, -α W∶α W]}表示一个二进制矩阵, 用于控制要交换的幅值比例, α ∈ [0, 1.0].

将插值后的幅值信息和原始的相位信息结合, 再进行傅里叶反变换(Inverse FFT, IFFT), 得到新的图像:

xi, λk=F^-1(Ai, λk,Pik),

其中, 生成的图像xi, λk保留原图像xik的语义信息, 也携带介于xjk和xik之间新的数据分布信息.具体实例如图3所示.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 频域空间插值生成图像示例Fig.3 Samples generated by frequency domain spatial interpolation method

该方法通过上述处理过程, 在扩充数据集的同时, 可以有效缓解各客户端模型过拟合情况, 平滑域内偏差, 提高自身在新域中的泛化能力.

本文在2.2节中已使用频域空间插值的方法增加样本的多样性, 缓解部分客户端因数据过于简单出现局部模型过拟合的问题.但是, 由于不同客户端训练的模型总会存在偏差, 并且服务器端训练的模型的泛化性能通常会优于客户端模型.因此, 本文旨在减少客户端模型的学习表示与服务器端模型的学习表示之间的距离, 提高客户端局部模型的泛化能力.如图1中客户端结构图所示, 本地客户端包含1个网络:本地全局模型和局部模型.本地全局模型的初始化参数来自服务器端模型, 后续由客户端进行更新.

局部模型只与本地数据相关, 参数在训练过程中进行优化更新.为了保持客户端局部模型与全局模型训练过程中的一致性, 本文设计对齐学习, 减小局部模型与全局模型学习表示之间的距离.

在利用2.3节的频域空间插值方法得到丰富的样本后, 本文考虑设计可以更好地提取泛化能力更强的特征网络.Wang等^[22]指出, 深度神经网络对特征的不同频率分量具有不同的偏好程度, 不同频率的分量可能会影响学习到的特征的鲁棒性.因此, 在训练阶段, 通过频域空间的注意力机制自动调整不同频率分量的权重以提高网络的泛化能力.

频域空间注意力机制示意图如图4所示, 对于输入的大小为H× W× C的特征图f的每个通道使用二维FFT转换到频域空间, 得到频域特征F, 大小为H× (⌊W/2」+1)× C, 其中实部和虚部都有C个通道.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 频域空间注意力机制示意图Fig.4 Frequency domain spatial attention mechanism

频域特征F再通过由最大池化操作和平均池化操作组成的注意力模块后, 可得到频谱图的权重掩码:

m_F=σ(Conv([Avg(F), Max(F)])),

其中, σ表示Sigmoid层, [·, ·]表示连接操作.Avg(·)和Max(·)分别表示取当前所在像素位置的所有通道的平均值和最大值.利用该掩码m_F可过滤不利于模型泛化的频域分量:

f'=f$\otimes$m_F,

其中$\otimes$为element-wise乘法.

假设C_i为客户端局部的Softmax分类器, C_g为当前本地全局模型的Softmax分类器.对于任意的输入图像x, 通过2个模型后, 会得到对应的逻辑特征表示Z_i和Z_g.本文目标是减小Z_i与Z_g的距离, 因此, 本文引入对齐损失l_CO, 利用全局模型指导本地模型的训练, 定义l_CO为

l_CO=1N∑i=1N(C_g(Z_g)ln(C_i(Z_i))). (1)

因此, 对于输入(x, y), 损失为:

l=l_SCE(x, y)+μ l_CO(x, y), (2)

其中, μ 表示控制权重的超参数, l_SCE表示标签平滑交叉熵损失.因此, PFReID客户端训练的步骤如算法1所示, 算法中ΦwP-kt(x)表示客户端模型的参数为全局参数,ΦwC-kt(x)表示客户端模型的参数为本地参数.

算法1 PFReID(客户端)

输入 每轮局部迭代次数E

输出 客户端模型w_L

接收服务器端模型参数w

for e = 0, 1, …, E do

for 从当前客户端的数据集中随机选取的批处理

数据集D_batch={x, y} do

l_P← CrossEntropyLoss(ΦwP-kt(x), y)

l_C← CrossEntropyLoss(ΦwC-kt(x), y)

l_SCE=l_P+l_C

根据式(1)得到对齐损失l_CO

根据式(2)进行反向传播, 更新本地模型参数w_L

end for

end for

return w_L

使用客户端的模型更新服务器端模型的参数, 然后利用服务器端新的模型再更新客户端.在每轮训练结束时, 服务器端聚合从客户端上传的参数.考虑到各个客户端的训练集的规模不同, 模型在训练过程中的收敛程度也不同, 因此, 受文献[7]的启发, 在本文方法中使用基于余弦距离权重的参数更新策略.根据模型的变化动态更新权重, 其中有较大变化的模型应在聚合过程中具有更大的权重, 以便学习更多的新知识.

假设所有客户端的训练集数量为|D|, 第i个客户端的训练集数量为|Dⁱ|, 本文使用余弦距离测量每个客户端的模型变化情况.

1)对于每个客户端, 随机选取训练图像D_batch.

2)在第t轮训练中, 当客户端中的本地全局模型收到服务器端的模型参数后, 客户端模型会产生D_batch对应的逻辑值fL-kt.

3)客户端模型参数(wkt,vkt)由服务器端模型参数和本地类别分类器参数构成.

4)客户端中的本地全局模型进行新一轮的训练, 获得新的模型参数(wkt+1,vkt+1).

5)利用新的本地全局模型参数(wkt+1,vkt+1), 获得新的逻辑值fL-kt+1.

6)利用fL-kt和fL-kt+1, 使用

mkt=mean(1-cosine(fL-kt,fL-kt+1)) (3)

得到本地客户端的参数更新权值.

客户端将权重mkt+1和参数(wkt+1,vkt+1)发送到服务器端, 利用

w^t+1=∑k=1NmktwL-kt(4)

更新服务器端模型参数.

综上所述, PFReID的服务器端具体过程如算法2所示.

算法2 PFReID(服务器端)

输入 通信次数T, 客户端数量N

输出 服务器端模型w

初始化服务器端模型参数w⁰

for t = 0, 1, …, T do

for k = 1, 2, …, N in parallel do

发送服务器端模型参数w^t到客户端P^k

利用算法1训练局部并返回本地模型更新后的

参数wL-kt

end for

利用式(3)和式(4)更新服务器端模型的参数w^t+1

end for

本文实验涉及6个常用的行人重识别数据集, 分别为Market1501^[23]、DukeMTMC-reID (DuKe)^[24]、MSMT17^[25]、CUHK03^[26]、VIPeR^[27]、iLIDS^[28].表1列出各数据集上训练集、查询集和图库集的构成.

表1

Table 1

表1(Table 1)

表1 实验数据集 Table 1 Experimental datasets 名称 训练集 测试集 身份数量 图像数量 身份数量 图像数量 Duke 702 16522 1110 17661 Market 751 12936 750 19732 CUHK03 1367 21019 100 - MSMT17 1041 30248 3060 82161 VIPeR - - 316 632 iLIDS - - 60 120

表1 实验数据集 Table 1 Experimental datasets

本文采用Rank-N和平均查准率(Mean Average Precision, mAP)评价实验性能, 其中, Rank-N指标是指在进行行人重识别时, 计算模型输出的特征向量与查询图像特征向量之间的相似度, 然后按相似度降序排列所有数据库上的行人图像, 查询图像在前N幅检索结果匹配身份一致检索图像的成功率.

实验平台为Pytorch^[29], 使用的显卡型号为NVIDIA A6000.所有实验的重识别方法参数均利用Adam(Adaptive Moment Estimation)进行优化.在训练过程中, 客户端训练每轮局部迭代次数E设置为1, 动量因子设置为0.9, 批处理操作大小设置为64, 初始学习率均设置为0.05.

为了验证PFReID的有效性, 选择如下域泛化行人重识别方法作为对比方法:FedReID^[7]、MDA^[13]、文献[18]方法、MLDG(Meta-Learning Domain Gene-ralization Approach)^[30]、DIMN(Domain-Invariant Map-ping Network)^[31]、UMDL(Unsupervised Multi-task Dictionary Learning)^[32]、PAUL(Patch-Based Unsuper-vised Learning Framework)^[33]、TJ-AIDL(Transferable Joint Attribute-Identity Deep Learning)^[34]、DSTML(Deeply Supervised Transfer Metric Learning)^[35]、SyRI(Synthetic Person Re-identification)^[36]、SSDAL(Semi-supervised Deep Attribute Learning)^[37]、CROSS-GRAD^[38]、BGM(Bistream Generative Model)^[39]、PUL(Progressive Unsupervised Learning)^[40]、SPGAN(Simi-larity Preserving Generative Adversarial Network)^[41]、HHL(Hetero-Homogeneous Learning)^[42]、BUC(Bottom-up Clustering)^[43]、FedUReID(Federated Unsupervised Person ReID System)^[44]、QAConv(Query-Adaptive Convolution)^[45]、MetaBIN(Meta Batch-Instance Normalization)^[46]、SNR(Style Normalization and Restitution)^[47].

各方法在VIPeR、iLIDS、Market-1501、DuKe数据集上指标值的对比结果如表2和表3所示.在表2中, 训练集为Market1501、DuKe、MSMT-17、CUHK-03, 测试集为VIPeR、iLIDS.在表3中:当Market1501为测试集时, MSMT17、CUHK03、DuKe为训练集; 当DuKe为测试集时, Market1501、MSMT17、CUHK03为训练集.

表2

Table 2

表2(Table 2)

表2 各方法在VIPeR、ILIDS测试集上的Rank-1值对比 Table 2 Rank-1 comparison of different methods on VIPeR and ILIDS test sets % 类型 方法 VIPeR ILIDS 无隐私保护的 跨域微调方法 TJ-AIDL DSTML UMDL PAUL 38.5 8.6 31.5 45.2 - 33.4 49.3 - 无隐私保护的 集中式域泛化方法 SyRI SSDAL MLDG CrossGrad DIMN BGM 43.0 43.5 23.5 20.9 51.2 56.5 56.5 - 53.8 49.7 70.2 75.0 有隐私保护的 分布式域泛化方法 FedReID 文献[18]方法 PFReID 46.2 48.1 51.9 69.7 79.9 86.5

表2 各方法在VIPeR、ILIDS测试集上的Rank-1值对比 Table 2 Rank-1 comparison of different methods on VIPeR and ILIDS test sets %

表3

Table 3

表3(Table 3)

表3 各方法在Market1501、Duke测试集上的指标值对比 Table 3 Indicator value comparison of different methods on Market1501 and Duke test sets % 类型 方法 Market1501 DuKe mAP Rank-1 mAP Rank-1 域适应 PUL SPGAN HHL 20.1 26.7 31.4 44.7 58.1 62.2 16.4 26.4 27.2 46.4 46.9 46.9 完全无 监督 BUC FedUReID 29.6 34.2 61.9 65.2 22.1 29.5 40.4 51.0 域泛化 QAConv SNR MetaBIN MDA DTIN-Net FedReID 27.2 33.9 35.9 38.0 37.4 41.4 58.6 66.7 69.2 70.3 69.2 69.7 28.7 33.6 33.1 34.4 33.1 41.9 48.8 55.1 55.2 56.7 55.2 61.8

表3 各方法在Market1501、Duke测试集上的指标值对比 Table 3 Indicator value comparison of different methods on Market1501 and Duke test sets %

在不同的数据集上, PFReID均取得最优结果.从表2可以看出, 无论是相比未考虑隐私的方法(MLDG、DIMN等)还是跨域的方法(UMDL、PAUL等), PFReID的性能均有一定提升.相比同样使用联邦学习的FedReID和文献[18]方法, PFReID在测试数据集VIPeR、iLIDS上的Rank-1值分别提升3.8%和6.6%.主要是因为PFReID不仅考虑联邦学习中存在的服务器模型和客户端模型收敛不一致的情况, 还考虑利用频域插值模型扩充各客户端的数据集, 从而提高模型的泛化能力.此外, 通过表3可以看出, 相比较新的域泛化方法(SNR和MDA等), PFReID性能也有显著提高.这也说明在保护数据隐私的前提下, PFReID也可以得到较好的识别效果.

本文利用多组消融实验, 验证PFReID中3个组成部分的重要性:1)频域插值模型; 2)频域注意力模块; 3)多分支对齐学习网络.表4为消融实验设置说明.各模块在Market1501、CUHK03数据集上的消融实验结果如表5和表6所示, 表中黑体数字表示最优值.

表4

Table 4

表4(Table 4)

表4 消融实验设置 Table 4 Settings of ablation experiment 方法 频域插值 模型 频域注意力 模块 多分支对齐学习 网络 B × × × w/o C √ √ × w/o Att √ × √ w/o FFT × √ √ PFReID √ √ √

表4 消融实验设置 Table 4 Settings of ablation experiment

表5

Table 5

表5(Table 5)

表5 各模块在Market1501数据集上的消融实验结果 Table 5 Results of ablation experiment of different modules on Market1501 dataset % 方法 mAP Rank-1 Rank-5 B 35.3 61.9 79.7 w/o C 37.8 64.0 80.3 w/o Att 39.5 68.1 82.8 w/o FFT 38.8 65.7 80.7 PFReID 41.4 69.7 84.0

表5 各模块在Market1501数据集上的消融实验结果 Table 5 Results of ablation experiment of different modules on Market1501 dataset %

表6

Table 6

表6(Table 6)

表6 各模块在CUHK03数据集上的消融实验结果 Table 6 Results of ablation experiment of different modules on CUHK03 dataset % 方法 mAP Rank-1 Rank-5 B 53.1 62.4 73.1 w/o C 54.5 65.3 76.8 w/o Att 55.1 64.4 76.2 w/o FFT 55.8 63.8 75.7 PFReID 56.6 68.3 78.3

表6 各模块在CUHK03数据集上的消融实验结果 Table 6 Results of ablation experiment of different modules on CUHK03 dataset %

频域插值模型主要是为了在无信息泄露的前提下, 扩充客户端训练集的多样性, 提高各个客户端模型的泛化性能.从表5和表6可以看出, 在Market-1501、CUHK03数据集上, 相比PFReID, 去除频域插值模型后的w/o FFT的mAP和Rank-1值都呈现下降的趋势.这说明本文设计的频域插值模型可以通过提高样本的多样性以提高重识别模型的性能.

为了提高模型的泛化性, 本文引入频域注意力模块, 自动调整不同频率分量的权重, 提高网络的泛化能力.从表5和表6可以看出, 在Market1501、CUHK03数据集上, 相比PFReID, 在客户端模型训练过程中, 去除频域注意力模块的w/o Att的mAP和Rank-1值都有所下降.这是因为客户端局部的泛化性能也能影响服务器端的模型, 从而表明频域注意力模块可有效提高模型对新环境的适应能力.

为了保证客户端局部的学习表示与全局模型的学习表示的一致性, 本文在客户端设计多分支对齐学习网络.从表5可以看出, 在Market1501数据集上, 相比PFReID, 在客户端去除多分支对齐学习网络的w/o C的mAP和Rank-1值分别下降3.6%和5.7%.从结果中可以看出, 使用多分支对齐学习网络可以约束客户端局部和服务器端中心模型收敛的一致性.

此外, 训练过程中删除3个重要组成成分的B和PFReID的mAP值变化曲线如图5所示.从图中也可以看出, 虽然PFReID在训练过程中的mAP值在不断动荡的改变, 但有了多分支对齐学习网络的约束, 相比B, mAP值在逐步上升中更平稳一些.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 各方法在Market1501数据集上的mAP值变化曲线Fig.5 mAP curves of different methods on Market1501 dataset

本文在训练过程中使用的批尺寸大小为64.为了探索不同的批尺寸大小对方法性能的影响, 在本节中, 分别使用批尺寸大小为16、32、64、96、128进行训练.训练集为Market1501、DuKe、MSMT17、CUHK03, 测试集为iLIDS, 设置μ =1, 具体指标值对比如表7所示.从表中可以看出, 随着批尺寸大小的改变, mAP值具有明显变化, 并且在批尺寸大小为16时取得最优结果79.07%, 这也说明批尺寸大小的设置对网络训练的影响较大.

表7

Table 7

表7(Table 7)

表7 在iLIDS训练集上不同批尺寸大小对方法性能的影响 Table 7 Effect of batchsize on the method performance on iLIDS training set % 批尺寸大小 mAP Rank-1 Rank-5 Rank-10 16 79.07 88.46 96.15 97.11 32 78.73 84.61 93.26 94.23 64 78.14 86.53 96.15 96.15 96 73.38 79.80 89.42 93.27 128 75.85 84.61 93.26 95.19

表7 在iLIDS训练集上不同批尺寸大小对方法性能的影响 Table 7 Effect of batchsize on the method performance on iLIDS training set %

本文的训练损失函数主要由两部分组成:交叉熵损失和对齐损失, 在式(2)中利用μ 平衡两者之间的关系.本节主要分析μ 对网络训练的影响.因此, 在这组实验中, 分别将μ 设为0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8和0.9, 讨论不同的μ 对方法性能的影响.训练集为Market1501、MSMT17、CUHK03、DuKe, 测试集为VIPeR.设置批尺寸大小为64.在不同λ 下得到的mAP值变化如图6所示.从图中可以看出, 随着μ 的改变, mAP值具有明显变化, 并且在 μ =0.9时取得最优结果, 即Rank-1值为51.89%, mAP值为55.89%.这说明交叉熵损失和对齐损失对的平衡对网络的训练是有影响的.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 VIPeR测试集上μ 取值对方法性能的影响Fig.6 Effect of μ on the method performance on VIPeR test set

在联邦学习中客户端的个数可任意设置, 因此, 本节讨论源域个数对结果的影响.训练集为Market1501、DuKe、MSMT17、CUHK03, 测试集为iLIDS.设置批尺寸大小为64.源域个数分别设置为2, 3, 4, 得到的结果如图7所示.

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 iLIDS测试集上源域个数对方法性能的影响Fig.7 Effect of source domain number on the method performance on iLIDS test set

从图7中可以看出, 当源域个数设置为3时, 方法mAP值取得最优结果0.801 2, 而且不同的源域数量对结果的准确性影响较大, 这也间接说明当客户端数量增多时, 服务器端模型可以学习到更多新的知识, 得到泛化性能更高的重识别模型.

在模型训练过程中, 客户端局部需训练E次后, 再将参数传给服务器端模型.因此, 本节讨论E对服务器端模型的影响, 训练集为Market1501、DuKe、MSMT17、CUHK03, 测试集为iLIDS.设置批尺寸大小为64, 源域个数设置为3, E分别设置为1、2、3、4、5时, 得到的结果如图8所示.从图中可以看出, 当E=1时, 方法取得最优mAP值, 为0.801 2, 而且不同的E对结果的准确性影响较大, 这也间接说明每轮客户端局部迭代次数越多, 越有可能加剧不同客户端收敛的不一致性, 使聚合后的全局模型参数的泛化能力降低.

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 iLIDS测试集上E取值对方法性能的影响Fig.8 Effect of E on the method performance on iLIDS test set

为了更好地验证PFReID的有效性, 利用Grad-CAM(Gradient-Weighted Class Activation Mapping)^[48]将Market1501数据集上部分图像的特征进行可视化, 结果如图9所示, 其中(b)为利用Baseline训练得到的重识别结果, Baseline表示没有使用频域插值模型、频域注意力模块和多分支对齐学习网络的行人重识别方法.从图9可以看出, 在利用PFReID得到的可视化结果中, 较好地定位具有判别性的区域, 如背包、人脸、鞋子等, 由此说明PFReID提取的特征有助于行人重识别任务.

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 各方法在Market1501数据集上的部分行人热度图示例Fig.9 Heatmap examples of some pedestrians by different methods on Market1501 dataset