融合关系学习网络的总体结构如图1所示.结构关系特征的提取分为三步:1)通过最大注意力模型(Maximum Attention Model)从中间特征映射中提取注意力系数映射, 生成注意力特征映射; 2)根据融合相似性度量(Fusion Similarity Metric), 将注意力特征映射转换成特征关系图; 3)通过图卷积神经网络对特征关系图进行结构关系特征提取.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 本文网络的总体框图Fig.1 Framework of the proposed method

具体地, 给定一批训练图像, 输入主干网络进行特征提取, 并进行池化和重塑操作, 生成该批图像的特征映射, 称为主干特征映射.融合关系学习网络, 以主干网络提取的中间特征映射作为输入, 从中提取结构关系特征映射.首先, 将中间特征映射输入到最大注意力模型, 生成注意力系数映射, 融合中间特征映射以生成注意力特征映射.然后, 利用融合相对距离和内容相似性的融合相似性度量方法, 对注意力特征映射中的特征块提取近邻点, 将注意力特征映射转换成特征关系图.特征关系图中节点与注意力特征映射中的特征相对应, 边表示特征块之间有关系.

通过图卷积操作对特征关系图进行结构关系特征提取.其中, 构图并进行图卷积操作的过程如图2所示.将融合关系学习网络提取的结构关系特征映射称为分支特征映射, 目的在于作为主干特征映射的补充对网络进行训练.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 基于特征映射构图并进行图卷积的流程图Fig.2 Flowchart of building graph based on feature map and conducting graph convolution

训练阶段分别计算主干特征映射损失L_ba和分支特征映射损失L_br, 并且L_ba和L_br相加.设输入图像为x_i, y_i为对应的标签, 主干网络为F_ba, 分支网络为F_br, 交叉熵损失为CE, 则

L_ba=CE(F_ba(x_i), y_i),

L_br=CE(F_br(x_i), y_i),

L=L_ba+L_br.

总之, 本文网络能从图像中更好地提取特征之间的结构关系.在不增加网络训练数据的情况下, 将其作为额外特征以丰富网络提取特征的辨识度, 提高网络在行人重识别任务上的表现.

在行人重识别问题中, 采用注意力模型对中间特征映射进行注意力系数提取, 具有较高注意力系数的区域通常具有一定的语义信息, 注意力较低的区域通常包含背景信息.在对中间特征映射进行结构关系特征提取之前, 融合注意力系数映射与中间特征映射, 不仅能显著表示中间特征映射中的语义信息, 还能使特征块之间的联系更突出.

记网络抽取的中间特征F_M∈ R^{D× H× W}, 将F_M输入最大注意力模型S中.S由J个不同的注意力模型组成, 每个注意力模型由两个全连接层堆叠而成.S中每个注意力模型生成的注意力系数映射记为A_j∈ R^{H× W}, j=1, 2, …, J, 计算过程如下:

A_j(h, w)= Wj, h, w(2)(σ ( Wj, h, w(1)F_M(h, w)+ bj, h, w(1)))+ bj, h, w(2),

其中, A_j(h, w)∈ R表示A_j中第h行第w列的注意力系数, F_M(h, w)∈ R^{D× 1}表示F_M中第h行第w列的特征, Wj, h, w(1)∈ R^{d× D}表示将F_M(h, w)映射到d维隐空间的权重矩阵, bj, h, w(1)∈ R^{d× 1}表示 Wj, h, w(1)映射时的偏置系数, Wj, h, w(2)∈ R^{1× d}表示将d维隐空间的矩阵映射到1维隐空间的权重矩阵, bj, h, w(2)∈ R表示 Wj, h, w(2)映射时的偏置系数, σ (· )表示激活函数.

为了标准化各注意力模型的系数, 使用Softmax函数对第j个注意力模型产生的注意力系数映射A_j进行归一化处理:

其中, $\widetilde{A}_{j}(h, w)$表示A_j经过Softmax函数处理后第h行第w列的注意力系数.最终, F_M通过第j个注意力模型生成归一化注意力系数映射$\widetilde{A}_{j}$.

在对J个归一化注意力系数映射$\widetilde{A}_{j}$进行融合时, 注意到不同的注意力模型对中间特征映射F_M的关注区域(即高注意力系数对应区域)有差异.添加正则化的约束条件, 可使不同注意力模型尽可能关注具有显著差异的特征区域^[32].本文认为, 如果某区域被多个注意力模型关注, 说明此区域的重要性较大.如果强制使注意力模型关注多个区域, 可能使一些并不值得被关注的区域被强制关注.因此本文采用max(· )函数对J个注意力系数映射$\widetilde{A}_{j}$进行融合:

其中$\widetilde{A}$(h, w)表示最大注意力系数映射$\widetilde{A}$第h行第w列的注意力系数.

采用取最大值的融合方式的优点如下:1)如果多个注意力模型关注重叠较少的区域, 可使每类区域都得到关注; 2)如果不同注意力模型关注相似区域, 这类区域得到的注意力将更明显.通过将中间特征映射F_M与注意力系数映射$\widetilde{A}$进行点对相乘, 得到注意力特征映射:

注意力特征映射是欧几里得数据结构, 除了相对距离以外并未直接包含特征块之间的关联信息, 因此在使用图卷积神经网络提取结构关系特征前, 需要寻找一种均衡且全面的度量方式计算特征块之间的相似性, 用于将注意力特征映射转换成特征关系图.

得到注意力特征映射后, 采用基于相对距离和内容相似性的融合相似性度量方式, 计算注意力系数映射中任意两个特征块之间的融合相似度, 对于某一特征块, 筛选与之融合相似性较大的点作为构图时的近邻点.融合相似性度量, 得到能反映特征块之间结构关系的特征关系图, 图节点表示特征块, 边表示两个特征块之间存在关联.将注意力特征映射F_A转换成的特征关系图记为G_F, F_A中的特征块构成G_F中的节点.

本文提出融合F_A中特征块相对距离和内容相似性的度量算法, 用于选取F_A中特征块进行构图.算法主要由三步组成:1)对F_A中特征块之间的位置进行相对距离度量, 获得相对距离矩阵M_D; 2)对F_A中特征块之间的内容进行相似性度量, 获得内容相似性度量矩阵M_C; 3)融合相对距离矩阵和内容相似性矩阵, 得出融合相似性矩阵M_F, 通过M_F构造特征关系图G_F.具体算法框架如图3所示.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 融合相似性度量算法框图Fig.3 Framework of similarity metric fusion algorithm

特征块在特征映射中的相对距离反映特征块间的相似性, 基于特征块间的相对距离度量特征块间的相似性.径向基函数是一种取值仅依赖点p_i、p_j间距离的函数:

其中, f_D(· , · )表示两点之间的相对距离, 采用二维高斯函数作为径向基函数的核函数k(· ), 度量不同特征块之间的相对距离.

相对距离度量在不同维度内是相同的, 所以仅考虑F_A中的单个维度.设F_A中2个特征块为p_i、 p_j, 位置分别表示为(h_i, w_i)、(h_j, w_j).p_i、 p_j之间的相对距离度量函数表示如下:

为了计算简便, 将f_D(p_i, p_j)存储在相对距离映射M_D中, 即M_D(i, j)=f_D(p_i, p_j).

使用径向基函数表示特征块之间的相对距离时, M_D中两点之间距离度量值越大, 表示两点的距离越远.而在内容相似性度量中, 两点内容相似性越大, 表示两点越相似.因此, 将M_D中的数值取倒数并进行归一化处理, 实现相对距离越近的点之间的度量值越小, 具体公式如下:

M_D(i, j)= exp(1MD(i, j))∑j=1Wexp(1MD(i, j)).

内容相似性度量根据特征块内容之间的差异度量特征块之间的相似性.为了方便表述, 将注意力特征映射表示成F_A∈ R^{H× W× D}, 设N=H× W, 可转换为F_A∈ R^{N× D}.转换后F_A包含N个特征块, 每个特征块的特征维度为D.将每维的贡献度视为相同, 因此计算D维特征属性之间的欧氏距离, 用于衡量特征块之间的内容相似性.设特征块p_i∈ F_A, p_j∈ F_A, p_i的特征属性表示为{d_{i, 1}, d_{i, 2}, …, d_{i, D}}, p_j的特征属性表示为{d_{j, 1}, d_{j, 2}, …, d_{j, D}}.p_i、 p_j之间的内容相似性度量函数表示如下:

f_C(p_i, p_j)= ∑k=1D(di, k-dj, k)2.

为了方便计算, 将f_C(p_i, p_j)存储在内容相似性映射M_C中, 即M_C(i, j)=f_C(p_i, p_j).

在进行内容相似性度量时, 为了使内容相似性映射M_C和相对距离映射M_D处于同一范围内, 同样需要对内容相似性度量值进行归一化处理:

M_C(i, j)= exp(MC(i, j)∑j=1Wexp(MC(i, j)).

相对距离映射M_D和内容相似性映射M_C分别表示注意力特征映射F_A中特征块间的相对距离和内容相似性.在训练过程中, 采用加权融合的方式对M_D和M_C进行融合.设权重系数为α (0< α < 1), 融合M_D和M_C的过程如下:

M_F=(1-α )M_D+α M_C, (1)

其中, M_F表示特征块融合相似度映射, 1-α 表示相对距离映射M_D在融合时的权重系数, α 表示内容相似性映射M_C在融合时的权重系数.对于给定的特征块, 通过调整α 可获得不同的近邻点, 得到不同的构图结果.对比不同α 值下的算法精度, 不仅可确定较合理的α 取值范围, 还能启发式地探索特征块内容相似性和相对距离之间隐含的关系.

将特征块与其在融合相似度矩阵M_F中相似性最高的Q个特征块构造连接边, 可从注意力特征映射F_A中提取连接矩阵T∈ R^{N× N}.通过注意力特征映射F_A和连接矩阵T表示图G_F, 对于F_A中的特征块p_i∈ R^{N× N}, p_j∈ R^{N× N},

T(i, j)= 1, pj在pi的Q个最相似点中0, pj不在pi的Q个最相似点中

为了能提取图G_F中节点之间的结构关系特征, 采用图卷积神经网络中信息在层中的传递方式对图G_F进行结构关系特征提取.在图卷积神经网络中, 特征映射在层与层中传递公式如下:

其中:$\widetilde{T}$=T+I, I为和T相同尺寸的单位矩阵; $\widetilde{D}$为$\widetilde{T}$的度矩阵, 因此$\widetilde{D}$中非对角线元素值为0, $\widetilde{D}$(i, i)= ∑j=1N$\widetilde{T}$(i, j), 表示$\widetilde{D}$矩阵中第i行第i列的值; H^(l)为每层的输入特征, H⁽⁰⁾=F_A; W^(l)为每层待训练的权重矩阵, 起到层与层间的连接作用, 共有L层; σ (· )表示激活函数.

本文的融合关系学习网络的损失计算伪代码如下所示.

算法 1 融合关系学习网络的损失计算(x, y, α , Q)

输入 行人图像x, 图像身份标签y, 度量融合系数α , 构图特征块数Q+1

输出 用于训练深度神经网络的损失值Loss

F_R← x的主干特征映射

F_M← x的中间特征映射

F_G← x的分支特征映射

$\widetilde{A}$← 计算F_M对应的注意力系数映射

F_A← F_M与$\widetilde{A}$点对相乘, F_A形状为(B, H, W, D)

for idx遍历F_A的B维时 do

F_Aidx← 取F_A第idx条数据

F_Aidx← F_Aidx的形状视为(H× W, D)

for i遍历F_Aidx的H× W维度时 do

for j遍历F_Aidx的H× W维度时 do

M_D(i, j)← 计算i、 j之间的相对距离

M_C(i, j)← 计算i、 j之间的内容相似度

end for

end for

M← 使用α 融合M_D和M_C

edges← 特征块之间的连接关系

for n_i遍历M的行时 do

[n_i1, n_i2, …, n_iQ]← n_i行前Q大的值对应的点

edges_i← 构建n_i和Q个选取点的边

end for

F_g← 将构建的edges输入图卷积神经网络, 得到分支特征映射

F_G← 将F_g存储于F_G中

end for

P_R← 将F_R输入分类器中, 得到类别概率分布

P_G← 将F_G输入分类器中, 得到类别概率分布

Loss← 计算P_R、P_G与标签y的交叉熵损失并相加

返回 Loss

本文选择在iLIDS-VID、MARS数据集上进行实验.iLIDS-VID数据集包含由2个视角不相交摄像头拍摄的42 495幅图像, 共有300个行人身份和600段图像序列, 每个行人包含由2个摄像头拍摄的2段图像序列.iLIDS-VID数据集上行人为手工标注, 行人图像有遮挡和姿态变化的情况.

MARS数据集是第1个基于视频的大规模行人重识别数据集, 为Market-1501数据集的扩展版本, 包含6个不同摄像头拍摄的1 261个行人身份, 共有1 191 003幅图像.MARS数据集为算法自动标注, 因此有一定的干扰项.

本文采用累计匹配曲线(Cumulative Match Cha-racteristic, CMC)^[36]评估方法的命中率.在累计匹配曲线中, 将候选行人库中的图像按照与查询图像的相似度进行排序, 若前K个排序结果包含与查询图像同身份的图像, 此时Top-K值为1.对测试集数据进行Top-K查询, 可计算平均Top-K命中率.本文计算测试集的Top-1、Top-5、Top-10、Top-20, 测试方法的命中率.在实际应用场景中Top-1命中率通常更重要, 因此本文主要分析算法的Top-1命中率.

本文还采用平均精度均值(mean Average Preci-sion, mAP)^[37]描述精度.mAP越大, 表示经相似度排序后候选行人库中与查询图像身份相同的图像排序越靠前.

本文网络以ResNet-50^[38]为主要网络结构, 取其中Layer3提取的特征作为中间特征, 网络结构在Layer3之后划为2个分支:剩余的ResNet-50网络结构和融合关系学习网络.训练阶段通过计算两个分支的损失进行训练, 测试阶段以不同权重融合两个分支提取的特征映射, 从而寻找性能最优的查询结果.

在训练时, 网络首先经过ImageNet数据集^[39]进行预训练, 输入图像大小限定为288× 144, 并且对图像进行正则化处理和随机剪裁, 每批送入随机选取的8幅图像对网络进行训练.使用随机梯度下降(Stochastic Gradient Descent, SGD)更新网络参数, ResNet-50网络和融合关系学习网络同时进行训练.根据实验测试, ResNet-50网络的学习率设为0.001, 融合关系学习网络的学习率设为0.01, 训练周期设为9, 每3个周期进行学习率衰减.

在融合时存在超参数α , α 表示在融合相似性度量模块中, 相对距离度量矩阵和内容相似性度量矩阵相加的权重系数.在实验时, α ∈ [0, 1], 遍历步长为0.25.为了公平起见, 本文方法和仅基于相对距离的方法^[4]在构图时筛选的特征块个数Q均为4.

本文选取10种方法作为对比方法:SRL^[22]、ASTPN^[29]、DRSA^[32]、顶部推离距离学习模型(Top-Push Distance Learning Model, TDL)^[40]、质量意识网络(Quality Aware Network, QAN)^[41]、联合空间和时间的循环神经网络(Joint Spatial and Temporal Recurrent Neural Networks, 简写为JSTRNN)^[42]、基于范围的质量估计网络(Region-Based Quality Esti-mation Network, RQEN)^[43]、姿态导向的时空对齐(Poseguided Spatiotemporal Alignment, PISA)^[44]、掩膜图注意力网络(Masked Graph Attention Net-work, MGAT)^[45]、自适应图表示学习(Adaptive Graph Representation Learning, AGRL)^[46], 其中, MGAT、SRL、AGRL基于图卷积神经网络.

TDL提出顶部推离距离学习模型, 在这个模型中合并顶部推离约束, 用于匹配视频中的行人特征.QAN致力于学习两个数据集间的距离度量, 但样本质量无法得到保证, 因此提出质量敏感网络, 给不同样本的质量进行打分.JSTRNN设计空间注意力模型和时间循环模型, 同时处理空间信息和时间信息.ASTPN提出时空注意力池化网络, 使特征提取器对当前输入视频帧敏感, 匹配项之间的依赖性能直接影响其余特征计算.RQEN延续QAN对图像进行质量打分的思想, 将打分从单幅图像细化到对图像的每个区域分别打分, 并使用序列中质量较好的区域弥补质量较差的区域.DRSA利用注意力机制, 从行人图像中提取多个重叠部分较少的注意力区域.PISA使用以姿态为导向的时间-空间对齐方法, 对行人图像进行特征提取.MGAT使用掩码图注意网络, 关注样本集中丰富的全局互信息.SRL使用卷积神经网络和图卷积神经网络同时对图像进行特征提取.AGRL通过姿态对齐和特征相似度连接进行适应性构图, 并使用图卷积神经网络以利用局部特征之间的关系.

各方法在iLIDS-VID数据集上的实验结果如表1所示, 表中黑体数字表示最优结果.由表可看出, 相比未采用图卷积神经网络的方法DRSA, 本文网络在Top-1上提升3.8%.相比基于图卷积神经网络的方法SRL和AGRL, 本文网络在Top-1上分别提升1.3%和0.3%, 在mAP上, 本文网络也比SRL提高0.9%.其它基于图卷积神经网络的方法仅采用特征块之间相对距离作为度量方式, 而本文网络的性能提升主要来自于对中间特征映射强化语义信息的表达, 并且采用融合相似性度量方式, 这两个模块的融合能有效提高网络提取特征的表达能力.

表1

Table 1

表1(Table 1)

表1 各方法在iLIDS-VID数据集上的实验结果 Table 1 Experimental results of different methods on iLIDS-VID dataset 方法 mAP Top-1 Top-5 Top-20 TDL - 56.3 87.6 98.3 QAN - 68.0 86.8 97.4 JSTRNN - 55.2 86.5 97.0 ASTPN - 62.0 86.0 98.0 RQEN - 77.1 93.2 99.4 DRSA - 80.2 - - PISA - 74.6 88.7 - MGAT - 80.3 94.7 98.7 SRL 87.8 82.7 96.0 98.7 AGRL - 83.7 - 99.5 FRLN 88.7 84.0 95.3 100.0

表1 各方法在iLIDS-VID数据集上的实验结果 Table 1 Experimental results of different methods on iLIDS-VID dataset

MARS数据集是一个对于行人重识别网络更具挑战性并且评价更客观和公平的数据集.各方法的实验结果如表2所示, 表中黑体数字表示最优结果.由表可看出, 本文网络在mAP、Top-1、Top-5指标上最优.相比DRSA, FRLN的mAP、Top-1值提高10.8%和1.8%.相比SRL, FRLN的mAP、Top-1值分别提高3.2%和2.1%.这一结果说明对于大规模行人数据集, 本文网络能有效学习特征映射的语义信息, 构建更合理的特征结构图, 获得更具辨识度的结构关系特征.

表2

Table 2

表2(Table 2)

表2 各方法在MARS数据集上的实验结果 Table 2 Experimental results of different methods on MARS dataset 方法 mAP Top-1 Top-5 Top-20 QAN 51.7 73.74 84.9 - JSTRNN 50.7 70.6 90.0 97.6 ASTPN - 44.0 70.0 81.0 RQEN 71.1 77.8 88.8 94.3 DRSA 65.8 82.3 - - MGAT 71.8 81.1 92.2 97.7 SRL 73.4 82.0 93.1 96.8 FRLN 76.6 84.1 94.3 97.2

表2 各方法在MARS数据集上的实验结果 Table 2 Experimental results of different methods on MARS dataset

为了验证本文网络中最大注意力模型和融合相似性度量的有效性, 采用消融实验测试不同模块的功能.实验中采用iLIDS-VID数据集, 控制其它因素不变, 对两个模块增删之后的mAP和Top-1值如表3所示, 表中黑体数字表示最优结果.当两种模块均不添加, 即不对特征映射语义信息进行显著表示, 只考虑特征块之间的相对距离时, 网络效果最差.当仅添加融合相似性度量时, 即对未进行语义信息显著表示的特征映射进行融合相似性度量, 效果高于两个模块均不添加.当仅添加最大注意力模型时, 即对特征映射进行语义信息提取, 但仅采用相对距离度量方式, 效果高于两个模块均未添加.当同时添加两个模块时, 网络的mAP和Top-1值最大.

表3

Table 3

表3(Table 3)

表3 本文网络在iLIDS-VID数据集上的消融实验 Table 3 Ablation experiment of the proposed network on iLIDS-VID dataset MAM FSM mAP Top-1 × × 87.8 82.7 √ × 88.7 82.3 × √ 88.5 83.3 √ √ 88.7 84.0

表3 本文网络在iLIDS-VID数据集上的消融实验 Table 3 Ablation experiment of the proposed network on iLIDS-VID dataset

由表3还能直观观察到, 当单独添加两个模块时, 实验结果中的mAP几乎相同, 但仅添加融合相似性度量时Top-1更高, 这说明采用融合相似性度量对网络性能的提升更大.消融实验验证融合关系学习网络中最大注意力模型能有效提取特征映射中的语义信息, 而融合相似性度量能更好地度量特征块之间的相似性, 这表明本文网络的有效性.

为了能更直观地展示本文网络带来的性能提升, 在iLIDS-VID数据集上对不同方法的检索结果进行可视化, 结果如图4所示.图4中左侧3幅图像表示3个不同查询ID, 右侧表示每个查询ID对应的检索结果.每种方法右侧的5个检索ID与左侧的查询ID相似度从左到右依次递减, 正确的检索ID使用红框标出.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 各方法的检索结果Fig.4 Retrieved results of different methods

由图4可知, 使用SRL时, 第1个查询ID的正确检索ID排在第4, 其它2个查询ID在测试范围内无法正确检索.使用融合关系学习网络时, 3个查询ID与正确ID的相似性均最高.第1个ID的行人图像腿部有部分遮挡, SRL检索的最相似行人图像在腿部也有部分遮挡, 因此腿部的遮挡也被考虑成行人特征.第2个ID的行人图像背景反光严重, SRL检索的最相似行人图像中背景反光也较严重, 背景的反光被考虑成行人的特征.第3个ID的行人图像整体偏暗, 但行李箱拉杆较亮, 在SRL的检索结果中大多存在一条较亮的栏杆, 拉杆被考虑成行人的特征, 而正确ID的行人图像中行李箱的拉杆并不明显.本文网络对这3个查询ID的正确检索结果均排在第1, 这是因为本文网络通过最大注意力模型, 使网络更多地关注图像中的语义信息, 降低背景、遮挡对特征提取的干扰, 在此基础上融合相似性度量对特征块构图并提取图像的结构关系特征, 使网络提取的特征更具辨识度.

在iLIDS-VID数据集上对网络中的一些重要参数进行测试分析.考虑到注意力系数映射对网络的作用, 分别测试最大注意力模型中注意力模型个数J和注意力系数映射尺寸J_size.此外, 为了对比融合相似性度量中两种度量方式的作用, 设置式(1)中相对距离度量和内容相似性度量的融合权重为α , 式(2)中图卷积神经网络的层数为L, 观察不同层数对结构关系特征提取的影响.在对某个参数进行分析时, 其它参数均取最优值固定不变.

J和J_size对FRLN的影响如表4所示, 表中黑体数字表示最优结果.J_size表示中间特征映射的大小, 尺寸由ResNet-50网络的中间输出设定, 根据以往的经验设定.在2种不同的J_size下, 实验结果均在J取较小值3时最好, 当J_size较大时效果更优.本文认为当注意力模型个数过多时, 最大注意力模型提取的注意力系数映射反而会变平均, 使最大注意力模型的效果降低.而J_size较大时, 对特征映射的划分更精细, 使最大注意力模型的效果提升.

表4

Table 4

表4(Table 4)

表4 注意力模型个数J和特征映射尺寸Jsize对FRLN的影响 Table 4 Effect of the number of attention model J and the size of feature map Jsizeon FRLN J Jsize mAP Top-1 3 6× 3 88.3 82.4 6 6× 3 87.1 82.0 3 18× 9 88.7 84.0 6 18× 9 86.1 79.7

表4 注意力模型个数J和特征映射尺寸Jsize对FRLN的影响 Table 4 Effect of the number of attention model J and the size of feature map Jsizeon FRLN

融合相似性度量中不同融合权重α 对FRLN的影响如图5所示.采用步长0.25对α 进行遍历实验, α =0表示仅采用相对距离度量, α =1表示仅采用内容相似性度量, 实验表明最佳的融合权重α =0.5.值得注意的是, FRLN在α =0.75时效果最差, 以包含垂直或水平边缘的行人边缘特征块为例进行说明.假设行人边缘特征块包含的背景特征多于行人特征, 当采用内容相似性度量权重更大的融合相似性度量时, FRLN会倾向于选择所有近邻的背景特征块, 这会导致包含边缘信息的特征块未被选择, 然而边缘特征块在提取结构关系特征时具有关键作用.当采用相对距离权重更大的融合相似性度量时, 因为对相对距离更敏感, FRLN更倾向于选择相对距离较近的特征块, 边缘信息更完整.在相对距离度量的基础上加入内容相似性度量, 可更好地优化网络对行人边缘特征的提取.因此, 本文认为α 的最优值在[0, 0.5]区间内.基于实验结果, 选择将2种相似性度量以相等的权重进行融合, 即α =0.5.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 融合权重α 对FRLN的影响Fig.5 Effect of fusion weight α on FRLN

不同图卷积神经网络层数L对FRLN的影响如图6所示.当L=2时, 即图卷积神经网络只有输入层和输出层时, 效果最优; 当L=3时, 即输入层和输出层中间还含有一个隐含层时, 效果有所下降; 当L=4时, 即网络中有两个隐含层时, 发现网络并未收敛.根据实验结果, 本文认为当图卷积神经网络中隐含层过多时, 可能也存在类似于卷积神经网络中的梯度爆炸和梯度消失的问题, 因此取L=2.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 图卷积神经网络层数L对FRLN的影响Fig.6 Effect of layers of graph convolution network L on FRLN