步态识别问题就是通过步态属性判断身份.给定1个数据集, 共有N个人, 每人有若干幅步态轮廓图, 每幅步态轮廓图的步态属性与人的身份一一对应.因此, 同个步态的属性一致.若给出一幅未知身份的步态轮廓图, 应该首先进行步态属性判断, 然后与已知的身份属性进行匹配, 最后判断身份.

本文的样本集被分成训练集、参考样本集(Gallery Set)和查询样本集(Probe Set).训练集的样本用于训练网络和调整模型参数, 得到表现较优的模型.参考样本集和查询样本集供测试时使用, 需要从参考样本集样本中检索与查询样本集样本身份相同的样本集.具体操作如图1所示.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 步态识别流程图Fig.1 Flow chart of gait recognition

操作中先将训练集的样本进行训练, 得到一个具体的网络模型.测试时给定查询样本集的一个样本x^p, 经过网络模型特征提取, 获得查询步态特征f(x^p), 同样参考样本集中的样本集合{x^q}, 经过网络模型特征提取, 获得参考步态特征集合{f(x^q)}, 目标是针对查询步态特征f(x^p)在某一特征空间上找到步态特征集合{f(x^q)}中相似度最高的特征, 并验证它们的身份是否相同.

本文采用欧氏距离作为标准距离度量方式:

$d(f({{x}^{p}}), f({{x}^{q}}))=\|f({{x}^{p}})-f({{x}^{q}}){{\|}_{2}}=\sqrt{f{{({{x}^{p}})}^{2}}-f{{({{x}^{q}})}^{2}}}.$

本文方法网络框架如图2所示.首先步态轮廓图每帧经过注意力残差网络初步提取特征.然后分为2个分支.2个分支结构高度相似, 只有第1个卷积层的卷积核大小不同, 这样可保持提取的特征在保证基本信息的基础上进一步细化.2个分支的后续部分是1个多尺度特征融合网络, 由不同阶段卷积层的前端出现1个小分支, 融合所有分支.经过不同卷积核大小的CNN处理提取不同细粒度的步态特征.最后, 经过水平金字塔映射(Horizontal Pyramid Mapping, HPP), 2分支合并成1分支, 经过全连接层, 分别进行三元组损失训练和步态识别.HPP是将特征图在水平方向进行不同尺度的分割, 再进行平均池化和最大池化的一种特征图像处理方法, 在行人重识别^[18]和步态识别^{[15, 16]}上均取得显著效果.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 本文方法网络框架Fig.2 Framework of the proposed method

为了获得更精确有效的特征, 本文设计注意力残差网络, 如图3所示.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 注意力残差网络结构Fig.3 Structure of attention residual network

网络由1个卷积层和基于卷积块的注意力机制模块(Convolutional Block Attention Module, CBA-M)^[19]构成.首先输入特征经过卷积层, 输出特征经过注意力机制处理后与原来特征进行融合, 作为输出特征, 过程表示为

F'=F(1+M_CBAM[f^{5× 5}(F)]),

其中, F表示输入特征, M_CBAM表示注意力机制CBAM, f^{5× 5}表示网络卷积核大小为5× 5.

CBAM结合通道和空间的注意力机制, 分别从通道和空间2个维度计算注意力特征图, 并与底层特征图相乘, 实现特征的自适应学习.同时, CBAM是一个轻量级的结构, 集成在网络中产生的额外开销可忽略不计.加入网络可较好提升网络的表现力.

虽然加入注意力机制对于步态分类有很大作用, 但是单纯的叠加注意力模块可能会导致性能下降.一方面, CBAM以sigmoid激活函数作为结尾, 输出结果会被归一化到0~1之间, 再与原特征进行点乘, 这会使特征图的输出响应变弱, 最后输出的特征图每个点的值变小.另一方面, 经过CBAM的特征相对原特征来说可能会损失一些原有特性, 而且该网络结构处于浅层位置, 对深层网络影响很大.

为了解决上述问题, 本文采取注意力特征与原特征进行残差的形式, 在保留注意力机制优点的同时有效减少其造成的不利影响.

为了获得更精准有效的特征, 提高分类效果, 本文引入多支路残差网络.通过多次实验及计算量等因素的综合考虑, 选择将注意力残差网络分为2条支路, 2条支路分别使用不同尺寸的卷积核提取不同深度的信息.单支路是以经典的VGGNet网络作为基础的CNN框架, 主要包含卷积层和池化层.具体网络结构如图2所示.网络还通过局部残差学习和跳跃连接等方法减少信息损失, 提升步态识别的效果.

特征金字塔网络(Feature Pyramid Networks, FPN)^[20]利用CNN融合不同尺度特征, 生成表现力更强的特征图.受此影响, 本文也提出融合多尺度特征的残差结构, 如图4所示.主干路是2个3× 3的卷积层, 分支的1× 1卷积层从主干路的2个卷积层不同深度对特征进行采样, 得到2个特征图, 最后利用残差将主干路和分支的特征图进行融合输出.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 融合多尺度特征的残差网络结构Fig.4 Structure of multi-scale feature fusion network

单独从多尺度特征融合网络这个角度上看, 从输入特征到输出特征有3条通路:第1条经过卷积核为1× 1的卷积层; 第2条经过2个卷积核为3× 3的卷积层; 第3条先经过1个卷积核为3× 3的卷积层, 再经过1个卷积核为1× 1的卷积层.每个卷积层后面跟一个激活函数Leaky ReLU.因此生成特征:

F₁=f^{1× 1}(LeakyReLU(F)),

F₂=f^{3× 3}(LeakyReLU(f^{3× 3}(LeakyReLU(F)))),

F₃=f^{1× 1}(LeakyReLU(f^{3× 3}(LeakyReLU(F)))),

F'=F₁+F₂+F₃,

其中, F为输入特征, F'为输出特征, F₁、F₂、F₃分别为3条通路输出特征, f^{1× 1}、 f^{3× 3}分别为卷积核大小为1× 1和3× 3的卷积层.

不同尺度的特征包含不同粒度的特征, 粒度较大、采样较浅的特征可看到整体趋势, 而粒度较小、采样较深的特征可看到更细节的信息.步态识别不仅需要整体的粗粒度特征, 同时也需要微小的细粒度信息.如果单用一条支路进行特征采样, 只能得到粗粒度特征和细粒度特征中的一种, 这样的特征是不具有代表性的.

本文使用CASIA-B数据集和OU-ISIR-MVLP数据集作为实验数据集.CASIA-B数据集是目前视角跨度最广泛的步态数据集之一, 由中国科学院自动化研究所建立, 包括11个视角(0° , 18° , 36° , …, 180° ), 124个人的步态数据.每人在每个视角下又拍摄10个步态视频, 分别是6组正常行走的视频(NM01~NM06)、2组背包行走的视频(BG01、BG02)、2组穿大衣行走的视频(CL01、CL02).OU-ISIR-MVLP数据集是目前最大的跨视角步态数据集, 由日本大阪大学科学与工业研究所建立, 包括14个视角(0° , 15° , …, 90° , 180° , 195° , …, 270° ), 10 307个人的步态数据.每人在每个视角下拍摄2组视频, 分别为01、02.这2个数据集是目前步态识别领域的经典数据集, 具有代表性.

实验中步态轮廓图预处理过程如图5所示, 框出二值图中的行人, 缩放到同一大小.选择的损失函数是三元组损失, 间隙参数为0.2, 实验选择的优化器是Adam, 学习率为1e-4.激活函数选择Leaky ReLU.在PyCharm上利用PyTorch深度学习框架编写代码, Python版本为3.6.0, 使用的GPU型号为NVIDIA GeForce GTX TITAN X.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 步态轮廓图预处理过程Fig.5 Pre-processing of gait silhouette

在CASIA-B数据集上的批尺寸为8× 16, 即在所有人中随机抽取8人, 在每人的轮廓序列图中随机抽取16幅轮廓序列图, 共进行80 000次迭代.实验采用如下对比方法:GaitSet^[15]、非周期步态识别模型(Aperiodic Gait Recognition, AGR)^[21]、相关运动协同聚类(Correlated Motion Co-clustering, CMCC)^[22]、视角不变判别投影(View-Invariant Discriminative Projection, ViDP)^[23]、Deep CNNs^[14]、注意力时空融合网络模型(Attentive Spatial-Temporal Summary Networks, ASTSN)^[24].

在CASIA-B数据集上以少量训练样本进行实验, 少量训练样本的划分方式如下:将数据集上编号为1~24的行人样本划分为训练样本, 将编号为25~124的行人样本划分为测试样本.

各方法在CASIA-B数据集上使用少量训练样本时的Rank1识别准确率如表1所示, 参考样本集为NM01~NM04, 查询样本集为NM05、NM06.表中对比方法的数据均来自于原论文实验结果, 在小训练样本时选择0° , 54° , 90° , 126° 进行对比, 原因是部分对比方法只给出这4个角度的结果.为了便于对比, 本文也只对这4个角度做出讨论.

表1

Table 1

表1(Table 1)

表1 各方法在CASIA-B数据集上使用少量训练样本时的Rank1识别准确率 Table 1 Rank1 recognition accuracy of different methods using a small number of training samples on CASIA-B dataset 方法 0° /% 54° /% 90° /% 126° /% Deep CNNs 54.8 77.8 64.9 76.1 GaitSet 64.6 86.5 75.5 86.0 AGR 21.4 33.5 34.8 37.1 CMCC 46.3 52.4 48.3 56.9 ViDP - 59.1 50.2 57.5 ASTSN 53.6 66.8 59.2 66.8 本文方法 69.6 88.4 74.2 86.4

表1 各方法在CASIA-B数据集上使用少量训练样本时的Rank1识别准确率 Table 1 Rank1 recognition accuracy of different methods using a small number of training samples on CASIA-B dataset

由表1可知, 在54° 和126° 视角下的识别率明显高于0° 和90° 视角下的识别率, 可能是因为侧面视角的步态特征相对来说更容易分辨, 而正面视角相对来说特征信息不是那么明显, 识别会困难一些.总体上, 本文方法的识别率均高于对比方法, 说明本文方法在少量训练样本情况下的提取能力相对较强.

各方法在CASIA-B数据集上分别以中量训练样本和大量训练样本方式进行实验.中量训练样本的划分方式为:1~62号行人作为训练样本集, 63~124号行人作为测试样本集.大量训练样本的划分方式为:1~73号行人作为训练样本集, 74~124号行人作为测试样本集.

中量训练样本时的对比方法如下:GaitSet^[15], 自动编码器(Auto-Encoder, AE)^[25], 基于生成对抗网络的步态识别(Gait Recognition Based on Genera-tive Adversarial Network, GaitGAN)^[26], 基于多任务生成对抗网络的步态识别(Gait Recognition Based on Multi-task Generative Adversarial Network, MGA-N)^[27].大量训练样本时的对比方法如下:Deep CNNs^[14]、GaitSet^[15].

各方法在这2种划分方式下的Rank1识别准确率如表2所示, 参考样本集为NM01~NM04.由表可见, 正常条件下行走的识别准确率最高, 其次是背包状态, 效果最差的是大衣状态.原因可能是普通行走状态下的步态特征较明显, 背包状态对步态有一定遮挡, 而大衣状态对步态的遮挡更明显, 步态识别的难度增大, 导致识别准确率降低.

表2

Table 2

表2(Table 2)

表2 各方法在CASIA-B数据集上使用中量/大量训练样本时的Rank1识别准确率 Table 2 Rank1 recognition accuracy of different methods using medium or large number of training samples on CASIA-B dataset % 划分方式 方法 查询样本集 NM05, NM06 BG01, BG02 CL01, CL02 中量 训练样本 AE GaitGAN MGAN GaitSet 本文方法 59.3 57.2 68.1 92.0 92.5 37.2 35.6 54.7 84.3 85.3 24.2 29.2 31.5 62.5 64.2 大量 训练样本 Deep CNNs GaitSet 本文方法 94.1 95.0 94.9 72.4 87.2 88.2 54.0 70.4 72.1

表2 各方法在CASIA-B数据集上使用中量/大量训练样本时的Rank1识别准确率 Table 2 Rank1 recognition accuracy of different methods using medium or large number of training samples on CASIA-B dataset %

表2中的实验数据是11个视角Rank1识别准确率的平均值.在中量训练样本时能达到较高水准的是GaitSet, 正常条件下的识别准确率达到92.0%, 背包条件和大衣条件下的识别准确率相对较低, 分别达到84.3%和62.5%.相比GaitSet, 本文方法在正常条件、背包条件、大衣条件下识别准确率分别增加0.5%、1.0%、1.7%.在大量训练样本情况下, 本文方法在正常条件下的识别准确率比GaitSet降低0.1%, 在背包状态和大衣状态下的识别准确率比GaitSet分别增加1.0%、1.7%.由于GaitSet在正常状态下的识别准确率已达到一个较高的水平, 本文方法在正常状态下未超过GaitSet, 但是在背包条件和大衣条件下还是有一定提升.

本文通过在OU-ISIR-MVLP数据集上的跨数据集实验验证本文方法的泛化能力.在该数据集上的训练样本划分方式是将5 153个行人样本作为训练样本, 5 154个行人样本作为测试样本(具体以数据集给出的划分规则为准).由于大多数实验未给出全部视角的实验数据, 为了方便实验对比, 本文也只考虑0° , 30° , 60° , 90° 视角.对比方法如下:GEI-Net^[13], Deep CNNs^[14], 卷积神经网络的输入输出架构(In-put/Output Architectures for Convolutional Neu-ral Network, Input/Output)^[28], 判别式步态生成对抗网络(Discriminant Gait Generative Adversarial Net-work, DigGAN)^[29].

各方法在OU-ISIR-MVLP数据集上的Rank1识别准确率如表3所示, 参考样本集为0° , 30° , 60° , 90° .由表可知, 在OU-ISIR-MVLP数据集上, 本文方法存在一定优势, 但相比在CASIA-B数据集上的实验结果, 还是有一定差距.原因可能是OU-ISIR-MVLP数据集的数据量比CASIA-B数据集大很多, 数据量的增加对步态识别效果有一定影响.总体上看, 本文方法的步态识别率较优, 但是受到样本数据量大小的影响较明显, 需要进一步进行研究.

表3

Table 3

表3(Table 3)

表3 各方法在OU-ISIR-MVLP数据集上的Rank1识别准确率 Table 3 Rank1 recognition accuracy of different methods on OU-ISIR-MVLP dataset 方法 0° /% 30° /% 60° /% 90° /% GEINet 8.2 32.3 33.6 28.5 DeepCNNs 14.2 32.7 32.3 34.6 Input/Output 25.5 50.0 45.3 40.6 DigGAN 30.8 43.6 41.3 42.5 本文方法 71.7 86.1 82.3 83.6

表3 各方法在OU-ISIR-MVLP数据集上的Rank1识别准确率 Table 3 Rank1 recognition accuracy of different methods on OU-ISIR-MVLP dataset

本节验证注意力残差网络和多尺度特征融合网络的效果.实验使用CASIA-B数据集, 采用大量训练样本划分方式.

实验分成如下5种情况进行对比:1)不包含残差注意力网络; 2)只用注意力网络, 不加入残差的情况; 3)2条支路中都只有主路3× 3卷积, 去除支路1× 1卷积; 4)单支路, 只保留3× 3卷积支路; 5)本文方法.第1种和第2种情况是为了判断残差注意力网络各部分结构对识别率的影响, 而第3种和第4种情况是为了判断多支路多尺度特征对识别率的影响.

不同情况下的识别率对比如表4所示, 参考样本集为NM01~NM04.由表中第1种情况和第2种情况与本文方法识别率对比可看出, 在不包含残差注意力网络时识别率最低, 使用注意力网络后识别率具有微小提升, 在注意力网络中加入残差结构之后, 各状态下的识别率都有一定提升, 尤其是背包状态和大衣状态.这说明在注意力网络中加上残差结构是有必要的.加入注意力机制后虽然可提高有用信息的权重, 但还是会损失部分有用信息, 而残差结构相当于在提高有用特征权重的同时减少其它信息的损失, 实验结果也表明该结构是有效的.从第3种情况和第4种情况与本文方法识别率对比可看出, 多尺度特征融合网络和多支路残差结构对提升识别结果都具有一定作用, 多尺度特征融合可融合深层特征和浅层特征, 多支路网络可融合不同细粒度的特征, 融合后的特征更有利于步态识别.

表4

Table 4

表4(Table 4)

表4 不同情况下的Rank1识别准确率对比 Table 4 Rank1 recognition accuracy comparison in different cases % 情况 查询样本集 NM05, NM06 BG01, BG02 CL01, CL02 情况1 93.8 85.1 69.6 情况2 94.0 85.2 71.2 情况3 92.8 85.1 68.2 情况4 93.3 85.0 70.7 情况5 94.9 88.2 72.2

表4 不同情况下的Rank1识别准确率对比 Table 4 Rank1 recognition accuracy comparison in different cases %

在CASIA-B数据集上不同视角差的Rank1识别准确率如表5所示, 对比实验依旧是5种情况.由表可知, 视角差越小, 识别准确率越优.以外, 在不同视角时, 本文方法都可稳定取得不错效果.

表5

Table 5

表5(Table 5)

表5 不同视角差下的Rank1识别准确率对比 Table 5 Rank1 recognition accuracy comparison in the views of different angles 视角 /° 参考 样本集/° 查询 样本集/° 情况1 /% 情况2 /% 情况3 /% 情况4 /% 情况5 /% 36 36 36 90 90 144 144 0 72 54 126 108 180 99.3 97.8 95.6 99.1 98.5 95.3 100.0 98.5 96.8 99.1 99.4 96.1 97.6 95.1 95.8 97.6 96.2 97.7 98.7 97.4 96.7 98.4 97.8 97.2 100.0 100.0 97.8 100.0 100.0 98.2 54 54 54 90 90 126 126 0 108 36 144 72 180 95.7 97.8 95.6 97.8 100.0 93.5 98.1 99.2 96.1 97.9 100.0 96.3 93.1 94.9 95.7 96.2 99.4 93.9 96.4 96.4 96.5 98.3 99.6 94.2 98.7 99.3 97.1 99.5 100.0 97.3

表5 不同视角差下的Rank1识别准确率对比 Table 5 Rank1 recognition accuracy comparison in the views of different angles

为了探究步态数据集上的视频帧数对步态识别率的影响, 分别在CASIA-B数据集上基于3种不同条件进行实验, 观察步态识别能力的强弱, 结果如图6所示.由图可知, 随着步态帧数的增加, 步态识别率也在不断提升.正常状态下很快就趋向稳定, 其次是背包状态, 最后是大衣状态.正常状态达到最佳识别率需要的步态序列帧数最少, 约在6帧左右.这说明不是数据量越大得到的效果越优, 可能在一个周期内就能获取大多数的步态信息, 在此基础上增加的信息对效果的提升就很微小.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 CASIA-B数据集上帧数对识别准确率的影响Fig.6 Effect of the number of frames on recognition rate on CASIA-B dataset