基于热图的人体关键点定位方法使用概率图对关键点位置进行编码^[17], 通过后期处理估计热图并检索关键点坐标.该方法在关键点定位领域占据主导地位, 因为很容易通过神经网络学习热图.Sun等^[6]提出HRNet, 设计强大的CNN, 提取不同层次的特征以估计高分辨率热图, 用于人体姿势估计和面部标志检测, 再通过后处理移位简单获得目标关键点.在SKDPose^[9]中, 不同层次的语义信息划分为不同的分支并使用独立的解码器, 将最高层次的解码热图作为教师输出, 其余层次作为学生输出, 完成知识的自蒸馏.在FPD^[10]中, 从8-Stack沙漏网络中将知识迁至4-Stack沙漏网络, 使教师网络的最终输出热图作为软标签指导学生网络的决策, 还通过中间监督的形式将教师网络的特征融入学生网络的不同层次中.

基于坐标回归的关键点定位方法通过神经网络直接学习从输入图像到输出坐标的映射.Nie等^[18]提出SPM(Single-Stage Multi-person Pose Machines), 引入根关节, 表示不同的人体实例, 同时分等级预测关键点偏移, 较好地预测某些关节的长距离位移.Li等^[19]提出RLE(Residual Log-Likelihood Estimation), 引入一个流模型, 捕获底层的输出分布, 性能较优.尽管上述方法在寻找关键点的隐含关系方面做出很大努力, 但由于缺乏热图的明确指导, 性能改善仍然不足.近年来, 研究人员还效仿DETR(Detection Trans-former)^[20], 在Transformer架构中提出更强大的主干以改进直接回归, 如PETR(Pose Estimation Frame-work with Transformers)^[21].

基于热图的方法在人体关键点的精确定位上具有显著优势, 原因是方法能捕捉高精度的空间概率信息, 但在处理高分辨率特征图时带来较大的计算量和存储开销.相比之下, 基于坐标回归的方法直接从输入图像中预测关键点坐标, 具备更快的推理速度, 但其定位精度通常不如基于热图的方法.因此, 通过知识蒸馏技术结合此两种方法, 热图模型的空间信息被传递至回归模型中, 使回归模型可在保持快速推理能力的同时, 也获得更高的关键点定位精度.

现有的姿态估计模型通常将图像作为CNN的输入, 在网络中串联输入图像, 执行高级特征的低分辨率过程和恢复高分辨率过程.在这个过程中下采样和上采样均会导致一些重要的信息丢失.一些经典的方法, 如OpenPose^[7]和Hourglass^[22], 采用CNN作为主干网络, 用于提取特征.Zhou等^[23]提出CDKD(Knowledge Distillation with Channel Dropout Stra-tegy), 设计基于转置卷积层和卷积层的中间特征映射器, 通过中间特征映射器, 从不同网络中提取的特征投影到同一空间, 从而使参数较少的学生网络能更自然有效地理解教师网络的知识.

CNN主干网络用于捕捉单个关键点的细节信息, 但在处理全局关系和复杂姿态时可能表现不足, 而Transformer通过自注意力机制能捕捉长距离依赖关系.随着Transformer在自然语言处理中取得的巨大成功, 研究者们开始将其引入计算机视觉领域, 并取得突破性进展, 在视觉任务研究中常使用的技术为ViT(Vision Transformer)^[24].

Transformer已被证实是用于人体姿态估计的特征提取和处理的有效模块.Liu等^[25]提出Swin Trans-former, 使用层次结构设计和移位窗口, 使模型在不同尺度下灵活建模关键点之间的关系.在PRTR^[12]中, 编码器-解码器结构用于执行基于回归的人物和关键点检测.在ViTPose^[16]中, 设计用于初始图像特征提取和特征处理的纯Transformer架构, 具有通用性, 只需要较少的启发式设计.Yang等^[26]提出TransPose, 使用CNN在底层提取特征, 而Trans-former在高层捕获关键点全局依赖关系.上述基于Transformer的姿态估计方法在关键点估计基准上获得较优性能.Wei等^[27]在CNN阶段引入CAU(Cha-nnel-Attention-Unit), 减少通道冗余, 并利用ViT保留来自教师模型的中间注意力图, 通过注意力损失指导学生模型尽早识别关键的信息.

为了缓解Transformer中全局特征交互导致的计算资源消耗问题, 学者们提出许多解决方法, 其中动态优化是主要的一种.

最简单的方法是减少Transformer的输入标记数量.Yuan等^[28]根据相似性融合相似标记.Araú jo等^[29]根据类关注度评估图像块的重要性.另一类方法是在粗略的水平中逐渐调整输入粒度.Tang等^[30]提出Quad Tree Attention, 从每层的不同尺度获得注意力, 并执行跨尺度加权, 捕获全面表征, 减少标记数量.Chen等^[31]提出CF-ViT(Coarse-to-Fine Vision Transformer), 使用不同粒度的补丁, 设计两个阶段, 并重新组织特定的细粒度令牌与粗粒度令牌, 以细化第二阶段的预测.

在Transformer中, 全局特征交互虽然提高模型的表达能力, 但也导致显著的计算资源消耗, 通过细化阶段的补丁设计, 可优化计算效率, 但仍可能在处理细粒度特征时不够精确.

由于学生模型与教师模型都采用Transformer的结构, 二者可在网络末端的特征上保持形式一致, 因此KD-DRRPose对视觉标记和关键点标记进行特征蒸馏, 旨在解决传统人体位姿估计中, 不同模型输出结果无法直接对齐的问题.

基于坐标回归的方法输出人体关键点的二维坐标, 而基于热图的方法输出表示关键点置信度的热力图.由于这两种输出形式的差异, 无法直接将一个模型的知识传递给另一个模型.虽然已有工作尝试在回归模型中引入热图, 如RLE^[19]采取的热图损失, 但由于输出空间未对齐, 只能在主干上进行部分知识转移, 带来有限的性能提升.

为了解决这一问题, 本文提出基于Transformer的标记知识蒸馏(Token Knowledge Distillation, TKD)模块, 提取教师模型中的标记信息, 实现知识传递.对于输入图像, 进行预处理后, 作为骨干网络HRNet48-3-stage的输入, 提取多尺度特征, 骨干网络的输出特征图作为粗略& 细化部分的输入特征图.将输入特征图分割成多个板块, 每个板块包含局部信息, 并添加关键点标记(Token), 使其能对齐教师模型和学生模型的输出特征空间, 这样学生模型就能更专注学习人体本身的信息.

对于输入的特征图, 划分为多个P_W×P_h的视觉块, 并进行编码, 形成一系列视觉标记.再添加M个空节点作为关键点, 这些节点与视觉标记连接, 送入令牌提取编码器的转换器编码器层.令牌提取编码器中的注意力矩阵可学习关键点标记与相应位置的视觉标记之间的关系.然后对齐学生模型和教师模型之间的视觉标记和关键点标记, 在视觉标记与关键点标记上分别进行知识传递.

学生模型的特征已与教师模型对齐, 因此为了进一步进行知识蒸馏, 将教师模型的输出作为软标签传递知识.相比坐标向量, 热图的梯度分布更清晰, 能显式引导模型关注关键点周围的局部信息.同时, 教师模型生成的热图往往比带有错误标注的基本事实更接近真实情况, 因为教师模型通过训练过滤部分误差.由于热图与坐标向量处于不同的输出空间, 在学生模型中使用“ 自生成热图” 的方法, 将坐标向量引入热图空间, 提升知识提取效果.

通过二维高斯分布构建坐标到热图的转换.学生模型预测输出包含坐标对及相应的σ值, 教师模型输出的热图不一定是规则分布.为了生成学生的更实际的热图, 分别从水平方向和垂直方向预测σ_x和σ_y, 高斯分布如下:

$\begin{array}{l} f(x, y)= \\ \quad \frac{1}{2 \pi \sigma_{x} \sigma_{y}} \exp \left(-\frac{1}{2}\left(\frac{\left(x-\mu_{x}\right)^{2}}{\sigma_{x}^{2}}+\frac{\left(y-\mu_{y}\right)^{2}}{\sigma_{y}^{2}}\right)\right) . \end{array}$

其中, μ_x表示x的均值, μ_y表示y的均值.

在实际计算每个关键点的热图中, 一般忽略上式中的常系数, 因此第k个关键点的生成热图为:

$H_{k}(x, y)=\exp \left(-\frac{1}{2}\left(\frac{\left(x-\mu_{x k}\right)^{2}}{\sigma_{x k}^{2}}+\frac{\left(y-\mu_{y k}\right)^{2}}{\sigma_{y k}^{2}}\right)\right),$

其中, (μ_xk, μ_yk)表示学生模型预测的关键点坐标, (σ_xk, σ_yk)表示对应的偏差, 0<x≤h_W, 0<y≤h_H, h_W表示热图的宽度, h_H表示热图的高度.

动态区域细化过程如图2所示, 分为上半部分的粗略化阶段和下半部分的细化阶段.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 动态区域细化过程Fig.2 Process of dynamic region refinement

在粗略化阶段, 将来自HRNet48-3-stage的输出特征图作为粗略& 细化部分的输入特征图, 将特征图划分为多个P_W×P_h的块, 经过线性投影后被映射为和关键点标记具有相同嵌入维度的视觉标记, 随后加入一个质量标记, 将三者拼接后作为Trans-former的输入.质量标记的最终作用是控制进入精细阶段的样本数量.

在细化阶段, 计算特征块和关键点之间的相关性得分, 选择需要细化的特征块, 与未选中的块进行组合后也被映射为视觉标记, 随后与粗略化阶段输出的带有部分关键点信息的关键点标记拼接, 作为细化阶段Transformer的输入.这一阶段充分捕获关键点的位置信息, 通过最后的解码实现关键点的准确定位.

定义输入张量X∈R^H×W×C, 给定特定的大小为P_W×P_h的patch块和输入缩放因子s_c , 首先通过骨干网络得到初步特征

F=Backbone(X),

重采样调整为

F^c=Resample(F)∈RHsc×Wsc×C,

其中, c表示粗略化阶段, C表示原始特征图的通道数.将F^c分解为

$N^{c}=\left(\frac{H \cdot s_{c}}{P_{h}}\right)\left(\frac{W \cdot s_{c}}{P_{w}}\right) \text { 块. }$

然后利用线性投影f∶ p→ v∈R^D, F^c获得相应的视觉标记序列 v0i.定义{k0i∈R^D}i=1M, 表示来自可学习嵌入的关键点标记, 用于表示关键点的查询, M表示关键点数量.q₀∈R^D表示来自可学习嵌入的质量标记, 用于估计粗略预测的人类姿势的好坏.

最终构成输入token序列:

F0c=[ v01; v02; …; v0Nc; k01; k02; …; k0M; q₀].

在合成输入标记序列之后, 应用具有K层的Transformer(TF), 获得输出序列:

FKc=TF( F0c)=[ vK1; vK2; … vKNc; kK1; kK2; … kKM; q_K].

关键点解码器通过统一的多线性投影模块输出关键点标记{kKi}i=1M以构建热图:

Hic=D( kKi)∈RH︿×W︿, i=1, 2, …, M,

其中, H︿×W︿表示热图大小, H︿、 W︿都是原始图像大小的1/4.

使用可学习的质量嵌入q₀, 通过从视觉标记和关键点标记中获取的信息, 获得预测关键点的质量.然后, 质量预测器模块通过融合在质量标记中的信息, 产生预测的质量分数:

Q=MLP(q_K).

根据估计的质量分数Q, 设置阈值Q_thres, 当Q<Q_thres时, 该特征才会被选中送入细化阶段进行处理, 这允许模型动态区分困难样本和容易样本.因此, 可减少经过细化阶段特征的数量, 增加模型吞吐量.

第二阶段为细化阶段, 需要确定上一阶段挑选的特征图的哪些区域需要高分辨率特征表示.考虑Transformer在不同层中会计算视觉标记与关键点标记之间的注意力矩阵, 据此可计算特征块和关键点之间的相关性得分.注意力矩阵定义如下:

A︿h; k=[ âh; kNc+1; âh; kNc+2; …; âh; kNc+M],

其中, âh; kNc+1表示关键点标记 kk-1i和头部h处的所有粗粒度图像标记{vk-1i}i=1Nc之间的注意力得分向量, 反映关键点标记和视觉标记之间的交互.

遵循文献[32]的工作, 使用指数移动平均(Exponential Moving Average, EMA)联合来自每个Transformer层的注意力:

A¯h; k=αA¯h; k-1+(1-α) A¯h; k.

然后, 取最后一层 A¯h; k的累积注意力矩阵, 并将每个关键点和不同头部的注意力向量按照如下形式混合:

s= 1HM∑h=1H∑i=1Ma¯h; KNc+i,

获得最终的视觉标记相关性得分, 其中, a¯h; KNc+i表示 A¯h; k的第i列, H表示头部的数量, M表示关键点的数量.根据s, 可选择相关的特征块.从{vKi}i=1Nc中选择一个由N^h=⌊βN^c」个分数较高的补丁组成的集合F_high, 其余的补丁形成集合F_low, β表示视觉标记选择的比例.

在细化阶段推理中, 首先需要构建高分辨率表示.给定精细化阶段中的缩放比s_f, 完整视觉标记为:

$\boldsymbol{F}_{\text {full }}^f=\left\{\boldsymbol{v}_f^i\right\}_{i=0}^{N^f}$,

其中,

$N^{f}=\left(\frac{H \cdot s_{f}}{p_{h}}\right)\left(\frac{W \cdot s_{f}}{p_{w}}\right),$

表示所有细粒度图像标记的数量, f表示细化阶段.如果对每个特征块都进行精细化, 则会产生过多token, 大幅增加模型的计算量, 因此需要挑选部分特征块精细化, 同时也可避免无关背景信息的融入.

细化阶段的初始视觉标记$\left\{\hat{\boldsymbol{v}}_0^i\right\} \begin{aligned} & \widehat{N}^f \\ & i=0\end{aligned}$构造如下.第一部分由与关键点关联程度较小的标记组成, 可直接从 F_low中获取, 这一部分不进行细化.第二部分包括从F_high中生成的标记, 这些视觉token与关键点更相关.将来自F_high的单个视觉标记表示为v^j_K, 进一步分成

$N=\left(\frac{s_{f}}{s_{c}}\right)^{2}$

个细粒度标记.新的输入视觉标记为

$\left\{\operatorname{MLP}\left(\boldsymbol{v}_K^j\right)+\boldsymbol{v}_f^i\right\}_{i=0}^N$,

其中$\left\{\boldsymbol{v}_f^i\right\}_{i=0}^N$表示自v^j_K的对应位置Ffullf处的精细图像标记.因此, 输入标记序列为:

F0f=[ v̂01; v̂02; …; v̂0N︿f; k01; k02; …; k0M],

其中,

N︿^f=N⌊βN^c」+⌊(1-β)N^c」,

表示视觉标记的数量, k0i表示初始关键点标记嵌入.

然后, 应用与粗略化阶段中共享相同参数的Transformer, 通过

FKf=TF(F0f)

获得细化阶段的输出.

最后, 关键点标记被馈送到解码器中, 得到精细推断的坐标:

Rif=D( kKi) .

在知识传递部分, 分别对视觉Token和关键点Token进行蒸馏, 相应的损失函数如下所示:

L_KT=MSE(KT_h, KT_r),

LV_T=MSE(VTh_, VTr₎,

其中, KT∈R^K×D 表示关键点Token, VT∈R^P×D表示视觉Token, P表示patch数量, D表示Token的嵌入维度, 下标h表示基于热图的方法, 下标r表示基于坐标回归的方法.使用均方误差损失(Mean Squared Error, MSE)衡量教师模型和学生模型之间的差异.

对齐学生模型生成热图与教师模型生成热图, 相应的损失函数如下所示:

L_ST= ∑i=1MMSE(H_Sk, H_Tk),

其中, H_Sk表示学生模型的自生成热图, H_Tk表示第k个关键点的教师热图, M表示关键点数量.

总之, 在任务监督和知识蒸馏下同时训练基于回归的学生模型, 蒸馏框架的总体损失函数为:

L=L_reg+γ₁L_KT+γ₂L_VT+γ₃L_ST,

其中, L_reg表示人体姿势估计的回归任务损失, γ₁、γ₂、γ₃表示超参数, 使用平滑的L1损失作为L_reg, 计算预测关节与地面真实坐标之间的距离, 本文未使用这些看不见的关键点计算损失, 不可见的关键点将被过滤.

本文选择COCO2017^[33]、COCO-Wholebody^[34]数据集进行实验.COCO2017数据集包含2×10⁵多幅图像和2.5×10⁵多个人类实例, 每个人类实例被标记为表示人类姿势的17个关键点, 在COCO train-2017上进行118 287幅图像的训练, 并在test-dev-2017上进行评估, 测试集包含40 670幅图像.COCO-Wholebody数据集是 COCO2017数据集的扩展, 增加全身关键点注释, 支持更准确、全面的人体姿势估计, 每个人体共注释133个关键点, 包括6个腿部关键点、68个面部关键点、42个手臂关键点和17个身体部位关键点.

本文使用如下常用的标准评估指标:平均精度(Average Precision, AP)、平均召回率(Average Re-call, AR)、模型参数量和运算性能参数GFLOPs(Giga Floating-Point Operations per Second).

在实验中遵循自上而下的人体姿态估计范式.将所有输入图像调整为256×192.遵循HRNet^[6]中的数据增强设置, 采用文献[35]中提供的常用人物检测器.训练方法使用1个3 090 GPU, 用于训练的图像批量为64幅.KD-DRRPose采用Adam(Adaptive Mo-ment Estimation)作为优化器, 训练300个轮次.基本学习率设为1e-3, 分别在第200个轮次和260个轮次时衰减到1e-4和1e-5.损失函数的参数设置如下:γ₁=γ₂=5e-4, γ₃=1.动态选择部分的架构配置如下:Transformer层数为12, 嵌入维度为192, 头数为11, 块数量为4×3, 每块大小为16×16.

在COCO的测试集上进行对比实验, 选择如下对比方法.

1)基于热图的方法:TokenPose^[11]、TransPose^[26]、文献[35]方法、DEKR(Disentangled Keypoint Re- gression)^[36]、SMap(SkeletonMap)^[37]、MSPENet(Multi-scale Position Enhancement Network)^[38]、Greit-HRNet(Grouped Lightweight High-Resolution Net-work)^[39].

2)基于坐标回归的方法:PRTR^[12]、RLE^[19]、PVT-Small^[40]、基于密集关键点回归的人体姿态估计(RelatedNet)^[41]、SDPose^[42].

各方法的指标值对比如表1所示.由表可见, 相比低分辨率特征提取方法, KD-DRRPose采用CNN-Transformer结合的关键点特征提取方法, 有效提取高分辨率关键点特征, 并通过动态优化策略和知识蒸馏技术, 进一步提升整体性能.HRNet48在提取低阶特征方面具有优越性, 然而, 其多尺度高分辨率网络的计算开销较大, 推理速度受限.KD-DRRPose引入动态区域细化, 只对部分选中的块进行细化, 大幅减少推理阶段的计算量, 在准确率和效率之间取得较好的平衡.

表1

Table 1

表1(Table 1)

表1 各方法在COCO测试集上的指标值对比 Table 1 Comparison of metric values for different methods on COCO test set 方法 主干网络 输入尺寸 参数量/M GFLOPs AP/% TokenPose StemNet 256×192 6.6 2.4 72.5 TransPose ResNet-small 256×192 5.5 5.54 71.5 文献[35]方法 ResNet-50 256×192 34 8.9 70.4 DEKR HRNet48 640×640 65.7 141.5 71.0 SMap ResNet-50 256×192 34.0 9.0 72.1 MSPENet ResNet-50 256×192 - - 72.6 Greit-HRNet Greit-Hrnet-30 384×288 1.8 0.9 70.5 RLE ResNet-50 256×192 23.6 4.04 70.5 PRTR ResNet-50 256×192 41.5 5.45 63.7 PVT-Small Pyramid-ViT 256×192 28.2 5.5 70.9 RelatedNet HRNet48 640×640 67.9 - 71.5 SDPose StemNet 256×192 5.4 2.4 72.1 KD-DRRPose HRNet48 256×192 23.88 10.79 72.7

表1 各方法在COCO测试集上的指标值对比 Table 1 Comparison of metric values for different methods on COCO test set

早期的方法由于模型设计简单, 计算复杂度较高, 在精度和推理速度方面难以同时兼顾.尤其是DEKR, 由于其深层次的特征提取导致参数量巨大, 达到65.7 M, 远高于KD-DRRPose.同时, KD-DRR-Pose在AP值上也比DEKR提高1.7%.以HRNet48为主干网络, 在相同256×192输入分辨率时, KD-DRRPose获得72.7%的AP值, 比基于密集点回归的方法RelatedNet提高1.2%, 同时参数量减少44.04 M.

表1中结果进一步说明KD-DRRPose的有效性.在COCO测试集上, 对比其它基于热图的方法和基于坐标回归的方法, KD-DRRPose结合动态优化策略, 在不显著增加计算量的情况下, 通过精细化处理关键区域, 进一步提高姿态估计的精度, 同时降低计算复杂度, AP达到较高值, 而参数量和GFLOPs都保持在较低水平, 因此具有一定的竞争力.

在COCO-Wholebody数据集上进行对比实验, 选择如下对比方法:HRNet32^[6]、HRNet48^[6]、Open-Pose^[7]、AlphaPose^[34]、PVNet(Pixel-Wise Voting Net-work)^[43]、UformPose^[44]、OHEPose(Occlusion Handling Enhanced Pose)^[45].

各方法的指标值对比如表2所示.

表2

Table 2

表2(Table 2)

表2 各方法在COCO-Wholebody数据集上的指标值对比 Table 2 Comparison of metric values for different methods on COCO-Wholebody dataset 方法 Whole body Foot Face Hand Body AP AR AP AR AP AR AP AR AP AR OpenPose 44.2 52.3 53.2 64.5 76.5 84.0 38.6 43.3 56.3 61.2 AlphaPose 57.8 65.0 69.0 76.5 75.9 82.0 45.9 53.8 69.3 74.0 HRNet-32 58.6 67.4 58.6 69.2 72.7 78.3 51.6 60.4 70.1 77.3 HRNet-48 59.3 67.9 59.4 69.7 73.4 78.8 52.3 60.9 70.8 77.8 PVNet 58.9 68.9 66.0 79.4 74.5 82.2 54.5 65.4 73.3 79.1 UformPose 65.3 76.9 62.2 68.9 89.1 93.0 59.9 70.4 72.1 79.4 OHEPose 66.4 77.8 65.3 70.9 89.7 93.0 65.4 76.8 76.7 81.1 KD-DRRPose 66.2 77.4 62.3 69.2 89.7 93.2 66.1 72.5 73.6 80.0

表2 各方法在COCO-Wholebody数据集上的指标值对比 Table 2 Comparison of metric values for different methods on COCO-Wholebody dataset

由表2可知, KD-DRRPose取得66.2%的AP值和77.4%的AR值, 显著优于OpenPose和Alpha-Pose, 尤其是在复杂场景下的鲁棒性更强.这一结果得益于本文提出的动态区域细化策略, 能自适应选择关键区域进行细粒度处理, 从而在保证精度的同时减少计算负担.相比HRNet48和PVNet, KD-DRRPose在Whole body关键点估计上表现更优, 尤其是在AR值上.

在细节部位的表现上, KD-DRRPose在Face关键点上取得89.7%的AP值和93.2%的AR值, 与UformPose和OHEPose相当, 精度较高.KD-DRR-Pose在Hand关键点的AP值为66.1%, AR值为72.5%, 显著优于OpenPose和AlphaPose.KD-DRR-Pose在Foot关键点的AP值为62.3%, AR值为69.2%, 略低于AlphaPose.KD-DRRPose在Body关键点的AP值为73.6%, 与PVNet相当, 这进一步验证KD-DRRPose在核心身体关键点估计上的有效性.

本节在COCO测试集上进行一系列消融实验, 深入分析各模块的贡献和有效性.通过逐步移除或修改关键模块, KD-DRRPose能评估每个模块对整体性能的影响, 并验证它们在提升模型精度和效率方面的重要性.

各模块具体AP值如表3所示, 涵盖各模块单独启用及组合使用.对各模块详细分析如下.

表3

Table 3

表3(Table 3)

表3 KD-DRRPose各模块消融实验结果 Table 3 Ablation study results of different modules on KD-DRRPose % 知识蒸馏 动态选择 AP 提升 特征蒸馏 姿态蒸馏 - - - 56.0 - - - √ 66.3 +10.3 - √ - 63.1 +7.1 √ - - 67.5 +11.5 - √ √ 67.7 +11.7 √ - √ 72.1 +16.1 √ √ - 68.8 +12.8 √ √ √ 72.7 +16.7

表3 KD-DRRPose各模块消融实验结果 Table 3 Ablation study results of different modules on KD-DRRPose %

动态选择部分旨在通过智能判断图像区域的重要性, 选择性地对某些区域做进一步细化处理, 从而优化计算效率和推理精度.当该模块被禁用时, AP值从72.7%降至68.8%.

启用动态选择之后, 方法可在不同复杂度的场景中自适应调整计算资源.在多人遮挡或姿态复杂的场景下, 动态选择模块能识别需要更精细处理的区域, 提高估计的准确度.在简单场景中, 动态选择模块会减少对高分辨率区域的计算量, 提升推理效率.由此可看出, 该模块不仅提高姿态估计的精度, 还显著优化方法效率, 特别是在推理阶段节省大量计算资源.

知识蒸馏部分是另一关键模块, 分为特征蒸馏和姿态蒸馏两个部分, 分步将教师模型中的信息传递给学生模型.

特征蒸馏通过传递教师模型中对关键点的高层次理解, 使学生模型更好地捕捉全局信息.启用特征蒸馏后, AP值升至67.5%, 说明特征蒸馏对方法全局性能的提升具有显著作用.

姿态蒸馏通过将教师模型生成的高分辨率热图信息传递给学生模型, 提升回归模型的精度.启用姿态蒸馏后, AP值升至63.1%.姿态蒸馏弥补回归模型直接预测关键点时的精度不足的缺陷, 使学生模型能学习更丰富的局部特征.

当同时启用特征蒸馏和姿态蒸馏时, AP值达到68.8%, 比单独使用二者时效果更佳.这说明这两个蒸馏策略相辅相成, 共同提升学生模型的精度.当动态选择模块与知识蒸馏模块组合使用时, 方法达到最佳性能, AP值升至72.7%.相比仅启用单一模块, 组合使用不仅能提升关键区域的处理精度, 还能减少对不重要区域的计算量, 优化计算资源的分配.这种组合效果体现动态选择模块与知识蒸馏模块之间的互补性.动态选择模块通过减少无关区域的计算负担, 使更多的计算资源集中在关键点密集的区域.知识蒸馏模块通过传递教师模型中的细粒度信息, 进一步提升这些区域的关键点定位精度.两者的结合既提高精度, 又在效率方面实现突破.

参数β控制动态选择过程中细化处理的图像块比例, 直接影响KD-DRRPose在细化阶段选择的区域数量.下面验证β不同时对KD-DRRPose性能的显著影响.

定义β=0.2, 0.3, …, 0.7, 其对KD-DRRPose性能的影响如表4所示.由表可见, 随着β的增大, 模型细化区域范围逐渐扩大.AP值随着的β增大而上升, 并在β=0.4时达到最大值72.7%.当β继续增大时, AP值反而开始下降, 且计算量持续增加.这种趋势说明β的设置需要在精度和计算量之间取得平衡:当β过小时, KD-DRRPose在细化阶段处理的图像块不足, 导致一些关键区域未被充分细化, 从而影响整体精度, 当β过大时, KD-DRRPose处理过多无关的背景区域, 这些区域对姿态估计未提供额外的有用信息, 反而浪费计算资源, 导致推理效率降低, 甚至影响KD-DRRPose的准确性.因此β值的设定至关重要, 适中的β值能在保持精细处理区域有效性的同时, 避免不必要的计算开销, 实现不错的精度与效率平衡.

表4

Table 4

表4(Table 4)

表4 β对KD-DRRPose性能的影响 Table 4 Effect of β on KD-DRRPose performance β 0.2 0.3 0.4 0.5 0.6 0.7 AP/% 70.4 72.2 72.7 72.6 72.6 69.9 GFLOPs 9.86 10.64 10.79 11.35 11.51 12.39

表4 β对KD-DRRPose性能的影响 Table 4 Effect of β on KD-DRRPose performance

阈值Q_thres控制进入细化阶段的样本数量, Q_thres值越小, 粗略化阶段的样本通过率越高, 进入细化阶段的样本数量越少, 导致其学习的信息不充分.定义Q_thres=0.70, 0.75, …, 0.95, 其对KD-DRRPose性能的影响如表5所示.由表可看出, 随着Q_thres值的降低, 进入细化阶段的样本数量逐渐减少, AP值也随之变低.当Q_thres从0.95降至0.70时, 粗略化阶段中样本通过率从4.1%增至78.5%, 这意味着进入细化阶段的样本变少, AP值从72.7%降至67.1%.

表5

Table 5

表5(Table 5)

表5 Qthres对KD-DRRPose的影响 Table 5 Effect of Qthres on KD-DRRPose performance Qthres 0.95 0.90 0.85 0.80 0.75 0.70 AP/% 72.7 72.7 71.6 70.3 68.6 67.1 样本通过率/% 4.1 32.8 56.7 64.4 72.4 78.5

表5 Qthres对KD-DRRPose的影响 Table 5 Effect of Qthres on KD-DRRPose performance

细化阶段的样本数量与模型的精度相关.当Q_thres较高时, 那些在粗略化阶段表现较优的样本也会进入细化阶段, 这些样本通常包含较清晰的关键点信息, KD-DRRPose能通过细化阶段进一步提升对这些关键点的定位精度.然而, 当Q_thres较低时, 大量在粗略化阶段表现较差的样本也会进入细化阶段, 导致模型在细化阶段无法有效提升精度.因此, Q_thres的设置需要在精度和计算效率之间找到一个平衡点.通过实验发现, Q_thres设为0.9时, KD-DRR-Pose在保持较高精度的同时, 计算效率也得到较好的控制.

知识蒸馏策略将教师模型(基于热图的方法TokenPose)中的高精度特征传递给学生模型(基于坐标回归的方法KD-DRRPose), 提升学生模型的精度和泛化能力.知识蒸馏过程中的教师模型与学生模型的性能对比如表6所示, 表中*表示重新训练和评价方法.由表可进一步验证知识蒸馏的效果.

表6

Table 6

表6(Table 6)

表6 学生模型和教师模型的性能对比 Table 6 Performance comparison of student model and teacher model 模型 角色 主干网络 AP/% 参数量/M GFLOPs TokenPose* 教师 HRNet48 72.5 69.41 17.03 KD-DRRPose 学生 HRNet48- 3-stage 72.7 23.88 10.79

表6 学生模型和教师模型的性能对比 Table 6 Performance comparison of student model and teacher model

尽管学生模型的AP值比教师模型提升0.2%, 但参数量显著减少, 计算复杂度也有所下降.这表明知识蒸馏策略在提升学生模型效率的同时, 仍能保持较高的精度.通过知识蒸馏, 学生模型从教师模型中学习细粒度的定位能力, 在一定程度上弥补回归模型直接估计关键点时的误差.

更为重要的是, 学生模型仅依赖回归方法进行推理, 大幅提升推理速度, 而知识蒸馏成功将教师模型的热图信息融入回归模型中, 使学生模型在推理速度更快时, 仍保持类似基于热图的方法的精度.

本文在COCO数据集上对部分人体姿态估计结果进行可视化, 具体如图3所示, 随机选取单人、多人、复杂姿势及拥挤和部分遮挡的场景.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 COCO数据集上的可视化示例Fig.3 Visualization examples on COCO dataset

由图3可看出, KD-DRRPose在各种场景下都具有较优的检测效果, 这表明KD-DRRPose能在各种不同的环境下保持良好的人体姿态估计性能, 具有一定的鲁棒性.