本文选用常用的MTCNN^[19]快速有效地完成输入图像中的人脸检测.MTCNN由P-Net、R-Net、O-Net组成, 结构如图2所示.首先, 将输入图像送入P-Net, P-Net先使用三层卷积捕获人脸区域的边界, 再使用NMS(Non Maximum Suppression)合并重叠窗口.针对P-Net输出的候选框, R-Net进行微调, 再继续使用NMS消除重叠的边框.O-Net功能和R-Net类似, 只是在去除重叠边框的同时输出5个人脸关键点.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 MTCNN网络结构[19]Fig.2 MTCNN network structure[19]

常规PyConv虽然性能较优, 但是无法有效利用图像中的关键特征, 本文结合PyConv的多尺度特征, 提取引入金字塔卷积和残差注意力机制对关键特征的表达能力, 设计RAPyconv模块, 具体结构如图3所示.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 RAPyconv模块结构Fig.3 RAPyconv module structure

为了将RAPyconv应用于深层网络, 解决网络训练过程中性能下降问题, RAPyconv模块整体采用残差结构.RAPyconv标准残差结构的对比如图4所示.本文将标准残差模块(图4(a))中的3× 3标准卷积替换为PM(Pyramid Module)及CBAM模块.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 标准残差模块与RAPyconv模块结构对比Fig.4 Comparison between standard residual module and RAPyconv module

1.2.1 PM模块

常规PyConv模块中输入特征尺寸为C_i× H× W, 卷积核的尺寸从K 12增至K n2, 卷积核深度从C_i1减至C_in.为了匹配不同的卷积核深度, 每层卷积核内部采用分组卷积.

为了充分提取面部表情的多尺度特征信息, 受PyConv启发, 本文设计图5所示的PM模块, 采用的卷积核尺寸分别为1× 1、3× 3、5× 5、7× 7, g表示分组卷积中的分组数, 即各层卷积对应的分组数分别为1、2、4、4.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 PM模块结构Fig.5 PM module structure

1.2.2 CBAM模块

为了提高多尺度特征中关键特征的权重, 本文将注意力机制CBAM^[11]引入模型设计, 对PM模块提取的多尺度特征重新赋予权重, 增强局部关键特征的表达能力.

CBAM由通道注意力机制CAM(Channel Atten-tion Module)和空间注意力机制SAM(Spatial Atten-tion Module)组成, 其中CAM负责关注有效特征信息, SAM在补充通道注意力机制的同时负责生成注意力特征的空间关系.

在CAM中, 输入特征F∈ R^{H× W× C}, 经过平均池化层和最大池化层, 分别得到对应的特征图F_avg和F_max, 再根据特征信息的有效程度, 使用MLP(Multi-layer Perceptron)重新赋予权重矩阵M_c∈ R^{C× 1× 1}, 最后将M_c与F相乘, 得到CAM的输出特征:

$F_{CAM}={{M}_{\text{c}}}(\mathbf{F})\otimes \mathbf{F}$,

${{M}_{c}}(\mathbf{F})=\sigma (MLP(Avgpool(\mathbf{F}))+MLP(Maxpool(\mathbf{F})))$,

其中σ 表示sigmoid激活函数.

在SAM中, 首先使用平均池化层和最大池化层汇总特征通道信息, 得到2个特征F'_avg和F'_max, 再使用卷积核尺寸为7× 7、激活函数为sigmoid的卷积层进行特征提取, 得到权重矩阵M_s∈ R^{C× 1× 1}, 最后将F与M_s相乘, 得到SAM的输出特征:

$F_{SAM}={{M}_{s}}(\mathbf{F})\otimes \mathbf{F}$,

${{M}_{\text{s}}}(\mathbf{F})=\sigma ({{f}^{7\times 7}}([AvgPool(\mathbf{F}); MaxPool(\mathbf{F})]))$

其中σ 表示sigmoid激活函数.

1.2.3 模块性能分析

RAPyconv模块是本文设计的核心, 根据图4(b)中RAPyconv结构可知, 在RAPyconv模块的特征提取过程中, 输入图像先经过点卷积进行通道压缩, 降低网络参数量, 再通过PM模块和CBAM模块, 最后使用点卷积进行维度扩充.研究表明^[11], 引入CBAM模块带来的精度提升对于网络整体而言成本几乎可忽略不计, 因而RAPyconv模块的主要计算量由PM模块产生.针对PM模块, 从参数量Parameter(空间性能)和计算所需FLOPs(Floating Point Operations)(时间性能)两方面进行分析.

假设PM模块输入特征通道数为FM_i, 每层卷积的尺寸分别为{ K12, K22, K32, K42}, 卷积深度分别为

$\left\{ F{{M}_{i}},{F{{M}_{i}}}{(\frac{K_{1}^{2}}{K_{2}^{2}})}{F{{M}_{i}}}{(\frac{K_{\text{1}}^{2}}{K_{3}^{2}})}{F{{M}_{i}}}{(\frac{K_{\text{1}}^{2}}{K_{4}^{2}})} \right\}$,

每层卷积输出的特征通道数分别为{FM_o1, FM_o2, FM_o3, FM_o4}, 则PM模块对应的参数量和FLOPs如下:

$\begin{matrix} & \text{pa}rameters=K_{1}^{2} F{{M}_{i}} F{{M}_{o1}}+K_{2}^{2}{F{{M}_{i}}}{\left( \frac{K_{1}^{2}}{K_{2}^{2}} \right)} F{{M}_{o2}}+ \\ & \text{ }K_{3}^{2}{F{{M}_{i}}}{\left( \frac{K_{1}^{2}}{K_{3}^{2}} \right)} F{{M}_{o3}}\text{ }+K_{4}^{2}{F{{M}_{i}}}{\left( \frac{K_{1}^{2}}{K_{4}^{2}} \right)} F{{M}_{o4}} \\ \end{matrix}$,

$\begin{matrix} & FLOPs=K_{1}^{2} F{{M}_{i}} F{{M}_{o1}} \text{(H}\times \text{W)}+K_{2}^{2}{F{{M}_{i}}}{\left( \frac{K_{1}^{2}}{K_{2}^{2}} \right)} F{{M}_{o2}} \text{(H}\times \text{W)}+ \\ & \text{ }K_{3}^{2}{F{{M}_{i}}}{\left( \frac{K_{1}^{2}}{K_{3}^{2}} \right)} F{{M}_{o3}}\text{(H}\times \text{W)}+K_{4}^{2}{F{{M}_{i}}}{\left( \frac{K_{1}^{2}}{K_{4}^{2}} \right)}F{{M}_{o4}} \text{(H}\times \text{W) } \\ \end{matrix}$,

其中, 等式右边4个加法项中的每项对应PM模块中每层卷积的参数量和计算量, $\left( \frac{K_{1}^{2}}{K_{i}^{2}} \right)$表示该卷积层分组卷积的分组数, i=1, 2, 3, 4.

通过公式化简可发现, 虽然PM模块中卷积核的尺寸从 K12增加到 K42, 但每层卷积的参数量和计算量都等同于尺寸为 K12的标准卷积的参数量和计算量, 使得PM模块在不增加计算开销的情况下扩大卷积核的感受野, 提升网络性能.因此, 相比标准卷积, PM模块具有如下优点.

1)多尺度处理.PM模块具有不同尺寸和深度的卷积核, 能从多个尺度解析输入特征, 并通过融合多尺度的特征, 促进面部表情特征的充分表达.

2)高效性.PM模块各层卷积能实现独立并行计算, 甚至可在不同机器上独立运行, 最后进行特征融合即可, 因此整体计算效率较高.

虽然Softmax Loss可扩大不同类间距离, 但缩小类内距离能力较差.现实场景中不同表情可能非常相似, 同类表情也可能差异很大, 仅使用Softmax Loss可能会导致表情误判, 影响整体网络表情识别的准确率.Center Loss^[18]缩小类内距离的能力较强, 因此本文将其引入网络, 计算过程如下:

L_C= 12∑i=1m‖ x_i- cyi‖ ,

其中, x_i表示输入特征, cyi表示和y_i拥有相同类别标签的所有样本的中心.

因此, RAPNET网络采用的损失函数为

L=L_S+λ L_C,

其中, λ 表示超参数, 用于平衡Center Loss在总损失中所占比重, 经过多次实验, 确定本文λ =0.000 1.

本文选择在Fer2013^[20]、CK+^[21]数据集上进行实验.

Fer2013数据集^[20]包含35 887幅图像, 其中训练集图像为28 709幅, 公共测试集图像和私有测试集图像各3 589幅, 图像格式统一为48× 48的灰度图.在给定的训练集中, 标签0表示生气、标签1表示厌恶、标签2表示恐惧、标签3表示高兴、标签4表示悲伤、标签5表示惊喜、标签6表示中性.

训练集数据的整体分布如图6(a)所示, 其中高兴类图像最多, 为7 215幅, 厌恶类图像最少, 为436幅.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 Fer2013数据集分布Fig.6 Fer2013 dataset distribution

针对Fer2013数据集数据分布不均衡、样本中存在大量非人脸区域问题, 进行如下数据预处理.

1)由于厌恶类图像太少, 对厌恶类原始图像采用随机水平翻转、旋转、平移、缩放及灰度化等数据增强处理, 处理后的图像加入厌恶类, 使该类数据从436幅增加至4 280幅, 平衡整体数据分布.

2)使用MTCNN进行人脸裁切和人脸对齐, 去除样本中非人脸区域.

3)为了使图像数据尽可能多样地模拟现实中人脸表情, 针对1)、2)处理后的数据, 采用1)中相同的数据增强操作, 使训练集图像从32 553幅增至69 262幅, 增加后的数据分布如图6(b)所示.

CK+数据集^[21]是在实验室内采集完成, 本文选用其中327个带有标签的图像序列(共计981幅图像)作为训练集, 总体数据分布如图7(a)所示, 其中惊喜类图像最多, 为249幅, 中性类图像最少, 为54幅.

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 CK+数据集分布Fig.7 CK+ dataset distribution

由于训练集数据量太少, 为了提高模型泛化能力, 同样针对数据集采用随机水平翻转、旋转、平移、缩放等技术进行数据增强, (b)为数据增强之后的分布情况.

实验采用图像分类常用评价指标:精确率、召回率、F1值和准确率(Accuracy, Acc).具体公式如下:

$P=\frac{TP}{TP+FP}$, $R=\frac{TP}{TP+FN}$

$F1=\frac{2P}{2TP+FP+FN}$

$Acc=\frac{(TP+TN)}{(TP+TN+FP+FN)}$

其中, TP表示正样本预测正确的个数, FP表示正样本预测错误的个数, FN表示负样本预测错误的个数, TN表示负样本预测正确的个数, 故F1值为精确率和召回率的调和平均值.

本文超参数的设置如下:批次为140, 批尺寸大小为64, 优化器为Adam(Adaptive Moment Esti-mation), 初始学习率为0.001, 使用ReduceLROn-Plateau回调函数动态调整学习率.具体地, 当验证集损失在20个批次内没有下降时, 学习率降至原来的0.1.

RAPNET在Fer2013、CK+数据集上的准确率曲线和损失曲线如图8和图9所示.由图可知, RAP-NET具有较强的拟合能力, 随着批次的增加, 验证集的准确率和损失在不断优化, 网络并未出现过拟合或欠拟合现象, 由此验证本文构造的网络和损失函数具有良好的泛化能力.

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 RAPNET在2个数据集上的准确率曲线Fig.8 Accuracy curves of RAPNET on 2 datasets

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 RAPNET在2个数据集上的损失曲线Fig.9 Loss curves of RAPNET on 2 datasets

RAPNET在Fer2013测试集上的指标值如表1所示, 总体准确率为72.76%.由于数据集上存在大量负样本, 部分样本亮度较低及面部遮挡较严重, 导致恐惧类和悲伤类样本准确率较低.

表1

Table 1

表1(Table 1)

表1 RAPNET在Fer2013测试集上的指标值 Table 1 Indexes of RAPNET on Fer2013 test set % 类型 精确率 召回率 F1值 准确率 生气 71 68 70 68.33 厌恶 72 84 77 84.21 恐惧 71 52 60 51.92 高兴 88 89 89 89.22 悲伤 65 59 62 58.91 惊喜 82 88 85 88.02 中性 63 80 70 80.02

表1 RAPNET在Fer2013测试集上的指标值 Table 1 Indexes of RAPNET on Fer2013 test set %

RAPNET在CK+测试集上的指标值如表2所示, 总体准确率为97.75%.由于CK+数据集质量较高, 没有标签错误的训练样本, 因此整体准确率较高.

表2

Table 2

表2(Table 2)

表2 RAPNET在CK+测试集上的指标值 Table 2 Indexes of RAPNET on CK+ test set % 类型 精确率 召回率 F1值 准确率 生气 92 92 92 92.31 厌恶 95 100 97 100 恐惧 100 100 100 100 高兴 100 100 100 100 悲伤 100 89 94 88.89 惊喜 100 100 100 100 中性 100 100 100 100

表2 RAPNET在CK+测试集上的指标值 Table 2 Indexes of RAPNET on CK+ test set %

为了可视化CBAM和PyConv对特征提取的影响, 本文将图像分别送入4个网络中, 4个网络分别使用常规卷积、CBAM、PyConv及CBAM+PyConv进行特征提取, 再对最后一层卷积的输出进行特征图可视化(Class Activation Mapping), 结果如图10所示, 图中橘黄色区域为卷积核提取的特征区域.由图可发现, 常规卷积的特征提取没有针对性, 关键特征的利用率较低.CBAM和PyConv的特征提取都可聚焦于关键器官, 但特征提取区域仍有优化的空间.由于输入高兴表情的图像, 图像的关键特征为嘴部特征, 因此CBAM+PyConv可较好地解决关键器官特征利用率偏低的问题.

图10

Fig.10

	Figure Option ViewDownloadNew Window
	图10 四种卷积结构特征的可视化结果Fig.10 Visualization results of 4 convolution features

为了验证RAPNET的先进性, 在Fer2013、CK+数据集上进行对比实验.对比网络如下:SUN^[12]、MobileNets^[22]、MobileNetV2^[23]、DenseNet121^[24]、文献[25]方法~文献[28]方法.各方法实验结果如表3所示, 表中文献[22]~文献[24]的方法在本地环境复现.由于文献[12]、文献[25]~文献[28]未找到可复现的代码, 因此实验结果直接取自原论文.

表3

Table 3

表3(Table 3)

表3 各网络的实验结果对比 Table 3 Comparison of experiment results of different networks 数据集 网络 准确率/% 参数量/M Fer2013 MobileNets MobileNetV2 DenseNet121 文献[25]方法 文献[26]方法 RAPNET 67.8 69.3 69.8 71.5 72.6 72.7 3.23 2.26 7.03 - - 0.67 CK+ SUN 文献[27]方法 文献[28]方法 RAPNET 95.6 96.2 96.1 97.7 - - - 0.67

表3 各网络的实验结果对比 Table 3 Comparison of experiment results of different networks

由表3可知, 在Fer2013数据集上, 相比Mobile-Net、MobileNetV2、DenseNet121, RAPNET的准确率提升2.9%~4.9%.相比文献[25]方法, RAPNET使用金字塔卷积进行多尺度特征提取, 同时注重关键特征的利用, 提高上下文特征的联系.相比文献[26]方法, RAPNET不需要手工提取特征, 网络整体参数量较少, 模型训练和部署对设备内存空间的要求较低.在CK+数据集上, 相比其它方法, RAP-NET准确率提升1.6%~2.1%.文献[27]方法使用卷积层和残差模块搭建一个深度神经网络, 由于缺少注意力机制, 网络无法高效利用关键特征.文献[28]方法虽然引入注意力机制, 但网络整体较深, 参数较多, 容易发生过拟合.

通过实验对比可发现, RAPNET参数量较少, 对于设备的内存空间要求较低, 同时利用注意力机制和金字塔卷积, 有效提取关键特征.

为了验证RAPNET的轻量化特性, 本文在Fer2013数据集上与MobileNetV2和DenseNet121进行对比实验, 结果如表4所示.由表可见, RAPNET的预测时间和FLOPs下降幅度达到80%, 相比DenseNet121, FLOPs下降91%.实验表明RAPNET在实际应用中具有较强的竞争力.

表4

Table 4

表4(Table 4)

表4 各网络的轻量化实验结果对比 Table 4 Comparison of lightweight experiment results of different networks 网络 训练时间/min 预测时间/s 参数量/M FLOPs/G MobileNetV2 59 0.18 2.26 0.62 DenseNet121 71 0.23 7.03 5.70 RAPNET 50 0.03 0.67 0.49

表4 各网络的轻量化实验结果对比 Table 4 Comparison of lightweight experiment results of different networks

为了验证CBAM、L_C损失函数及PyConv的有效性, 同时确定三者的轻重缓急, 在Fer2013数据集(数据增强后)上进行消融实验, 结果如图11所示.origin表示原始网络(含有CBAM、金字塔卷积及L_C损失函数); origin_CBAM表示去掉CBAM之后的网络; origin_L_C表示去掉L_C损失函数之后的网络(采用Softmax损失函数); origin_Pyconv表示去掉金字塔卷积之后的网络.由图可看出, origin网络准确率最高, 为72.5%, origin_L_C网络准确率为70.5%, origin_CBAM网络准确率为68.2%, origin_Pyconv网络准确率为67.5%, 都低于origin网络, 从而验证CBAM、L_C损失函数及金字塔卷积的有效性.进一步对比发现, origin_Pyconv的准确率最低, 表明去掉PyConv之后网络准确率下降最大, 因此PyConv作用最大, 其次为CBAM, 最后为L_C损失函数.

图11

Fig.11

	Figure Option ViewDownloadNew Window
	图11 消融实验结果Fig.11 Results of ablation experiment