在实验中, 将11个语义脸部标签分为4类, 分别为

m₁={背景}, m₂={脸部皮肤}, m3₌{左眉, 右眉, 左眼, 右眼, 鼻子, 上唇, 下唇, 牙齿}, m4={_头发}.

根据文献[16]提供的语义分割预训练模型得到网络训练所需语义图.为了利用这4类不同语义图携带的先验信息, 实验中采用语义网络, 结构如图2所示.在残差块基础上采用密集连接, 以此确保训练过程中信息的完整性, 密集连接结构也可起到正则化效果, 当训练数据集较少时能防止过拟合现象发生.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 语义网络结构图Fig.2 Sketch map of semantic network structure

残差网络中使用残差块结构可解决当神经网络较深时, 在反向传播过程中出现梯度爆炸、梯度消失的问题.常见残差块可表示为

x_i+1=x_i+F(x_i, w_i),

其中, x_i表示输入, x_i+1表示输出, F(x_i, w_i)表示残差映射, 该操作一般由二三个卷积层构成.在实际操作中, x_i、x_i+1特征图数量有可能不一致, 这时残差块可表示为

x_i+1=h(x_i)+F(x_i, w_i), h(x_i)=W_i· x_i,

其中W_i表示对输入进行1× 1卷积操作.在实验中, 本文采用的残差结构是加入1× 1卷积操作的残差块.

语义网络的引入可利用语义图携带的不同语义先验, 完成在不同条件下的初步去模糊工作.实验中可得到4个针对不同类的重建人脸, 在语义网络的后端将这4类输出进行拼接, 得到尺寸大小为64× 64的图像, 作为下级网络输入.

实验中为了度量不同类语义图对去模糊重建工作的贡献度, 根据贡献度对不同类别分配不同权重, 进而实现利于网络训练且去模糊效果较好的目标, 在网络中使用置信网络.同时为了保证置信网络在网络训练中能采集到更有效的特征信息, 利用非对称卷积可增强方形卷积内核特征表达能力, 将其与非对称卷积结合形成非对称卷积的置信网络.

1.2.1 非对称内核的卷积神经网络

为了增强标准方形内核层表示能力, 将非对称卷积融入方形内核中, Ding等^[17]利用卷积可加性提出非对称卷积网络, 主要构成是非对称卷积块(ACBlock), 结构如图3所示.ACBlock包括3个分别为d× d、1× d、d× 1大小的卷积内核, 最终输出结果为3个并行层叠加.如图3所示, 该结果与3个不同卷积核分别卷积再相加的效果相同.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 非对称卷积块结构图Fig.3 Asymmetric convolution block structure

ACBlock定义如下.对于以C通道特征图作为输入, 卷积核尺寸为H× W, 滤波器个数为N的卷积层, 使用F∈ R^{H× W× C}表示滤波器的卷积核, M∈ R^{U× V× C}表示尺寸为U× V、通道为C的特征图输入, O∈ R^{R× T× N}表示通道为N的输出特征图.该层第i个滤波器对应的输出特征映射通道为

O_{:, :, i}= ∑k=1CM_{:, :, k}* F∶, ∶, k(i), (1)

其中, * 表示二维卷积算子, M_{:, :, k}表示M的第k个通道尺寸为U× V的特征图, F∶, ∶, k(i)表示F⁽ⁱ⁾的第k个通道尺寸为H× W的卷积核.在现有常见CNN体系结构中, 批量归一化(Batch Normalization, BN)被广泛使用, 减少过度拟合, 加快训练过程.通常情况下, 批量归一化层之后通常会接一个线性变化, 增强表示能力.相比式(1), 输入变为

其中, μ _i表示批标准化通道平均值, σ _i表示标准差, γ _i表示缩放系数, β _i表示偏移量.

1.2.2 非对称卷积的置信网络

非对称卷积的置信网络结构如图4(a)所示.网络由ACBlock、基于ACBlock的卷积模块及3× 3卷积-激活层组成.图4左图2个人脸分别为清晰图像与语义先验结合得到的人脸图和同样先验条件下进行去模糊重建后的人脸, 网络作用类似于注意力机制^[20], 计算不同类语义先验在重建中的贡献度, 对利于网络训练的信息分配相对较高的权重.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 非对称卷积的置信网络结构图Fig.4 Confidence network structure of asymmetric convolution

实验选用如下对比网络:文献[3]网络、文献[7]网络、文献[9]网络、文献[13]网络、文献[14]网络、文献[16]网络.为了对比不同网络去模糊能力强弱, 各网络去模糊主观视觉效果对比如图5所示.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 不同网络在2个数据集上的去模糊效果图Fig.5 Deblurring results of different networks on 2 datasets

由图5可发现, 文献[13]网络的去模糊效果不理想, 文献[14]网络得到的图像趋于平滑, 文献[16]网络的去模糊效果接近真实清晰图像, 但仍存在部分细节表达不清晰的缺陷, 而本文网络的去模糊效果在细节表达及整体表现上都更接近清晰图像.

从客观效果上看, 实验采用峰值信噪比(Peak Singal to Noise Ratio, PSNR)、结构相似度(Structural Similarity, SSIM)进行判断, 各网络在Helen、CelebA数据集上的结果如表1所示, 其中文献[14]的结果来自项目官网上公布的测试结果.由表1可知, 在Helen数据集上, 本文网络结果略高于其它网络.相比同样采取语义先验信息去模糊的文献[16]网络, 本文网络清晰度和相似度分别提升0.2%和0.8%.在CelebA数据集上, 本文网络的PSNR值为26.01 dB, SSIM值为0.780, 相比文献[16]网络, 分别提升0.3%和0.8%.综合结果表明本文方法在重建上取得较优效果.

表1

Table 1

表1(Table 1)

表1 各网络在2个数据集上PSNR和SSIM值对比 Table 1 Comparison of PSNR and SSIM of different networks on 2 datasets 网络 Helen CelebA PSNR/dB SSIM PSNR/dB SSIM 文献[3]网络 20.11 0.711 18.93 0.685 文献[7]网络 20.93 0.727 18.59 0.677 文献[9]网络 16.41 0.614 17.26 0.695 文献[13]网络 21.19 0.627 20.94 0.598 文献[14]网络 26.36 0.811 25.26 0.767 文献[16]网络 26.92 0.814 25.92 0.774 本文网络 26.98 0.820 26.01 0.780

表1 各网络在2个数据集上PSNR和SSIM值对比 Table 1 Comparison of PSNR and SSIM of different networks on 2 datasets

此外, 为了验证本文网络没有以牺牲大量计算时间、引入大量参数运算为代价来达到提升网络性能的目的, 计算所有训练时间, 得到本文网络的训练时间约为3 137.88 min, 文献[13]网络约为4 712.43 min, 文献[16]网络约为3 024.29 min, 文献[14]网络约为7 200 min.文献[16]网络用时最短, 本文网络增加3.7%.

针对模型参数数量, 文献[13]网络为636.3 M, 文献[14]网络为42.3 M, 文献[16]网络为32.1 M, 本文网络为37.6 M.对比文献[13]网络, 本文网络训练参数量大量减少, 但比文献[16]网络提高17.1%.

综上所述, 实验中参数量及训练时间都略有增加, 文献[17]也表明, 因为训练过程是动态的, 内核权重会随机初始化, 训练中梯度会由它们参与的不同计算流得出, 因此ACBlock模块的引入不会和原有卷积层在训练时间及参数上有完全等价的效果.所以本文网络的训练时间和参数量并未做到与使用方形卷积的文献[16]完全等价, 但本文网络实现在同数量级上提升性能的目标.

为了验证去模糊操作重建人脸图像特征信息的保留程度, 利用视觉集合群网络(Visual Geometry Group Network, VGGNet)中包含16个权重层的VGG16网络^[22]pool5层输出, 计算重建人脸图像与原始清晰图像特征间L₂-范数, 实验中使用D_VGG表示上述L₂-范数, 数值越小表示去模糊重建图像特征信息保留程度越高.为了方便观察, 将每个数据均扩大10倍表示, 各网络实验结果如表2所示.

表2

Table 2

表2(Table 2)

表2 各网络在2个数据集上的DVGG值对比 Table 2 DVGGcomparison of different networks on 2 datasets 网络 Helen CelebA 文献[13]网络 7.90 8.25 文献[14]网络 7.48 8.06 文献[16]网络 6.03 6.51 本文网络 5.91 6.43

表2 各网络在2个数据集上的DVGG值对比 Table 2 DVGGcomparison of different networks on 2 datasets

由表2可知, 在Helen数据集上, 本文网络重建人脸计算得到的D_VGG为5.91, 比文献[16]网络减少2.0%, 比文献[14]网络减少21.0%.在CelebA数据集上, 本文网络得到的D_VGG为6.43, 比文献[16]网络减少1.2%, 比文献[14]网络减少20.2%.D_VGG值越小越表明特征信息保留效果越优.因为非对称卷积的加入可增强卷积核特征表达能力, 所以在训练过程中能提取更重要的特征信息, 理论上本文网络在特征信息保留上应有较好优势.结合表2数据表明, 本文网络确实在人脸身份特征信息保留上具有更优效果.

因每类语义图携带的先验信息不同, 因此在训练时每类语义图是否参与训练会对训练结果产生不同的影响.为了了解每类语义信息参与训练时对结果的影响, 在本文网络结构的基础上, 设置7组训练, 分别为:类别1、类别2、类别3、类别4、类别1+2、类别1+2+3、类别1+2+3+4.实验在CelebA、Helen数据集上进行, PSNR、SSIM值如表3所示.

表3

Table 3

表3(Table 3)

表3 各网络在2个数据集上的消融实验结果 Table 3 Results of ablation experiments of different networks on 2 datasets 类别 CelebA Helen PSNR/dB SSIM PSNR/dB SSIM 类别1 25.41 0.758 26.44 0.801 类别2 25.58 0.759 26.59 0.797 类别3 25.36 0.755 26.42 0.794 类别4 25.58 0.763 26.64 0.806 类别1+2 25.74 0.768 26.74 0.810 类别1+2+3 25.83 0.771 26.89 0.814 类别1+2+3+4 26.01 0.780 26.98 0.820

表3 各网络在2个数据集上的消融实验结果 Table 3 Results of ablation experiments of different networks on 2 datasets

类别1至类别4分别表现出背景信息、面部信息、五官信息、面部边缘信息(面部与头发的边缘).由表3可知, 不同语义图单独参与训练时, 会得到不一样的训练结果.观察PSNR值发现:在Helen数据集上, 仅类别4参与训练时有更优的清晰度; 在CelebA数据集上, 类别2、类别4的清晰度相当.观察SSIM值发现, 2个数据集均是在类别4参与训练时结构相似度更高.当不同语义图联合训练时, 在2个数据集上, 均是在全部类别参与训练时, PSNR、SSIM值均达到最优.综上所述, 语义图对网络训练具有引导作用, 随着语义图的加入, 网络测试结果呈现上升趋势.