本文采用开源人脸检测与关键点提取工具DLIB库(http://dlib.net)获取每幅人脸图像的68个关键点坐标.关键点坐标中蕴含人脸的唇部运动信息和头部运动信息, 同时语音信号A_{t}、特定人面部图像P(在接下来的介绍中等同于模板图像)、说话人脸图像序列V_{t}为已知信息.为了消除人脸位置与尺度带来的干扰, 本文以模板图像的人脸关键点坐标作为参考, 对唇部关键点进行归一化, 同时保证头部关键点不变.

对于说话人脸图像序列中的每幅人脸图像, 本文利用唇部所有关键点和一个鼻尖关键点(简称唇部关键点)表示唇部运动信息, 利用面部所有外部轮廓点和左右两个嘴角点(简称头部关键点)表示头部动作信息, 提出基于ATL-Net的说话人脸关键点序列生成方法.方法输入为语音信号、模板图像的唇部关键点和头部关键点, 输出时序变化的唇部关键点序列和头部关键点序列.本文采用2个相同结构的并行子网络(分别表示唇部子网络和头部子网络)对同个语音信号分别生成唇部关键点序列和头部关键点序列, 在每个子网络中, CNN用于提取语音特征, 全连接层用于建模模板图像关键点, 通过拼接操作融合语音信息和模板图像关键点信息, 通过GRU预测对应的关键点序列.具体定义如下:

R{t}mouth=Φ ₁(GRU(f_a1(A_{t}), R^{template_mouth})),

R{t}head=Φ ₂(GRU(f_a2(A_{t}), R^{template_head})),

R{t}full= R{t}mouth⊕ R{t}head,

其中, Φ ₁表示ATL-Net唇部子网络, Φ ₂表示ATL-Net头部子网络, R^{template_mouth}表示模板图像的唇部关键点, R^{template_head}表示模板图像的头部关键点, R{t}mouth表示由ATL-Net生成的唇部关键点序列, R{t}head表示由ATL-Net生成的头部关键点序列, ⊕表示头部关键点和唇部关键点的拼接操作, R{t}full表示包含头部运动信息和嘴部运动信息的完整时序人脸关键点表示.

为了生成一组完整的唇部运动信息和头部运动信息人脸关键点, 本文通过两侧嘴角和鼻尖三个关键点构建仿射矩阵, 将嘴部每个关键点通过仿射矩阵映射到头部关键点空间中, 构建一组完整的人脸关键点.

在唇部子网络中, 将语音信息通过卷积层、归一化层和ReLu激活函数编码成512维的语音特征向量, 模板图像唇部关键点通过全连接层和ReLu激活函数编码成256维的特征向量.2组特征向量通过拼接操作拼接成786维的融合向量.再通过GRU和全连接网络预测42维的唇部关键点(21个点).头部分支网络和唇部分支网络结构相似, 使用256维模板图像头部关键点特征和512维语音特征作为输入, 预测100维的头部轮廓关键点(50个点).

为了获得更优效果, 本文采用Wing loss^[19]作为ATL-Net的损失函数.相比Wing loss, 传统的均方误差损失函数(Mean Squared Error loss, MSE loss)在训练一段时间后出现过拟合效应, 不利于网络优化.实验证实, Wing loss保证网络训练更稳定.Wing loss的定义如下:

其中, w=10.0, ∈ =2.0, C值由w、∈ 共同决定, x表示基于关键点的预测值与其对应的真实值的差值.

在本文的说话人脸视频生成任务中, 考虑2个问题.1)面部信息和背景信息混合在一起, 需要在保留背景信息的同时合成高质量的面部信息.2)虽然运动信息和背景信息无关, 但对于生成视频的连续性至关重要, 直接决定生成的说话人脸视频的视觉效果.

为了解决上述问题, 本文提出基于U型网络(U-Net)^[20]的GAN, 采用注意力机制, 在获得更优面部信息和运动信息的同时保留背景信息不变, 并命名为LTV-Net.GAN网络中的生成器为

V_{t}=G((R_{t})☉f_img, f_img).

判别器为

L_{t}=D(V_{t}),

其中, R_{t}表示由ATL-Net生成的完整人脸关键点序列, V_{t}表示待生成的说话人脸视频帧序列, f_img表示用于指导合成的人脸及背景参考的模板图像, ☉操作表示将关键点特征与模板图像特征按位置相乘计算以产生脸部的预期结果, 即通过连续的关键点和模板图像合成面部人脸视频, L_{t}表示判别器预测的生成人脸图像序列的真假性结果, G表示生成器网络, D表示鉴别器网络.

生成器网络结构如图2(a)所示, 相比原始的U-Net, 本文使用并行的网络对关键点信息进行编码, 再使用通道注意力机制^[21]获得权值矩阵, 与模板图像特征点乘获得人脸信息, 并引入全局信息将人脸图像信息和关键点信息进行特征融合, 生成高质量的说话人脸视频.(a)中图像操作部分的参数设置与U-Net保持一致, 人脸关键点坐标建模部分设置反卷积层, 输出特征图的维度与通道注意力机制卷积层的参数维度匹配.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 LTV-Net的网络结构Fig.2 Architecture of LTV-Net

判别器网络结构如图2(b)所示, 通过卷积网络对输入图像进行卷积操作, 提取特征, 进而判断输入图像的真假性, 其中非线性映射层采用Leaky ReLu激活函数, 池化层为最大值池化.

为了优化LTV-Net参数, 本文结合生成器损失、判别器损失和图像逐像素相似度损失, 通过总损失对整体网络进行优化, 总损失函数如下所示:

L_GAN=L_d+L_g+L_pix,

其中, L_d表示判别器的交叉熵损失函数, L_g表示生成器的交叉熵损失函数, L_pix表示生成器的逐像素L1 loss.

本文实验数据由2个数据集组成.1)GRID公开数据集^[22], 由34位说话者组成的大型视听说话句子数据集.2)由于GRID数据集不存在明显头部姿态变化, 另收集新闻联播语料并对其进行说话人脸视频标注(后文称为私有数据集), 数据集同时包含男女主播, 具有不同的姿态和口音, 总时长约10 000 s.这种数据设计更方便与当前主流算法进行对比验证.

对于每个数据集, 按8:2的比例划分为训练集和测试集.对于从视频中分离的音频数据, 采用16 000 Hz的采样频率提取梅尔频率倒谱(Mel-Frequency Cepstrum, MFCC)特征.此外, 对于私有数据集, 本文利用DLIB库检测人脸区域并定位人脸关键点, 再将所有图像区域统一缩放至300× 300.

利用开源深度学习框架PyTorch在TITAN V100 GPU上进行算法实现与训练, 与文献[10]一样, 使用自适应矩估计(Adaptive Moment Estima-tion, Adam)优化器并固定学习率为2e-4.所有的网络层参数都采用随机方式进行初始化.

使用峰值信噪比(Peak Signal-to-Noise, PSNR)和结构相似性(Structural Similarity, SSIM)^[23]评估生成说话人脸视频的质量, 使用关键点距离(Land-mark Distance, LMD)^[17]计算生成视频与真实视频之间的关键点坐标值距离, 评估说话人脸的姿态与动作的自然程度.PSNR、SSIM值越大表明生成的说话人脸视频质量越高.LMD值越低表示生成的说话人脸视频姿态与动作准确性越好、越自然.

为了验证本文方法性能, 选择如下对比算法:文献[8]方法、声音到视频生成网络(Audio to Video Generation Network, ATVGnet)^[15]、文献[17]方法、文献[24]方法.

在GRID数据集上, 各算法的LMD、SSIM、PSNR值对比结果如表1所示, 黑体数字表示最优结果.

表1

Table 1

表1(Table 1)

表1 各方法在GRID数据集上的定量实验结果 Table 1 Experimental results of different methods on GRID dataset 方法 LMD SSIM PSNR 文献[8]方法 1.44 0.79 29.87 ATVGnet 1.29 0.83 32.15 文献[17]方法 1.59 0.76 29.33 文献[25]方法 1.48 0.80 29.39 本文方法 1.00 0.90 31.61

表1 各方法在GRID数据集上的定量实验结果 Table 1 Experimental results of different methods on GRID dataset

由表1可知, 本文算法除在PSNR值上略低于ATVGnet, 其它效果最优, 可有效完成语音驱动的说话人脸生成任务.此外, 本文方法的LMD值远低于对比方法, 说明本文方法在生成说话人脸视频的唇部动作与头部动作准确性方面远优于对比方法.ATVGnet的PSNR值优于本文算法, 说明其生成的人脸图像的质量较优, 原因在于ATVGnet只根据语音合成唇部区域, 面部其它区域像素根据原有或历史图像经融合拼接而成.但是, 本文方法中的人脸所有像素都由生成网络以端到端的方式自动生成, 适用性更强.

在私有数据集上基于ATL-Net的输入语音预测人脸关键点, 结果示例如图3所示.由图可知, 基于ATL-Net的输入语音预测人脸关键点序列与相应的真实视频帧中提取的关键点相比, 嘴型几乎相同, 头部姿势却有所不同.这种现象符合常识, 即人类在正常说话时嘴部运动应与语音对齐较精准, 但头部可能会产生一些随机运动.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 在私有数据集上ATL-Net预测的人脸关键点示例Fig.3 Samples of facial landmark predicted by ATL-Net on private dataset

在私有数据集上, LTV-Net根据人脸关键点序列生成说话人脸视频, 结果示例如图4所示.由图可知, 相比对应的真实人脸视频帧, LTV-Net输出的说话人脸图像序列头部姿势和面部表情非常接近真实视频帧, 同时背景除了具有人的发型、衣服、领带等多种变化以外, 基本保持不变.由此表明本文的具有注意力机制的GAN网络能获得更优的面部信息和运动信息, 并保留背景信息.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 LTV-Net在私有数据集上生成的说话人脸视频帧示例Fig.4 Examples of talking face video frames generated by LTV-Net on private dataset

本文方法和文献[11]方法在GRID数据集上由语音生成说话人脸图像序列的对比如图5所示.由图可明显看出, 本文方法不仅在唇部的细节, 如唇部动作张合等方面, 具有更优效果, 同时在图像整体纹理、色泽等方面更符合视觉感知常识. 例如, 在面部的红润程度方面, 本文方法生成的说话人脸图像在面部都带有明显的红润; 在唇部颜色方面, 本文方法在女性角色上有明显的口红颜色, 但是在男性角色上几乎没有出现口红颜色.对应地, 文献[11]方法生成的图像中无论男女, 嘴唇都带有口红颜色.此外, 在图5(b)第一行中女性角色的眼部出现噪声区域, 表明文献[11]方法的细节建模能力弱于本文方法.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 在GRID数据集上2种算法生成的说话人脸图像Fig.5 Talking face images generated by 2 methods on GRID dataset

本文方法在GRID数据集上更多的生成效果示例如图6所示.由图可知, 本文方法具有较优的鲁棒性.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 本文算法在GRID数据集上的生成效果示例Fig.6 Talking face generation examples of the proposed method on GRID dataset

2.4.1 ATL-Net损失函数分析

ATL-Net在度量生成的人脸关键点序列与真实人脸关键点时采用Wing loss 而非点回归任务中常用的MSE loss.在Wing loss中有2个可选参数w, ∈ .w表示把非线性部分的范围限制在区间[-w, w]内, ∈ 为一个非常小的参数, 用于平滑非线性和线性之间连接部分.经过遍历搜索, 当w=10, ∈ =2时, ATL-Net在不同数据集上表现最优.图7为最优参数条件下ATL-Net训练过程中的损失函数变化曲线, 表2为ATL-Net收敛后的LMD值.

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 在GRID 数据集上ATL-Net训练过程中损失函数变化曲线Fig.7 Loss curves of ATL-Net training process on GRID dataset

表2

Table 2

表2(Table 2)

表2 MSE loss和Wing loss在不同数据集上的LMD值对比 Table 2 LMD comparison of MSE loss and Wing loss on different datasets 数据集 MSE loss Wing loss GRID 1.42 1.16 私有数据集(男主播) 1.53 1.37 私有数据集(女主播) 1.44 1.32

表2 MSE loss和Wing loss在不同数据集上的LMD值对比 Table 2 LMD comparison of MSE loss and Wing loss on different datasets

由图7和表2可看出, 虽然在训练集中MSE loss值小于Wing loss, 但在测试集中使用Wing loss的模型的唇部关键点与头部关键点的预测精度远高于使用MSE loss的模型, 即在ATL-Net中使用Wing loss作为损失函数可有效降低过拟合, 提高模型的泛化性能.

2.4.2 ATL-Net网络并行结构有效性分析

ATL-Net在依据输入语音生成人脸关键点时, 是在利用并行网络分别生成唇部关键点和头部关键点后, 对两组关键点进行融合.为了验证这种策略的有效性, 在GRID数据集上进行消融实验, 定量结果如表3所示.由表可知, 相比无并行结构网络, 本文方法在ATL-Net中使用的并行结构可显著提高人脸关键点定位的准确性, 其原因是唇部关键点与语音的关联度要大于头部关键点与语音的关联度, 并行结构通过对2组关键点进行解耦, 提升关键点定位的精度.

表3

Table 3

表3(Table 3)

表3 ATL-Net是否含有并行结构的定量实验结果 Table 3 Quantitative results of ATL-Net with and without parallel structure 并行结构 LMD SSIM PSNR 无 1.36 0.87 31.27 有 1.00 0.90 31.61

表3 ATL-Net是否含有并行结构的定量实验结果 Table 3 Quantitative results of ATL-Net with and without parallel structure

2.4.3 LTV-Net注意力机制分析

本文通过定性与定量的消融实验验证与分析注意力机制的有效性.LTV-Net有无注意力机制的效果对比如图8所示.由图可见, (a)中可清晰分辨背景信息和人脸信息, 人脸信息和背景信息具有清晰的轮廓.(b)中几乎看不清人脸信息和背景信息, 没有清晰的轮廓.(c)中可清晰区别人脸信息和背景信息, 存在清晰的轮廓信息.

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 LTV-Net是否采用注意力机制的效果对比Fig.8 Result comparison of LTV-Net with and without attention mechanism

由图8可知, 引入注意力机制可分离背景信息和人脸信息, 这表明引入注意力机制可有效地使网络集中关注人脸部分, 从而提升生成人脸的质量.由图8(a)~(c)第3列到第6列可发现, 即使引入头部的动作信息, LTV-Net仍可准确定位到人脸区域.因此, 通过注意力机制, LTV-Net能有效解决在包含头部动作的说话人脸视频生成中因无法定位人脸区域而导致的生成说话人脸视频质量较差的问题.

GRID数据集上LTV-Net有无注意力机制的定量实验结果如表4所示.结果表明本文方法使用注意力机制后有效性更高.

表4

Table 4

表4(Table 4)

表4 LTV-Net有无注意力机制的定量实验结果 Table 4 Quantitative results of LTV-Net with and without attention mechanism 注意力机制 LMD SSIM PSNR 无 1.16 0.81 28.33 有 1.00 0.90 31.61

表4 LTV-Net有无注意力机制的定量实验结果 Table 4 Quantitative results of LTV-Net with and without attention mechanism