子空间学习的目的是寻找嵌入在高维空间中的低维子空间.基于子空间学习的人脸画像合成方法的代表性工作如下：假设照片和画像之间的映射关系是全局线性的工作^[5]和假设照片和画像之间的映射关系是全局非线性局部线性的工作^[7].由于这两个工作在文献[1]中已进行详细介绍, 在此简单总结.

文献[5]利用主成分分析从训练照片中学习得到投影矩阵.在测试阶段, 利用学习得到的投影矩阵将测试照片进行投影, 得到投影系数, 用此投影系数对训练画像进行线性组合, 得到最终的合成画像.后续分别在纹理和形状上进行基于主成分分析的画像转换, 进一步提高合成效果^{[15, 16]}.

文献[7]将所有的训练图像对和测试照片分成均匀大小的图像块, 对于每个测试照片块, 首先从训练照片中搜索K个最近邻照片块.使用寻找得到的K个最近邻照片块对测试照片块进行最小二乘重构, 得到重构系数, 继而使用此重构系数对训练画像集中对应于K个最近邻照片块位置的画像块进行线性组合, 得到合成画像块, 待得到所有的合成画像块时, 将它们组合成一整幅画像.

Wang等^[17]提出基于随机采样的快速人脸画像合成方法.核心思想是使用离线的局部区域随机采样替代在线的K近邻搜索.在离线随机采样阶段为了进一步提高合成效率, 主成分分析用于对图像块进行降维处理.在测试阶段, 执行类似于文献[7]的步骤即可得到合成画像块, 不同的是在求解重构权值时将不同随机采样块与测试照片块的距离作为对权值的约束, 提高解的准确性.

稀疏表示是指利用过完备字典将输入的信号进行紧致的表达, 这里紧致的表达是指得到的表示系数中非零元素尽量少.由于寻找非零元素个数的稀疏表达是一个非确定性多项式困难（NP -hard）的问题, 故而一般使用稀疏表示系数的L₁范数以近似^[18].

Chang等^[19]利用稀疏编码联合训练得到一对画像和照片块字典, 分别记作 Dpi和 Dsi, i表示第i个图像块对应学习得到的字典对, i=1, 2, …, N.对于测试照片块t_i, i=1, 2, …, N, 求解稀疏表示系数：

得到稀疏表示系数w_i后, 与画像块字典进行相乘即可得到对应的画像块

s_i= Dsiw_i.

最后将所有的合成画像块进行组合得到一整幅画像, 其中相邻合成画像块覆盖区域灰度值取平均.

与Chang等利用稀疏编码学习一对照片块和画像块字典不同, Gao等^[8]直接使用原始照片块和画像块作为字典中的原子, 借助稀疏表示系数中非零元素个数随着输入测试照片块的不同而自适应决定这一特点, 提出基于稀疏近邻选择的人脸画像合成方法, 在一定程度上缓解固定个数近邻带来的模糊现象, 但并不能完全补偿因为线性组合而过滤的高频细节信息.为此, Wang等^[20]受人脸幻象^[21]的启发, 提出利用回归技术学习照片到过滤的残差之间的映射, 进而补偿现有人脸画像合成方法过滤的高频细节信息.

考虑到现有的数据驱动方法仅在局部范围内进行近邻搜索, 图像上一些非人脸因素难以合成, 例如人脸特定位置的疤痕、发卡、痣等.此外, 局部搜索策略的前提是测试照片和训练集中的图像提前进行对齐, 限制测试照片的来源范围.Zhang等^[22]提出利用稀疏表示系数中非零元素的值和非零系数编码的顺序进行全局图像块的按树搜索, 提高算法的鲁棒性.基于此稀疏贪婪搜索算法, 后续研究分别提出解决方案, 应对训练集中只有一对照片和画像时^[23]及只有一幅训练画像时^[24]如何进行合成的挑战.

对应于人脸画像合成, 贝叶斯公式可以写为如下最大化后验概率问题：

在式（1）中都将已知的训练画像-照片对隐去.此项中的似然项P(t|s)一般约束的是合成的画像需要同输入的照片上内容相似, 先验项P(s)一般用于约束合成画像中相邻图像块之间的相似性（兼容性）.

Gao等^[25]率先提出利用二维的隐马尔可夫模型^[26]— — 嵌入式隐马尔可夫模型^[27]进行人脸画像合成.该方法可以看作在最大后验概率（式（2））的基础上进一步引进隐状态变量, 保持画像和照片内容上的一致性, 并建立画像和照片之间的桥梁^{[1, 12]}.后续研究进一步将对整张照片和画像建模改进为对每个图像块或部件进行嵌入式隐马尔可夫模型建模^[28].

Wang等 ^[10]利用图像的马尔科夫特性, 提出基于多尺度马尔科夫随机场的方法.马尔科夫特性是指图像中某一位置的变化只与其最近邻相关.对于单层的马尔科夫随机场模型, 可以使用式（2）中的最大后验概率公式表示, 其中似然项和先验项分别定义为

似然项使用测试照片块和其近邻照片块之间的距离表示, 先验项使用相邻画像块覆盖区域的距离表示, yqpl表示在相邻图像块关系(p, q)中位于q位置的画像块的第l个候选画像块, 同理 yqpm表示位于q位置的画像块的第m个候选画像块, σd2与 σs2分别用于归一化似然项与先验项.基于多层的马尔科夫随机场是指在单层MRF的基础上加上层与层之间的约束, 最终通过信念传播算法^[29]求解.本文采用图像缝合的思想^[30]计算相邻图像块覆盖区域的像素值.为了增强算法对光照变化和姿态变化的鲁棒性, Zhang等^[31]在上述MRF基础上增加对形状的约束项, 并利用对光照变化更鲁棒的特征（尺度不变特征变换（ScaleInvariant Feature Transform, SIFT)）^[32]替代图像块的灰度值.

基于MRF的方法最终是从所有的候选画像块中选择一个作为最终的合成画像块.Zhou等^[33]发现文献[10]会因为最终的这一策略导致生成的人脸画像存在形变.这是因为训练画像集中画像数量有限, 对于不存在于训练集中的人脸块, 该算法无法合成.因此提出在MRF中引入多个画像块的线性组合, 通过差值合成一些不存在于训练集中的图像块, 从一定程度上缓解人脸变形的影响.此工作可以看作是对式（3）和式（4）中的先验项进行的改善：

即原来单个候选块之间的距离变为候选块线性组合之间的距离.Peng等^[34]受贝叶斯推断思想进行人脸画像合成思想的启发, 提出利用概率图模型推断重构权值作为特征, 直接进行异质人脸图像识别.

Wang等 ^[35]从直推式学习的角度对人脸画像合成进行建模, 主要思想是画像合成和照片合成均是由共有的中间隐变量— — 重构权值来控制（这里记作W）：

P(Y, X, W) = P(Y, X |W)P(W) =P(Y| X, W)P(X |W)P(W),

其中, Y表示所有的画像（训练画像和待合成画像）, X表示所有的照片（训练照片和测试照片）.最终可以写作2个似然项和1个先验项的乘积, 其中似然项P(X| W)和先验项P(W)的定义与式（3）和式（5）相同.由于假设重构权值W控制画像Y和照片X的生成, 故根据概率图模型知识可知, 当-W已知时, 画像Y和照片X的生成相互独立, 即

P(X, Y|W) = P(X|W)P(Y|W),

因而

P(Y| X, W) = P(Y|W).

因为直推式学习是测试照片和待合成画像一起纳入到学习过程中, 故P(-P(Y|W)亦可看作一种似然函数, 可以使用类似于式（5）中的方式定义.

为了增强基于贝叶斯推断的人脸画像合成方法对于复杂背景、光照变化及种族变化等因素的鲁棒性, Peng等^[36]提出对多种鲁棒性较强的特征进行加权融合的方式纳入到贝叶斯推断问题（式（2））中.Zhu等^[37]提出对深度网络学习 ^[38]的深度特征进行加权融入到贝叶斯网络中, 提高人脸画像合成算法的鲁棒性.考虑到矩形分块方式并未考虑人脸的结构特性, Peng等^[39]进一步提出利用超像素分割的思想保持图像块的自然结构特性, 将图像分割成若干超像素, 再以超像素为单位进行人脸画像合成.

Wang等^[40]从基于贝叶斯推断的人脸画像合成的整个过程出发, 对现有的数据驱动类方法进行概率上的解释, 并通过总结归纳现有算法存在的缺陷, 提出贝叶斯人脸画像合成方法.该方法认为数据驱动类方法由2部分组成：近邻选择模型和权值计算模型, 并给出概率上的解释：

其中

P(Y| t) = P(Y1, Y2, …, YN|t1, t2, …, tN )

可以看作近邻选择模型, P(W|Y, t)可以看作在测试照片块及其近邻已知的情况下, 求解权值即权值计算模型.Wang等认为现有的模型驱动方法或在近邻选择阶段没有考虑邻域约束（除文献[10]之外的工作均可看作没有考虑邻域约束）, 或在权值计算阶段没有考虑邻域约束（基于子空间学习的方法、基于稀疏表示的方法以及基于MRF的工作 ^[10]）, 因此提出使用MRF对近邻选择进行建模, 使用基于马尔科夫权重场的方法^[33]对权值计算进行建模, 从而将邻域约束都考虑在内.后来Wang等^[41]提出在近邻选择阶段应该将训练画像考虑在内, 提出基于锚点近邻索引的近邻选择策略, 可以配合现有的近邻选择方法使用, 提高近邻选择的精准率.

为了进行人脸画像合成, 需要对数据库划分训练集和测试集, 本文采用最新文献中出现较多的划分方式^{[9, 17, 40-41, 44]}.图2和图3分别给出8种方法在CUFS和CUFSF数据集上的合成结果.

从图中可以看出, LLE合成效果中存在较多噪声(特别是头发区域)或块状效应, RSLCR合成细节(如眼镜)较好, SFS产生的结果模糊效应较严重, MRF合成结果存在形变, MWF合成结果具有较细粒度的噪声, 在头发区域合成效果不佳, Bayesian合成结果较清晰, 并能从一定程度上合成细节, FCN能够保持合成对象的内容, 但是在风格上与画像差异较大, 模糊效应和噪声比较严重, GAN能够最好地保持画像的纹理特征且细节较完整(如眼镜能够完整的合成), 但是形变较严重(特别是嘴的形状).整体而言, 由于CUFSF数据库中的照片存在变化因素较多(肤色、年龄、拍摄时间、夸张因素等), 在此库上的合成效果差于CUFS数据库中效果.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 不同方法在CUFS数据库上的合成画像结果示例Fig.2 Example of synthesized sketches on CUFS database by different face sketch synthesis methods

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 不同方法在CUFSF数据库上的合成画像结果示例Fig.3 Example of synthesized sketches on CUFSF database by different face sketch synthesis methods

模型驱动类方法在离线学习映射关系后, 在线测试阶段只需要将映射关系实施到测试数据, 因此计算复杂度相对较低.综合来看, 由于数据驱动类方法需要遍历整个数据集, 计算复杂度高于模型驱动方法.不同合成算法在不同数据集上平均合成一张画像所用的时间如表1所示.RSLCR由于提前随机采样固定个数的近邻, 解决计算复杂度随数据库数据量增大而线性增加的难题.因为测试阶段不需要重新遍历数据库选择近邻, 因此大幅缩减合成时间.这里将RSLCR归类于数据驱动类方法而不是模型驱动类的主要原因在于, RSLCR未学习照片到画像的映射关系.从表1中可以看出, 基于深度学习的方法速度快于其它方法(数据驱动类方法), 特别是GAN能够做到6 s合成100幅画像, 远超现有算法.

表1

Table 1

表1(Table 1)

表1 不同方法在不同数据集上平均合成一张画像所用时间 Table 1 Average time consuming for synthesizing one sketch by different methods on different databases s数据集 LLE RSLCR SFS MRF MWF Bayesian FCN GAN 方法实现语言 Matlab Matlab Matlab C++ C++ C++ C++/Matlab Torch/Lua CUHK Student 536.34 1.82 27.72 8.60 16.10 76.36 18.32 0.06 AR 496.47 1.73 23.13 8.40 15.33 68.14 18.33 0.06 XM2VTS 642.50 2.36 37.03 10.40 18.80 91.32 18.31 0.06 CUFSF 1591.95 1.44 68.59 24.25 45.20 212.02 18.74 0.06

表1 不同方法在不同数据集上平均合成一张画像所用时间 Table 1 Average time consuming for synthesizing one sketch by different methods on different databases

为了评价合成画像的质量, 采用最常用的全参考客观图像质量评价测度— — 结构相似度准则(Structural Similarity, SSIM)^[46].图4分别给出在CUFS和CUFSF数据集上的SSIM值.

图4中, SSIM评价分数值越大, 表示合成图像质量越好, 纵轴表示大于等于横轴所示分数的合成画像占全部合成画像的比例.从图4中可以看出, 选择的8种算法在CUFS数据集上的SSIM统计表现相差不大, 但在CUFSF数据集上表现不一.这是因为CUFSF数据库中的照片存在很多变化因素, 导致合成难度较大.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 不同方法在2个数据集上的SSIM值Fig.4 SSIM Statistics of synthesized sketches on CUFS and CUFSF databases by different methods

表2给出不同合成方法在2个数据集上合成画像的平均SSIM值.结合表2和图4可以看出, 数据驱动类方法在质量评价方面表现优于模型驱动类方法, 其中Bayesian和RSLCR取得最佳效果.这也同时说明现有的全参考质量评价方法在评价合成图像质量上与人眼主观感受有所不同.根据图2、图3所示, GAN合成画像纹理效果较好, 虽然存在形变, 但主观视觉上并不会觉得合成效果在8种算法中最差, 而从表2和图4中可以看出, GAN表现最差, 这在文献[47]中也有过相关讨论.

表2

Table 2

表2(Table 2)

表2 不同方法在2个数据集上合成画像的平均SSIM值 Table 2 Average SSIM scores of synthesized sketches by different methods on 2 datasets 数据集 LLE RSLCR SFS MRF MWF Bayesian FCN GAN CUFS 0.5258 0.5542 0.5190 0.5132 0.5393 0.5543 0.5214 0.4939 CUFSF 0.4176 0.4456 0.4211 0.3724 0.4299 0.4506 0.3622 0.3665

表2 不同方法在2个数据集上合成画像的平均SSIM值 Table 2 Average SSIM scores of synthesized sketches by different methods on 2 datasets

为了进一步测试不同方法合成的人脸画像的质量, 进行人脸识别实验, 选用的人脸识别方法是基于子空间学习的方法— — 零空间线性判别分析(Null-Space Linear Discriminant Analysis, NLDA)^[48].图5给出分别在CUFS和CUFSF数据集上不同人脸合成方法合成结果对应的准确率随降维维数的变化情况, 表3给出最佳识别率对比.

从图5和表3的对比可以看出, CUFS数据库挑战性较小, RSLCR能够达到98.43%, Bayesian和FCN识别率超过95%.但在CUFSF数据库上识别率仍然很低, 低于75%.值得一提的是, 跟客观质量评价类似, 基于模型驱动类方法中GAN产生的结果由于存在人脸变形, 识别率并不高.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 不同方法在2种数据集上的人脸识别准确率随降维维数的变化Fig.5 Face recognition accuracies of different methods changing with reduced dimensions on 2 datasets

表3

Table 3

表3(Table 3)

表3 不同方法在2个数据集上合成画像的NLDA人脸识别率 Table 3 NLDA face recognition accuracies based on synthesized sketches of different methods on 2 datasets % 数据集 LLE RSLCR SFS MRF MWF Bayesian FCN GAN CUFS 90.61 98.43 89.60 87.34 92.10 97.48 96.49 93.48 CUFSF 61.09 72.77 72.48 45.26 74.05 66.81 69.80 71.44

表3 不同方法在2个数据集上合成画像的NLDA人脸识别率 Table 3 NLDA face recognition accuracies based on synthesized sketches of different methods on 2 datasets %