为了提取图像中丰富的特征信息, 本文设计多视野特征表示模块(Multi-field Feature Represented Block, MFRB), 并将其作为U-Net的跳跃连接, 融合不同层次的特征信息.因此, 本文方法由多视野特征表示U-Net和PatchGAN(Patch-Based GAN)^[34]组成.U-Net充当彩色图像生成器, PatchGAN充当判别器.此外, 利用特征提取网络得到感知损失, 优化模型, 产生颜色更和谐的彩色图像.本文方法整体结构如图1所示.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 本文方法结构图Fig.1 Structure of the proposed method

输入待着色图像的亮度信息L, 生成器G提取其特征并输出预测色度信息a、b, 融合亮度信息和色度信息, 产生着色后的彩色图像.判别器D对来自真实数据和生成器的生成彩色图像进行判断, 计算生成图像和真实图像之间的概率分布相似性.通过生成器和判别器之间的相互博弈过程, 逐渐提高生成器和判别器的性能, 模型的损失函数定义为

L(G, D)=E_y[ln D(y)]+E_x[ln(1-D(G(x)))],

其中, x表示Lab颜色空间下待着色图像亮度信息, y表示Lab颜色空间下真实彩色图像, E表示期望值.通过最小化生成器损失和最大化判别器损失, 在生成器和判别器相互对抗学习中达到优化整体模型的目的.

灰度图像彩色化也可看作回归预测问题, 即使用优化模型预测每个像素的颜色通道值, 因此如何设计函数优化目标十分重要.在深度机器学习算法中, 通常使用平方差损失函数和绝对值损失函数计算真实数据与生成数据之间的差异值.然而在进行图像着色任务时, 仍会产生颜色溢出和边界模糊等问题.Isola等^[34]设计PatchGAN, 在分块区域上判断真实图像和生成图像, 提高判别器网络的在局部分块特征上的感知效果, 达到提高生成图像质量的效果, 但忽略图像的全局特征信息, 导致图像整体彩色化质量不高.本文在此基础上增加感知损失, 从不同尺度特征上判断真实图像和生成图像, 对整个模型的优化目标为

L=arg minGmaxD(L(G, D)+λ Ll1(G)+γ L_p),

其中, G表示生成器网络, D表示判别器网络, Ll1表示生成器的l₁损失值, L_p表示感知损失值, λ 表示l₁损失, γ 表示感知损失的系数.

图像多尺度特征表示在计算机视觉任务中较普遍, 常见方式是设计不同的处理分支, 在不同尺度上获取图像特征信息, 然后通过不同的特征融合方式将所有分支提取的信息进行交叉传递.但这些方法的研究重点主要集中在如何设计特征融合方法和减小计算复杂度, 对于多尺度特征的提取, 通常使用下采样的方法获得.此方法会使输入图像分辨率以2的指数级降低, 获得的多尺度图像仅仅是分辨率上的不同, 不能表示多样的特征信息.因此, 本文从特征获取角度出发, 设计MFRB提取图像的特征信息, 并与改进的U-Net结合, 得到多视野特征表示U-Net.MFRB的网络结构如图2所示.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 MFRB结构图Fig.2 Structure of MFRB

假设X_i表示输入灰度图像, 通过MFRB后的输出为X_i+1, 此过程可表示为

${{X}_{i+1}}=F\left( \frac{C}{\alpha}\sum\limits_{n=2}^{\alpha }{{{K}_{2n-1}}\left( {{X}_{i}} \right)} \right)$,

其中, C表示输入图像的特征通道数量, α 表示多尺度特征的级别, Cα表示该尺度特征所占比重, K表示卷积核大小为2n-1的卷积操作, F(· )表示特征融合.

在经过多次卷积后, 特征图像的大小逐渐减小, 并且随着卷积核的增大, 参数量呈指数级增长.在不超过特征图大小的情况下, 提取图像中的全局信息和局部信息, 将多视野感受级别设置为4(即α =4).从不同感受野上进行特征提取, 并使用卷积核大小为1的卷积操作融合不同尺度特征.使用一个大小为1的卷积保留原始特征信息, 最后将得到的所有特征进行融合输出.

U-Net在医学图像处理上性能较优, 在医疗图像分割、图像伪影去除等方面具有广泛应用^{[30, 35]}, 因此本文使用U-Net作为彩色化网络.传统U-Net直接融合下采样层和上采样层的特征信息, 使网络充分利用图像的浅层特征和深层特征.但是下采样提取的特征图属于低级语义信息, 而上采样层的特征图是由深层卷积得到的高级语义信息, 不能直接融合两者^[36].因此, 本文将MFRB作为跳跃连接, 代替传统端到端特征直接相加的方法, 将低级特征通过MFRB后与高级特征结合, 提高多尺度特征提取能力.

Inception模块与MFRB较相似, 但仍存在如下不同: 1)功能不同.Inception是为了在增加网络深度和宽度时减少参数量, 而MFRB主要用于增加图像特征的感受野, 提取不同尺度的特征.2)结构不同.MFRB可自适应不同特征通道数, 对不同大小的尺度特征具有相同比重.整个模块卷积后得到的特征图像在数量上与输入特征数量保持一致.而在Inception模块前后输出特征图数量不同, 并且使用池化操作, 导致在图像彩色化过程中丢失部分特征信息, 不利于生成高质量彩色图像.3)位置不同.MFRB仅用于在对称的U-Net网络层之间, 而Inception作为网络的主体模块, 用于提取特征.

除了上述3点不同之处, 因为MFRB主要是提取图像中的多视野特征, 并且在MFRB输入前后的特征图大小和数量保持不变, 因此它与Inception结构类似, 不仅可作用于U-Net中的跳跃连接, 还可作为主体模块或辅助模块嵌入其它网络结构中.

MFRB使用深度可分离卷积代替传统卷积操作, 在达到提取图像多尺度特征信息的目的下, 减小网络的参数量.利用残差块和MFRB设计的多视野特征表示U-Net结构如图3所示.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 多视野特征表示U-Net结构图Fig.3 Structure of multi-filed feature representation U-Net

在下采样阶段, 为了充分提取灰度图像中的特征信息, 使用6个残差卷积模块进行特征提取.每次卷积后, 特征图像的大小缩至原来的1/2, 特征图像的数量变为原来的两倍.

在上采样阶段, 为了保持与端到端输出的特征图像大小一致, 使用卷积核大小为3、步长为2、填充像素为1的6个反卷积操作逐步重建彩色图像, 直至与输入图像相同大小.在每次反卷积后, 融合MFRB下采样特征与上采样特征并输出.具体网络参数如表1所示.

表1

Table 1

表1(Table 1)

表1 多视野特征表示U-Net参数 Table 1 Parameters of multi-filed feature representation U-Net 网络层数 输出图像 大小 卷积核参数 通道 数量 网络层数 输出图像 大小 卷积核参数 通道 数量 卷积块1 128 [1× 1, 3× 3, 1× 1] 32 反卷积块7 8 3× 3 512 卷积块2 64 [1× 1, 3× 3, 1× 1] 64 反卷积块8 16 3× 3 256 卷积块3 32 [1× 1, 3× 3, 1× 1] 128 反卷积块9 32 3× 3 128 卷积块4 16 [1× 1, 3× 3, 1× 1] 256 反卷积块10 64 3× 3 64 卷积块5 8 [1× 1, 3× 3, 1× 1] 512 反卷积块11 128 3× 3 32 卷积块6 4 [1× 1, 3× 3, 1× 1] 512 反卷积块12 256 3× 3 2

表1 多视野特征表示U-Net参数 Table 1 Parameters of multi-filed feature representation U-Net

深度学习模型在产生彩色图像的前提下, 更应使生成图像的颜色在整体色调上保持和谐.为了使图像达到更优的着色效果, 使图像的整体色调一致, 本文使用感知损失函数, 在不同尺度上的语义信息上判断彩色化图像.本文的感知损失函数是一个在ImageNet数据集上经过预训练的VGG-19网络, 经过依次的卷积操作后, 得到通道数量为64、128、256、512、512的特征图像, 特征图像大小依次为256、128、64、32、16.向VGG-19网络输入彩色图像, 卷积后得到5个不同尺度的感知特征.多尺度感知网络结构如图4所示, 图中Conv x-y表示卷积核大小为x, 输出特征图数量为y.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 多尺度感知网络结构图Fig.4 Structure of multi-scale perceptual network

根据Gatys等^{[37, 38]}提出的风格重建损失定义, 特征图像的格莱姆矩阵定义为

$G_{j}^{\phi }{{\left( x \right)}_{c, c'}}=\frac{1}{{{C}_{j}}{{H}_{j}}{{W}_{j}}}\sum\limits_{h=1}^{{{H}_{j}}}{\sum\limits_{w=1}^{{{W}_{j}}}{{{\phi }_{j}}{{\left( x \right)}_{h, w, c}}{{\phi }_{j}}{{\left( x \right)}_{h, w, c'}}}}$,

其中, x表示输入图像, C表示图像的通道数, H表示图像高度, W表示图像宽度, ϕ 表示VGG-19网络, ϕ _j表示第j层网络.生成图像与真实图像之间的感知损失定义为它们的格拉姆矩阵差异值的Frobenius范数平方, 并且对于不同层次的损失设置权重都为1, 即5种特征损失具有相同的贡献程度.因此, 将5个不同层次的特征损失相加即可得到整体的感知损失:

${L_{p}}=\sum\limits_{j=1}^{5}{\left\| G_{j}^{\phi }\left( {\hat{y}} \right)-G_{j}^{\phi }\left( y \right) \right\|_{F}^{2}}$,

其中, ŷ表示生成器生成的彩色图像, y表示真实图像, F表示Frobenius范数, j表示感知特征层数.

加入感知损失后, 本文方法得到进一步改进, 因此在下文中将融合感知损失的MRFC称作MFRC+.

为了验证融入MFRB结构的MFRC(即MFRC+)对复杂图像和小目标物体具有良好的彩色化效果, 本文在Natural Color Dataset(NCData)、OxFlower17、 SpongeBob、Monet、Horse、Summer数据集上分别进行实验.

NCData数据集是Anwar等^[39]为了解决图像彩色化评价缺乏统一实验数据问题而建立的彩色图像数据集, 包括20个类别的721幅彩色RGB图像.OxFlower17、SpongeBob、SquarePants数据集上包含花卉图像和卡通动漫图像.Monet、Horse、Summer数据集均是从网络和ImageNet中选取的公开数据集, 涵盖动物和风景的自然图像和莫奈艺术图像^[28].将所有数据集按照8∶ 2的比例随机划分为训练数据集和测试数据集.

所有实验均在同台计算机上完成, 使用64位Windows 10操作系统, 处理器为Intel(R) Core(TM) i9-10900X CPU @3.70 GHz, 显卡为NVIDIAGeForce RTX 2080 Ti, 科学计算库为PyTorch1.7.0, CUDA10.2, Python3.7.3.

在实验中, 对所有的数据集进行裁剪, 使所有图像的大小均为256× 256.由于所有图像均是在RGB颜色空间下的彩色图像, 而本文方法接收Lab颜色空间下的L亮度通道信息, 输出a、b色度通道信息.因此, 需将所有的图像进行颜色空间转换, 即从RGB颜色空间转换为Lab颜色空间.

实验分为训练和测试两部分, 在训练期间, 将经过预处理的L亮度信息输入生成器网络, 再将生成的a、b色度信息与输入亮度信息L进行融合, 得到彩色化图像.将生成的彩色图像和真实图像输入感知网络和判别器网络, 计算得到两者之间的差异值.实验设置迭代次数为100, 学习率为0.003, λ =100, γ =50.使用批量归一化对数据进行正则化, 经过100次对抗训练后得到最终的彩色化模型.本文采用经典算法和全自动彩色化算法^{[21, 32, 33]}进行对照实验, 经过100次训练后得到最终的模型.

为了客观反映各彩色化模型在不同数据集上的性能, 使用峰值信噪比(Peak Signal to Noise Ratio, PSNR)、结构相似性(Structural Similarity, SSIM)和感知相似度(Learned Perceptual Image Patch Similarity, LPIPS)^[40]对彩色化结果进行定量分析.PSNR是常见的评价图像压缩重建质量的测量方法.SSIM可从图像亮度、对比度和结构组成上评价图像质量好坏.LPIPS可从主观感受上评价图像质量, 数值越小, 表示两幅图像越相似.

2.3.1 主观评价分析

为了验证本文方法在不同尺度上都能得到较好的彩色化结果, 在6个数据集上选择不同复杂程度的图像进行实验.

本文选取如下对比方法:文献[19]方法、MemoPainter^[21]、DCGAN(Deep Convolutional GAN)^[32]、ChromaGAN^[33]、pix2pix^[34].

各方法在6幅图像上的彩色化结果如图5所示.由图可看出, 当图像复杂度较低时, 各方法都能进行良好的彩色化.但是当图像中的物体增加、颜色种类丰富时, DCGAN显然不再适用, 彩色化结果趋于黑白, 尤其在Summer、Horse数据集上.其它算法的彩色结果与真实图像都存在不同差异, 在前5幅图像上都能得到较好的彩色化结果.值得注意的是, 因为MFRC+可捕捉图像中不同尺度物体的细节信息, 得到的彩色化图像颜色更丰富, 更接近于真实图像.由于加入感知损失, 可从高级语义信息上对图像进行感知, 提高模型彩色化效果的一致性.因此得到的彩色化效果也更真实自然, 整体颜色更和谐, 未出现误着色和颜色溢出的情况.此外, 在第6幅图像上, MFRC+对图中的小人和湖面的彩色化效果更优, 进一步证实MFRC+在复杂图像和小目标物体上的优越性.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 各方法的彩色化效果对比Fig.5 Colorization effect comparison of different methods

2.3.2 定量指标分析

为了更客观公正地对比各方法的彩色化结果, 在6个数据集上进行实验, 并使用多种图像质量评价指标评价各方法生成的彩色化图像.各方法的PSNR值对比如表2所示, 表中黑体数字表示最优值.由表可看出, MFRC+得到的图像质量最优.

表2

Table 2

表2(Table 2)

表2 各方法在6个数据集上的PSNR值对比 Table 2 PSNR value comparison of different methods on 6 datasets 方法 NCData OxFlower17 SpongeBob Horse Monet Summer DCGAN 23.816 18.557 25.038 21.726 18.928 20.753 pix2pix 24.606 21.140 27.311 23.816 20.696 23.025 MemoPainter 25.173 20.247 25.382 23.011 20.968 22.412 文献[19]方法 24.448 20.681 26.831 23.691 21.989 24.001 ChromaGAN 25.178 20.347 26.543 23.304 20.877 22.727 MFRC+ 25.221 21.438 27.399 24.672 22.200 24.239

表2 各方法在6个数据集上的PSNR值对比 Table 2 PSNR value comparison of different methods on 6 datasets

SSIM指标从图像结构上评价生成彩色图像和真实彩色图像, 各方法在6个数据集上的SSIM值如表3所示, 表中黑体数字表示最优值.由表可看出, MFRC+在各数据集上都取得最优值, 充分说明使用感知损失可提高彩色化模型的整体感知能力, 使生成彩色图像和真实彩色图像在结构上保持一致.

表3

Table 3

表3(Table 3)

表3 各方法在6个数据集上的SSIM值对比 Table 3 SSIM value comparison of different methods on 6 datasets 方法 NCData OxFlower17 SpongeBob Horse Monet Summer DCGAN 90.591 83.234 90.775 84.939 84.041 86.775 pix2pix 92.406 85.388 90.998 91.238 84.531 82.150 MemoPainter 91.761 82.927 86.249 91.427 85.052 87.291 文献[19]方法 92.554 85.523 92.261 93.584 91.676 92.379 ChromaGAN 91.280 82.583 91.548 91.631 85.060 88.829 MFRC+ 93.774 87.051 93.041 94.573 91.817 92.620

表3 各方法在6个数据集上的SSIM值对比 Table 3 SSIM value comparison of different methods on 6 datasets

各方法在6个数据集上的LPIPS值如表4所示, 表中黑体数字表示最优值.由表可看出, MFRC+在所有数据集上得到最低值.因为LPIPS指标是利用在ImageNet数据集上训练后得到的固定网络对生成彩色图像和真实彩色图像进行相似性判断, 结果表示图像在高级语义信息上的相似度.因为MFRC+可处理不同尺度的图像特征, 产生的彩色化图像颜色种类更丰富、细节更清楚, 因此感知相似度较优.

表4

Table 4

表4(Table 4)

表4 各方法在6个数据集上的LPIPS值对比 Table 4 LPIPS value comparison of different methods on 6 datasets 方法 NCData OxFlower17 SpongeBob Horse Monet Summer DCGAN 0.047 0.140 0.064 0.104 0.121 0.128 pix2pix 0.044 0.116 0.066 0.068 0.102 0.118 MemoPainter 0.037 0.134 0.081 0.073 0.096 0.103 文献[19]方法 0.038 0.120 0.054 0.062 0.082 0.075 ChromaGAN 0.033 0.140 0.063 0.071 0.095 0.095 MFRC+ 0.033 0.110 0.046 0.052 0.079 0.073

表4 各方法在6个数据集上的LPIPS值对比 Table 4 LPIPS value comparison of different methods on 6 datasets

2.4.1 多视野特征表示模块的性能

为了验证本文的MFRB模块可在不同视野上提取图像多尺度特征信息, 达到良好的彩色化效果, 在不添加感知损失的情况下进行实验, 各方法的图像彩色化结果如图6所示.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 各方法生成的彩色化图像Fig.6 Colored images generated by different methods

从图6可看出, 各方法对相同的灰度图像均可达到彩色化效果的目的, 但DCGAN对小尺度物体和图像细节进行彩色化时, 存在误着色和边界模糊等问题.(c)是使用pix2pix得到的彩色化结果, 图中花朵的紫色花瓣被正确地彩色化, 但花瓣边界产生颜色边界溢出现象, 将背景部分的绿色着色为蓝色, 与真实图像不一致.(d)为使用MFRC生成的彩色化图像, 由于采用MFRB在不同感受野上提取特征, 使网络可更好地对图像中不同尺度的物体进行彩色化, 对图中的花瓣颜色进行正确预测, 并且在花瓣边界未产生颜色溢出现象, 着色结果与真实图像保持一致, 表明MFRC可解决颜色溢出问题.

2.4.2 Inception与MFRB性能对比

Inception结构与本文的MFRB较相似, 为了表明MFRB和Inception不同, 将MFRB替换为Incep-tion结构, 在相同的实验条件下进行实验, 得到的彩色化图像如图7所示.由图可看出, 因为MFRB具有多视野特征提取的能力, 得到的彩色化结果明显优于Inception.

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 Inception与MFRB生成的彩色化图像Fig.7 Colored images generated by Inception and MFRB

本文还在数值上对比Inception和MFRB, 具体指标值如表5所示, 表中黑体数字表示最优值.由表可看出, MFRB性能更优.

表5

Table 5

表5(Table 5)

表5 Inception与MFRB的指标值对比 Table 5 Index value comparison between Inception and MFRB 模块 NCD OxFlower17 SpongeBob PSNR SSIM PSNR SSIM PSNR SSIM Inception 24.224 93.232 20.059 86.159 26.760 92.579 MFRB 25.112 93.411 21.321 86.333 27.886 92.513

表5 Inception与MFRB的指标值对比 Table 5 Index value comparison between Inception and MFRB

2.4.3 有无感知损失对比

由于本文方法引入感知损失, 为了验证加入感知损失后可提升图像整体彩色化结果, 使用不带感知损失的MFRC和加入感知损失的MFRC+进行对比, 结果如图8所示.由图可看出, 虽然不加入感知损失时也能对灰度图像进行彩色化, 但是彩色化结果与真实图像存在一定差异.使用感知损失后, 彩色化图像的颜色鲜艳程度更高, 在图像整体上呈现一致性.例如, 图8中对绿色的西兰花进行着色时, 未添加感知损失时将第1个物体彩色化为黄色, 不符合图像的整体一致性.加入感知损失后, 所有的物体都被正确彩色化为绿色.因此, 使用感知损失可提高图像色彩一致性, 使得到的彩色化图像质量更高, 与真实图像更接近.

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 有无感知损失生成的彩色化图像对比Fig.8 Comparison of colored images with and without perceptual loss

2.4.4 感知特征可视化

本文使用VGG-19网络作为感知网络, 并将其划分为5个尺度的感知层级, 对图像进行特征提取.将真实图像输入感知网络中, 并将其输出的5个层级特征图像进行可视化.因为每次特征提取都将特征图尺寸缩小为原来的1/2, 所以对小于图像原始尺寸的特征图使用双线性插值的方法进行上采样, 恢复其图像分辨率, 部分实验结果如图9所示.由图可看出, 随着感知深度增加, 提取的图像特征信息也更抽象.

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 感知特征的可视化结果Fig.9 Visualization results of perceptual features

为了确定网络感知损失的系数, 对不同系数下网络模型的图像彩色化质量进行对比, 结果如图10所示.由图可看出, 使用不同感知损失系数对网络彩色化能力具有不同的影响.当感知损失系数为50时, 在3种指标上均达到最优值.这也说明加入感知损失可提高图像彩色化效果和图像整体一致性的有效性.

图10

Fig.10

	Figure Option ViewDownloadNew Window
	图10 感知损失系数对方法性能的影响Fig.10 Effect of different perceived loss coefficients on method performance