Solar-MFA框架如图2所示, 由1个生成器和2个判别器组成.生成器G通过输入随机噪声生成缺陷图像.全局判别器D₁关注整幅图像的全局信息, 将整幅图像分割为16幅局部图像后输入局部判别器D₂中.D₂负责判别16幅局部图像的真假.最后将生成图像经过MF处理, 得到最终清晰的生成图像.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 Solar-MFA总体框架Fig.2 Framework of Solar-MFA

本文使用改进的注意力模块(IAM)分别改进卷积注意力机制模块(Convolutional Block Atten-tion Module, CBAM)^[16]中的通道注意力模块和空间注意力模块.IAM结构如图3所示.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 IAM结构图Fig.3 Structure of IAM

改进的通道注意力模块将平均池化与最大池化的特征融合通过特征拼接和卷积操作实现.特征拼接不仅能够整合更多的信息特征, 而且保留更强的鉴别特征.卷积操作进一步整合拼接特征, 形成每个通道的适当权重.

首先, 应用平均池化与最大池化, 减少输入特征F_in∈ R^{H× W× C}的空间维度信息, 得到2个特征向量 Finavg∈ R^{1× 1× C}和 Finmax∈ R^{1× 1× C}.然后, 将2个特征向量在通道维度上拼接, 融合二者的信息特征.最后, 将融合后的特征传递到2个卷积层, 选择有用的信息, 激活后得到F_in每个通道的权重:

Fina=σ (C_{1× 1}(c[ Finavg, Finmax]))∈ R^{1× 1× C},

其中, c[· ]表示在通道维度上进行拼接操作, C_{1× 1}(· )表示2个卷积核为1× 1的卷积操作, σ (· )表示sigmoid激活函数处理.

Fina用于重估F_in, 得到通道细化特征图:

F_c=F_in$\otimes$ Fina∈ R^{H× W× C},

其中$\otimes$表示对应元素相乘操作.

CBAM中的空间注意力模块直接对通道细化特征F_c在通道维度上进行最大值与平均值的操作, 得到2个特征图后拼接, 作为后续卷积运算的输入, 但获得的空间位置信息有限.

如图3所示, 改进的空间注意力模块首先将F_c在通道维度上均分为n组, 每个子特征图的通道数设置为N, 即

F_c→ [ Fc1, Fc2, …, Fci, …, Fcn-1, Fcn],

其中n=C/N, C表示F_c的通道数.

然后, 分别对每个子特征图 Fci∈ R^{H× W× N}在通道维度上进行最大值与平均值处理, 得到2个特征图 Fcimax∈ R^{H× W× 1}和 Fciavg∈ R^{H× W× 1}.将2个特征图按通道拼接后输入共享卷积层中, 经过sigmoid激活函数处理, 得到每个 Fci的注意力图:

Fcia=σ (C_{7× 7}(c[ Fcimax, Fciavg]))∈ R^{H× W× 1},

其中C_{7× 7}(· )表示卷积核为7× 7的卷积操作.

最后, 将 Fci与对应的注意力图 Fcia相乘, 得到空间细化子特征图:

Fouti= Fci$\otimes$ Fcia∈ R^{H× W× N}.

将每个 Fouti在通道维度上拼接, 得到最终的空间细化特征图:

F_out=c[ Fout1, Fout2, …, Foutn-1, Foutn]∈ R^{H× W× C}.

在生成器G中, 输入维度为1× 100的随机正态分布噪声, 依次经过1个全连接层、2个生成器多感受野注意力模块(MFA of Generator, G_MFA)和2个卷积模块后, 得到320× 320× 1的特征图.

单一感受野在提取不同尺度的缺陷特征时, 不能同时获取缺陷的局部信息和全局信息, 而现有的多感受野在不改变输入特征图的空间大小与通道数的情况下, 增加模型复杂度, 减缓特征的提取速度.同时现有方法往往忽略原特征的传递, 导致模型的收敛速度较慢.

为了解决上述问题, 本文设计G_MFA.G_MFA的输入特征经过多感受野特征提取后, 降低特征图维度, 减少计算复杂度, 传递原输入特征通过IAM突出后的关键信息, 加快模型的收敛速度.G_MFA结构如图4所示.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 G_MFA结构图Fig.4 Structure of G_MFA

输入特征图f_in∈ R^{H× W× C}, 上采样后, 得到特征图:

f₁=U(f_in)∈ R^{2H× 2W× C},

其中U(· )表示上采样层.

f₁首先进行卷积核分别为3× 3与5× 5的卷积操作, 得到特征图:

f₂=C_{3× 3}(f₁)∈ R^{2H× 2W× C/2}, f3₌C5_{× 5(}f1₎∈ R2^{H× 2W× C/2,}

其中, C_{3× 3}(· )表示核为3× 3的卷积层, C_{5× 5}(· )表示核为5× 5的卷积层.

然后, f₁、 f₂和f₃分别输入IAM中, 输出相应的注意力特征图.为了最大化保留缺陷信息, 将f₁、 f₂和f₃的注意力细化特征在通道维度上进行拼接.最后, 经过1× 1卷积、BN(Batch Normalization)和Leaky-ReLU后, 进一步整合拼接特征, 得到输出

f_out=L(B(C1_{× 1(}c[A(f1₎, A(f2₎, A(f3₎])))∈ R2^{H× 2W× C,}

其中, C_{1× 1}表示核为1× 1的卷积层, A(· )表示注意力细化操作, B(· )表示BN处理, L(· )表示Leaky-ReLU激活函数.

判别器D₁关注输入图像的全局信息, 输入维度为320× 320× 1的整幅图像, 依次经过2个判别器多感受野注意力模块(MFA of Discriminator, D_MFA)和1个全连接层后, 输出整幅图像的判别结果.D_MFA同样降低模型的复杂度, 加快模型训练时的收敛速度.与G_MFA不同的是, D_MFA不仅聚合相应的注意力细化特征, 而且融入原输入特征与不同感受野下的特征.为了降低模型的复杂度与特征信息的冗余, 输入特征在进行特征聚合与注意力细化前进行1次特征提取.D_MFA结构如图5所示.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 D_MFA结构图Fig.5 Structure of D_MFA

输入特征f'_in∈ R^{4H× 4W× C}, 进行两次卷积核分别为1× 1、3× 3和5× 5的卷积后, 得到不同感受野下的特征:

f'₁=C_{1× 1}(R(B(C_{1× 1}(f'_in))))∈ R^{H× W× 4C},

f'₂=C_{3× 3}(R(B(C_{3× 3}(f'_in))))∈ R^{H× W× 4C},

f'₃=C_{5× 5}(R(B(C_{5× 5}(f'_in))))∈ R^{H× W× 4C},

其中R(· )表示ReLU激活函数.为了避免缺陷特征细节纹理的丢失, f'₁, f'₂与f'₃在通道维度上拼接, 并经过1× 1卷积, 将拼接特征整合为

f'=C_{1× 1}(c[f'₁, f'₂, f'₃])∈ R^{H× W× 4C}.

为了突出缺陷特征的内容信息, f'₁, f'₂与f'₃分别经过IAM, 得到相应的注意力细化特征图.最后将f'与各注意力细化特征聚合, 并经过BN、ReLU激活函数后输出特征:

f'_out= R(B(f'+A(f'1)+A(f'2)+A(f'3)))∈ R^{H× W× 4C.}

为了提高生成图像局部区域的细节特征与真实图像相应区域的相似性, 本文设计局部判别器D₂, 关注整幅图像的不同局部区域.D₂的输入为一幅图像分割的16幅局部图像, 因此局部图像的分辨率只有80× 80× 1, 为了避免不同多感受野的特征过分重叠, D₂在使用1个D_MFA模块后, 采用2个卷积核为3× 3的卷积层进行后续的特征提取, 最后输出16幅局部图像的判别向量.此外为了加快网络的收敛速度, 每个卷积后均添加BN层与ReLU激活函数.为了减少计算量, 在2个卷积层的最后均添加失活率为0.5的失活层.

判断判别器D₁是否达到收敛的条件是其能否准确判别输入是真实图像还是生成图像, 即

LD1=0.5· ( Exr[lg(D₁(x^r))]+ Exulg(1-D1(xu))]),

其中, x^r表示真实图像, x^u表示生成图像, E[· ]表示数学期望, 1表示D₁对整幅生成图像的输出目标值.

D₂关注图像的局部信息, 损失包括对局部真实图像和局部生成图像的判别结果的反馈, 即

LD2=( Exr'[lg(D₂(x^r'))]+ Exu'lg(I-D2(xu^'))]),

其中, x^r'表示局部真实图像, x^u'表示局部生成图像, I表示D₂对局部生成图像的输出目标向量, 向量各元素值均为1.

G的损失函数为对抗性损失L_adv、PSNR损失L_PSNR和SSIM损失L_SSIM的加权和:

L_G=λ ₁L_adv+λ ₂L_PSNR+L_SSIM,

其中, λ ₁=0.5, λ ₂=0.01.

对抗性损失L_adv包括D₁对整幅生成图像判别结果的反馈和D₂对各局部生成图像判别结果的反馈, 则

L_adv= Exu[lg(D₁(x^u))]+ Exu'[lg(D₂(x^u'))].

PSNR损失与SSIM损失分别用于评估生成图像与真实图像之间的颜色差异与结构相似程度:

L_PSNR=10lg[ (n-1)2MSE],

其中,

MSE= 1H×W∑i=1H∑j=1W(x^r(i, j)-x^u(i, j))²,

表示生成图像与真实图像之间的均方误差, H、W表示图像的高度和宽度, n表示图像的亮度范围.

L_SSIM=[2μxrμxu+C1μxr2+μxu2+C1][ 2σxrxu+C2σxr2+σxu2+C2],

其中, μxr表示真实图像均值, μxu表示生成图像均值, σxr表示真实图像标准差, σxu表示生成图像标准差, σxrxu表示真实图像和生成图像之间的协方差, C₁=0.000 1, C₂=0.000 9.

2.1.1 IAM消融实验

为了验证IAM在生成器和判别器中均起到作用, 进行IAM的消融实验, 结果如表1所示, 表中黑体数字表示最优值, G_MF、D_MF分别表示G_MFA、D_MFA中未融入IAM, 只有多感受野特征提取.

表1

Table 1

表1(Table 1)

表1 IAM的消融实验结果 Table 1 Ablation experiment results of IAM 结构 实心黑 阴影 隐裂 PSNR SSIM PSNR SSIM PSNR SSIM G_MF+D_MF 18.98 0.50 19.29 0.53 21.36 0.58 G_MFA+D_MF 21.43 0.59 22.81 0.63 23.96 0.61 G_MF+D_MFA 22.06 0.62 23.13 0.68 24.97 0.69 G_MFA+D_MFA 22.87 0.69 24.62 0.74 25.93 0.75

表1 IAM的消融实验结果 Table 1 Ablation experiment results of IAM

由表1可看出, G_MF+D_MF时各类缺陷的PSNR与SSIM值均最低, G_MFA+D_MF的指标值略低于G_MF+D_MFA, G_MFA+ D_MFA时各类缺陷的PSNR与SSIM值均为最优值, 表明IAM提高生成器与判别器的特征提取能力, 并且在判别器中发挥的作用高于在生成器中.

G_MF+D_MF与G_MFA+D_MFA(即本文算法中有无IAM)对3种缺陷的生成图像对比如图7所示.由图可知, IAM加在生成器与判别器中, 在生成缺陷图像时可以从复杂背景中准确提取缺陷特征, 获得更多的缺陷信息, 提高缺陷的完整性.

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 有无IAM时生成图像对比Fig.7 Comparison of generated images with and without IAM

当本文算法中有无IAM时, 全局判别器在训练收敛时对于实心黑和阴影2种缺陷图像的关注点的可视化分析如图8所示, 图中真实图像中的蓝色框内为缺陷信息.由图中可以看出, IAM减轻背景对全局判别器的干扰, 关注更完整的缺陷信息, 同时对于缺陷边缘细节信息的捕捉更充分.

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 有无IAM时全局判别器的可视化分析Fig.8 Visualization analysis of global discriminator with and without IAM

2.1.2 模型结构消融实验

下面进行模型结构的消融实验, 分别删除Solar-MFA中的D₂、D_MFA、G_MFA、MF模块, 测试不同结构对于3种缺陷的生成效果, 具体生成图像对比如图9所示.由图可看出, 相比Solar-MFA的生成图像, 删除判别器D₂可以生成较完整的缺陷, 但背景噪声干扰严重, 缺陷缺少局部细节, 这表明D₂起到关注局部细节的作用.删除D_MFA模块与G_MFA模块后, 该模型在缺陷完整性和抑制背景噪声干扰2方面都较差.删除D_MFA模块或G_MFA模块后, 生成的实心黑和阴影缺陷较完整, 背景噪声干扰较轻, 但对于隐裂缺陷生成效果较差, 这表明G_MFA模块与D_MFA模块起到提取不同尺度缺陷特征并抑制背景噪声关注缺陷信息的作用.删除MF模块后, 生成效果仅在背景噪声上略差, 这表明MF模块起到提高图像清晰度的作用.

图9

Fig.9

	Figure Option ViewDownloadNew Window
	图9 6种结构的生成图像对比Fig.9 Comparison of images generated by 6 structures

图9中6种结构在3种缺陷生成图像上的测试结果如表2所示, 表中黑体数字表示最优值.从表中可以看出, Solar-MFA的PSNR和SSIM值都达到最大值, 进一步验证D₂、G_MFA、D_MFA和MF模块均发挥各自的作用.

表2

Table 2

表2(Table 2)

表2 6种结构的指标值对比 Table 2 Index value comparison of 6 structures 结构 实心黑 阴影 隐裂 PSNR SSIM PSNR SSIM PSNR SSIM 删除D2 17.43 0.45 16.02 0.39 17.48 0.35 删除G_MFA和 D_MFA 16.00 0.38 14.11 0.29 16.02 0.32 删除D_MFA 17.16 0.48 18.45 0.49 18.97 0.40 删除G_MFA 19.82 0.50 19.37 0.51 20.31 0.53 删除MF 21.08 0.66 21.96 0.64 24.82 0.67 Solar-MFA 22.87 0.69 24.62 0.74 25.93 0.75

表2 6种结构的指标值对比 Table 2 Index value comparison of 6 structures

2.1.3 生成器G的损失函数消融实验

G的损失函数中包含L_PSNR、L_SSIM、L_adv, 选择不同的损失函数后, 具体消融实验结果如表3所示, 表中$\surd$表示G在训练时包含相应的损失函数, 黑体数字表示最优值.

表3

Table 3

表3(Table 3)

表3 G中损失函数的指标值对比 Table 3 Index value comparison of G with different loss functions LPSNR LSSIM Ladv 实心黑 阴影 隐裂 PSNR SSIM PSNR SSIM PSNR SSIM $\surd$ 20.48 0.57 21.92 0.59 23.44 0.61 $\surd$ $\surd$ 21.76 0.67 22.35 0.72 23.99 0.76 $\surd$ $\surd$ 22.93 0.58 23.26 0.61 25.06 0.64 $\surd$ $\surd$ $\surd$ 22.87 0.69 24.62 0.74 25.93 0.75

表3 G中损失函数的指标值对比 Table 3 Index value comparison of G with different loss functions

从表3中可以看出, G损失函数同时包含3种损失时整体效果最佳.与之对比, 如果G损失函数中只有L_adv, 生成的3种缺陷的PSNR与SSIM值均达到最低, 说明生成图像与真实图像的颜色差异最大、结构相似性最低.如果仅移除G损失函数中的L_PSNR, 3种生成缺陷的SSIM值无明显变化, 但3种缺陷的PSNR值分别降低1.11、2.27、1.94.同样仅移除G损失函数中的L_SSIM, 3种生成缺陷的PSNR值无明显变化, 但SSIM值分别降低0.11、0.13、0.11.

2.2.1 注意力对比实验

为了证实IAM的有效性, 将Solar-MFA中的IAM分别替换为如下4种注意力模块:CBAM^[16]、ECA(Efficient Channel Attention)^[18]、SimAM(Sim-ple, Parameter-Free Attention Module)^[19]、CA(Co-ordinate Attention)^[20], 进行对比实验.Solar-MFA使用5种注意力模型的指标值如表4所示, 表中黑体数字表示最优值.由表可以看出, CBAM的效果优于ECA, 与SimAM的效果接近, 相比其它注意力, CA的效果均有较大提高, 但IAM的2项指标均为最优值, 这表明IAM的有效性.

表4

Table 4

表4(Table 4)

表4 Solar-MFA使用5种注意力模块的指标值对比 Table 4 Index value comparison of Solar-MFA with 5 attention modules 模块 实心黑 阴影 隐裂 PSNR SSIM PSNR SSIM PSNR SSIM ECA 18.98 0.50 19.72 0.48 20.56 0.43 CBAM 20.74 0.55 22.36 0.51 22.28 0.49 SimAM 20.62 0.56 21.76 0.54 22.17 0.52 CA 22.19 0.64 24.56 0.68 25.33 0.71 IAM 22.87 0.69 24.62 0.74 25.93 0.75

表4 Solar-MFA使用5种注意力模块的指标值对比 Table 4 Index value comparison of Solar-MFA with 5 attention modules

为了证实IAM的通用性, 将DCGAN(Deep Convolutional GAN)^[21]作为基础算法, 在DCGAN中同样分别使用ECA、CBAM、SimAM、CA和IAM这5种注意力模块, 结果如表5所示, 表中黑体数字表示最优值.由表可以看出, 将不同注意力模块加入DCGAN后, IAM同样表现出最优性能, 表明IAM的通用性.

表5

Table 5

表5(Table 5)

表5 DCGAN使用5种注意力模块的指标值对比 Table 5 Index value comparison of DCGAN with 5 attention modules 方法 实心黑 阴影 隐裂 PSNR SSIM PSNR SSIM PSNR SSIM DCGAN 14.93 0.25 14.71 0.31 15.62 0.24 +ECA 16.91 0.36 16.72 0.33 16.67 0.29 +CBAM 17.44 0.38 17.35 0.35 17.28 0.29 +SimAM 17.42 0.41 17.49 0.34 17.14 0.32 +CA 18.32 0.43 18.37 0.40 18.93 0.39 +IAM 18.93 0.49 18.38 0.45 19.77 0.42

表5 DCGAN使用5种注意力模块的指标值对比 Table 5 Index value comparison of DCGAN with 5 attention modules

2.2.2 不同算法对比实验

本节选择如下算法进行对比实验:WGAN(Wasserstein GAN)^[22]、SAGAN(Self-Atten-tion GAN)^[23]、infoGAN(Information Maximizing GAN)^[24]、PGMGAN(Partition-Guided Mixture of GAN)^[25]和StyleGAN3^[26].

6种算法在3种缺陷上的指标值对比如表6所示, 表中黑体数字表示最优值.由表可以看出, WGAN、SAGAN和infoGAN的指标值在3种缺陷上均很低, 相比之下, StyleGAN3和PGMGAN的指标值均有大幅提升, PGMGAN表现最优.对于实心黑缺陷, 相比PGMGAN, Solar-MFA的PSNR值和SSIM值分别提高1.91和0.15; 对于阴影缺陷, Solar-MFA的PSNR值和SSIM值分别提高2.87和0.12; 对于隐裂缺陷, Solar-MFA的PSNR值和SSIM值分别提高2.76和0.12.

表6

Table 6

表6(Table 6)

表6 6种算法的指标值对比 Table 6 Index value comparison of 6 algorithms 算法 实心黑 阴影 隐裂 PSNR SSIM PSNR SSIM PSNR SSIM WGAN 15.80 0.38 15.27 0.36 16.74 0.25 SAGAN 16.39 0.23 17.42 0.35 17.28 0.22 infoGAN 15.93 0.35 15.71 0.31 16.99 0.27 StyleGAN3 18.74 0.42 19.27 0.46 22.54 0.50 PGMGAN 20.96 0.54 21.75 0.62 23.17 0.63 Solar-MFA 22.87 0.69 24.62 0.74 25.93 0.75

表6 6种算法的指标值对比 Table 6 Index value comparison of 6 algorithms

6种算法在3种缺陷上的生成图像如图10所示.由图可看出, WGAN和SAGAN在缺陷完整度与抑制背景干扰上均很差.infoGAN生成图像的背景噪声干扰较轻, 但缺陷完整度较低.StyleGAN3生成的各类缺陷完整度较高, 但生成的图像背景噪声干扰严重.相比StyleGAN3, PGMGAN生成的缺陷完整度略低, 生成的背景细节有大幅提升, 但存在背景亮度较高的问题.Solar-MFA在生成缺陷特征的完整性和抑制背景噪声干扰的能力上均优于其它算法.

图10

Fig.10

	Figure Option ViewDownloadNew Window
	图10 6种算法的生成图像对比Fig.10 Comparison of images generated by 6 algorithms

在对比算法中, StyleGAN3和PGMGAN对3种缺陷的生成质量最优, 因此选取这2种算法与Solar-MFA进行对比, 对比模型参数量和模型训练时达到收敛状态的时间如表7所示, 表中黑体数字表示最优值.由表可看出, Solar-MFA在不增加参数量的情况下可提高算法的训练速度.

表7

Table 7

表7(Table 7)

表7 3种算法的参数与训练时间 Table 7 Parameters and training time of 3 algorithms 算法 参数量/M 训练时间/h StyleGAN3 124.55 8.00 PGMGAN 102.01 7.50 Solar-MFA 92.30 5.50

表7 3种算法的参数与训练时间 Table 7 Parameters and training time of 3 algorithms

本文采用使用传统数据增强方式(翻转、缩放和添加噪声等)、WGAN、PGMGAN和Solar-MFA扩充后的数据集进行模型检测实验.

针对3类缺陷生成情况的不同, Solar-MFA将生成的3类缺陷图像的PSNR和SSIM指标的筛选阈值设置为不同值.PSNR筛选阈值分别为21.00, 23.00, 25.00; SSIM筛选阈值分别为0.60, 0.60, 0.65.在设定的指标筛选阈值下, 3种缺陷的生成图像与全部真实图像混合至4 500幅, 每类缺陷图像的数量均为1 500幅.其余3种算法均对训练数据进行相同方式的扩充.

在使用4种算法扩充后的数据集进行YOLOv7缺陷检测网络训练时, 所有参数均一致.模型均采用VOC数据集训练权重的预训练模型, 训练集与测试集比例为9∶ 1; 优化器为随机梯度下降(Stochastic Gradient Descent, SGD), 初始学习率为0.01, 动量参数为0.937, 权值衰减率为0.000 5; 训练总迭代次数为150, 前50代采用冻结训练以加快模型的收敛速度, 前50代与后100代的批尺寸大小分别为8和4.

YOLOv7训练完成后, 使用测试集进行测试, 在交并比(Intersection over Union, IoU)设置为0.5时3种缺陷检测的平均精度(Average Precision, AP)如表8所示, 表中黑体数字表示最优值.由表可以看出, 传统数据增强方式下各类缺陷的AP值均很低, 存在类间AP值差距较大的问题.相比传统数据增强方式, WGAN的AP值虽有大幅提升, 但仍存在类间差距较大的问题, 如实心黑的AP值为88.91%, 而阴影的AP值只有78.64%.在现有算法中, PGM- GAN各类缺陷的AP值均为最优值.相比PGMGAN, Solar-MFA进一步提升各类缺陷的AP值, 平均精度均值(Mean AP, mAP)上升2.26%, 并在一定程度上缓解类间差距大的问题, 这表明Solar-MFA生成图像的有效性.

表8

Table 8

表8(Table 8)

表8 4种算法的检测精度对比 Table 8 AP comparison of 4 methods % 算法 实心黑 阴影 隐裂 mAP 传统数据增强方式 70.53 61.70 52.47 61.56 WGAN 88.91 87.18 78.64 84.91 PGMGAN 91.72 89.29 86.15 89.05 Solar-MFA 94.30 91.15 88.48 91.31

表8 4种算法的检测精度对比 Table 8 AP comparison of 4 methods %

4种算法对3种缺陷的预测结果对比如图11所示.由图可看出, 相比对比算法, Solar-MFA生成的缺陷图像在检测过程中对各类缺陷的预测置信度有大幅提升, 预测框对于缺陷的定位更准确.

图11

Fig.11

	Figure Option ViewDownloadNew Window
	图11 4种算法的预测结果对比Fig.11 Prediction result comparison of 4 methods

为了证实Solar-MFA的通用性, 将对比算法中对于太阳能电池EL数据生成质量最优的PGMGAN和Solar-MFA应用于东北大学热轧带钢表面缺陷开源数据集.该数据集包含常见型、油污干扰型和微小型3种类型的缺陷数据.

常见型缺陷包含夹杂、压入氧化皮、麻点、裂纹、划痕和斑块6种缺陷, 6种常见型缺陷的真实图像与2种算法的生成图像如图12所示, 图中绿色框内为缺陷(氧化皮、麻点和裂纹只标注图像中的部分).由图可看出, 相比PGMGAN, Solar-MFA生成的缺陷完整性与真实性更高, 对背景噪声的抑制更强, 具备生成各类缺陷纹理细节的能力.

图12

Fig.12

	Figure Option ViewDownloadNew Window
	图12 各算法在6种常见型缺陷上的生成图像Fig.12 Images of 6 common types of defects generated by different algorithms

微小型包含点状和钢坑2种缺陷, 2类缺陷的真实图像与2种算法的生成图像如图13所示, 图中绿色框内为缺陷.由图可以看出, PGMGAN几乎不能生成微小型的缺陷, 但Solar-MFA可以从复杂的环境中捕捉微小缺陷信息, 适用于微小微弱缺陷的生成.

图13

Fig.13

	Figure Option ViewDownloadNew Window
	图13 各算法在2种微小型缺陷上的生成图像Fig.13 Images of 2 types of small defects generated by different algorithms

油污干扰型包含划痕、小缺陷和擦纹3种缺陷, 各类缺陷的真实图像与2种算法的生成图像如图14所示, 图中蓝色框内为油污干扰, 绿色框为缺陷.

图14

Fig.14

	Figure Option ViewDownloadNew Window
	图14 各算法在3种油污干扰型缺陷上的生成图像Fig.14 Images of 3 types of oil interference defects generated by different algorithms

由图14可看出, PGMGAN在缺陷的完整性和油污形状还原两方面均较差, 但Solar-MFA在生成完整缺陷的情况下准确还原油污形状, 适用于有外界物质干扰缺陷的生成.

PGMGAN与Solar-MFA对3种数据集上各类缺陷的指标值对比如表9所示, 表中黑体数字表示最优值.由表可知, 对于背景噪声较小的缺陷图像, PGMGAN的生成效果与Solar-MFA相近, 如常见型缺陷中的夹杂.在3种数据集上, PGMGAN对微小型缺陷的生成指标值与Solar-MFA差距最小, 结合图13可以看出, PGMGAN可以生成较好的背景, 导致指标值较高, 但难以生成其中的微小缺陷.

表9

Table 9

表9(Table 9)

表9 各算法在不同类型缺陷上的指标值对比 Table 9 Index value comparison of 2 algorithms for different types of defects 数据集 缺陷类型 PGMGAN Solar-MFA PSNR SSIM PSNR SSIM 常见型 夹杂 氧化皮 麻点 裂纹 斑块 划痕 24.26 22.36 21.84 20.07 21.99 22.78 0.70 0.49 0.54 0.51 0.61 0.59 24.25 23.64 22.75 22.47 23.74 24.02 0.73 0.59 0.62 0.63 0.70 0.68 微小型 点状 钢坑 26.05 26.38 0.74 0.69 26.41 26.92 0.76 0.72 油污干扰型 刮痕 小缺陷 擦纹 24.01 22.47 21.96 0.69 0.61 0.59 25.79 24.81 22.53 0.72 0.70 0.67

表9 各算法在不同类型缺陷上的指标值对比 Table 9 Index value comparison of 2 algorithms for different types of defects