参考DNCNN和VGG网络^[22], 子通道1结构如图1所示, 由8层卷积层和3层池化层组成.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 子通道1的结构示意图Fig.1 Sketch map of sub-channel 1

网络整体结构采用金字塔结构, 可更好在特征提取和减少冗余信息之间取得平衡.卷积层由一组3× 3的卷积核组成, 卷积核可视为二维数字矩阵, 有助于找到烟雾特定的局部图像特征.图像相邻区域的像素倾向一定的相似性, 因此由卷积层输出的相邻区域参数也有一定的相似性, 这说明卷积层输出的信息会有大量的冗余.因此池化层选择最大池化, 激活局部最大响应以学习最显著的特征.激活函数选择整流线性单元(Rectified Linear Unit, ReLu), ReLu具有单侧抑制性, 更像生物学神经元的特征, 使神经网络中的神经元也具备稀疏激活性.ReLu函数定义如下:

y=max(wx+b, 0),

其中, x为激活函数的输入, y为激活函数的输出, w

为共享权重, b为偏差.如果输入小于0, 输出y也为0; 如果输入大于0, 输出y等于输入.

深度神经网络在训练时, 网络中权重参数的变化会引起内部神经元结点数据分布发生变化, 导致网络需要不断对权重参数进行调整以适应输入数据分布的变化, 神经网络的学习速度会下降, 还容易导致网络训练过程中陷入梯度饱和.因此本文选择使用BN层解决这些问题.BN层在非线性激活之前通过缩放和移位步长变换内部输入, 消除内部协方差移位, 可使网络中各层数据的分布相对稳定, 网络学习速度得到提升, 学习过程更稳定, 并且具备一定的正则化效果, 缓解梯度消失.BN函数定义如下:

其中, μ 为小批量均值, δ ²为小批量方差, t为一个稳定的数值.

最后选择性地添加BN层, 该选择源于文献[23], 此研究表明BN使提取的特征受到自由约束.因此为了保护提取特征, 第一层不添加BN层.

在上述结构的基础上, 在最后一个池化层后面添加3个全连接层.由于全连接层中参数占可学习参数的很大一部分, 容易导致过拟合现象, 因此本文中使用随机失活方法, 让全连接层在前向传播中神经元的激活值以概率p的几率中止工作, 这样可使网络模型不会过于依赖某些局部特征, 具备更强的泛化性.最后一层全连接层的激活函数选择Linear, 即

y=b+ ∑i=1x_iw_i,

Linear函数输出图像对应的烟雾浓度数值, 范围在0和1之间.

子通道1的详细参数设置如表1所示.

表1

Table1

表1(Table1)

表1 子通道1的参数设置 Table1 Parameters setting of sub-channel 1 网络层数 类型 网络参数 Conv1 卷积层 卷积核为3× 3, 通道数为32, 步长为1× 1, 激活函数为ReLu Conv2, Conv3 卷积层, BN层 卷积核为3× 3, 通道数为64, 步长为1× 1, 激活函数为ReLu Pool1 池化层 池化区域为3× 3, 步长为2× 2, 最大池化 Conv4, Conv5 卷积层, BN层 卷积核为3× 3, 通道数为128, 步长为1× 1, 激活函数为ReLu Pool2 池化层 池化区域为3× 3, 步长为2× 2, 最大池化 Conv6 卷积层, BN层 卷积核为3× 3, 通道数为256, 步长为1× 1, 激活函数为ReLu Conv7, Conv8 卷积层, BN层 卷积核为3× 3, 通道数为384, 步长为1× 1, 激活函数为ReLu Pool3 池化层 池化区域为3× 3, 步长为2× 2, 最大池化 Fc1, Fc2 全连接层 神经元个数为2048, 失活率为0.5, 激活函数为ReLu output 输出层 神经元个数为1, 损失函数为Linear

表1 子通道1的参数设置 Table1 Parameters setting of sub-channel 1

在神经网络的训练过程中, 为了重点关注需要的特征信息, 提高检测效率, 引入自注意力机制, 自动学习网络模型中提取特征的重要程度, 提升对检测有利的特征, 抑制对检测无用的特征^[7].Woo等^[24]提出自注意力机制(Convolutional Block Atten-tion Module, CBAM).CBAM是一种基于卷积模块的注意力机制模块, 合理结合空间注意力机制和通道注意力机制, 在增加的计算开销可忽略不记的同时提高模型的准确率.本文将其扩展到烟雾浓度的回归问题上, 提高烟雾浓度测量的准确率.CBAM结构如下.

1)通道注意力模块.神经网络中的通道信息一般表示图像不同的特征信息, 因此对通道进行选择就是在关注什么样的特征是有意义的.为了对通道进行选择, 分别计算特征图的全局平均池化和全局最大池化信息.通道注意力模块

M_C(F)=σ (MLP(AvgPool(F))+MLP(MaxPool(F)))=σ (W₁(W₀( FavgC))+(W₁(W₀( FmaxC)))),

其中, F∈ R^{C× H× W}为输入的特征图, W₀∈ R^{C/r× C}, W₁∈ R^{C× C/r}, σ 为sigmoid函数.

对输入的特征图进行空间的全局平均池化和全局最大池化, 得到2个1× 1× C的通道.分别将其送入两层的共享神经网络, 第1层有C/r个神经元, 采用ReLu激活函数, 第2层有C个神经元.将最后得到的特征参数相加, 通过σ 得到最后的M_C.

2)空间注意力模块

与通道注意力类似, 对输入的特征图进行空间的全局平均池化和全局最大池化, 得到2个H× W× 1的通道, 拼接之后通过1个卷积核为7× 7的卷积层, 激活函数为sigmoid, 得到最后的M_S.

通道注意力模块和空间注意力模块可以以并行或顺序的方式组合.通过实验发现顺序组合并且将通道注意力放在前面可取得更优效果.最终输出为

F″=M_S(F')ⓧF',

其中F'=M_C(F)ⓧF.

在子通道1和DCNN的基础上, 子通道2的结构如图2所示.子通道2连接12层卷积层、3层最大池化层、10层BN层、1层全局平局池化层和1层全连接层, 用于提取烟雾图像特征.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 子通道2的结构示意图Fig.2 Architecture of sub-channel 2

为了更好地提取特征, 类似于子通道1, 前两层卷积层并未添加BN层.为了不使网路层数更深导致梯度消失, 并且提取更丰富的图像特征, 第1层卷积层的卷积核大小设为7, 效果优于使用3层3× 3卷积核的神经网络.在子通道2的第1层卷积层提取得到的特征, 跳连到第5层, 通过级联操作连接, 即

FB6=r(w[ FB1, FB5]+b) ,

其中, [ FB1, FB5]表示连接F¹和F⁵特征图, r为Relu激活函数.由于合并之后的特征图含有初始提取的简单特征和经过多重卷积的复杂特征, 因此通过1个1× 1的卷积层进行特征处理和信息融合, 通过最大池化去除冗余信息.跳连有利于梯度的反向传播, 解决梯度消失问题.

不同于子通道1, 子通道2使用全局平均池化层(Global Average Pooling, GAP)代替全连接层.在文献[9]中采用GAP替代全连接层, 实现直接降维, 大幅减少模型中的参数(CNN中全连接层的参数占总参数的很大部分).通过网格寻优的方式确定注意力机制添加的最佳位置, 在Conv6、Conv8、Conv10处添加CBAM层.

为了防止神经网络过拟合, 选择在神经网络中添加l₂正则化项.l₂正则化项是在原来损失函数的基础上加上权重参数的平方:

L'=L+λ ∑wj2,

其中, λ 为可选择的正则化参数, L为未包含正则化项的损失函数误差.

子通道2的详细参数设置如表2所示.

表2

Table2

表2(Table2)

表2 子通道2的参数设置 Table2 Parameters setting of sub-channel 2 网络层数 类型 网络参数 Conv1 卷积层 卷积核为7× 7, 通道数为32, 步长为1× 1, 激活函数为ReLu Conv2 卷积层 卷积核为3× 3, 通道数为64, 步长为1× 1, 激活函数为ReLu Conv3 卷积层, BN层 卷积核为3× 3, 通道数为64, 步长为1× 1, 激活函数为ReLu Conv4, Conv5 卷积层, BN层 卷积核为3× 3, 通道数为128, 步长为1× 1; 激活函数为ReLu Conv6 卷积层, BN层 卷积核为1× 1, 通道数为128, 步长为1× 1, 激活函数为ReLu Pool1 池化层 池化区域为3× 3, 步长为2× 2, 最大池化 Conv7, Conv8 卷积层, BN层 卷积核为3× 3, 通道数为256, 步长为1× 1, 激活函数为ReLu Pool2 池化层 池化区域为3× 3, 步长为2× 2, 最大池化 Conv9, Conv10 卷积层, BN层 卷积核为3× 3, 通道数为512, 步长为1× 1, 激活函数为ReLu Pool3 池化层 池化区域为3× 3, 步长为2× 2, 最大池化 Conv11 卷积层, BN层 卷积核为1× 1, 通道数为512, 步长为1× 1, 激活函数为ReLu Conv12 卷积层, BN层 卷积核为1× 1, 通道数为1, 步长为1× 1, 激活函数为ReLu GAP 全局平均池化层 GAP函数 output 输出层 神经元个数为1, 损失函数为Linear

表2 子通道2的参数设置 Table2 Parameters setting of sub-channel 2

通过训练可发现, 神经网络的两个通道在单独训练中都取得较好结果:层数较少、结构较简单的子通道1更适合提取烟雾图像的浅层特征和全局信息; 层数较深、结构较复杂的子通道2更适合提取烟雾的深层特征和局部纹理; 联合二者一起训练也会取得更优效果.

联合操作如下.首先去除子通道1的3层全连接层, 将剩余的模型命名为子通道1_1, 用于提取特征, 并通过网格寻优的方式确定注意力机制添加的最佳位置, 具体在Conv3、Conv5、Conv7处添加CBAM层.类似地, 去掉子通道2的全局平均池化层, 命名为子通道2_1.再合并, 通过级联运算2个通道提取的特征:F¹²=r(w[ FA9, FB11]+b) .这样构建用于烟雾浓度测量的DCCNN, 考虑到局部信息特征和全局信息特征有所区别, 在融合两个通道的参数后, 添加1层卷积核大小为1× 1的卷积层, 从而实现多个特征图的融合、跨通道的交互和信息整合.由于全局平均池化层实现直接降维, 大幅减少模型参数, 因此选用全局平均池化层将提取的特征进行统一处理, 最后通过一个Linear函数输出烟雾浓度.DCCNN结构如图3所示.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 DCCNN结构示意图Fig.3 Architecture of DCCNN

烟雾图像直观可视的特点为烟雾浓度测量、烟雾的相关纹理特征获得等研究提供丰富的信息, 因此使用烟雾图像进行烟雾浓度测量是烟雾浓度测量领域发展的方向.根据视频图像灰度测量烟雾浓度的方法可参考烟雾化方程^{[14, 16]}:

I=J× 10-mD10+A(1- 10-mD10) ,

其中, I为当前图像的灰度, J为背景图像的灰度, m为减光系数, A为大气光, D为摄像头与背景图像之间的距离.为了计算方便, 这里定义烟雾的穿透率作为衡量烟雾浓度大小的数值:

t= 10-mD10.

则烟雾化方程可使用穿透率表示为

I=J· t+A(1-t),

当前图像的灰度I、背景图像的灰度J均可从视频图像中得出.一个像素点的烟雾灰度和整幅图像烟雾区域的平均灰度都可根据上述公式得到对应的烟雾透过率.

大气光A最直接、准确的获得方式就是通过视频图像中天空部分的像素灰度平均值进行估计.如果视频中拍摄到天空, 可直接选择这种方式计算得到A值.视频中没有天空部分时, 可通过如下方法进行计算^[17].在一幅图像的固定范围内背景灰度发生剧烈变化, 而烟雾图像相邻区域间的烟雾浓度 m 近似相同, 该范围内的烟雾浓度可认为基本没有变化.据此可建立方程:

Ib=Jb·tb+A(1-tb), Ik=Jk·tk+A(1-tk),(1)

其中, I_b为亮处当前图像的灰度, t_b为亮处烟雾的穿透率, J_b为亮处背景的灰度, I_k为暗处当前图像的灰度, t_k为暗处烟雾的穿透率, J_k 为暗处背景的灰度.由于亮处和暗处的烟雾穿透率近似相等, 即t_k=t_b, 而式(1)中I和J都是已知的, 只有A和t未知, 因此由2个方程可求出A和t.

烟雾浓度γ =1-t, γ 的取值范围为0~1, 0表示此区域无烟雾, 1表示此区域烟雾浓度达到最大值, 本文将γ 在0~0.2的区域定义为无烟雾区域, 0.2~0.5的区域定义为低浓度烟雾区域, 0.5~0.8的区域定义为高浓度烟雾区域, 0.8~1的区域定义为特高浓度烟雾区域, 出现情况较少.

因为无公开统一的烟雾图像浓度数据集, 因此采用网上公开发布的烟雾视频^{[25, 26]}, 计算烟雾浓度.如图4所示, 对图中部分区域进行标注.根据公开的20段视频中, 计算得到约11万幅40× 40的烟雾浓度图像, 其中70%的图像作为训练集, 30%的图像作为测试集.为了避免过拟合, 还使用数据增强技术, 如水平翻转、垂直翻转和旋转等, 以产生更多的烟雾浓度图像.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 烟雾视频图像示例Fig.4 Examples of smoke video image

为了定量分析各网络, 选择平均绝对误差(Mean Absolute Error, MAE)作为评价指标:

MAE= 1n∑i=1nxi-yi,

其中, x_i为预测值, y_i为真实值.MAE是用于回归模型的一种损失函数, 表示预测值与真实值之差的绝对值之和的平均值.衡量方式不考虑反向, 主要衡量预测值与真实值之前误差的平均模长.相比均方误差, MAE在面对异常点时具有更好的鲁棒性.

为了更好地衡量图像烟雾浓度测量的准确性, 将检测结果二值化, 作为衡量烟雾浓度测量准确率的指标.计算图像预测烟雾浓度与实际烟雾浓度之间的差值以进行二值化, 将差值的阈值K分别定为0.1, 0.15, 0.2, 低于阈值的差值标为检测正确, 高于阈值的差值标为检测错误.准确率定义为低于阈值的烟雾图像占总测量图像的百分比.本文的主要目标是实现低MAE的同时, 在二值化之后的结果中获得较高的检测准确率, 其中阈值为0.1时的测量准确率最重要, 接下来默认烟雾浓度测量准确率即指阈值为0.1时的测量准确率.

本次训练采用自己制作的烟雾图像浓度数据集Set1和Set2, Set1数据集包含78 679幅各种浓度的烟雾图像, Set2数据集包含32 215幅各种浓度的烟雾图像, Set1、Set2数据集上图像都来源于公开烟雾视频, 每个数据集都包含浓烟、淡烟和类似烟雾的非烟雾图像, 与烟雾纹理、颜色类似的非烟雾图像是影响烟雾浓度测量准确率的重要因素.在较大的Set1数据集上进行训练, 在较小的Set2数据集上进行验证.

实验中, 首先分别训练2个子通道, 再合并训练.以DCCNN为例, 采用RMSprop(Root Mean Square Prop)优化器训练深度神经网络模型, 初始学习率设置为0.01, 学习率衰减系数设置为0.001, 采用Kaiming初始化方法^[21]对网络参数权重进行初始化, 批大小设置为256, 数据集共迭代200次.

在DCCNN的训练和测试过程中, 随着迭代次数的增加, MAE的变化情况如图5所示.由图可知, 在迭代约100次后, MAE值趋于稳定.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 DCCNN训练和验证过程的MAE变化曲线Fig.5 MAE curves of DCCNN training and verification

为了验证DCCNN的优越性, 选择如下对比网络:AlexNet、VGG16、ResNet、DNCNN、DCNN, 得到的实验结果如表3所示.由表可知, DCCNN获得最优性能.MAE指标体现网络对烟雾浓度测量整体的精准程度, 相比专门用于烟雾检测的DCNN, DCCNN的MAE值降低约0.003, 准确率提高约2%.从不同阈值下准确率的对比中也可看出, DCCNN检测稳定性更优.相比VGG16, DCCNN的MAE值降低约0.011, 准确率提高约4%, 整体性能有所提升.

表3

Table 3

表3(Table 3)

表3 各网络的实验结果对比 Table 3 Comparison of smoke density measurement results of different methods 网络 MAE 准确率/% K=0.10 K=0.15 K=0.20 AlexNet 0.0494 89.17 95.50 97.73 VGG16 0.0488 89.98 96.43 98.96 ResNet 0.0481 90.12 96.90 97.23 DNCNN 0.0473 90.98 97.19 98.93 DCNN 0.0407 92.04 97.16 98.94 DCCNN 0.0377 93.95 98.11 99.29

表3 各网络的实验结果对比 Table 3 Comparison of smoke density measurement results of different methods

为了验证双通道深度神经网络的作用, 将DCCNN与其组成部分子通道1和子通道2进行对比, 结果如表4所示.由表可知, 子通道2效果明显优于子通道1, 这可能是跳连机制防止梯度消失和注意力机制自动学习特征重要程度的作用.DCCNN最优, 说明双通道网络可相互融合补充, 达到更优性能.

表4

Table 4

表4(Table 4)

表4 DCCNN与子通道的实验结果对比 Table 4 Comparison of smoke density measurement results between DCCNN and sub-channels 网络 MAE 准确率/% K=0.10 K=0.15 K=0.20 子通道1 0.0401 91.33 97.45 99.11 子通道2 0.0389 92.69 97.58 99.10 DCCNN 0.0377 93.95 98.11 99.29

表4 DCCNN与子通道的实验结果对比 Table 4 Comparison of smoke density measurement results between DCCNN and sub-channels

对DCCNN进行消融实验.去除DCCNN中的全部BN层, 命名为DCCNN_1; 去除DCCNN中的跳连结构, 命名为DCCNN_2; 去除DCCNN中的注意力机制, 命名为DCCNN_3; 去除DCCNN中的1× 1卷积部分, 命名为DCCNN_4.采用与DCCNN相同的方法训练DCCNN-1、DCCNN-2、DCCNN-3、DCCNN-4, 所得消融实验结果如表5所示.由表可知, DCCNN_1效果很差, 说明没有BN层的作用, 神经网络会产生严重的过拟合.之外DCCNN_3性能最差, 说明BN层和注意力机制对网络性能影响最大, 因此最重要.

表5

Table 5

表5(Table 5)

表5 消融实验结果对比 Table 5 Comparison of ablation experiment results 网络 MAE 准确率/% K=0.10 K=0.15 K=0.20 DCCNN_1 0.1805 28.79 43.54 57.91 DCCNN_2 0.0468 92.58 97.50 98.69 DCCNN_3 0.0475 92.03 97.16 98.79 DCCNN_4 0.0390 93.16 97.90 99.15 DCCNN 0.0377 93.95 98.11 99.29

表5 消融实验结果对比 Table 5 Comparison of ablation experiment results

对根据烟雾化方程推出的物理模型与各网络进行对比, 结果为各网络对训练集的检测准确率, 如表6所示.由于在训练时考虑到过拟合的情况, 因此DCCNN网络计算得到的烟雾浓度与物理模型计算的烟雾浓度稍有差别, 但控制在合理范围内.

表6

Table 6

表6(Table 6)

表6 各网络与物理模型的实验结果对比 Table 6 Result comparison of different networks and physical models 网络 K=0.10 K=0.15 K=0.20 AlexNet 98.76 99.71 99.91 VGG16 99.00 99.91 99.98 ResNet 98.90 99.95 99.88 DNCNN 99.59 99.83 99.93 DCNN 97.28 99.24 99.79 DCCNN 99.76 99.93 99.98

表6 各网络与物理模型的实验结果对比 Table 6 Result comparison of different networks and physical models

考虑到测量的实时性, 对比各网络烟雾浓度测量速度, AlexNet为55.56帧/ 秒, VGG16为27.78帧/秒, ResNet为25.32帧/秒, DNCNN为33.33帧/秒, DCNN为23.80帧/秒, DCCNN为16.75帧/秒.为了得到较高的测量精准度, DCCNN使用双通道神经网络并添加CBAM注意力机制, 因此测量速度相对较慢, 但平均检测速率仍可达16.75帧/秒, 基本可满足实时检测要求, 若考虑到硬件性能的发展, DCCNN完全具备实时可用性.

将DCCNN用于公开视频的烟雾浓度测量, 测量结果如图6所示, 对图中无烟雾区域、低浓度烟雾区域和高浓度烟雾区域都进行结果展示, 无烟雾区域包括人和车辆等容易误判的物体.实验表明DCCNN在多个测试视频中都取得较优效果, 对于不同浓度的烟雾可进行较好地测量, 对于车辆、人等容易误判的物体也有较好的鲁棒性.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 DCCNN烟雾浓度检测结果Fig.6 Smoke density detection results of DCCNN