传统的行人重识别(Person Re-identification, ReID)对抗攻击方法存在需要依赖注册集(Gallery)以生成对抗样本或样本生成方式过于单一等局限.为了解决此问题,文中提出具有强攻击性的ReID对抗攻击模型,即多尺度梯度对抗样本生成网络(Multi-scale Gradient Adversarial Examples Generation Network, MSG-AEGN).MSG-AEGN采用多尺度的网络结构,获得不同语义级别的原始样本输入和生成器中间特征.利用注意力调制模块将生成器中间特征转换成多尺度权重,从而对原始样本像素进行调制,最终输出高质量的对抗样本以迷惑ReID模型.在此基础上,提出基于图像特征平均距离和三元组损失的改进型对抗损失函数,约束和引导MSG-AEGN的训练.在Market1501、CUHK03、DukeMTMC-reID这3个行人重识别数据集上的实验表明,MSG-AEGN对基于深度卷积神经网络和基于变形器网络(Transformer)的主流Re-ID方法均具有较好的攻击效果.此外,MSG-AEGN具有所需攻击能量较低且对抗样本与原始图像的结构相似度较高的优点.
随着深度学习的应用,表情识别技术得到快速发展,但如何提取多尺度特征及高效利用关键特征仍是表情识别网络面临的挑战.针对上述问题,文中使用金字塔卷积有效提取多尺度特征,使用空间通道注意力机制加强关键特征的表达,构建基于残差注意力机制和金字塔卷积的表情识别网络,提高识别的准确率.网络使用MTCNN(Multi-task Convolutional Neural Network)进行人脸检测、人脸裁剪及人脸对齐,再将预处理后的图像送入特征提取网络.同时,为了缩小同类表情的差异,扩大不同类表情的距离,结合Softmax Loss和Center Loss,进行网络训练.实验表明,文中网络在Fer2013、CK+数据集上的准确率较高,网络参数量较小,适合表情识别在现实场景中的应用.
受到移动设备计算能力和存储资源受限的局限,设计高效、高精度的人脸检测器是一个开放性的挑战.因此,文中提出融合多尺度特征的轻量级人脸检测算法(Lightweight Face Detection Algorithm with Multi-scale Feature Fusion, LFDMF),摒弃被视为人脸检测核心组件的多级检测结构.首先,利用现有的轻量级主干特征提取网络编码输入图像.然后,利用提出的颈部网络扩张特征图感受野,并将含有不同感受野的多尺度信息融至单级特征图中.最后,利用提出的多任务敏感检测头对该单级特征图进行人脸分类、回归和关键点检测.相比分而治之的人脸检测器,LFDMF精度更高、计算量更少.LFDMF按模型计算量高低可构建3个不同大小的网络,大模型LFDMF-L在Wider Face数据集上性能较优,中等模型LFDMF-M和小模型LFDMF-S以极低的模型参数量和计算量实现可观性能.
针对现有的直接跨数据集的行人重识别方法泛化性不足、跨域能力较差的问题,文中提出逐点特征匹配的跨域行人重识别方法,只需在源域上进行模型训练,在目标域上进行测试,就可达到较好效果.首先,为了解决网络对于跨域的行人图像风格、颜色等鲁棒性不高的问题,在ResNet50基础网络中引入实例归一化层,提取图像特征.然后,利用Transformer的多头自注意力模块与卷积结合,增强特征的表示能力.最后,通过在深层特征中建立一种逐点的特征映射关系,将图像匹配视为逐点寻找局部最优的过程,在未知场景中提升模型的抗视角变化能力,增强模型的泛化性.实验表明,文中方法在提高模型泛化能力上具有一定的优越性.
针对RGB-D显著目标检测问题,提出空间约束下自相互注意力的RGB-D显著目标检测方法.首先,引入空间约束自相互注意力模块,利用多模态特征的互补性,学习具有空间上下文感知的多模态特征表示,同时计算两种模态查询位置与周围区域的成对关系以集成自注意力和相互注意力,进而聚合两个模态的上下文特征.然后,为了获得更互补的信息,进一步将金字塔结构应用在一组空间约束自相互注意力模块中,适应不同空间约束下感受野不同的特征,学习到局部和全局的特征表示.最后,将多模态融合模块嵌入双分支编码-解码网络中,解决RGB-D显著目标检测问题.在4个公开数据集上的实验表明,文中方法在RGB-D显著目标检测任务上具有较强的竞争性.
为了解决纺织生产工艺中瑕疵检测成本较高、精度较低、速度较慢等问题,文中提出结合注意力机制与自适应记忆性融合网络的纺织品瑕疵检测模型.首先,在YOLOv5骨干网络中引入改进的注意力模块,构建特征提取网络,增强模型对纺织品瑕疵特征的提取能力.然后,为了增强浅层定位信息的传递效应和有效缓解特征融合时产生的混叠效应,提出自适应记忆性融合网络,在提高特征尺度不变性的同时,将骨干网络中的特征信息融入特征融合层.最后,引入CDIoU(Control Distance Intersection over Union)损失函数,提高检测精度.在ZJU-Leaper纺织品瑕疵数据集和天池纺织品瑕疵数据集上的实验表明,文中模型具有较高的检测精度和较快的检测速度.
在自然场景中,天气情况、光照强度、背景干扰等问题影响火焰检测的准确性.为了实现复杂场景下实时准确的火焰检测,在目标检测网络YOLOv5的基础上,结合Focal Loss焦点损失函数、CIoU(Complete Intersection over Union)损失函数与多特征融合,提出实时高效的火焰检测方法.为了缓解正负样本不均衡问题,并充分利用困难样本的信息,引入焦点损失函数,同时结合火焰静态特征和动态特征,设计多特征融合方法,达到剔除误报火焰的目的.针对国内外缺乏火焰数据集的问题,构建大规模、高质量的十万量级火焰数据集(