引用本文
许佳诺, 邵伟, 张道强. 基于局部属性生成对抗网络的目标检测对抗攻击算法. 模式识别与人工智能, 2025,38(8): 727-739
XU Jianuo, SHAO Wei, ZHANG Daoqiang. Adversarial Attack Algorithm for Object Detection Based on Local-Attribute Generative Adversarial Networks. PATTERN RECOGNITION AND ARTIFICIAL INTELLIGENCE, 2025,38(8): 727-739.  
Doi: 10.16451/j.cnki.issn1003-6059.202508005
Permissions
Copyright©2025, 《模式识别与人工智能》编辑部
《模式识别与人工智能》编辑部
基于局部属性生成对抗网络的目标检测对抗攻击算法
许佳诺1, 邵伟1, 张道强1
1.南京航空航天大学 计算机科学与技术学院 南京 211106
通讯作者:

张道强,博士,教授,主要研究方向为机器学习、模式识别、数据挖掘、医学图像分析.E-mail:dqzhang@nuaa.edu.cn.

作者简介:

许佳诺,硕士研究生,主要研究方向为机器学习、医学图像分析、对抗攻击.E-mail:jianuoxu@nuaa.edu.cn.

邵 伟,博士,副教授,主要研究方向为机器学习、计算机视觉、医学图像分析.E-mail:shaowei20022005@nuaa.edu.cn.

收稿日期: 2025-07-16 接受日期: 2025-08-23
摘要

现有针对目标检测模型的对抗攻击算法大多无法在取得高攻击成功率的同时保证对抗样本的隐蔽性,削弱其在医学领域应用中的有效性.为此,文中提出基于局部属性生成对抗网络的目标检测对抗攻击算法,旨在优化对抗样本质量的同时提升攻击效果.首先,通过图像块划分构建图像的图结构,引入基于图结构的局部属性差异损失,增强对抗样本的视觉隐蔽性.然后,加入目标误定位攻击损失,引导检测模型产生错误的目标定位,增强攻击的有效性.最后,结合上述两种损失,通过反向传播更新生成对抗网络.在BCCD、LISC两个公开的血液细胞数据集上的实验表明,文中算法针对Faster-RCNN生成的对抗样本在攻击成功率和隐蔽性方面均较优,拥有良好的攻击迁移性.

关键词: 对抗攻击; 目标检测; 生成对抗网络; 图结构
中图分类号:TP18; TP391.41
Adversarial Attack Algorithm for Object Detection Based on Local-Attribute Generative Adversarial Networks
XU Jianuo1, SHAO Wei1, ZHANG Daoqiang1
1. College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics, Nanjing 211106
Corresponding author:
ZHANG Daoqiang, Ph.D., professor. His research inte-rests include machine learning, pattern recognition, data mining, and medical image analysis.

About Author:
XU Jianuo, Master student. Her research interests include machine learning, medical image analysis, and adversarial attacks.
SHAO Wei, Ph.D., associate professor. His research interests include machine lear-ning, computer vision, and medical image analysis.

Abstract

The practical effectiveness of existing adversarial attack methods for object detection in medicine is limited by the challenge of achieving high attack success rates and strong stealthiness of adversarial examples. To address this issue, adversarial attack algorithm for object detection based on local-attribute generative adversarial networks is proposed in this paper. It is intended to optimize the quality of adversarial examples and improve attack performance. First, an image is partitioned into patches to construct its graph structure, and a local attribute discrepancy loss derived from the graph is proposed to enhance the visual stealthiness of adversarial examples. Second, a target mislocalization loss is introduced to mislead the detector into producing inaccurate object localizations, thereby amplifying the adversarial impact.Finally, these two loss functions are integrated, and the generative adversarial network is updated through backpropagation. Experiments on two publicly available blood cell datasets, BCCD and LISC, demonstrate that the adversarial examples generated by the proposed method against the Faster R-CNN model outperform those by the existing algorithms in terms of attack success rate and stealthiness. Moreover, the generated adversarial examples exhibit strong attack transferability.

Key words: Adversarial Attack; Object Detection; Generative Adversarial Networks; Graph Structure

近年来, 深度神经网络(Deep Neural Networks, DNNs)在计算机视觉领域取得突破性进展[1], 大幅提升图像分类[2]、目标检测[3]和语义分割[4]等任务的性能.在医学影像分析中, 目标检测技术已成为主流方法之一, 广泛应用于肿瘤检测[5]和细胞分类检测[6]等任务, 显著提高自动化医学分析的效率和准确性.

然而, 研究表明, 目标检测模型容易受到对抗样本的影响, 微小的人为扰动即可导致检测模型产生错误预测[7, 8], 如错误分类、目标定位偏移, 甚至无法检测病变区域.基于深度学习模型的医学影像分析技术虽然在诊断效率与准确性上优势显著, 但同时也对输入数据的微小扰动表现出高度敏感性[9].这些潜在的脆弱性可能会导致误诊或欺诈型医疗保险事件的发生, 给患者带来二次伤害, 从而损害医疗保健部门的声誉.

对抗样本的研究可有效揭示潜在的脆弱性.构造具有隐蔽性的对抗扰动, 挖掘模型在目标检测的分类与定位过程中的不稳定性, 能帮助研究者全面评估模型在真实临床环境下的安全风险.在医疗安全的实践中, 可进一步把对抗样本作为模型的测试样本, 模拟极端或异常的输入情况, 指导模型在训练阶段引入对抗样本进行训练, 从而提高模型的适应能力[10].这不仅拓展医疗领域的安全边界, 也在实践层面为构建可靠、可解释的临床辅助诊断模型提供保障.

对抗样本的研究最早出现在图像分类任务中, Goodfellow等[11]提出Fast Gradient Sign Method, 利用梯度信息快速生成对抗扰动, 揭示神经网络对微小扰动的敏感性.随后, 出现Basic Iterative Method[12]、PGD(Projected Gradient Descent)[13]和Carlini & Wag- ner Attack[14]等强大且稳定的对抗攻击算法, 在多种防御措施下仍具有突破性的攻击效果.

对抗样本在图像分类任务上取得显著进展.随着研究的深入, 发现这种攻击形式不仅限于简单的分类任务, 还可扩展到更复杂的目标检测任务.目标检测任务需要同时解决对象的分类和位置识别问题, 使攻击的构建和防御更复杂.现有针对目标检测模型的对抗攻击算法主要包括基于梯度的优化算法和基于生成对抗网络(Generative Adversarial Net- works, GANs)[15]的算法.基于梯度的优化算法利用检测模型的损失梯度生成扰动, 使生成的扰动贴近检测模型的决策边界, 这类算法依赖对每幅图像进行更新迭代, 推理速度较慢, 如DAG(Dense Ad- versary Generation)[16]、TOG[17]等.基于GAN的算法通过生成器学习对抗样本特征以提升攻击效果, GAN通过训练学习一个图像到图像的映射函数, 训练完成后只需一次前向传播即可生成对抗样本, 如UEA(Unified and Efficient Adversary)[18].上述方法在某一类目标检测模型上取得较优的攻击效果, 但其生成的对抗样本存在肉眼可察觉的扰动.因此, 如何在提升攻击成功率的同时提高对抗样本的隐蔽性, 仍是目标检测对抗攻击研究中亟待解决的问题之一.

为了解决现有目标检测对抗攻击算法在攻击成功率和隐蔽性上的不足, 本文提出基于局部属性生成对抗网络的目标检测对抗攻击算法(Adversarial Attack Algorithm for Object Detection Based on Local-Attribute Generative Adversarial Networks, LAGAA).引入基于图结构的局部属性损失, 将图像划分为多个图像块, 构建图结构, 计算原始样本与对抗样本的图结构分布差异, 使用KL散度约束对抗样本的局部结构一致性, 提升对抗样本的隐蔽性.引入误定位攻击损失, 基于原始目标的边界框标注信息, 生成错误的目标位置标签.使用Smooth L1损失函数约束对抗样本的预测边界框, 使检测模型预测产生偏差, 提升攻击的成功率.在BCCD、LISC这两个公开的血液细胞目标检测数据集上的实验表明, LAGAA在保证较高攻击成功率的同时能显著提升对抗样本的隐蔽性和迁移性, 验证其在医学目标检测任务中的有效性和适用性.

1 相关工作
1.1 目标检测

目标检测是计算机视觉中的核心任务之一, 在图像或视频中识别感兴趣的目标, 为每个目标生成类别标签和边界框.不同于图像分类任务, 目标检测不仅需要判断图像中是否存在特定类别的物体, 还需要精确定位其位置, 其任务本质是分类和定位的结合.随着卷积神经网络(Convolutional Neural Net-work, CNN)的发展, 基于CNN的目标检测网络成为主流, 大致可分为两类:基于区域提议的双阶段目标检测网络和基于回归的单阶段目标检测网络.

基于区域提议的双阶段目标检测网络以 R-CNN系列(Fast R-CNN(Fast Region-Based Convolu-tional Network Method)[19]、Faster R-CNN[20]、Mask R-CNN[21])为代表, 先通过区域提议网络生成候选区域, 再进行目标分类和边界框回归.该类网络检测精度较高, 但计算开销较大, 检测速度较慢.

基于回归的单阶段目标检测网络以YOLO(You Only Look Once)[22]和SSD(Single Shot Multibox Detector)[23]为代表, 直接预测目标类别和边界框位置, 无需额外的区域提议过程.该类网络简化检测流程, 推理速度较快.然而, 由于缺乏精细的区域筛选机制, 检测精度相对较低.

1.2 目标检测的对抗攻击方法

Xie等[16]提出DAG, 把图像分类任务的对抗攻击迁移到目标检测上, 通过迭代优化分类损失, 为每个候选区域随机设置一个错误的分类标签, 引导检测模型对所有候选框的分类置信度下降.Wei等[18]提出UEA, 基于GAN, 利用端到端的扰动生成策略, 结合多尺度注意力特征损失, 提高对抗样本的生成效率和跨模型迁移能力.Chow等[17]提出TOG, 针对检测器的多任务损失进行攻击, 误导检测器的输出结果, 提高攻击的灵活性和适应性.Li等[24]提出LGP, 通过可控的扰动对目标检测器进行攻击, 重点干扰高质量候选区域的特征.Zhang等[25]提出NAA(Neuron Attribution-Based Attack), 引入神经元属性, 度量模型神经元重要程度, 根据神经元的属性结果对神经元进行加权, 发起特征级攻击.

上述方法在攻击效果上取得显著进展, 但在对抗样本的隐蔽性上仍存在明显不足.现有方法大多依赖全局扰动降低检测器的置信度或误导类别判别, 然而, 这种方式往往会在图像上引入明显的人工噪声, 对抗样本容易被肉眼察觉, 降低其在实际应用中的隐蔽性.一些研究者尝试优化扰动区域, 仅对目标区域施加攻击, 但这类方法在干扰目标框定位方面存在局限, 攻击后的检测结果仍可能暴露目标的大致位置信息.Tyukin等[26]在高维空间中构造扰动函数, 实现对抗样本的隐蔽性.此外, 部分方法的对抗样本在不同检测器上的迁移性较弱, 攻击的泛化能力受限.因此, 提高对抗样本的隐蔽性, 使其在肉眼观察下更接近原始图像, 同时提升跨模型的攻击迁移性, 仍是目标检测对抗攻击领域亟待解决的问题之一.

1.3 图结构

在计算机视觉领域, 图是一种通用数据结构, 由边和节点构成, 网格和序列可被视为图的特例.从基础的图形式定义到图神经网络, 图结构在计算机视觉领域发挥越来越广泛的作用[27, 28, 29].Han等[27]提出ViG(Vision Graph Neural Networks), 将图像划分为图像块, 每个图像块被视为图中的一个节点, 利用图卷积操作聚合和更新图信息, 在图像分类和物体检测任务中性能优越.Parikh等[30]提出ClusterViG, 进一步优化图的构建过程, 通过DEGC(Dynamic Efficient Graph Convolution)实现更快的推理速度和更高的分类准确性.这些研究表明, 基于图像块的图结构能更好地捕捉图像中的复杂、不规则的物体结构和纹理细节, 为计算机视觉任务提供一种灵活高效的方法.

把大小为H× W× 3的图像分割为N个图像块, 每个图像块视为图中的一个节点, 所有图像块可表示为节点集合V={v1, v2, …, vN}, 首先为每个节点vi找到K个最邻近节点N(vi), 为每个邻近节点vj∈ N(vi)添加一条从vi到vj的边eij, 所有的边表示为一个边集合

E={(vi, vj)|vi∈ V, vj∈ N(vi), i≠ j},

由此构建一个图G=(V, E).这种图结构不仅考虑图像块的空间位置, 还通过内容相关性连接节点, 较好地捕捉图像中复杂和不规则的物体结构.

2 基于局部属性生成对抗网络的目标检测对抗攻击算法
2.1 总体架构

现有针对目标检测对抗攻击算法生成的对抗样本虽然能降低检测模型的准确率, 但容易被肉眼识别, 隐蔽性较差, 影响在真实场景中的适用性.为了解决上述问题, 本文从对抗样本的生成质量和攻击效果上进行改进, 提出基于局部属性生成对抗网络的目标检测对抗攻击算法(LAGAA), 具体训练框架如图1所示.

图1 LAGAA训练框架图Fig.1 Training framework of LAGAA

LAGAA的核心思想是在GAN训练对抗样本的过程中引入基于图结构的局部属性差异损失, 构建基于图的局部属性约束, 优化对抗扰动的空间分布, 提高对抗样本的隐蔽性.还加入针对目标检测任务的攻击损失函数, 通过伪造目标框标签, 使检测器在攻击样本上产生错误检测结果, 从而提高攻击成功率.

首先, 对原始图像进行图像块划分, 并基于相似性度量构建图结构, 提取图像局部属性信息, 计算图结构的局部属性差异损失(Lgraph).然后, 根据原始样本的目标边界框标注信息生成目标错误边界框位置标签, 计算对抗样本的预测边界框标签和目标错误边界框位置标签的误定位攻击损失(Lmisloc).最后, 联合两部分损失, 计算总损失函数, 指导更新生成对抗网络生成对抗样本.总损失函数如下:

Ltotal=LGAN(G, D)+α LL2+β Lcls+γ Lfea+μ Lgraph+ν Lmisloc.

其中:LGAN(G, D)表示生成对抗网络的损失函数, G表示生成器, D表示判别器; LL2表示引入L2损失函数, 衡量生成的对抗样本和原始样本之间的差异; Lcls表示攻击目标检测器检测类别的损失函数; Lfea表示多尺度注意力特征损失; α 、 β 、γ 、 μ 、ν 表示每种损失函数的权重因子.

2.2 基于图结构的局部属性差异损失

图作为一种通用的数据结构, 在计算机视觉领域是一种灵活处理图像的方式.将图像分割为图像块并视为图中的节点, 根据内容相关性构建节点之间的边, 图像的图结构以一种灵活高效的方式捕捉物体的复杂形状和语义信息.相比传统的网格或序列表示, 图结构不仅能更好地适应不规则形状的物体, 还能通过图神经网络进行有效的信息聚合.这种表示方法在图像分类、目标检测和语义分割等任务中优势显著[31, 32, 33, 34].

因此, LAGAA以构建图像图结构的方式, 捕捉图像的局部结构信息, 将图像划分为k× k个图像块pi, 基于这些图像块构建图结构, 图结构中的每个顶点vi表示一个图像块pi, 边的权重由图像块之间的结构相似性度量, 然后筛选保留每个顶点最相似的m个邻近顶点及边, 简化图结构, 保留关键的局部结构信息, 避免过于复杂的连接关系.图像的图结构表示如下:

G=(V, E),

其中

V={vi|i∈ [1, k2]},

$\begin{array}{l} E=\left\{\left(v_{i}, v_{j}\right) \mid \operatorname{SSIM}\left(v_{i}, v_{j}\right)> 0, v_{i} \in V, v_{j} \in V, i \neq j\right\}, \end{array}$

vi表示图像块pi,

SSIM(vi, vj)=SSIM(pi, pj), (1)

表示使用结构相似性(Structural Similarity, SSIM), 计算两个图像块之间的相似性, 作为两个顶点之间边的权重值.

原始样本进行图像块划分并构建图结构G, 对抗样本进行相同的图像块划分, 再将划分后的图像块代入原始样本的图结构G中, 更新图结构中的边权重信息, 得到新的图结构 G︿.

本文进一步定义原始样本和对抗样本的邻接边权重分布.对于原始样本的每个顶点vi, 其邻接顶点集合为N(vi), 归一化顶点vi邻接边的权重, 得到顶点vi的边权重分布:

$P_{i}(j)=\frac{w_{i j}}{\sum_{j \in N\left(v_{i}\right)} w_{i j}}, \forall v_{j} \in N\left(v_{i}\right)$, (2)

其中, wij=SSIM(vi, vj)表示顶点vi与其邻接顶点vj之间的边权重, $\sum_{j \in N\left(v_{i}\right)} w_{i j}$表示所有邻接顶点的边权重归一化因子, 使得Pi(j)形成一个概率分布,

$\sum_{j \in N\left(v_{i}\right)} P_{i}(j)=1.$

类似地, 对于对抗样本的每个顶点vi, 其邻接顶点集合为N(vi), 归一化顶点vi邻接边的权重, 得到顶点vi的边权重分布:

$Q_{i}(j)=\frac{\hat{w}_{i j}}{\sum_{j \in N\left(\hat{v}_{i}\right)} \hat{w}_{i j}}, \forall v_{j} \in N\left(v_{i}\right)$, (3)

其中, ŵij=SSIM(vi, vj)表示顶点vi与其邻接顶点vj之间的边权重; $\sum_{j \in N\left(\hat{v}_{i}\right)} \hat{w}_{i j}$表示所有邻接顶点的边权重归一化因子, 使得 Qi(j)形成一个概率分布,

$\sum_{j \in N\left(\hat{v}_{i}\right)} Q_{i}(j)=1.$

为了量化原始样本和对抗样本的图结构差异, LAGAA使用KL散度有效衡量原始样本和对抗样本在局部结构上的变化.KL散度也称为相对熵, 常用于衡量两个概率分布之间的相似性或差异性.对于每个顶点vi, 计算其在原始样本和对抗样本中的权重分布差异:

$D_{K L}\left(P_{i} \| Q_{i}\right)=\sum_{j \in N\left(v_{i}\right)} P_{i}(j) \ln \left(\frac{P_{i}(j)}{Q_{i}(j)}\right)$. (4)

再对所有顶点的权重分布差异取平均值, 得到基于图结构的局部属性差异损失:

$L_{\text {graph }}=\frac{1}{|V|} \sum_{i \in V} D_{K L}\left(P_{i} \| Q_{i}\right)$. (5)

2.3 误定位攻击损失

目标检测模型的定位精度是其性能的关键指标之一.目前主流的目标检测攻击算法大多聚焦于检测框的类别攻击, 通过引入误定位攻击损失, 引导模型产生错误的边界框预测, 降低定位精度.

首先, 对原始样本目标边界框的真实标签bgt进行随机增大三倍或缩小至1/3, 得到错误的边界框标签bf, 将对抗样本输入目标检测网络, 得到预测的候选框bpred, 使用Smooth L1损失函数计算bpred和bf之间偏差, 即误定位攻击损失:

$L_{\text {misloc }}=\frac{1}{N} \sum_{i=1}^{N} \sum_{j \in\{x, y, w, h\}} \text { Smooth } L 1\left(b_{\text {pred }}^{j}-b_{f}^{j}\right)$, (6)

其中, N表示目标检测网络检测的目标数, x、 y表示目标边界框中心点的横纵坐标, w、h表示目标边界框的宽和高.

2.4 算法步骤

LAGAA的具体步骤如算法1所示.首先将原始样本x输入目标检测器, 得到目标检测框并计算图像掩码.然后生成对抗网络的生成器生成扰动, 得到相应的对抗样本, 构建对抗样本和原始样本的图结构, 计算基于图结构的局部属性差异损失Lgraph和误定位攻击损失Lmisloc, 计算相应的总损失函数, 通过反向传播更新生成对抗网络, 不断迭代更新直到达到最大迭代次数.最后, 对训练集上所有样本都进行迭代训练, 最终得到训练完成的生成对抗网络.

算法1 LAGAA

输入 原始样本x, 训练集S, 目标检测模型D, 生成对抗网络G, 扰动δ , 迭代次数T, 图像掩码计算calAttentionMask(), 权重参数α 、 β 、γ 、 μ 、ν

输出 训练完成的生成对抗网络

For i in|S|: //训练S中的所有样本

xi0=xi //初始化

M=calAttentionMask(xi, D) //计算图像掩码

while t=0 to T-1 do:

δ =G(xi0) //生成器生成扰动

xit= xi0+δ M //生成对抗样本

使用式(1)~式(5)计算Lgraph

使用式(6)计算Lmisloc

Ltotal=LGAN+α LL2+β Lcls+γ Lfea+μ Lgraph+ν Lmisloc//计算总损失

反向传播以更新网络G

End while

End for

3 实验及结果分析
3.1 实验环境

实验在BCCD[35]、LISC[36]这两个公开的血液细胞数据集上进行训练和测试.BCCD数据集包含364幅白细胞图像, LISC数据集包含250幅白细胞图像.这两个数据集均来自外周血, 适用于医学目标检测任务.数据集分为训练集和测试集, 确保训练和评估的有效性.

在模型训练阶段, 选择 Faster R-CNN[20]和 SSD 300[23]这两种经典的目标检测模型作为测试模型, 分别在BCCD、LISC数据集上进行训练.在训练过程中, 采用标准的目标检测损失函数, 对超参数进行调优, 确保模型能准确定位和分类细胞目标, 为后续的对抗攻击实验提供可靠的基准.

本文选择如下评估指标.

1)攻击成功率(Attack Success Rate, ASR).攻击成功率是衡量对抗攻击效果的核心指标之一, 表示攻击前后mAP的变化情况, 具体公式如下:

ASR= mApclean-mApattackmApclean,

其中, mApclean表示攻击前检测器的mAP, mApattack表示攻击后检测器的mAP.ASR越高表示攻击越强.

2)结构相似性(SSIM).SSIM是衡量两幅图像结构相似性的指标, 综合考虑亮度、对比度和结构等因素, 能评估图像的感知质量.SSIM值越接近1表示两幅图像在结构上越一致.

3)峰值信噪比(Peak Signal-to-Noise Ratio, PSNR).PSNR是衡量图像质量的传统指标, 用于评估图像中噪声与信号的比例.PSNR 值越高, 表示图像质量越优, 对抗扰动对图像质量的影响越小.

LAGAA在深度学习框架pytorch1.4.0上运行, GPU为GeForce RTX 2080, 设定批大小为1, k=8, m=5, 攻击迭代次数为20, α =1.0, β =1.0, γ =1.0, μ =100.0, ν =1.0.

3.2 攻击对比实验

本文选取如下两类对比算法.1)目标检测领域的对抗攻击算法:DAG[16]、TOG[17]、UEA[18]、LGP[24]、NAA[25].2)图像分类领域的对抗攻击算法:SMI-FGSM(Spatial Momentum Iterative FGSM Attack)[37]和SM2I-FGSM[37], 将其应用到目标检测模型上.借鉴DAG的迭代优化攻击策略, 为每个候选区域随机设置一个错误的分类标签, 计算分类损失.根据SMI-FGSM和SM2I-FGSM迭代更新输入图像, 引导目标检测模型下调所有候选框的分类置信度.

上述对比算法均根据官方代码进行复现, 用于评估各算法在目标检测任务中的适用性和攻击效果.

为了验证LAGAA在目标检测模型上的攻击效果和生成对抗样本的质量, 选择Faster R-CNN为测试模型, 在BCCD、LISC数据集上训练Faster R-CNN, mAP分别达到0.71和0.74.接着对比各算法针对Faster R-CNN生成的对抗样本的攻击效果和质量, 结果如表1和表2所示, 表中黑体数字表示最优值.由表可看到, LAGAA在BCCD、LISC数据集上均表现出优异的攻击效果, 在保持图像质量的同时, 有效降低模型的检测性能.

表1 BCCD数据集上各算法在Faster R-CNN上的效果对比 Table 1 Performance comparison of different algorithms on Faster R-CNN model on BCCD dataset
表2 LISC数据集上各算法在Faster R-CNN上的效果对比 Table 2 Performance comparison of different algorithms on Faster R-CNN model on LISC dataset

进一步给出各对比算法在BCCD数据集上生成的对抗样本, 具体如图2所示.由图可见, 在图像的生成质量上, LAGAA生成的对抗样本扰动最细微, 图像的局部细节纹理最接近原始图像, DAG、TOG、SMI-FGSM和SM2I-FGSM这类基于梯度迭代的对抗攻击算法通过迭代累加扰动噪声, 产生的图像噪声肉眼可见, 图像中部分细胞的形状边缘产生肉眼可觉察的不规则变化.LGP为逐目标局部迭代扰动的方法, 生成对抗样本的质量优于基于梯度迭代的对抗攻击算法, 但其为达到攻击效果而迭代产生的扰动肉眼可见, 明显多于LAGAA生成的扰动.

图2 各算法在BCCD数据集上生成的对抗样本Fig.2 Adversarial samples generated by different algorithms on BCCD dataset

同样地, 各对比算法在LISC数据集上生成的对抗样本如图3所示.由图可见, LAGAA生成的对抗样本产生的扰动最小, 图像质量最佳, 而对比算法产生的对抗样本的扰动肉眼可识别, 图像色彩发生显著变化.

图3 各算法在LISC数据集上生成的对抗样本Fig.3 Adversarial samples generated by different algorithms on LISC dataset

3.3 对抗样本的迁移性分析

在白盒场景的攻击中, LAGAA攻击能力较优.为进一步验证该算法生成对抗样本在黑盒场景下的迁移能力, 选择经典的SSD单阶段目标检测网络作为被攻击模型, 在BCCD、LISC数据集的原始图像上进行训练, mAP分别达到0.85和0.98.然后测试各对比算法生成的对抗样本, 评估攻击迁移性, 结果如表3和表4所示, 表中黑体数字表示最优值.由表可知, LAGAA在两个数据集上表现出显著的攻击效果.DAG、TOG、SMI-FGSM和SM2I-FGSM这类基于梯度迭代的对抗攻击算法的可迁移性都较低, 一般基于攻击模型的内部信息进行攻击, 一旦检测结构发生变化, 生成的对抗样本就会失效.UEA、LGP、NAA及LAGAA在对抗样本的生成过程中考虑特征级别的损失, 有效提升对抗样本的迁移性.

表3 BCCD数据集上各算法在SDD上迁移攻击效果对比 Table 3 Comparison of transferable attack results of different algorithms on SDD model on BCCD datasets
表4 LISC数据集上各算法在SDD上迁移攻击效果对比 Table 4 Comparison of transferable attack results of different algorithms on SDD model on LISC dataset
3.4 消融实验

本节通过消融实验进一步分析LAGAA中加入不同损失的有效性, 采用Faster R-CNN作为测试模型, 选择UEA作为基线方法, 在BCCD、LISC数据集上进行实验, 结果如表5和表6所示, 表中黑体数字表示最优值.

表5 BCCD数据集上各损失的指标值对比 Table 5 Comparison of metric values on BCCD dataset
表6 LISC数据集上各损失的指标值对比 Table 6 Comparison of metric values on LISC dataset

由表5和表6可知, 在UEA中加入基于图结构的局部属性差异损失Lgraph后, 图像的生成质量进一步提升.在UEA中加入误定位攻击损失Lmisloc后攻击成功率明显提升.在合并这两部分损失之后, 即LAGAA在攻击成功率和对抗样本的生成质量两者之间达到平衡, 既提升攻击成功率也保证高质量的图像质量.

3.5 超参数分析

本节讨论LAGAA中不同参数对ASR、PSNR、SSIM指标的影响, 包括图像块划分尺寸k、邻接顶点数量m、基于图结构的局部属性差异损失的权重系数μ .

在BCCD、LISC数据集上, 以Faster R-CNN为测试模型, 设置邻接顶点数量m=1, 3, …, 9, 图像块划分尺寸k=4, 8, 16, 具体指标值变化如图4所示.由图可知, ASR随m的增长先上升后下降, PSNR随m的增长逐渐平稳, SSIM随m的增长先上升后平稳.为了平衡攻击成功率和系统的计算资源, 选择m=5作为邻接顶点数量, 对比k不同时的指标值, 可看到k=8时达到高攻击成功率和高质量的图像质量.

图4 k、m对指标值的影响Fig.4 Effect of k and m on metrics

进一步研究基于图结构的局部属性差异损失的权重系数μ 对ASR和图像质量评估指标的影响, 具体结果如图5所示.由图可知, ASR随着μ 的增加而缓慢下降, 图像质量评估指标PSNR和SSIM则随着μ 的增加逐步上升.为了平衡攻击成功率和图像质量, 选择μ =100作为基于图结构的局部属性差异损失的权重系数.

图5 μ 对指标值的影响Fig.5 Effect of μ on metrics

4 结束语

本文提出基于局部属性生成对抗网络的目标检测对抗攻击算法(LAGAA), 引入基于图结构的局部属性差异损失, 优化对抗扰动的空间分布, 提高样本的隐蔽性, 同时引入误定位攻击损失, 提升攻击成功率.在两个医学图像数据集BCCD、LISC上的实验表明, LAGAA能在保证高攻击成功率的同时显著提高对抗样本的隐蔽性.这不仅揭示医学图像目标检测模型在对抗样本下的脆弱性, 也为医学安全研究提供新的思路, 促进医学影像分析系统的稳健性和可靠性.在未来的研究中拟将LAGAA推广到更多类型的医学影像任务中, 结合临床实际场景验证其有效性, 同时探索相应的防御策略, 提升医学影像分析系统的安全性与鲁棒性.

本文责任编委 封举富

Recommended by Associate Editor FENG Jufu

参考文献
[1] LI J Z, SU H, ZHU J, et al. Textbook Question Answering under Instructor Guidance with Memory Networks // Proc of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2018: 3655-3663. [本文引用:1]
[2] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. ImageNet Classification with Deep Convolutional Neural Networks. Communications of the ACM, 2017, 60(6): 84-90. [本文引用:1]
[3] ZHAO Z Q, ZHENG P, XU S T, et al. Object Detection with Deep Learning: A Review. IEEE Transactions on Neural Networks and Learning Systems, 2019, 30(11): 3212-3232. [本文引用:1]
[4] BOLYA D, ZHOU C, XIAO F Y, et al. YOLACT: Real-Time Instance Segmentation // Proc of the IEEE/CVF International Confe-rence on Computer Vision. Washington, USA: IEEE, 2019: 9156-9165. [本文引用:1]
[5] DIPU N M, SHOHAN S A, SALAM K M A. Deep Learning Based Brain Tumor Detection and Classification // Proc of the International Conference on Intelligent Technologies. Washington, USA: IEEE, 2021. DOI: 10.1109/CONIT51480.2021.9498384. [本文引用:1]
[6] YANG S, FANG B, TANG W, et al. Faster R-CNN Based Microscopic Cell Detection // Proc of the International Conference on Security, Pattern Analysis, and Cybernetics. Washington, USA: IEEE, 2017: 345-350. [本文引用:1]
[7] WANG Y T, WANG K F, ZHU Z X, et al. Adversarial Attacks on Faster R-CNN Object Detector. Neurocomputing, 2020, 382: 87-95. [本文引用:1]
[8] LU J J, SIBAI H, FABRY E. Adversarial Examples That Fool Detectors[C/OL]. [2025-06-27]. https://arxiv.org/pdf/1712.02494. [本文引用:1]
[9] MEDGHALCHI Y, HEIDARI M, ALLARD C, et al. Prompt2Per-turb(P2P): Text-Guided Diffusion-Based Adversarial Attack on Breast Ultrasound Images // Proc of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2025: 28564-28574. [本文引用:1]
[10] GULSOY E K, AYAS S, KABLAN E B, et al. Enhancing the Adver-sarial Robustness in Medical Image Classification: Exploring Adversarial Machine Learning with Vision Transformers-Based Mo-dels. Neural Computing and Applications, 2025, 37(12): 7971-7989. [本文引用:1]
[11] GOODFELLOW I J, SHLENS J, SZEGEDY C. Explaining and Harnessing Adversarial Examples[C/OL]. [2025-06-27]. https://arxiv.org/pdf/1412.6572. [本文引用:1]
[12] KURAKIN A, GOODFELLOW I J, BENGIO S. Adversarial Examples in the Physical World[C/OL]. [2025-06-27]. https://arxiv.org/pdf/1607.02533. [本文引用:1]
[13] MADRY A, MAKELOV A, SCHMIDT L, et al. Towards Deep Learning Models Resistant to Adversarial Attacks[C/OL]. [2025-06-27]. https://arxiv.org/pdf/1706.06083. [本文引用:1]
[14] CARLINI N, WAGNER D. Towards Evaluating the Robustness of Neural Networks // Proc of the IEEE Symposium on Security and Privacy. Washington, USA: IEEE, 2017: 39-57. [本文引用:1]
[15] GOODFELLOW I J, POUGET-ABADIE J, MIRZA M, et al. AGene-rative Adversarial Nets // Proc of the 28th International Conference on Neural Information Processing Systems. Cambridge, USA: MIT Press, 2014, II: 2672-2680. [本文引用:1]
[16] XIE C H, WANG J Y, ZHANG Z S, et al. Adversarial Examples for Semantic Segmentation and Object Detection // Proc of the IEEE International Conference on Computer Vision. Washington, USA: IEEE, 2017: 1378-1387. [本文引用:3]
[17] CHOW K H, LIU L, LOPER M, et al. Adversarial Objectness Gradient Attacks in Real-Time Object Detection Systems // Proc of the 2nd IEEE International Conference on Trust, Privacy and Security in Intelligent Systems and Applications. Washington, USA: IEEE, 2020: 263-272. [本文引用:3]
[18] WEI X X, LIANG S Y, CHEN N, et al. Transferable Adversarial Attacks for Image and Video Object Detection // Proc of the 28th International Joint Conference on Artificial Intelligence. San Francisco, USA: IJCAI, 2019: 954-960. [本文引用:3]
[19] GIRSHICK R. Fast R-CNN // Proc of the IEEE International Confe-rence on Computer Vision. Washington, USA: IEEE, 2015: 1440-1448. [本文引用:1]
[20] REN S Q, HE K M, GIRSHICK R, et al. Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149. [本文引用:2]
[21] HE K M, GKIOXARI G, DOLLÁR P, et al. Mask R-CNN // Proc of the IEEE International Conference on Computer Vision. Washington, USA: IEEE, 2017: 2980-2988. [本文引用:1]
[22] REDMON J, DIVVALA S, GIRSHICK R, et al. You Only Look Once: Unified, Real-Time Object Detection // Proc of the IEEE Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2016: 779-788. [本文引用:1]
[23] LIU W, ANGUELOV D, ERHAN D, et al. SSD: Single Shot Multi-Box Detector // Proc of the 14th European Conference on Computer Vision. Berlin, Germany: Springer, 2016, I: 21-37. [本文引用:2]
[24] LI G P, XU Y, DING J, et al. Towards Generic and Controllable Attacks Against Object Detection. IEEE Transactions on Geoscience and Remote Sensing, 2024, 62. DOI: 10.1109/TGRS.2024.3417958. [本文引用:2]
[25] ZHANG J P, WU W B, HUANG J T, et al. Improving Adversarial Transferability via Neuron Attribution-Based Attacks // Proc of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2022: 14973-14982. [本文引用:2]
[26] TYUKIN I Y, HIGHAM D J, GORBAN A N. On Adversarial Exam-ples and Stealth Attacks in Artificial Intelligence Systems // Proc of the International Joint Conference on Neural Networks. Washington, USA: IEEE, 2020. DOI: 10.1109/IJCNN48605.2020.9207472. [本文引用:1]
[27] HAN K, WANG Y H, GUO J Y, et al. Vision GNN: An Image Is Worth Graph of Nodes // Proc of the 36th International Conference on Neural Information Processing Systems. Cambridge, USA: MIT Press, 2022: 8291-8303. [本文引用:2]
[28] XU D F, ZHU Y K, CHOY C B, et al. Scene Graph Generation by Iterative Message Passing // Proc of the IEEE Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2017: 3097-3106. [本文引用:1]
[29] YANG J W, LU J S, LEE S, et al. Graph R-CNN for Scene Graph Generation // Proc of the European Conference on Computer Vision. Berlin, Germany: Springer, 2018: 690-706. [本文引用:1]
[30] PARIKH D, FEIN-ASHLEY J, YE T, et al. ClusterViG: Efficient Globally Aware Vision GNNs via Image Partitioning // Proc of the International Conference on Multimedia Computing, Networking and Applications. Washington, USA: IEEE, 2025: 136-143. [本文引用:1]
[31] ZHAO G M, GE W F, YU Y Z. GraphFPN: Graph Feature Pyramid Network for Object Detection // Proc of the IEEE/CVF International Conference on Computer Vision. Washington, USA: IEEE, 2021: 2743-2752. [本文引用:1]
[32] XU H, JIANG C H, LIANG X D, et al. Spatial-Aware Graph Relation Network for Large-Scale Object Detection // Proc of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington, USA: IEEE, 2019: 9290-9299. [本文引用:1]
[33] CAMPS-VALLS G, MARSHEVA T V B, ZHOU D Y. Semi-supervised Graph-Based Hyperspectral Image Classification. IEEE Tran-sactions on Geoscience and Remote Sensing, 2007, 45(10): 3044-3054. [本文引用:1]
[34] FELZENSZWALB P F, HUTTENLOCHER D P. Efficient Graph-Based Image Segmentation. International Journal of Computer Vision, 2004, 59(2): 167-181. [本文引用:1]
[35] MOHAMED M, FAR B, GUAILY A. An Efficient Technique for White Blood Cells Nuclei Automatic Segmentation // Proc of the IEEE International Conference on Systems, Man, and Cybernetics. Washington, USA: IEEE, 2012: 220-225. [本文引用:1]
[36] REZATOFIGHI S H, SOLTANIAN-ZADEH H. Automatic Recognition of Five Types of White Blood Cells in Peripheral Blood. Computerized Medical Imaging and Graphics, 2011, 35(4): 333-343. [本文引用:1]
[37] WANG G Q, YAN H Q, WEI X X. Enhancing Transferability of Adversarial Examples with Spatial Momentum // Proc of the 5th Chinese Conference on Pattern Recognition and Computer Vision. Berlin, Germany: Springer, 2022: 593-604. [本文引用:2]