
袁姮,博士,副教授,主要研究方向为图像处理、模式识别、人工智能.E-mail:lntuyuanheng@163.com.
作者简介:

禚霁坤,硕士研究生,主要研究方向为图像处理、模式识别、人工智能.E-mail:zhuojikun@163.com.

张晟翀,硕士,高级工程师,主要研究方向为数字信号处理、模式识别、人工智能.E-mail:zsc417@126.com.
针对传统卷积神经网络中卷积核频域响应因缺乏显式约束而导致的高频分量过度强化的问题,提出频域衰减卷积的图像分类网络(Image Classification Network with Frequency Decay Convolution, FDNet).首先,设计频域衰减卷积模块(Frequency Decay Convolution, FDConv),将神经元信号衰减机制引入频域空间,通过对卷积核频域幅度实施衰减调控,在保留完整相位信息的前提下抑制过强频率分量的响应,有效缓解因频域响应失衡引发的过拟合问题.然后,将FDConv嵌入网络浅层特征提取阶段和残差块结构中,使频谱正则化贯穿整个特征提取过程.在此基础上,构建空间方向衰减模块(Directional Spatial Decay, DSD),通过并行的1×3 FDConv和3×1 FDConv对水平方向与垂直方向的特征进行分离提取,实现对方向特征与重要通道的协同增强.最后,将DSD嵌入残差块末端,在残差连接后对特征进行方向分解与通道重标定,使网络聚焦关键判别信息.在CIFAR-10、CIFAR-100、SVHN、STL-10、Ima- genette、Imagewoof图像数据集上的实验表明,FDNet分类性能较优.
YUAN Heng, Ph.D., associate professor. Her research interests include image processing, pattern recognition and artificial intelligence.
About Author:
ZHUO Jikun, Master student. Her research interests include image processing, pattern recognition and artificial intelligence.
ZHANG Shengchong, Master, senior engineer. His research interests include digital signal processing, pattern recognition and artificial intelligence.
In traditional convolutional neural networks,the lack of explicit constraints on the frequency-domain responses of convolutional kernels leads to excessive enhancement of high-frequency components. To address this issue, an image classification network with frequency decay convolution(FDNet) is proposed. First, the frequency decay convolution(FDConv) module is designed. The neuron signal attenuation mechanism is introduced into the frequency domain. By attenuating the frequency-domain amplitude of the convolutional kernel, the responses of excessively strong frequency components are suppressed with complete phase information retained. Consequently, the overfitting problem caused by imbalance in frequency-domain responses is effectively alleviated. Second, FDConv is embedded into the shallow feature extraction stage and the residual block structure, enabling spectral regularization throughout the entire feature extraction process. Then, the directional spatial decay(DSD) module is constructed. Parallel 1×3 and 3×1 FDConv modules are adopted to separately extract horizontal and vertical directional features, thereby achieving collaborative enhancement of directional features and important channels. Finally, the DSD module is embedded at the end of the residual block. After the residual connection, both directional feature decomposition and channel recalibration are performed, enabling the network to focus on key discriminative information. Experiments on CIFAR-10, CIFAR-100, SVHN, STL-10, Imagenette, and Imagewoof image datasets demonstrate the superior classification performance of FDNet.
图像分类是计算机视觉领域的核心任务之一, 目的是按照图像内容自动划分至预定义的类别标签, 把视觉信息转换为结构化的语义表征[1].在深度学习架构中, 卷积神经网络(Convolutional Neural Network, CNN)凭借其局部连接、权重共享和层次化特征提取等特性, 在图像分类任务中表现较优.
LeNet[2]是最早出现的CNN架构, 利用卷积层与池化层的组合实现手写数字识别.此后AlexNet[3]引入ReLU激活函数及Dropout正则化, 并借助GPU大幅提升训练效率.VGGNet(Visual Geometry Group Network)[4]堆叠3×3小卷积核, 验证网络深度对特征表达能力的增益.GoogLeNet[5]利用Inception模块, 实现多尺度特征的并行提取.随着网络层数的增加, 梯度消失及网络退化问题逐步显现, ResNet(Residual Network)[6]设计残差连接, 让信息可跨层传播, 顺利训练超过百层的深度网络.在此基础上:Wide ResNet(Wide Residual Network)[7]拓宽通道数, 提升网络容量; DenseNet(Densely Connected Convo- lutional Network)[8]采用密集连接, 增强特征复用; MobileNets[9]利用深度可分离卷积达成轻量设计.上述工作从不同维度推动图像分类网络的发展.
尽管上述网络不断突破, 然而其核心仍是依靠堆叠3×3卷积进行局部特征建模, 在频域响应调控及方向特征建模两方面存在固有局限.传统卷积的权重优化局限于空间域, 对频域响应缺乏显式约束, 在训练过程中易使高频分量的幅度过度强化, 致使模型对特定纹理噪声产生过拟合[10].此外, 图像中的边缘、轮廓等特征的方向性明确, 标准正方形卷积核对不同方向特征采用相同的处理方式, 难以清晰区分水平方向与垂直方向的结构信息[11].针对频域约束问题, 研究者从不同角度展开探索.Qin等[12]提出FcaNet(Frequency Channel Attention Networks), 把全局平均池化扩展为频域特征分解, 由此引入多光谱分量的方式, 加强通道注意力对频域信息的建模能力.Lee等[13]提出HiFAR(High-Frequency-Aware Regularization), 引入频域正则化损失项, 引导模型减少对卷积核高频成分的依赖.Lu等[14]提出Frequency Regularization, 从频谱归纳偏置的角度出发, 分析L2正则化对高频能量的抑制效果.Miyato等[15]提出Spectral Normalization, 对网络层的权重矩阵施加谱范数约束, 限制Lipschitz常数, 从而稳定训练过程.上述方法虽在不同程度上涉及频域或训练约束, 但FcaNet局限于特征层, HiFAR和Frequency Regularization属于训练阶段的间接正则化, Spectral Normalization关注谱范数而非频率幅度, 均未直接针对卷积核自身的频域幅度进行调控.
在方向建模方面, Hu等[16]提出SENet(Squeeze-and-Excitation Networks), 利用全局平均池化产生通道权重, 却忽视空间方向的建模.Woo等[17]提出CBAM(Convolutional Block Attention Module), 在通道注意力的基础上引入空间注意力, 但空间注意力要在全分辨率特征图中生成掩码, 计算成本较大.Wang等[18]提出ECA-Net, 采用一维卷积实现高效通道交互, 但局限于通道维度.上述方法在一定程度上强化特征的表达能力, 但在频域约束及方向建模上仍有欠缺, 难以有效处理频域调控与方向建模两方面的局限.
针对上述局限, 神经元信号衰减函数[19]提供一种新的思路, 该函数采用指数衰减方式对信号强度进行差异化调控, 关键特性在于:当输入信号绝对值较小时, 函数值接近于1, 对微弱信号几乎无衰减; 当绝对值较大时, 函数值迅速趋近于0, 对强信号产生强烈抑制.这种弱信号保留、强信号压制的非线性调控机制与频域幅度调控的需求高度契合.在频域中:幅值较小的频率分量通常反映图像中的关键结构信息, 如边缘、纹理, 应当被保留; 幅值较大的分量通常源于冗余噪声或过强特征响应, 需要被有效抑制.因此, 将神经元信号衰減函数作用于卷积核的频域幅度, 可实现对关键频率分量的自适应保留和对冗余高频分量的有效压制, 从而更好地约束卷积核的频域响应.
受上述研究启发, 本文以ResNet-34为基础网络, 提出频域衰减卷积的图像分类网络(Image Classi-fication Network with Frequency Decay Convolution, FDNet).首先, 设计频域衰减卷积模块(Frequency Decay Convolution, FDConv), 将神经元信号衰减机制引入频域空间, 直接对卷积核频域幅度进行指数衰减调控, 在保留完整相位信息的前提下抑制过强频率分量的响应, 有效缓解因频域响应失衡导致的过拟合问题.在此基础上, 以FDConv作为核心组件, 构建空间方向衰减模块(Directional Spatial De- cay, DSD), 通过并行的1×3 FDConv和3×1 FDConv对水平方向与垂直方向的特征进行分离提取, 同时结合通道注意力校准机制, 实现对方向特征与重要通道的协同增强.两个模块以级联方式融入残差结构, 使频谱正则化与特征重标定贯穿整个特征提取过程, 提升网络对关键特征的提取能力.
本文提出频域衰减卷积的图像分类网络(FDNet), 由具有频域衰减特性的频域衰减卷积模块(FDConv)和具有空间方向分解与通道注意力协同增强能力的空间方向衰减模块(DSD)共同构成.FDNet整体结构如图1所示, 共分为如下4个阶段.
1)图像预处理阶段.对输入图像进行随机裁剪、随机翻转及Cutout等数据增强操作, 加强网络的泛化性能.
2)浅层特征提取阶段.将预处理后的图像送入首层FDConv, 完成初始特征提取.对于小尺寸数据, 选用3×3 FDConv, 去掉最大池化; 对于大尺寸数据, 选用7×7 FDConv并保留最大池化.该种特征提取方式更适配数据特点.
3)深层特征提取阶段.把浅层输出的特征逐个输入4个残差层, 各残差层融合FDConv和DSD的功能.FDConv优化频域响应, DSD对特征进行方向建模与通道校准, 两者协同提升网络对关键特征的提取能力.
4)输出阶段.通过全局平均池化对深层特征开展降维处理, 结合全连接层整合特征, 最终输出分类结果.
总之, FDNet具有如下优势.
1)FDConv通过对卷积核频域幅度进行衰减调控实现频谱正则化, 在保留相位信息以维持特征结构完整性的同时, 对高频冗余分量的异常强化实现有效抑制.
2)DSD采取方向分解与通道注意力机制级联的方式, 共同强化方向敏感特征与重要通道, 让网络清晰区分水平方向与垂直方向的特征分布, 并依据通道重要性采取有差异的加权.
在图像分类任务中, 卷积核的频域响应隐式决定模型对图像不同频率成分的敏感程度.针对传统卷积频域约束缺失的问题, 本文提出频域衰减卷积模块(FDConv), 将神经元信号衰减机制应用于频域空间, 通过对卷积核的频域幅度实施衰减调控, 实现频谱层面的正则化.FDConv在完整保留相位信息与标准卷积运算范式的同时, 能有效抑制过强频率分量的响应, 提升对多样化频率成分的适应能力.
神经元信号衰减机制通过指数函数实现对信号强度的差异化调控.当输入信号绝对值较大时, 函数值趋近于0, 抑制过强信号; 当绝对值较小时, 函数值接近于1, 保留微弱信号.该机制具体公式如下:
$f(x)=x \exp \left(-\left|\frac{x}{\tau}\right|\right), $
其中, x表示输入信号, τ 表示可调节的衰减因子.
FDConv结构如图2所示.首先对空间域卷积核执行二维快速离散傅里叶变换(Fast Fourier Trans-form, FFT), 将其从空间域映射至频域, 使隐式的频域响应特性转化为可直接调控的显式表达, 为后续频谱约束提供基础条件.卷积核整体参数张量W维度为Cout×Cin×k×k, 其中, Cout表示输出通道数, Cin表示输入通道数, k表示卷积核边长.针对每个输入通道与输出通道组合对应的单个二维卷积核进行傅里叶变换, 在空间位置(m, n)处的权重值记为W(m, n), 其中m、n分别表示卷积核在高度和宽度方向上的位置索引, 二维快速离散傅里叶变换后得到的频域卷积核为:
$\begin{array}{l} \boldsymbol{W}_{F}(u, v)= \sum_{m=0}^{k-1} \sum_{n=0}^{k-1} \boldsymbol{W}(m, n) \cdot \exp \left(-\mathrm{j} \frac{2 \pi}{k}(u m+v n)\right), \end{array}$
其中, (u, v)表示频域坐标, j表示虚数单位.
在完成频域变换后, 将频域卷积核分解为幅度分量
A(u, v)=
与相位分量
$\begin{array}{l} \varphi(u, v)= \arctan \left(2\left({Im}\left(\boldsymbol{W}_{F}(u, v)\right), {Re}\left(\boldsymbol{W}_{F}(u, v)\right)\right)\right), \end{array}$
其中, Re(·)与Im(·)分别表示复数的实部与虚部.相位分量负责编码图像的空间结构信息, 对特征提取的完整性具有关键作用, 因此在调控过程中保持不变; 幅度分量表征不同频率成分的响应强度, 是导致高频分量异常强化的主要因素, 故作为模块的主要调控对象.
在频域空间中, 利用神经元信号衰减机制对幅度分量施加衰减约束, 借助其非线性特性抑制幅值较高的频率分量, 避免高频分量过度强化.同时最大限度保留幅值较低的有效频率分量, 确保图像的关键频率信息不被削弱, 从而实现对卷积核频谱分布的规整化处理, 缓解高频分量过度强化带来的过拟合问题.衰减后幅度分量为:
$A_{\mathrm{dec}}(u, v)=A(u, v) \cdot \exp \left(-\left|\frac{A(u, v)}{\tau}\right|\right), $
其中, τ 表示衰减系数, 控制衰减作用强度.
在完成幅度衰减后, 重新组合幅度分量Adec(u, v)与原始相位分量φ (u, v), 构建规整后的频域卷积核:
W'F(u, v)=Adec(u, v)· exp(jφ (u, v)).
这一操作在保留图像空间结构信息的前提下, 将幅度衰减带来的频谱正则化效果融入频域卷积核中, 保证特征提取的稳定性.
再对规整后的频域卷积核W'F(u, v)执行二维快速离散傅里叶逆变换(Inverse Fast Fourier Trans-form, IFFT), 从频域转换回空间域, 得到规整后的卷积核:
W'(m, n)=
其中, 1/k2表示逆变换的归一化系数, 用于抵消二维快速离散傅里叶变换过程中产生的幅度缩放, 确保卷积核权重幅值处于合理范围, 避免因幅值异常影响后续卷积运算效果.这一逆变换过程能将频域中经过规整的频域响应信息重新映射为空间域的卷积核权重分布, 实现从频域调控到空间域的转换.
最后将优化后的空间域卷积核W'(m, n)与输入的特征图X进行标准卷积运算, 完成特征提取过程, 相应输出特征图为:
$\begin{aligned} \boldsymbol{Y}\left(C_{\text {out }}, i, j\right)= & \sum_{C_{\text {in }}=0}^{C_{\text {in }}-1} \sum_{m=0}^{k-1} \sum_{n=0}^{k-1} \boldsymbol{W}^{\prime}\left(C_{\text {out }}, C_{\text {in }}, m, n\right) \cdot \boldsymbol{X}\left(C_{\text {in }}, i \cdot s+m, j \cdot s+n\right)+\boldsymbol{b}\left(C_{\text {out }}\right), \end{aligned}$
其中, i、j表示输出特征图的空间索引, s表示卷积步长, b(·)表示偏置项.该操作将频域层面的频谱效果直接转化为空间域的特征提取能力, 实现从卷积核权重优化到实际特征表达的闭环.输入特征图X的维度为Cin×H×W, 其中H、W分别表示特征图的高度和宽度, 优化后的卷积核W'维度为Cout×Cin×k×k.
为了观察FDConv的效果, 给出分别经由普通卷积和FDConv输出的特征图, 如图3所示.由图可见, 相比普通卷积, FDConv输出的特征图关键目标区域的响应更显著, 背景纹理噪声得到有效抑制, 表明频域幅度衰减机制能引导网络聚焦高判别性频率信息, 提升特征表示的质量.
FDConv引入的FFT和IFFT操作会带来一定的计算开销.对于尺寸为k×k的卷积核, 二维FFT/ IFFT的计算复杂度为O(k2log k).FDNet中绝大多数卷积核尺寸为3×3, 对于3×3小卷积核, 此时计算复杂度仅为O(9log3), 额外计算量极小, 与标准卷积本身的乘加运算相比几乎可以忽略.因此, FD-Conv在显著提升网络泛化性的同时, 增加的额外计算代价也在可接受范围内.
综上所述, FDConv利用频域幅度衰减机制对卷积核的频域响应进行衰减调整, 有效克服传统卷积因频域约束缺失而导致的高频分量过度强化的问题, 让网络可根据不同频率分量的幅度进行差异化调控, 实现有效的频谱正则化, 为后续层提供更具判别力的特征输入.
在传统CNN的特征学习过程中, 不同通道与空间位置对应的特征重要性存在显著差异, 而现有方法对各类空间与通道信息多采用均等化处理, 难以显式建模方向敏感特征, 导致难以有效突出关键判别信息.针对这一问题, 本文提出空间方向衰减模块(DSD), 通过空间方向分解与通道重标定的级联结构, 实现对方向敏感特征与通道重要性的联合优化.DSD结构如图4所示.
对于输入DSD的特征图Xin∈ RC×H×W, 在空间方向分解部分, 首先按通道索引顺序对半划分为两组, 分别记作X1和X2, 送入两个并行的FDConv中, 提取水平方向与垂直方向的特征.分离提取水平方向与垂直方向的特征可使网络更清晰地感知方向结构, 避免传统方形卷积造成的方向信息混叠与丢失, 增强对方向敏感结构的表征能力.上分支采用1×3 FDConv, 在水平方向上扩展感受野, 同时保持垂直方向的局部性, 从而有效捕捉水平方向的纹理特征.下分支采用3×1 FDConv, 在垂直方向上扩展感受野, 用于提取垂直方向的结构信息.两个分支均依托FDConv的频域幅度衰减特性, 在提取方向特征的同时抑制过强频率干扰, 相应输出特征图为:
Xh=FDConv1×3(X1),
Xw=FDConv3×1(X2),
其中, FDConv3×1(·)表示3×1 FDConv函数, FDConv1×3(·)表示1×3 FDConv函数.
随后将两个分支的输出在通道维度上进行拼接, 融合水平方向与垂直方向的特征信息, 使每个空间位置同时包含两个方向的上下文信息, 为后续通道注意力提供更丰富的特征基础.得到的融合特征图为:
Xcat=Concat(Xh, Xw),
其中Concat(·)表示拼接操作.
在通道重标定部分, 首先对拼接后的特征图进行ReLU激活, 引入非线性变换, 增强特征的表达能力.再通过全局平均池化, 将空间维度上的信息聚合为通道向量:
Z=
其中i、j表示拼接后特征图的空间索引.上述处理使后续操作能基于全局信息评估通道重要性, 避免局部噪声的干扰.
将通道向量Z输入第1个1×1 FDConv中, 通道数由C压缩至C/r(r为缩减率, 本文中r=16).该取值是通道注意力机制的经典常用设置, 能在特征表达性能与计算效率之间取得较好平衡.在本文采用的ResNet-34中, 4个残差层对应的通道数C依次为64, 128, 256, 512, 均可被16整除, 经压缩后通道数分别为4, 8, 16, 32.这一操作可在降低后续计算复杂度的同时, 促使网络学习更紧凑的通道特征表示, 从而突出关键通道的信息.在此过程中, FDConv的频域幅度衰减机制可对通道特征实现频谱正则化, 抑制幅值过高的频率分量, 保留关键频率信息, 进一步增强通道特征表示的鲁棒性.压缩后的特征经ReLU激活, 得到压缩后的通道特征向量:
Z'=ReLU(FDConv1×1(Z)),
其中, ReLU(·)表示ReLU函数, FDConv1×1(·)表示1×1 FDConv函数.然后使用第2个1×1 FDConv, 通道数恢复至原始维度C, 恢复通道维度可将经压缩筛选的通道信息重新映射回原始特征空间, 与输入特征图在通道维度上形成准确对应.在恢复过程中, FDConv的频域衰减机制对通道权重进行频谱优化, 抑制维度扩展时可能引入的频率干扰, 维持特征的频谱正则化特性.恢复通道维度后的输出特征向量为:
Z″=FDConv1×1(Z').
最后通过Sigmoid函数将Z″映射至[0, 1]区间, 生成通道注意力权重:
M=Sigmoid(Z″)∈ RC×1×1,
其中,
Sigmoid(x)=
表示Sigmoid激活函数, x表示特征值.Sigmoid函数作为激活函数, 输出值越接近1表示对应通道越重要, 越接近0表示该通道的贡献越小.这种软性选择机制使网络能根据输入特征自适应调整各通道的响应强度, 实现重要通道的增强与次要通道的抑制.
在最终融合部分, 将原始输入特征图Xin与通道注意力权重M逐元素相乘, 得到输出特征图:
Xout=X☉M,
其中☉表示逐元素乘法.通过逐元素相乘, 有效保留重要通道的特征响应, 适当抑制次要通道的特征响应.网络可根据输入特征对各通道的贡献程度做出调整, 突出关键判别信息.
通过空间方向分解与通道重标定的级联设计, DSD达成空间方向特征和通道重要性的联合优化.方向分解部分使用并行结构, 让网络可显式地对水平方向与垂直方向的特征分布进行建模, 强化对图像方向性结构的感知能力.通道重标定部分利用注意力机制强化关键通道, 提高特征的判别能力.所有卷积操作都使用FDConv实现, 让整体结构在频域正则化的约束下开展特征学习, 进一步提高特征提取的鲁棒性.
为了探究DSD的效果, 给出DSD处理前后的特征图, 如图5所示.
由图5可见, 相比未经过DSD处理的特征图, 处理后的特征图目标轮廓更锐利, 水平方向与垂直方向的边缘纹理具有较明显的增强, 由此验证DSD对方向敏感特征的强化作用.综上所述, DSD以提取方向敏感的关键判别特征为核心目标, 依托FDConv的频谱正则化特性, 通过方向分解与通道重标定的协同作用, 使优化后的特征在保持空间结构完整性的同时突出核心判别信息, 获得更具判别力的特征表示.
在残差网络中, 浅层特征提取阶段通常采用7×7大卷积核与3×3最大池化的组合, 以便在快速扩大感受野的同时降低特征图分辨率.大尺寸卷积核虽能捕获更广范围的上下文信息, 但其固定的频域响应特性容易导致高频细节被过度平滑, 难以针对性强化低频轮廓信息.同时, 最大池化操作在降低分辨率的过程中会不可避免地丢失部分空间结构信息, 这些损失随着网络加深而逐级累积, 可能对最终分类性能产生不利影响.
针对上述问题, 本文在浅层特征提取阶段引入FDConv, 构建初始特征映射, 采用3×3 FDConv替代传统ResNet浅层7×7大核卷积, 步长和填充均设为1, 使输出尺寸与输入保持一致, 避免空间信息的损失.FDConv的频域衰减特性可通过对不同频率成分的抑制与增强, 在小卷积核条件下取得与传统大卷积核相当的特征提取效果.输入图像经FDConv处理后, 输出特征图的高度和宽度尺寸如下:
$H_{\text {out }}=\frac{H_{\text {in }}-K+2 P}{S}+1, $
$W_{\text {out }}=\frac{W_{\text {in }}-K+2 P}{S}+1, $
其中, Hin和Win表示输入特征图的高度和宽度, K表示卷积核尺寸, P表示填充大小, S表示步长.
通过上述设计, 浅层特征提取阶段可充分发挥FDConv的频域调控优势.相比传统7×7卷积, 3×3 FDConv在保持参数高效应用的同时, 能对低频轮廓与高频细节进行差异化处理, 避免大卷积核对高频信息的过度平滑.同时, 移除池化层可保留完整的空间结构信息, 使后续网络能基于更丰富的细节特征完成学习.
ResNet引入残差连接, 有效缓解深层网络训练中的梯度消失问题.标准ResNet残差块结构如图6(a)所示, 主分支由2个3×3卷积构成, 跳跃连接通过1×1卷积实现维度匹配.期望输出为:
H(x)=F(x)+G(x),
其中, x表示输入特征, G(x)表示跳跃连接函数, F(x)表示残差主分支函数.
本文将FDConv融入残差块当中, 结构如图6(b)所示.残差块主分支中2个3×3标准卷积替换为FDConv, 跳跃连接中1×1卷积也相应替换为FDConv.这种设计让残差块在保留原有结构优势的同时, 获得频谱层面的正则化能力.融合FDConv后的期望输出为:
H'(x)=FFD(x)+GFD(x),
其中, GFD(x)表示融合FDConv的跳跃连接函数, FFD(x)表示融合FDConv的主分支函数.
在融合FDConv的基础上, 在残差块末端嵌入DSD, 结构如图6(c)所示.残差块主分支与跳跃连接完成特征融合后, 将结果输入DSD进行特征重标定, 使残差学习后的特征在空间方向和通道维度上同时得到优化.融合FDConv和DSD的期望输出为:
H ″(x)=DSD(FFD(x)+GFD(x)),
其中DSD(·)表示空间方向衰减模块函数.
通过融合FDConv和DSD, 残差结构同时获得频谱正则化与特征重标定的双重能力.FDConv从频域层面解决传统卷积频率响应失衡的问题, 为网络提供更鲁棒的底层特征; DSD在空间方向和通道维度上对特征进行精炼, 提升关键判别信息的表达效果.两者相互配合, 使残差块在保持原有结构优势的基础上, 为深层网络的特征学习提供稳定支撑.
实验选择Python语言和PyTorch 2.3.1框架, 运行环境选用Linux 6.6.56+操作系统.硬件平台搭载NVIDIA Tesla P100显卡和60 GB内存.
为了较好地评估网络性能, 在CIFAR-10、CIFAR-100、SVHN、STL-10、Imagenette、Imagewoof数据集上开展实验, 各数据集信息如表1所示.
| 表1 实验数据集 Table 1 Experimental datasets |
在训练阶段, 经调试将迭代次数设为200轮, 优化方法采用随机梯度下降(Stochastic Gradient Des- cent, SGD), 动量参数设为0.9, 标签平滑系数设为0.1, 权重衰减系数设为5×10-4, 初始学习率设为0.1, 学习率调度采用余弦退火策略.此外, 为了适应不同数据集的图像分辨率, 批次大小根据输入尺寸进行调整, 对于CIFAR-10、CIFAR-100、SVHN这类输入尺寸较小的数据集, 批次设为128; 对于STL-10、Imagenette、Imagewoof这类输入尺寸较大的数据集, 批次设为64.
为了研究FDNet在不同深度下的分类表现, 以FDNet-18、FDNet-34、FDNet-50、FDNet-101为研究对象, 开展对比实验.为了确保结果的客观性, 所有网络均采用统一的训练配置, 在CIFAR-100数据集上进行训练, 结果如图7所示.
由图7可看出, FDNet-34的分类准确率最高, 达到81.27%, 相比FDNet-18、FDNet-50、FDNet-101, 分别提升1.73%、1.34%、2.58%.FDNet-18层数较浅, 难以充分发挥FDConv的频域衰减与DSD的方向分解能力.FDNet-50、FDNet-101虽然层数较深, 但频域衰减在多层级传递中容易对关键频率成分产生过度抑制, 同时DSD的反复校准增加网络复杂度, 更容易陷入过拟合.相比之下, FDNet-34深度适中, 使网络在保证FDConv对频域响应的渐进式优化的同时, 又为DSD提供足够的层级进行方向分解与通道校准, 实现深度与性能的有效匹配.基于上述结果, 本节选用FDNet-34作为最终基线网络.
为了验证FDNet的图像分类性能, 选择如下17种主流网络作为对比网络:ResNet-34[6]、FAVOR+(Fast Attention via Positive Orthogonal Random Fea-tures)[20]、GhostNet[21]、Couplformer[22]、CCT(Compact Convolutional Transformer)[23]、双分支多注意力机制的锐度感知分类网络(Double-Branch Multi-attention Mechanism Based Sharpness-Aware Classification Net-work, DAMSNet)[24]、HO-ResNet[25]、UPANets(Uni-versal Pixel Attention Networks)[26]、EfficientNet[27]、面向图像分类的双域特征联合网络(Two-Domain Feature Association Networks for Image Classification, TANet)[28]、ATO(Auto-Train-Once)[29]、TA-DFKD(Tea-cher-Agnostic Data-Free Knowledge Distillation)[30]、空间约束注意力机制的图像分类网络(Spatially Constrained Attention Mechanism for Image Classi-fication Network, SCAM-Net)[31]、QKFormer[32]、AugLocal[33]、Multi-ResNet(Multi-residual Networks)[34]、全息梯度差分卷积的图像分类网络(Image Classi-fication Network of Holographic Gradient Differential Convolution, HGDNet)[35].
在CIFAR-10、CIFAR-100、SVHN、STL-10、Ima- genette、Imagewoof数据集上开展对比实验.对于未实现开源的网络, 相应的分类准确率引用原文献数据; 对于代码已公开的网络, 在相同实验环境下重新训练.
各网络在6个数据集上的分类准确率、参数量、浮点运算量和单幅图像推理时间如表2所示.
| 表2 各网络在6个数据集上的性能对比 Table 2 Performance comparison of different networks on six datasets |
由表2可看出, FDNet在6个数据集上均取得最高的分类准确率.从计算资源消耗上看, FDNet的参数量为23.10 M, 在224×224的输入分辨率下浮点运算量为5.24 G, 单幅图像推理时间为5.76 ms.相比ResNet-34, FDNet参数量略有增加, 浮点运算量和推理时间的增幅均在可接受范围内, 而分类准确率显著领先, 由此验证FDConv和DSD在精度与效率之间的平衡性.此外, 相比轻量级网络GhostNet, FDNet参数量和浮点运算量虽略有增加, 但分类准确率提升显著, 在CIFAR-10数据集上提高2.05%, 在Imagewoof数据集上提高7.62%, 这进一步体现FDNet在精度与效率之间的良好平衡.
在CIFAR-10、CIFAR-100数据集上, FDNet的分类准确率分别为96.97%和81.27%.CIFAR系列图像尺寸较小, 下采样时容易丢失高频细节.FDNet在浅层运用3×3 FDConv并去掉最大池化, 在避免空间分辨率过早衰减的同时, 借助FDConv的频域衰减机制保留低频轮廓, 并利用DSD的方向分解强化物体轮廓与纹理的特征表达, 为分类提供更具判别力的特征表示.
在SVHN数据集上, FDNet获得97.72%的分类准确率.该数据集的数字目标边缘清晰, 背景有大量不规则高频噪声.FDConv的频域衰减特性能有效抑制背景噪声, 同时留存数字边缘的关键高频信息; DSD通过水平方向和垂直方向的分解, 强化数字笔画的形状结构.两者共同发挥作用, 有效减少因噪声干扰导致的笔画混淆, 提高数字识别的准确性.
在STL-10数据集上, FDNet达到81.23%的分类准确率.该数据集图像分辨率较高且场景多样, 背景噪声容易随网络加深而逐层累积.FDConv在多层级传递中持续进行频谱优化, 抑制背景噪声的频率成分, 强化特征主体.DSD在残差层中逐级进行方向分解与通道校准, 使网络能聚焦于关键物体区域, 有效缓解复杂背景带来的干扰.
在Imagenette、Imagewoof数据集上, FDNet分别取得92.89%和85.93%的分类准确率, 显著优于对比网络.Imagenette、Imagewoof数据集类别间差异细微, 对细节特征的提取要求较高.FDConv通过频域衰减强化与类别相关的关键频率成分, DSD利用方向分解提取水平方向与垂直方向的细节信息.这种频域调控与空间方向感知的联合优化使FDNet在细粒度分类任务中优势明显.
为了检验FDConv模块相比FcaNet[12]、Spectral Normalization[15]的性能优势, 在与FDNet相同的首层配置下, 以ResNet-34为基础网络, 分别集成FcaNet、Spectral Normalization及FDConv, 在CIFAR-100、Imagewoof数据集上进行对比, 结果如表3所示, 表中* 表示网络首层已与FDNet对齐, CIFAR-100数据集上采用3×3卷积且无最大池化, Image- woof数据集上采用7×7卷积并保留最大池化.
| 表3 不同模块的性能对比 Table 3 Performance and efficiency comparison of different modules |
由表3可见, 在统一首层配置后, Spectral Normalization在CIFAR-100、Imagewoof数据集上分别取得78.32%和81.09%的分类准确率.FcaNet略高于Spectral Normalization, 达到78.59%和81.27%.仅替换卷积为FDConv的网络在CIFAR-100、Image- woof数据集上分别取得79.47%和82.30%的分类准确率, 明显优于Spectral Normalization和FcaNet, 并且参数量与浮点运算量相差较小.这表明FDConv通过对卷积核频域幅度进行指数衰减, 能有效抑制高频冗余分量, 提升网络泛化能力.FDNet作为同时引入FDConv与DSD的网络, 分类准确率达至81.27%和85.93%, 体现两个模块之间的协同效果.
为了进一步展现FDNet的分类性能, 在CIFAR-10、Imagenette、Imagewoof数据集上与ResNet-34进行混淆矩阵实验, 结果如图8所示.从混淆矩阵的对角线可看出, FDNet在各类别上的正确分类样本数均多于ResNet-34, 由此表明FDNet在类别判别上的优势.
综上所述, FDNet在多个数据集上均取得最优性能, 这得益于FDConv的衰减机制与DSD的方向分解与通道校准的协同作用.FDConv从频域层面优化特征的频谱分布, DSD从空间方向和通道维度提炼特征表达, 两者结合使网络能灵活处理不同尺寸的图像, 在各类分类任务中展现出稳定的特征提取能力.
为了探究FDNet中各模块对整体性能的贡献, 在CIFAR-10、CIFAR-100、SVHN、STL-10、Imagene-tte、Imagewoof数据集上开展消融实验.设计如下变体:Net1表示移除DSD; Net2表示将残差块中的FDConv替换为普通卷积; Net3表示未将首层卷积替换为FDConv; Net4表示不修改首层卷积核尺寸.
对于STL-10、Imagenette、Imagewoof这3个大尺寸数据集, FDNet首层设计采用7×7卷积与最大池化, Net3与Net4的首层配置无差异, 因此二者准确率一致, 相应结果合并展示.
各网络在6个数据集上的分类准确率如表4所示, 准确率变化趋势如图9所示.从表4和图9可看出, 完整FDNet在所有数据集上均取得最高分类准确率.随着关键模块的逐步移除, 分类性能呈逐级下降趋势, 由此验证各模块在整体设计中的有效性.
| 表4 FDNet中各模块消融实验结果 Table 4 Ablation experiment results of modules in FDNet % |
| 图9 各网络在6个数据集上分类准确率折线图Fig.9 Line chart of classification accuracy for different networks on six datasets |
当移除DSD后, 网络失去空间方向分解与通道校准能力.尽管FDConv仍在残差块中发挥作用, 但网络缺少方向感知与通道维度的选择性增强, 难以有效抑制背景噪声和过强通道干扰.从分类准确率变化来看, 移除DSD后性能普遍下降, 在对细节敏感的STL-10、Imagenette、Imagewoof数据集上分类准确率下降明显, 由此验证DSD对关键方向特征提取的有效性.
当残差块中的FDConv被替换为标准卷积后, 网络失去对频域幅度的衰减调控能力.标准卷积无法根据频率强度进行差异化处理, 导致高频噪声与关键频率信息难以有效分离.从Net1与Net2的性能对比来看, Net2的分类准确率进一步下降, 在纹理细节丰富的分类任务中下降更明显, 表明FDConv在残差路径中对特征频谱持续优化的必要性.
在首层卷积未被替换为FDConv时, 网络在初始特征提取阶段失去频域正则化的引导.浅层特征质量会直接对后续模块输入产生影响.在缺少频谱优化后, 很难有效分离和保留原始图像里的低频轮廓、高频细节.相比Net2, Net3的分类准确率继续下降, 这说明首层FDConv在建立高质量初始特征、支撑后续网络学习方面发挥关键作用.
当不修改首层卷积核尺寸时, 过大的感受野在小尺寸图像上会引入大量背景噪声, 同时下采样过程也会加速高频细节的损失.Net4在小尺寸数据集上的分类准确率明显低于Net3, 这进一步表明卷积核尺寸要与输入图像分辨率适应.
总之, 随着关键模块与操作逐渐被移除, FDNet的分类准确率呈现逐级下降的趋势, 由此从相反方向表明各个关键组件对网络整体性能的贡献.
此外, 为了进一步展现FDNet对不同样本的区分能力, 图10给出FDNet与Net4在6个数据集上的ROC曲线及对应的AUC值.
在CIFAR-10数据集上, FDNet的ROC曲线更贴近左上角, 各类别曲线分布集中, 多数类别的AUC值接近1.0, 平均AUC明显高于Net4.这说明FDNet能均衡识别10个类别, 在物体轮廓的方向特征提取和背景噪声的频域抑制上起到关键作用.
在CIFAR-100数据集上的ROC曲线也呈现类似趋势, FDNet的曲线整体位置较高, 各类别曲线紧凑, 无明显偏离, 宏平均AUC值远高于Net4.面对100个类别的复杂分类任务, FDNet通过DSD逐层学习不同类别的方向特征差异, 结合FDConv对关键频率成分的调节, 实现稳定的性能提升.
在SVHN数据集上的ROC曲线显示, FDNet几乎贴着左上角边界, 各类别AUC值普遍较高, 而Net4的曲线整体位置明显偏低.这表明FDConv对背景噪声的有效抑制和DSD对数字笔画结构的增强, 让网络能更准确区分数字目标, 分类能力明显优于Net4.
在STL-10数据集上的ROC曲线可反映网络的性能差异.Net4的曲线在不同类别间差异较大, 部分类别曲线位置偏低.相比之下, FDNet的曲线整体位置更高, 在各类别间的聚拢性也更优.由此可见, FDNet通过逐层方向分解和频域优化, 能更好地适应高分辨率场景, 实现类别的有效区分.
在Imagenette数据集上ROC曲线的对比中, Net4的曲线相对靠下, 部分类别在真阳率提升时假阳率增长较快.FDNet的曲线紧贴左上角, 各类别AUC值都较高且分布均衡.这体现出FDNet能有效捕捉类别之间的语义和视觉差异, 实现精准分类.
在Imagewoof这类类间相似度较高的细粒度数据集上, Net4的ROC曲线整体偏低, 类别之间离散度较大, AUC值远低于FDNet.FDNet的ROC曲线始终贴近左上角, 各类别AUC值较高且分布紧凑.这说明即使面对类间相似度较高的细粒度任务, FDNet仍能强化方向敏感特征和通道语义信息, 实现对细微类别的有效区分.
ROC曲线与AUC值的综合对比及结果有效验证FDNet在各数据集上的分类优势, 其均衡的类别区分能力和稳定的性能表现充分体现FDConv与DSD设计的有效性.
为了验证DSD对FDNet分类性能提升的有效性, 以SA(Split-Attention)[11]、CBAM[17]、ECA(Effi-cient Channel Attention)[18]、VA(Visual Attention)[36]4种主流注意力模块作为对比对象开展实验.将原有DSD分别替换为上述4种模块, 在6个数据集上进行训练, 结果如表5所示.由表可见, DSD在6个数据集上的分类准确率均超过其它对比模块, 验证其结构设计的有效性.相比其它模块, DSD在设计上兼顾方向特征的分离提取与通道权重的差异化校准, 使网络在不同类型的分类任务中均表现出良好的适应性.
| 表5 各模块在6个数据集上的分类准确率对比 Table 5 Classification accuracy comparison of different modules on six datasets % |
为了验证DSD在特征提取中的效果, 在CIFAR-10、Imagewoof数据集上各自随机选取3幅图像, 对SA、CBAM、ECA、VA、DSD的热力图进行可视化, 结果如图11所示.从图可观察到, 在CIFAR-10这类小尺寸数据集上, DSD的热力图响应更集中且鲜明.这得益于其空间方向分解与内部FDConv频域衰减的共同作用.这种设计可在抑制背景噪声的同时突出关键结构特征.
在类间相似度较高的Imagewoof大尺寸数据集上, DSD的优势更明显, 依靠水平方向和垂直方向的分解, 同时借助其内部FDConv的频域衰减特性, 在面部、耳部等关键区域形成稳定的高强响应, 有效捕捉细微的判别特征, 提高不同类别之间的特征区分度.
为了客观评估各注意力模块的聚焦能力, 以图11中的6幅图像作为样本, 计算热力图的平均激活值和激活区域面积, 结果如表6所示.
| 表6 不同注意力模块的热力图量化指标对比 Table 6 Comparison of quantitative metrics of heatmaps for different attention modules |
由表6可知, 在CIFAR-10数据集上, 各模块的激活强度和激活区域面积差异不大.DSD的平均激活值为0.469, 激活区域面积为0.811, 处于适中水平.这表明在简单数据集上, 各模块均能较好地聚焦目标主体.在Imagewoof细粒度数据集上, 各模块差异显著.SA的平均激活值最高, 但激活区域面积也最大, 注意力严重扩散至背景区域, CBAM和ECA同样存在激活区域面积过大的问题.相比之下, DSD的激活区域面积远小于SA、CBAM、ECA, 平均激活值保持在合理水平, 表明其能在有效抑制背景噪声干扰的同时, 将有限的注意力资源集中到目标的关键判别区域, 在细粒度分类中更具优势.
2.5.1 衰减因子τ
为了检验FDConv中衰减因子τ 的取值对FDNet性能的影响, 定义τ =0.1, 0.2, …, 2.0.鉴于DSD的构建也使用FDConv, 因此在嵌入DSD的基础上进行实验, 相应分类准确率如表7所示, 表中黑体数字表示最优值.
| 表7 τ 对FDNet性能的影响 Table 7 Effect of τ on FDNet performance % |
CIFAR-10数据集上分类准确率随τ 值的变化呈现先上升后下降的规律, 在τ =1.0时达到峰值96.97%.该数据集的图像尺寸较小, 频谱能量主要分布在低频区域, 中高频分量相对较弱.τ =1.0时的衰减强度与CIFAR-10数据集的频域分布特性最匹配, 在保留低频主体结构的同时适度抑制少量高频噪声.
CIFAR-100作为细粒度数据集, 类别区分依赖图像中较细微的频率成分.τ =1.0时分类准确率达到81.27%, 且τ 在0.8~1.3范围内均保持较高水平.CIFAR-100数据集的频率分布较复杂, 不同类别间的区分特征分布在多个频段, τ =1.0的衰减强度恰好能平衡各类别间共享的共性频率与类别专属的特异性频率.
在SVHN数据集上, τ =1.0时分类准确率达到峰值97.72%.SVHN数据集上数字图像边缘锐利、高频分量丰富, 背景中存在大量不规则的高频噪声.τ 从0.1增至1.0的过程中分类准确率持续上升, 超过1.0后分类准确率开始回落.τ =1.0时的衰减强度与SVHN图像的频域构成相适应, 能在有效抑制背景中高频干扰的同时保留数字边缘的关键高频信息.
在STL-10数据集上, 分类准确率对τ 的变化较敏感, 在τ =1.0时分类准确率为81.23%, 偏离后下降明显.STL-10数据集上图像分辨率较高, 低频结构与高频纹理信息共存, τ =1.0的衰减强度能兼顾不同频段的特征表达, 在保留低频主体结构的同时维持高频细节信息的完整性.
在Imagenette、Imagewoof数据集上, 分类准确率的最优值同样出现在τ =1.0时, 分别为92.89%和85.93%.这两个数据集来源于ImageNet, 图像内容复杂且频谱分布多样.τ =1.0时, 衰减强度在保留有效高频分量的同时, 可成功抑制无关频率成分.
从实验结果来看, 所有数据集上最优τ 值均为1.0.当τ =1.0时, 衰减系数完全由幅度A自身的指数函数决定, 可视为一种无偏的衰减尺度.函数对幅度A的抑制程度随A的增大呈指数级增长:当A较小时, 衰减系数接近1, 幅度几乎不变; 当A逐渐增大时, 抑制效果迅速增强.这种抑制曲线符合频域中弱信号保留、强信号压制的正则化需求.相比之下:τ <1.0时衰减曲线过陡, 会压制中等强度的关键频率分量; τ >1.0时曲线过平, 对强信号的抑制不够充分.因此τ =1.0是数学上的自然平衡点, 实验结果也显示在6个数据集上的最优衰减因子均为1.0, 此时FDConv在不同频域分布的数据集上均能取得最优性能.
2.5.2 DSD插入位置
DSD通过空间方向分解与通道注意力校准的级联设计, 实现对方向敏感特征与重要通道的协同增强.FDNet以ResNet-34为基础网络, 主干分为4个Layer层, 不同层级提取不同层次的特征.DSD的插入位置和数量不同, 对网络分类性能的影响也存在差异.插入位置不当可能引入冗余计算, 增加过拟合风险; 增加嵌入数量虽可提升特征提取能力, 但也会同步提高网络复杂度.因此选择适宜的插入位置和数量对优化网络性能至关重要.
为了对比DSD嵌入位置和数量对分类准确率的影响, 将融合FDConv的残差层简称为FLayer1、FLayer2、FLayer3、FLayer4, 在FLayer中嵌入DSD简称为D-Block.在确定FDConv最佳衰减因子的基础上, 设计8种DSD嵌入方式, 如图12所示.
这8种组合方式在6个数据集上的分类准确率对比如表8所示.由表可看出, 全层级嵌入DSD的网络H在6个数据集上均取得最高分类准确率.在每个残差层末端进行方向分解与通道注意力校准, 能帮助网络在不同层次上持续优化特征提取效果, 提升调控的实用性.
| 表8 不同位置和数量的D-Block对FDNet性能的影响 Table 8 Effect of position and number of D-Block on FDNet performance % |
在CIFAR-10这类类别数量较少的数据集上, 基础网络A已具有较强的特征提取能力.网络H在所有残差层中嵌入DSD, 凭借逐层的方向分解与通道重标定, 增强特征传递的稳定性, 实现有效的性能提升, 分类准确率始终最优.
CIFAR-100数据集上各特征之间差异较细微, 网络H将DSD嵌入全残差层后可在不同层级持续执行方向分解与通道重标定.浅层主要分离边缘与纹理相关的方向特征, 中层强化目标产生的响应, 高层整合语义信息.这种分层处理策略有效缓解细粒度特征在传递过程中容易发生混淆的问题.
在与街景门牌号相关的SVHN数据集上, 数字目标明显, 背景干扰较简单, 基础网络A已能很好地提取数字轮廓等关键特征.采用全层级DSD配置以后, 网络H经过多层方向分解和通道校准, 让特征提取的稳定性得到加强, 在高基准分类准确率的基础条件上保持最优.
对于具有较高图像分辨率的STL-10数据集, 背景干扰在多层级特征提取过程中容易累积.网络H在全残差层嵌入DSD以后, 浅层可有效分离水平方向与垂直方向的边缘特征, 中层增强目标主体结构方面的响应, 深层整合语义信息.这种逐层调整方式让网络H的分类准确率显著优于其它网络.
在由自然图像构成的Imagenette数据集中, 背景特征分布复杂, 对网络特征提取能力要求较高.网络H在全残差层嵌入DSD后, 浅层侧重局部纹理的方向特征提取, 中层将局部特征整合为物体形态的结构响应, 深层聚焦语义信息并强化关键通道.依靠这种分层调控的设计, 网络H在该数据集上取得最优性能.
Imagewoof数据集以不同犬种为分类对象, 毛发纹理、耳朵形状等细微特征是区分的关键.网络H在全残差层嵌入DSD, 浅层分离毛发纹理的水平方向与垂直方向的特征, 中层强化局部结构的通道响应, 深层整合语义信息并抑制无关干扰, 在Image-woof数据集上取得最高分类准确率.
总之, 网络H在所有数据集上均取得最优分类准确率.全层级嵌入DSD的配置使网络能对不同层次的特征持续优化.在场景复杂、特征多样的数据集上, 多层级的连续调控可有效提升特征传递的质量; 对于类别明确的数据集, 全层级配置可进一步巩固特征提取的稳定性.由此可见, 全层级嵌入DSD是提升网络分类性能的最佳选择.
2.5.3 首层卷积核尺寸k
首层卷积核的尺寸是影响网络初始感受野的关键参数, 不同大小的卷积核对图像低频轮廓与高频细节的捕捉能力存在差异.
为了探究首层FDConv卷积核尺寸对分类性能的影响, 在6个数据集上分别采用3×3、5×5、7×7、9×9、11×11的卷积核进行对比实验.CIFAR-10、CIFAR-100、SVHN数据集上图像尺寸较小, 实验时移除最大池化层以保留更多原始信息; STL-10、Imagenette、Imagewoof数据集上图像尺寸较大, 实验在保留最大池化层的同时仅选择7×7、9×9、11×11尺寸进行测试.
首层卷积核尺寸对FDNet性能的影响如表9所示.
| 表9 k对FDNet性能的影响 Table 9 Effect of k on FDNet performance % |
在CIFAR-10、CIFAR-100、SVHN这类小尺寸图像数据集上, 分类准确率随卷积核尺寸增大而下降.小尺寸图像的有效视觉信息有限, 卷积核感受野过大会引入无关背景区域.同时, 大卷积核下FDConv的频域幅度衰减机制对频谱的压缩范围更广, 导致图像中有限的高频细节受到过度抑制而削弱特征的区分能力.
在STL-10、Imagenette、Imagewoof这类大尺寸图像数据集上, 随着卷积核尺寸增大, 分类准确率呈现出同样的下降趋势.大尺寸图像虽能提供更丰富的视觉信息, 但过大的卷积核感受野使FDConv的频域衰减机制作用于更宽频率范围, 导致与目标相关的关键中频成分受到连带压制.对于依赖毛发纹理、物体轮廓等细节特征的细分类任务, 过大的卷积核会造成局部频率信息的混叠, 削弱网络对细微差异的分辨能力.
总之, 首层FDConv卷积核尺寸的选取应与输入图像尺寸适配.盲目增大首层卷积核尺寸不仅无法提升特征提取能力, 反而会因FDConv的频域衰减机制对关键频率成分产生过度抑制, 导致性能下降.
针对传统CNN中卷积核频域响应因缺乏显式约束而导致的高频分量过度强化的问题, 本文提出频域衰减卷积的图像分类网络(FDNet).FDNet由具有频域幅度衰减特性的频域衰减卷积模块(FDConv)和融合方向分离与通道校准的空间方向衰减模块(DSD)共同构建.FDConv对卷积核频域幅度进行指数衰减调控, 有效缓解因频响失衡导致的过拟合问题.DSD以FDConv为基础, 利用并行卷积提取水平方向与垂直方向的特征, 实现对方向特征与重要通道的协同增强.FDNet有效结合FDConv与DSD, 实现对频域响应、空间方向特征及通道重要性的联合优化, 在多个数据集上取得良好的分类效果, 由此验证FDNet在图像分类任务中的有效性.
未来研究可进一步探索FDConv在其它视觉任务中的应用潜力, 验证其跨任务适配性.同时优化DSD的结构设计, 在保持特征提取能力的基础上降低计算开销, 推动轻量化部署效果与跨任务泛化能力的提升.
本文责任编委 杨健
Recommended by Associate Editor YANG Jian
| [1] |
|
| [2] |
|
| [3] |
|
| [4] |
|
| [5] |
|
| [6] |
|
| [7] |
|
| [8] |
|
| [9] |
|
| [10] |
|
| [11] |
|
| [12] |
|
| [13] |
|
| [14] |
|
| [15] |
|
| [16] |
|
| [17] |
|
| [18] |
|
| [19] |
|
| [20] |
|
| [21] |
|
| [22] |
|
| [23] |
|
| [24] |
|
| [25] |
|
| [26] |
|
| [27] |
|
| [28] |
|
| [29] |
|
| [30] |
|
| [31] |
|
| [32] |
|
| [33] |
|
| [34] |
|
| [35] |
|
| [36] |
|

