在多标签数据中, 假设有n个样本, d个特征和q个标签类别, 特征集合C={f₁, f₂, …, f_d}, 标签集合L={l₁, l₂, …, l_q}.训练数据集的特征矩阵X∈ R^{n× d}, 对应的标签矩阵Y∈ {0, 1}^{n× q}.特征矩阵的第i行x_i ∈ R^d(i=1, 2, …, n)为样本x_i的特征向量.类似地, 标签矩阵的第i行y_i∈ {0, 1}^q为与样本x_i对应的标签向量.对于标签向量中的元素y_ij(j=1, 2, …, q), y_ij=1表示样本x_i具有标签l_j, 否则y_ij=0.

2.2.1 模糊粗糙集

给定一个模糊信息系统FIS=< U, C∪ D> , 其中U={x₁, x₂, …, x_n}表示论域, C={f₁, f₂, …, f_d}表示条件属性集, D={l₁, l₂, …, l_q}表示决策属性集.

对于任意属性子集B⊆C, 可在论域U上诱导出相应的模糊关系R_B.若对于论域中的任意元素x、y, 关系R_B满足

1)自反性:R_B(x, x)=1,

2)对称性:R_B(x, y)=R_B(y, x),

则称为模糊相似关系^[29].

对于属性子集B⊆C, 诱导的模糊相似关系为:

$R_{B}(x, y)=\bigcap_{f \in B} R_{f}(x, y)$

其中R_f(x, y)表示样本x、y在属性f下的相似程度.此外, 由R_B诱导出样本x_i的模糊知识粒记为 [xi]B.

在模糊信息系统FIS=< U, C∪ D> 中, 对于∀ B⊆C, D_h∈ U/D, ∀ x ∈ U关于B对D_h的下近似与上近似分别定义如下^[30]:

$\underline{R}_{B}\left(D_{h}\right)(x)=\inf _{y \in U} \max \left\{1-R_{B}(x, y), D_{h}(y)\right\}, $

$\bar{R}_{B}\left(D_{h}\right)(x)=\sup _{y \in U} \min \left\{R_{B}(x, y), D_{h}(y)\right\} .$

进而, 决策D相对于属性子集B的模糊正域为^[30]:

$\operatorname{POS}_{B}(D)(x)=\cup_{D_{h} \in U / D} \underline{R}_{B}\left(D_{h}\right)(x) .$

对于∀ B⊆C, 决策属性D对B的模糊依赖度为^[30]:

$\gamma_{B}(D)=\frac{\left|\operatorname{POS}_{B}(D)\right|}{|U|}=\frac{\sum_{x \in U} \operatorname{POS}_{B}(D)(x)}{|U|} \in[0, 1], $

γ _B(D)用于衡量正域在整个论域中所占的比例, 常刻画决策属性与条件属性之间的相关性.

2.2.2 全局框架构建

互信息作为信息论核心度量, 刻画变量间共享信息量.在特征选择中, mRMR^[8]期望候选特征与标签高相关, 并与已选特征低冗余, 其基本形式如下:

$\max \left(f^{+}\right)=I\left(f^{+}, L\right)-I\left(f^{+}, S\right), $

其中 f⁺表示待选特征, L表示标签集合, S表示已选择特征子集, I(· , · )表示互信息.

对于任意两个随机变量X、Y, 互信息定义如下:

$I(X, Y)=\sum_{x \in X} \sum_{y \in Y} p(x, y) \log _{2}\left(\frac{p(x, y)}{p(x) p(y)}\right), $

其中, p(x, y)表示联合概率分布, p(x)、p(y)表示边缘概率分布.

在此基础上, 文献[13]构建全局相关性与冗余度的优化框架, 将特征选择形式化为

$\min _{\mathbf{Z}}\left[\sum_{u=1}^{q} \sum_{i=1}^{d}\left(I\left(\boldsymbol{f}_{i}, \boldsymbol{l}_{u}\right) z_{i u}-\sum_{j=1}^{d} I\left(\boldsymbol{f}_{i}, \boldsymbol{f}_{j}\right) z_{i u} z_{j u}\right)\right], $ (1)

其中, 矩阵Z∈ R^{d× q}表示特征系数矩阵, z_iu、z_ju分别表示特征f_i、 f_j相对于标签l_u的重要性, I(f_i, l_u)表示特征f_i与标签l_u之间的互信息, I(f_i, f_j)表示特征f_i、 f_j之间的互信息.式(1)表明, 一个特征的重要程度与特征-标签的相关性呈正相关, 并受其它特征的冗余抑制.

进一步地, 刻画标签间余弦相似关系, 建立标签相关性, 得到如下优化目标:

$\min _{Z}\|Z-C\|_{\mathrm{F}}^{2}+\alpha \operatorname{tr}\left(Z^{\mathrm{T}} \boldsymbol{G} \boldsymbol{Z}\right)+\beta \operatorname{tr}\left(\boldsymbol{R} \boldsymbol{Z}^{\mathrm{T}} \boldsymbol{Z}\right), $ (2)

其中, c_ij=I(f_i, l_j)表示特征与标签的相关性, g_ij=I(f_i, f_j)表示特征间冗余, r_ij=1-s_ij表示标签间的相关性,

$s_{i j}=\cos \left(\boldsymbol{l}_{i}, \boldsymbol{l}_{j}\right)=\frac{\boldsymbol{l}_{i}^{\mathrm{T}} \boldsymbol{l}_{j}}{\left\|\boldsymbol{l}_{i}\right\|\left\|\boldsymbol{l}_{j}\right\|}, $

表示标签l_i、l_j之间的余弦相似度, l_i∈ {0, 1}ⁿ表示第i个标签的列向量, l_j∈ {0, 1}ⁿ表示第j个标签的列向量, α 、 β 表示权衡系数.由式(2)可见, Z同时受特征相关性、特征冗余性及标签相关性的共同约束, 从而实现全局优化.

2.3.1 基于多标签k-近邻模糊依赖度的高阶相关性评估

在多标签特征选择中, 准确评估特征与标签集之间的相关性始终是一项核心挑战.现有方法, 如互信息, 多基于“ 成对” 思想, 即分别度量特征与单个标签之间的依赖关系, 从而构建相关性矩阵, 实现对特征相关性的评估.虽然这一思路在计算上直观且具备一定的可解释性, 但无法捕捉特征对复杂标签组合的高阶判别作用.

针对这一问题, 本节引入模糊粗糙集理论, 提出基于多标签 k-近邻的特征依赖度方法, 直接量化特征与整个标签集之间的高阶相关性, 全面揭示特征与标签系统之间的复杂依赖关系.

为了挖掘标签空间中隐含的分类信息, 同时针对传统标签空间离散且对噪声敏感的局限, 引入模糊粗糙集中的粒化思想, 利用模糊相似关系作为特征与标签的语义桥梁, 构建能反映标签分布特性的语义空间.不同于传统样本对标签非此即彼的确定性关系, 多邻域模糊决策将离散的类别标签转化为连续的模糊语义向量, 有效减少由标签错误引起的分类偏差.

定义1综合模糊相似关系 给定多标签信息系统, 包含样本集U={x₁, x₂, …, x_n}和特征集C={f₁, f₂, …, f_d}.对于∀ x_i∈ U, x_j∈ U, 在C上的模糊相似关系为:

$S\left(x_{i}, x_{j}\right)=\min _{t=1}^{d} R_{t}\left(x_{i}, x_{j}\right), $ (3)

其中

$\begin{array}{l} R_{t}\left(x_{i}, x_{j}\right)= \\ \left\{\begin{array}{ll} 1-\left|f_{t}\left(x_{i}\right)-f_{t}\left(x_{j}\right)\right|, & \left|f_{t}\left(x_{i}\right)-f_{t}\left(x_{j}\right)\right| \leqslant \xi_{t} \\ 0, & \text { 其它 } \end{array}\right. \end{array}$

表示样本x_i、x_j在特征f_t上的模糊相似关系, ξ _t=std(f_t)/λ 表示由特征f_t的标准差和调节参数λ 共同决定的自适应邻域半径.式(3)表明, 只有当两个样本在所有特征上都足够相似时, 相似度才较高.

定义2多邻域模糊决策 对于∀ x_i∈ U, 其标签l_p的多邻域模糊决策为:

$\widetilde{L}_{p}\left(x_{i}\right)=\frac{\sum_{j=1}^{n} S\left(x_{i}, x_{j}\right) y_{j p}}{\sum_{j=1}^{n} S\left(x_{i}, x_{j}\right)}, $ (4)

其中y_jp表示样本x_j关于标签l_p的取值 (0或1). L˜p(x_i)反映样本x_j隶属于标签l_p的模糊程度.标签集L的模糊决策构成向量:

$\widetilde{\boldsymbol{L}}\left(x_{i}\right)=\left[\widetilde{L}_{1}\left(x_{i}\right), \widetilde{L}_{2}\left(x_{i}\right), \cdots, \widetilde{L}_{q}\left(x_{i}\right)\right], $

该向量将样本x_i映射到一个q维的标签语义空间.

在多标签空间中, 如何精准定义同类样本与异类样本是构建模糊粗糙集上下近似的关键, 为此, 借鉴皮尔逊相关系数的思想^[31], 利用标签隶属度 L˜p(x_i)衡量样本间的相似性, 用于识别在标签分布上与目标样本差异最大的样本.

定义3标签相似度 任意两个样本x_i、x_j在标签空间中的相似度SIM(x_i, x_j)由其模糊决策向量的皮尔逊相关系数计算得出, 即

$\operatorname{SIM}\left(x_{i}, x_{j}\right)=\frac{\left(\widetilde{\boldsymbol{L}}\left(x_{i}\right)-\widetilde{\widetilde{L}}\left(x_{i}\right)\right)\left(\widetilde{\boldsymbol{L}}\left(x_{j}\right)-\widetilde{\widetilde{L}}\left(x_{j}\right)\right)^{\mathrm{T}}}{\left\|\widetilde{\boldsymbol{L}}\left(x_{i}\right)-\widetilde{\widetilde{L}}\left(x_{i}\right)\right\|\left\|\widetilde{\boldsymbol{L}}\left(x_{j}\right)-\widetilde{\widetilde{L}}\left(x_{j}\right)\right\|}, $

其中 L˜¯(x_i)、 L˜¯(x_j)表示样本x_i、x_j的均值.SIM值越高, 表示样本的标签语义越相近.对于每个样本x_i, 可确定其软异类样本集DT为与x_i的SIM值最小的k个样本集, 这些样本与x_i在标签层面差异最显著.

在上述软异类样本集的基础上, 通过模糊粗糙集下近似的思想度量特征的依赖度.直观上, 特征的分类能力体现在其能否有效区分样本与其软异类样本.

定义4 k-近邻模糊下近似 给定特征f_t∈ C, 对于∀ x_i∈ U关于标签集L的k-近邻模糊下近似(即正域)定义如下:

$\operatorname{POS}_{f_{t}}(L)\left(x_{i}\right)=\frac{1}{k} \sum_{x_{j} \in D T\left(x_{i}\right)}\left(1-R_{f_{t}}\left(x_{i}, x_{j}\right)\right), $ (5)

其中, DT(x_i)表示x_i的软异类样本集, Rft(x_i, x_j)表示样本x_i、x_j在特征f_t上的模糊相似关系.PO Sft(L)(x_i)直观表现特征在决策中的重要程度.

定义5 k-近邻模糊依赖度 对于特征f_t, 其相对于标签系统L的 k-近邻模糊依赖度定义如下:

$F D\left(f_{t}, L\right)=\frac{1}{n} \sum_{i=1}^{n} \operatorname{POS}_{f_{t}}(L)\left(x_{i}\right) \in[0, 1] .$ (6)

FD(f_t, L)值越高, 表明特征f_t在全局标签下区分不同标签语义样本的能力越强, 即该特征与整个标签集的高阶相关性越强.

在GHC-DR中, 计算每个特征的k-近邻模糊依赖度, 得到一个高阶相关性向量:

$\boldsymbol{F}_{\text {H_Relevance }}=\left[F D\left(f_{1}, L\right), F D\left(f_{2}, L\right), \cdots, F D\left(f_{d}, L\right)\right] .$

不同于式(2)直接使用互信息矩阵作为稀疏学习模型的优化目标, GHC-DR在目标函数中将该高阶相关性向量作为奖惩机制融入互信息矩阵, 充分捕捉复杂标签结构中的潜在依赖关系.

因此, 优化目标定义如下:

$\min _{\boldsymbol{Z}}(\underbrace{\left\|\boldsymbol{Z}-\boldsymbol{C}_{\mathrm{FLH}}\right\|_{\mathrm{F}}^{2}}_{\text {相关性加权拟合项 }}+\underbrace{\alpha \operatorname{tr}\left(\boldsymbol{Z}^{\mathrm{T}} \boldsymbol{G} \boldsymbol{Z}\right)}_{\text {特征元余项 }}+\underbrace{\beta \operatorname{tr}\left(\boldsymbol{R} \boldsymbol{Z}^{\mathrm{T}} \boldsymbol{Z}\right)}_{\text {标签相关项 }}), $

其中

C_FLH=diag(w)C,

w表示由F_{H_Relevance}经过线性缩放得到的权重向量, diag(w)表示对角矩阵.该设计通过增强在全局标签系统中作用显著的特征权重, 并抑制仅对少数标签有效的特征, 使算法在特征权重学习过程中能更突出整体相关性, 更好地适应多标签学习的复杂性.

2.3.2 基于局部图结构的双重特征冗余性度量

现有特征选择方法在冗余性评估中通常依赖信息论度量, 如互信息与条件互信息, 忽视特征在数据空间中的几何结构.为此, 本节在互信息冗余度的基础上, 进一步引入局部图结构, 捕捉几何层面的潜在冗余性, 提出局部结构化的双重冗余性评估机制.

特征向量不仅描述样本的属性值, 数值分布也隐式刻画样本间的分布结构, 若两个特征诱导的样本空间结构相似, 可认为存在结构性冗余.基于此思想, 将所有特征视为图中节点, 并构建一个特征图相似性矩阵FF_graph, 量化其结构性冗余.

定义6特征间的结构距离 给定特征集C={f₁, f₂, …, f_d}, 其中每个特征f_i视为一个n维的向量(n为样本数), 记作f_i∈ Rⁿ.任意两个特征f_i、 f_j之间的距离采用余弦定义:

$\operatorname{dist}\left(\boldsymbol{f}_{i}, \boldsymbol{f}_{j}\right)=1-\frac{\boldsymbol{f}_{i} \boldsymbol{f}_{j}}{\left\|\boldsymbol{f}_{i}\right\|\left\|\boldsymbol{f}_{j}\right\|} .$

该度量反映特征向量在方向上的差异, 距离越小, 表明两者在样本中的作用越接近.为了关注局部结构, 进一步构建k-近邻图, 对于每个特征节点f_i, 仅保留其在距离上最近的k个邻居特征, 从而更准确地反映局部的几何结构.

定义7基于图的结构局部相似度 特征f_i、 f_j之间的图结构相似度定义如下:

$F F_{\text {graph }}(i, j)=\left\{\begin{array}{ll} \exp \left(-\frac{\operatorname{dist}\left(\boldsymbol{f}_{i}, \boldsymbol{f}_{j}\right)^{2}}{2 \sigma_{i}^{2}}\right), & \boldsymbol{f}_{j} \in N_{k}\left(\boldsymbol{f}_{i}\right) \\ 0, & \text { 其它 } \end{array}\right.$

其中, N_k(f_i)表示特征f_i的k个最近邻集合,

$\sigma_{i}=\operatorname{dist}\left(\boldsymbol{f}_{i}, \boldsymbol{f}_{k}^{(i)}\right)$

表示f_i与其第k个近邻 fk(i)之间的距离, 作为局部自适应带宽.同时为了保证矩阵的对称性, 最终的相似性矩阵为:

$\boldsymbol{F} \boldsymbol{F}_{\text {graph }}=\max \left(\boldsymbol{F} \boldsymbol{F}_{\text {graph }}, \boldsymbol{F} \boldsymbol{F}_{\text {graph }}^{\mathrm{T}}\right) .$

FF_graph(i, j)值越高, 表明特征f_i、 f_j在样本空间中结构作用越相似, 即是冗余的.通过在互信息的基础上引入结构冗余性, 形成 GHC-DR中一个局部精细和全局宏观的正则化项.

在GHC-DR中, 将基于互信息的冗余矩阵G与基于图的结构相似性矩阵FF_graph进行线性加权组合, 形成一个新的冗余矩阵:

$\boldsymbol{G}_{\mathrm{FGM}}=(1-\omega) \boldsymbol{G}+\omega \boldsymbol{F} \boldsymbol{F}_{\mathrm{graph}}, $ (7)

其中, ω ∈ [0, 1], 用于衡量两种冗余的权重.由于图结构是基于局部k-近邻构建的(k 自适应设为特征总数的 5%), 因此这里将ω 固定为 0.2.由此得到的G_FGM同时捕捉特征间局部相似性和全局相似性.

最终GHC-DR优化目标函数定义如下:

$\min _{\boldsymbol{Z}}(\underbrace{\left\|\boldsymbol{Z}-\boldsymbol{C}_{\mathrm{FLH}}\right\|_{\mathrm{F}}^{2}}_{\text {相关性加䄺拟合项 }}+\underbrace{\alpha \operatorname{tr}\left(\boldsymbol{Z}^{\mathrm{T}} \boldsymbol{G}_{\mathrm{FGC}} \boldsymbol{Z}\right)}_{\text {双重特征元余项 }}+\underbrace{\beta \operatorname{tr}\left(\boldsymbol{R} \boldsymbol{Z}^{\mathrm{T}} \boldsymbol{Z}\right)}_{\text {标签相关项 }}) .$ (8)

该目标函数在互信息的基础上, 引入高阶相关性评估和双重冗余性度量, 更全面刻画多标签数据的内在结构.式(8)综合考虑高阶相关性、双重冗余性及标签相关性等因素.

本节简要介绍GHC-DR的优化目标求解过程.冗余矩阵G_FGM为2个对称半正定矩阵(G和FF_graph)的非负加权和, 并且标签相关性矩阵R本身也是对称半正定矩阵.因此, 目标函数(8)是一个关于变量Z的严格凸函数, 从而保证全局最优解存在其唯一性^[13].

对函数关于Z求梯度并令其为0, 可解得Z的方程:

(I+α G_FGM)Z+Z(β R)=C_FLH, (9)

其中I表示单位矩阵.式(9)是一个形如

AZ+ZB=C

的李雅普诺夫方程, 已有数值稳定且高效的求解方法^[32], 在MATLAB环境中, 可直接调用lyap函数进行求解.解得Z后, 通过其向量z_i∶ 的L₂-范数计算每个特征f_i, 最终排序得到特征选择结果.

算法 1 GHC-DR

输入 数据矩阵X∈ R^{n× d}, 标签矩阵L∈ R^{n× q},

特征选择数量k, 超参数α , β , λ

输出 Top-k特征的索引

1.for 每个x_i∈ U do

2. for 每个l∈ L do

3. 计算特征标签互信息矩阵C

4. end

5. for 每个x_j∈ U do

6. 计算特征间冗余互信息矩阵G

7. end

8.end

9.计算标签间相关性矩阵

L_R← CosineSimilarity(L^T, L^T)

// 计算高阶特征依赖度F_{H_Relevance}

10.for 每个x_t∈ U do

11. 对每个特征, 计算模糊关系矩阵R_t

12. 计算所有特征下的综合相似度S(式(3))

13.end

14.for 每个l∈ L do

15. 计算标签下多邻域模糊决策 L˜p(x_i)(式(4))

16.end

17.基于 L˜p(x_i)计算样本间的相似度SIM(x_i, x_j),

确定软异类样本集DT

18.for 每个x_t∈ U do

19. 计算正域PO Sft(L)(x_i)(式(5))

20. 计算k-近邻模糊依赖度FD(f_t, L)(式(6))

21. F_{H_Relevance}(f_t, L)← FD(f_t, L)

22.end

23.计算基于图结构的特征冗余度矩阵FF_graph

24.计算特征-标签相关性

C_FLH← Cdiag(w)← F_{H_Relevance}

25.计算新特征冗余度矩阵G_FGM(式(7))

26.构建李雅普诺夫方程AZ+ZB=C, 优化求解权

值矩阵Z

27.for 每个x_t∈ U do

28. 计算全局得分 S_t= ∑j=1qZ(i, j)

29.end

30.返回排序后的Top-k特征

在GHC-DR中, 假设有n个样本, d个特征, q个标签.步骤1~9计算特征之间、特征-标签间及标签间的相关性, 时间复杂度为O(d²+dq+q²).步骤10~22计算特征与标签L的高阶依赖度, 用于调整相关性矩阵, 时间复杂度为O(d(n²+nk)), 其中k表示最小类别标签的10% 样本数.步骤23计算图特征冗余, 时间复杂度为O(nd²).因此, GHC-DR总体时间复杂度为O(nd²+n²+q²+nq).

在15个公开多标签数据集上进行实验, 这些数据集来源于Mulan项目库, 涵盖文本、图像、音频、生物学等多个领域.表 1 详细列出这些数据集的统计信息.按照惯例, 采用针对数据集原始划分的训练集和测试集进行所有实验, 确保对比的公平性.

表1

Table 1

表1(Table 1)

表1 实验数据集 Table 1 Experimental datasets 名称 领域 实例数 特征数 标签数 Arts Text 5000 462 26 Birds Audio 645 260 19 Business Text 5000 438 30 Computers Yahoo 5000 681 33 Corel16k001 Image 13766 500 153 Education Text 5000 550 33 Health Text 5000 612 32 Recreation Yahoo 5000 606 22 Reference Yahoo 5000 793 33 Yeast Biology 2417 103 14 Emotions Music 593 72 6 Flags Image 194 19 7 Image Image 2000 294 5 Medical Text 978 1449 45 Scene Image 2407 294 6

表1 实验数据集 Table 1 Experimental datasets

多标签学习的性能评估比单标签更复杂.本文采用如下5个广泛认可的多标签评估指标, 从不同角度衡量算法性能:HL(Hamming Loss)↓ , RL(Ran-king Loss)↓ , CV(Coverage)↓ , OE(One Error)↓ , AP(Average Precision)↑ .其中, 符号↑ 表示指标值越大性能越优, ↓ 表示指标值越小性能越优.

所有对比算法参数均采用文献中的建议或原始代码中设置.

对于GHC-DR, 超参数α 、 β 通过网格搜索策略进行寻优, 搜索范围设为{10^-2, 10^-1, 1, 10¹, 10²}, 超参数λ 在{0.6, 0.8, 1, 1.2, 1.4}内搜索.参数通过平均分类结果(Average Classification Result, ACR)最小值确定^[13].ACR定义如下:

$A C R(\text { para })=\sum_{i=1}^{30}\left(H L_{i}(\epsilon, U)+R L_{i}(\epsilon, U)\right), $

其中, para表示算法参数集合, U表示测试集, $\epsilon $表示分类器, 即ML-KNN.HL_i($\epsilon $, U)和RL_i($\epsilon $, U)分别表示选择前30%特征时的HL值和RL值.

在性能评估阶段, 所有算法均选取总特征数的 50% 作为筛选后的特征子集用于性能评估.使用ML-KNN(k=10, s=1) 进行分类评估.

所有实验均在一台配置Intel i9 CPU和32 GB RAM的PC上进行.

为了验证GHC-DR 的有效性, 选取如下9种具有代表性的多标签特征选择算法作为对比算法.1)基于互信息的多标签特征选择算法:文献[9]算法、GRRO^[13]和Global Relevance and Redundancy Opti-mization with Label-Specific Features(简记为GRRO-LS)^[13]、文献[18]算法.2)基于非负矩阵分解的多标签特征选择算法:SCNMF (Multi-label Feature Se-lection via Similarity Constraints with Non-negative Matrix Factorization)^[33].3)结合互信息与稀疏约束的多标签特征选择算法:MFS-MFR^[16].4)采用稀疏正则项的多标签特征选择算法:MDFS^[34]、PMSNE^[35]、SLOFS^[36].

在15个数据集上对比各算法的指标值, 结果如表2至表6所示, 表中给出1%~50%特征范围内各指标的平均值, 黑体数字表示最优值.由表可知, GHC-DR在大多数数据集上均表现较优.特别是在AP指标上, GHC-DR在多达11个数据集上取得最优值, 此外, 对于RL、CV指标也在10个数据集上获得最优值, 这有力证实其在提升分类精度和减少排序错误方面的能力.此外, 一些对比算法在特定的数据集上也展现出较优性能.例如:MFS-MFR在Me- dical数据集上表现出色, 4个指标值均优于GHC-DR; GRRO-LS在Corel16k001数据集上取得4个指标的最优值.然而, 综合来看, GHC-DR在大多数数据集上的指标值均展现出一定领先优势, 由此可得出结论:GHC-DR在多标签特征选择方面是有效的, 与其它前沿算法相比具有性能优势.

表2

Table 2

表2(Table 2)

表2 各算法在15个数据集上的AP值对比 Table 2 Comparison of AP values obtained by different algorithms on 15 datasets 数据集 GHC-DR 文献[9]算法 GRRO GRRO-LS MDFS MFS-MFR PMSNE 文献[18]算法 SCNMF SLOFS Arts 0.5283 0.5158 0.5233 0.5220 0.5141 0.4838 0.5136 0.4819 0.4619 0.5056 Birds 0.4744 0.3835 0.3417 0.3634 0.3828 0.4608 0.4459 0.4624 0.4459 0.4487 Business 0.8762 0.8743 0.8758 0.8755 0.8736 0.8668 0.8728 0.8608 0.8647 0.8699 Computers 0.6388 0.6350 0.6358 0.6338 0.6351 0.6231 0.6339 0.6193 0.6200 0.6314 Corel16k001 0.2448 0.2368 0.2493 0.2513 0.2434 0.2470 0.2444 0.2280 0.2428 0.2409 Education 0.5638 0.5604 0.5597 0.5569 0.5570 0.5144 0.5551 0.4966 0.4926 0.5578 Health 0.7047 0.6986 0.7038 0.7009 0.6947 0.6582 0.6938 0.6426 0.6503 0.6878 Recreation 0.5311 0.5014 0.5240 0.5183 0.4916 0.4600 0.4905 0.4784 0.4307 0.4799 Reference 0.6394 0.6368 0.6351 0.6404 0.6329 0.5922 0.6338 0.6030 0.5947 0.6267 Yeast 0.7476 0.7371 0.7488 0.7450 0.7378 0.7481 0.7392 0.7368 0.7231 0.7428 Emotions 0.7455 0.6945 0.7233 0.7345 0.6946 0.6941 0.7372 0.6311 0.6727 0.7421 Flags 0.8113 0.7808 0.7928 0.7912 0.7760 0.7857 0.7912 0.7836 0.7946 0.7920 Image 0.7668 0.7231 0.7379 0.7014 0.7330 0.7361 0.7280 0.7260 0.6355 0.7363 Medical 0.7571 0.7348 0.7458 0.7766 0.7225 0.8135 0.7365 0.6730 0.5123 0.6467 Scene 0.8120 0.7495 0.7876 0.7104 0.7466 0.7672 0.7785 0.7431 0.5832 0.7553

表2 各算法在15个数据集上的AP值对比 Table 2 Comparison of AP values obtained by different algorithms on 15 datasets

表3

Table 3

表3(Table 3)

表3 各算法在15个数据集上的CV值对比 Table 3 Comparison of CV values obtained by different algorithms on 15 datasets 数据集 GHC-DR 文献[9]算法 GRRO GRRO-LS MDFS MFS-MFR PMSNE 文献[18]算法 SCNMF SLOFS Arts 5.2761 5.3501 5.3248 5.2929 5.3867 5.6637 5.3758 5.6874 5.9257 5.4256 Birds 2.7843 3.5103 3.8365 3.6642 3.5152 2.8806 2.9990 2.8772 2.9990 3.0743 Business 2.2949 2.3348 2.3192 2.3173 2.3457 2.4740 2.3647 2.5612 2.4911 2.3797 Computers 4.3532 4.4257 4.3629 4.3549 4.4318 4.5359 4.4234 4.6699 4.5525 4.4838 Corel16k001 64.0449 65.1304 63.7383 63.3560 64.3541 63.8903 64.2837 66.6811 65.1474 64.8632 Education 3.8560 3.8560 3.8601 3.8604 3.8708 4.1773 3.8698 4.3086 4.4339 3.8637 Health 3.2258 3.2468 3.2161 3.2324 3.2803 3.6759 3.2794 3.7958 3.5973 3.3250 Recreation 4.6640 4.8316 4.6417 4.6833 4.9018 5.1047 4.9006 5.0057 5.1708 4.9837 Reference 3.2058 3.2840 3.2968 3.2316 3.3302 3.6481 3.3174 3.6259 3.6061 3.3418 Yeast 6.5357 6.6285 6.5023 6.5332 6.6054 6.5118 6.5985 6.6277 6.7420 6.5937 Emotions 2.1473 2.5084 2.3199 2.2147 2.5182 2.5226 2.1928 2.9660 2.6262 2.2162 Flags 3.7631 4.0108 3.9615 3.9677 3.9831 3.9600 3.9446 4.0169 3.8246 3.8200 Image 1.0206 1.1502 1.1079 1.2274 1.1257 1.1069 1.1465 1.1506 1.5212 1.1270 Medical 3.3854 3.5427 3.5425 3.2246 3.7564 2.7965 3.6128 4.3651 5.7324 4.2295 Scene 0.6659 0.8990 0.8033 1.1251 0.9106 0.8242 0.8202 0.9361 1.6777 0.9092

表3 各算法在15个数据集上的CV值对比 Table 3 Comparison of CV values obtained by different algorithms on 15 datasets

表4

Table 4

表4(Table 4)

表4 各算法在15个数据集上的RL值对比 Table 4 Comparison of RL values obtained by different algorithms on 15 datasets 数据集 GHC-DR 文献[9]算法 GRRO GRRO-LS MDFS MFS-MFR PMSNE 文献[18]算法 SCNMF SLOFS Arts 0.1448 0.1477 0.1465 0.1454 0.1491 0.1590 0.1485 0.1603 0.1695 0.1507 Birds 0.2353 0.3003 0.3297 0.3159 0.3011 0.2418 0.2531 0.2385 0.2531 0.2578 Business 0.0408 0.0418 0.0414 0.0414 0.0423 0.0456 0.0427 0.0480 0.0462 0.0435 Computers 0.0899 0.0916 0.0903 0.0900 0.0919 0.0950 0.0916 0.0983 0.0954 0.0931 Corel16k001 0.2120 0.2160 0.2106 0.2090 0.2134 0.2102 0.2126 0.2216 0.2152 0.2142 Education 0.0901 0.0901 0.0902 0.0905 0.0906 0.0996 0.0907 0.1032 0.1065 0.0904 Health 0.0588 0.0594 0.0586 0.0590 0.0602 0.0709 0.0601 0.0741 0.0688 0.0614 Recreation 0.1709 0.1791 0.1705 0.1726 0.1820 0.1922 0.1822 0.1882 0.1977 0.1857 Reference 0.0821 0.0843 0.0846 0.0825 0.0858 0.0951 0.0853 0.0947 0.0942 0.0861 Yeast 0.1804 0.1880 0.1793 0.1819 0.1888 0.1800 0.1867 0.1875 0.1989 0.1841 Emotions 0.2172 0.2850 0.2492 0.2279 0.2845 0.2861 0.2233 0.3710 0.3117 0.2248 Flags 0.2169 0.2544 0.2430 0.2437 0.2577 0.2490 0.2453 0.2529 0.2363 0.2384 Image 0.1958 0.2292 0.2181 0.2483 0.2234 0.2188 0.2273 0.2287 0.3223 0.2226 Medical 0.0562 0.0600 0.0602 0.0538 0.0642 0.0452 0.0616 0.0777 0.1084 0.0752 Scene 0.1131 0.1588 0.1397 0.2035 0.1608 0.1441 0.1433 0.1661 0.3135 0.1612

表4 各算法在15个数据集上的RL值对比 Table 4 Comparison of RL values obtained by different algorithms on 15 datasets

表5

Table 5

表5(Table 5)

表5 各算法在15个数据集上的HL值对比 Table 5 Comparison of HL values obtained by different algorithms on 15 datasets 数据集 GHC-DR 文献[9]算法 GRRO GRRO-LS MDFS MFS-MFR PMSNE 文献[18]算法 SCNMF SLOFS Arts 0.0590 0.0606 0.0592 0.0595 0.0602 0.0619 0.0604 0.0613 0.0630 0.0608 Birds 0.0506 0.0529 0.0521 0.0523 0.0529 0.0503 0.0512 0.0511 0.0512 0.0512 Business 0.0272 0.0274 0.0274 0.0273 0.0275 0.0283 0.0277 0.0286 0.0283 0.0282 Computers 0.0389 0.0399 0.0391 0.0400 0.0398 0.0411 0.0402 0.0408 0.0415 0.0404 Corel16k001 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 0.0200 Education 0.0408 0.0405 0.0408 0.0410 0.0406 0.0436 0.0407 0.0440 0.0441 0.0405 Health 0.0412 0.0421 0.0410 0.0411 0.0423 0.0459 0.0427 0.0483 0.0464 0.0432 Recreation 0.0582 0.0598 0.0588 0.0588 0.0603 0.0622 0.0602 0.0604 0.0639 0.0607 Reference 0.0290 0.0296 0.0290 0.0290 0.0294 0.0332 0.0295 0.0319 0.0321 0.0300 Yeast 0.2055 0.2125 0.2045 0.2078 0.2091 0.2058 0.2090 0.2130 0.2205 0.2079 Emotions 0.2570 0.2892 0.2687 0.2516 0.2912 0.2924 0.2607 0.3141 0.3002 0.2543 Flags 0.2884 0.3301 0.3108 0.3077 0.3273 0.3292 0.3262 0.3301 0.3119 0.3193 Image 0.1784 0.2002 0.1883 0.2108 0.1961 0.1939 0.1955 0.1949 0.2251 0.1933 Medical 0.0181 0.0189 0.0183 0.0168 0.0194 0.0158 0.0188 0.0204 0.0252 0.0231 Scene 0.1142 0.1362 0.1177 0.1467 0.1378 0.1311 0.1250 0.1328 0.1723 0.1368

表5 各算法在15个数据集上的HL值对比 Table 5 Comparison of HL values obtained by different algorithms on 15 datasets

表6

Table 6

表6(Table 6)

表6 各算法在15个数据集上的OE值对比 Table 6 Comparison of OE values obtained by different algorithms on 15 datasets 数据集 GHC-DR 文献[9]算法 GRRO GRRO-LS MDFS MFS-MFR PMSNE 文献[18]算法 SCNMF SLOFS Arts 0.5977 0.6206 0.6059 0.6093 0.6210 0.6688 0.6224 0.6688 0.6975 0.6338 Birds 0.6243 0.7249 0.7792 0.7678 0.7256 0.6502 0.6686 0.6640 0.6686 0.6452 Business 0.1239 0.1241 0.1224 0.1238 0.1252 0.1324 0.1249 0.1367 0.1332 0.1304 Computers 0.4345 0.4397 0.4410 0.4470 0.4398 0.4527 0.4430 0.4555 0.4601 0.4438 Corel16k001 0.7677 0.7728 0.7631 0.7570 0.7610 0.7670 0.7665 0.7863 0.7579 0.7693 Education 0.5657 0.5726 0.5728 0.5768 0.5751 0.6392 0.5770 0.6621 0.6652 0.5741 Health 0.3774 0.3828 0.3777 0.3829 0.3905 0.4310 0.3923 0.4580 0.4523 0.4002 Recreation 0.5961 0.6367 0.6083 0.6157 0.6505 0.6974 0.6528 0.6667 0.7375 0.6663 Reference 0.4531 0.4551 0.4559 0.4512 0.4572 0.5099 0.4578 0.4898 0.5068 0.4681 Yeast 0.2431 0.2486 0.2409 0.2427 0.2487 0.2412 0.2492 0.2493 0.2547 0.2467 Emotions 0.3685 0.4017 0.3907 0.3852 0.4018 0.4006 0.3753 0.4880 0.4471 0.3568 Flags 0.2369 0.2462 0.2492 0.2492 0.2662 0.2415 0.2338 0.2400 0.2569 0.2692 Image 0.3574 0.4306 0.4053 0.4623 0.4144 0.4124 0.4195 0.4177 0.5527 0.4018 Medical 0.3094 0.3382 0.3233 0.2823 0.3547 0.2336 0.3350 0.4182 0.6074 0.4549 Scene 0.3114 0.4052 0.3372 0.4464 0.4092 0.3803 0.3553 0.4094 0.6186 0.3901

表6 各算法在15个数据集上的OE值对比 Table 6 Comparison of OE values obtained by different algorithms on 15 datasets

为了进一步验证GHC-DR的准确性和可靠性, 根据所选特征数量的变化, 在Arts、Image、Scene数据集上进行实验, 对比GHC-DR、文献[9]算法、GRRO^[13]、GRRO-LS^[13]、文献[18]算法、SCNMF^[33]、MDFS^[34]、PMSNE^[35]的性能变化, 结果如图1所示.由图可知, 所有算法的性能均随着特征子集比例的增加而提高, 随后趋于稳定或下降.在Image、Scene 数据集上, GHC-DR表现出明显优势.在Arts数据集上, 特征子集比例少于 10% 时, 部分算法优于GHC-DR, 但随着特征子集比例的增加, GHC-DR性能迅速提升并超过对比算法.因此, GHC-DR在整体性能上优于对比算法.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 各算法在3个数据集上的性能变化曲线Fig.1 Performance curves of different algorithms on 3 datasets

为了更好对比GHC-DR与其它算法之间的性能差异, 采用Friedman检验^[37]和Bonferroni-Dunn检验^[38]进行统计显著性分析.

采用Friedman检验评估GHC-DR在全部数据集上的平均排名差异.显著性水平α =0.05时, Friedman检验的临界值为1.955 0.

各评价指标上统计量F_F分别为:AP(14.126 5)、CV(14.798 2)、RL(13.491 3)、HL(9.641 1)、OE(9.847 2).统计量结果显示, 所有指标的F_F值均远大于临界值, 因此拒绝“ 所有算法性能无显著差异” 的原假设.换言之, 所有算法之间的性能存在显著差异.

然后, 以GHC-DR为控制算法, 进行Bonferroni-Dunn事后检验, 检验GHC-DR与对比算法之间的性能差距.临界距离(Critical Distance, CD)定义为

$C D_{\alpha}=\rho_{\alpha} \sqrt{\frac{k(k+1)}{6 N}}, $

其中, N=15, 表示数据集个数, k=10, 表示算法个数.根据 Bonferroni-Dunn检验的临界值查询表^[39], 当k=10, α =0.05时, 可得ρ _α =3.164.因此, 在 N=15时, 计算可得CD_α =3.497 9.

图2直观展示检验结果, 任何与GHC-DR平均排名之差小于CD值的算法都用线段连接.由图可见, GHC-DR 在5个指标上均排名第一, 并且与大部分对比算法(如文献[18]算法, MDFS, MFS-MFR, SCNMF, SLOFS)之间不存在连线, 表明GHC-DR在统计学意义上优于对比算法.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 各算法的Bonferroni-Dunn检验结果Fig.2 Results of Bonferroni-Dunn test for different algorithms

本节对GHC-DR中3个超参数α 、 β 、λ 进行敏感性分析.在分析α 、 β 时, 固定λ , 并通过不同(α , β )组合下ACR值评估其敏感性.在分析λ 时, 则固定(α , β )组合, 讨论λ 影响.具体结果如图3和表7所示.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 α 、 β 对GHC-DR性能的影响Fig.3 Effect of α and β on GHC-DR performance

表7

Table 7

表7(Table 7)

表7 λ 对GHC-DR性能的影响 Table 7 Effect of λ on GHC-DR performance 数据集 λ =0.6 λ =0.8 λ =1.0 λ =1.2 λ =1.4 Arts 0.2275 0.2276 0.2277 0.2282 0.2286 Birds 0.3546 0.3293 0.3116 0.3110 0.3077 Flags 0.5206 0.5225 0.5225 0.5153 0.5225 Image 0.3961 0.3976 0.3964 0.3960 0.3965 Scene 0.2696 0.2731 0.2741 0.2762 0.2776

表7 λ 对GHC-DR性能的影响 Table 7 Effect of λ on GHC-DR performance

由图3和表7可见, 在5个数据集上, GHC-DR的性能在设定参数范围内是稳定的.(α , β )组合在Scene数据集上存在轻微波动, 但λ 对性能的影响相对平缓(各数据集上ACR值波动均在0.05以内), 整体稳定性较优, 这说明GHC-DR对参数的敏感性较低.

为了验证GHC-DR中高阶相关性与图冗余性的有效性, 在Emotions、Scene、Image数据集上进行消融实验.设计如下4种变体.1)Baseline:仅基于原始互信息框架.2)Baseline+F_H:引入高阶相关性.3)Ba- seline+FF_graph:引入特征图结构冗余矩阵.4)GHC-DR.具体消融实验结果如图4所示.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 GHC-DR及变体在3个数据集上的消融实验结果Fig.4 Ablation experiment results of GHC-DR and its variants on 3 datasets

由图4可知, 相比Baseline, 单独引入FF_graph或F_H的变体在多数指标上实现性能提升, 验证模糊依赖度在捕捉高阶依赖关系及图结构刻画冗余方面的有效性.值得注意的是, 在个别数据集的某个指标上(如Scene数据集的OE和Emotions数据集的RL), 单变体表现略差, 但从整体上看, GHC-DR在5个指标上均表现较优, 表明两个组件的协同作用可有效提升算法的整体性能.