多尺度邻域决策信息系统的特征子集选择

引用本文

张庐婧, 林国平, 林艺东, 寇毅. 多尺度邻域决策信息系统的特征子集选择. 模式识别与人工智能, 2023,36(1): 49-59
ZHANG Lujing, LIN Guoping, LIN Yidong, KOU Yi. Feature Subset Selection for Multi-scale Neighborhood Decision Information System. PATTERN RECOGNITION AND ARTIFICIAL INTELLIGENCE, 2023,36(1): 49-59. 复制到剪切板

Doi: 10.16451/j.cnki.issn1003-6059.202301004
Permissions

《模式识别与人工智能》编辑部

多尺度邻域决策信息系统的特征子集选择

张庐婧^1,², 林国平^1,², 林艺东¹, 寇毅¹

1.闽南师范大学数学与统计学院漳州 363000

2.闽南师范大学福建省粒计算及其应用重点实验室漳州 363000

通讯作者:

林国平,博士,教授,主要研究方向为粒计算、人工智能.E-mail:guoplin@163.com.

作者简介:

张庐婧,硕士研究生,主要研究方向为粒计算、粗糙集理论.E-mail:zhangjdp@163.com.

林艺东,博士,副教授,主要研究方向为不确定性理论及其应用.E-mail:yidong_lin@yeah.net.

寇毅,硕士研究生,主要研究方向为粒计算、机器学习.E-mail:ky20eku@163.com.

收稿日期: 2022-10-31 接受日期: 2023-01-13

资助项目: 国家自然科学基金项目(No.11871259,12101289,12201284)、福建省自然科学基金项目(No.2021J01983,2021J01979)资助

摘要

多尺度决策信息系统的特征子集选择是处理多尺度分类问题的一种有效的数据预处理方法.在实际应用中, 数据类型往往多样混合,现有的多尺度模型无法有效处理这类数据.针对该问题,文中面向多源异构多尺度数据,提出多尺度邻域半径的形式化定义,构造多尺度邻域信息粒并讨论其相关性质.在此基础上,探讨特征的重要度,提出可同步进行最优尺度选择和特征选择的特征子集选择算法.改进原有的Wu-Leung模型,在一定程度上扩展其在实际问题上应用的范围.最后,在UCI数据集上验证模型和算法的可行性和有效性.

关键词: 粒计算; 邻域决策系统; 邻域半径; 多尺度邻域信息粒; 特征子集选择

中图分类号:TP18

Feature Subset Selection for Multi-scale Neighborhood Decision Information System

ZHANG Lujing^1,², LIN Guoping^1,², LIN Yidong¹, KOU Yi¹

1. School of Mathematics and Statistics, Minnan Normal University, Zhangzhou 363000

2. Fujian Key Laboratory of Granular Computing and Applications, Minnan Normal University, Zhangzhou 363000

Corresponding author:
LIN Guoping,professor. Her research interests include granular computing and artificial intelligence.

About Author:
ZHANG Lujing, master student. Her research interests include granular computing and rough set theory.
LIN Yidong, Ph.D., associate professor. His research interests include uncertain theories and application.
KOU Yi, master student. His research interests include granular computing and machine learning.

Fund:Supported by National Natural Science Foundation of China(No.11871259,12101289,12201284), Natural Science Foundation of Fujian Province(No.2021J01983,2021J01979)

Abstract

Feature subset selection for multi-scale decision information system is an effective data preprocessing method for multi-scale classification problems. However, data types are often diverse and mixed in real application. The existing multi-scale models cannot handle these data effectively. To solve this problem, a formal definition of multi-scale neighborhood radius for multi-source heterogeneous multi-scale data is proposed in this paper. Multi-scale neighborhood information granule is constructed and its related properties are studied. Attribute significance is discussed, and a feature subset selection algorithm is proposed. Optimal scale selection and feature selection are conducted synchronously. By improving the Wu-Leung model, the scope of its application in practical problems is expanded to some extent. Finally, the feasibility and effectiveness of the proposed model and algorithm are verified on UCI datasets.

Key words: Granular Computing; Neighborhood Decision System; Neighborhood Radius; Multi-scale Neighborhood Information Granule; Feature Subset Selection

文章图片

粒计算^{[1, 2]}是知识发现和数据挖掘的重要方法之一, 源自Zadeh^[3]在模糊集理论背景下提出的“ 信息粒度” .而后Pawlak^[4]提出经典粗糙集理论, 便于分析和处理语义型的数据, 尤其善于处理不确定问题.

然而经典粗糙集仅适用于处理语义型数据, 并不适用于实际生活中广泛存在的异构数据.因此, 胡清华等^[5]利用拓扑空间中的球形邻域概念构造邻域粗糙集, 用于研究数值型数据.此后, Hu等^[6]通过邻域粗糙集模型解决异构特征选择的问题.Chen等^[7]提出基于优势关系的邻域粗糙集模型, 并设计并行的特征选择算法.Hu等^[8]为了挖掘特征与决策之间的相关性, 在邻域关系中引入权重的概念, 构造加权邻域粗糙集模型.

上述研究均为单尺度决策表, 即仅研究特征在单一尺度下的取值问题, 而实际生活中存在的信息大多需要从多个尺度进行研究.针对该问题, Wu等^[9]提出多尺度信息系统, 描述不同尺度下信息粒之间的关系, 并针对不一致的多尺度决策系统提出知识获取算法^[10], 进一步分析多尺度决策系统的最优尺度选择问题^[11].She等^[12]研究局部规则归纳法.Wu等^[13]提出不完备信息系统的规则获取方法.Li等^[14]以Wu-Leung研究的特殊案例为例, 研究不同特征在不同尺度等级下的多尺度决策系统, 提出补模型和格模型.吴伟志团队^{[15, 16, 17, 18, 19, 20]}利用D-S理论, 提出一系列多尺度决策系统的扩展模型.牛东苒等^[21]基于对偶概率粗糙集模型讨论广义多尺度决策系统中的最优尺度组合选择问题.Huang等^{[22, 23]}研究具有多尺度决策属性的广义多尺度决策系统, 将划分扩展到覆盖, 建立多尺度覆盖数据分析模型.Li等^[24]在多尺度覆盖的基础上研究邻域算子和近似算子的一些性质, 建立基于多尺度覆盖的粗糙集模型.Zheng等^[25]研究基于优势关系的多尺度序决策系统.Wang等^[26]构造基于多粒度的多尺度决策系统扩展模型, 用于知识发现.

近年来, Li等^{[27, 28, 29]}研究动态多尺度决策系统的最优尺度选择问题.陈应生等^[30]构造多尺度集值信息系统, 讨论协调和不协调情况下的最优尺度选择问题.陈应生等^[31]又采用布尔矩阵方法研究多尺度覆盖决策信息系统.Huang等^{[32, 33]}研究基于优势关系的多尺度IF决策表.之后Huang等^[34]又提出多尺度模糊决策系统, 用于研究多尺度粗糙集的模糊泛化及其在数值数据特征选择中的应用.杨璇等^[35]将模糊相似关系引入多尺度决策系统, 拓展模糊决策粗糙集模型的应用.但是, 目前针对适用于研究多源异构多尺度数据的多尺度决策信息系统模型仍较少见.

随着大数据时代的到来, 数据表现形式多样化.例如, 同一部电影在不同平台的评价体系拥有多个评价方式, 评分可记录为0~10之间的数值型数据, 也可用0~5颗星星数进行评价, 再或是留言评价等.值得注意的是, 数据来源于多个平台, 并且每个平台的评分细则是多尺度的.与此同时, 这类多源异构多尺度数据集不仅包含语义型数据, 同时也包含数值型数据.在此情况下, 无法使用现有的一些模型进行有效处理.为此, 本文针对这一类型数据集构建多尺度邻域决策信息系统, 便于实际生活中多源异构多尺度数据集的研究, 并讨论模型的相关性质.

1 预备知识

1.1 邻域决策系统

定义1^[5] 给定非空有限集合

U={x₁, x₂, …, x_n},

A为描述U的特征集, D为决策特征, 若A生成论域上的一族邻域关系, 则称NDT=< U, A, D> 为一个邻域决策系统.对于U上的任意对象x_i, 定义由x_i生成的δ 邻域信息粒:

δ (x_i)={x|x∈ U, Δ (x, x_i)≤ δ },

其中, δ ≥ 0, Δ 为R^N上的一个度量, 满足自反性、对称性和三角不等性.

定义2^[5] 给定一个邻域决策系统NDT=< U, A, D> , 根据决策特征D可将U划分为N个等价类{X₁, X₂, …, X_N}, ∀ B⊆A, 定义决策D关于B的下近似和上近似:

$\bar{N_{B}}$ D= $\cup_{i}^{=} \bar{N_{B}}$ X_i, $\bar{N_{B}}$ D= $\cup_{i}^{=} \bar{N_{B}}$ X_i,

其中,

δ _B(x_i)为样本x_i在特征子集B中的邻域信息粒.

决策的边界定义为

BN(D)= $\bar{N_{B}}$ D- $\bar{N_{B}}$ D.

决策D的下近似也称为决策正域, 记为POS_B(D).决策特征D对条件特征B的依赖度定义为

γ _B(D)= $\frac{Card (\bar{N_{B}} D)}{Card (U)}$ .

1.2 多尺度信息系统

定义3^[11] 多尺度信息系统可表示为

(U, { $a_{j}^{k}$ |k=1, 2, …, I; j=1, 2, …, m}),

其中 $a_{j}^{k}$ ∶ U→ $V_{j}^{k}$ 为一个映射函数, $V_{j}^{k}$ 为第k尺度的特征 $a_{j}^{k}$ 的值域.对于1≤ k≤ I-1, 存在映射函数

$g_{j}^{k, k - 1}$ ∶ $V_{j}^{k}$ → $V_{j}^{k - 1}$ , 使得

$a_{j}^{k + 1}$ = $g_{j}^{k, k - 1}$ · $a_{j}^{k}$ ,

即

$a_{j}^{k + 1}$ (x)= $g_{j}^{k, k - 1}$ ( $a_{j}^{k}$ ), x∈ U,

其中 $g_{j}^{k, k - 1}$ 为一个粒度信息转换函数.

性质1^[11] 给定一个多尺度信息系统

(U, { $a_{j}^{k}$ |k=1, 2, …, I; j=1, 2, …, m}),

对于B⊆A, k∈ {1, 2, …, I}, 有

则

定义4^[11] 给定一个系统

为多尺度决策系统, 其中

(U, { $a_{j}^{k}$ |k=1, 2, …, I; j=1, 2, …, m})

为一个多尺度信息系统, d∶ U→ V_d称为决策.

定义5^[11] 给定一个多尺度决策系统

S称为协调的决策系统当且仅当最细尺度等级下的决策系统S¹为协调的.若S^k为协调的, 但S^k⁺¹为不协调的, 则称S的第k尺度等级为最优尺度.

2 多尺度邻域决策信息系统

在经典的多尺度信息系统^[9]中, 每个特征在不同尺度下的特征值不一致, 但约束每个特征的尺度等级个数相同, 本文仍保持此假定.

定义6 称(U, A∪ {d}, δ )为一个多尺度邻域信息系统, 其中U={x₁, x₂, …, x_n}为一个非空有限对象集, A={a₁, a₂, …, a_m}为U的条件特征集, d为决策特征, δ ={δ ₁, δ ₂, …, δ _m}为邻域半径集, 其中δ _j={ $δ_{j}^{1}$ , $δ_{j}^{2}$ , …, $δ_{j}^{I}$ }为特征a_j的多尺度邻域半径集, 则一个多尺度决策邻域信息系统可表示为

S=(U, A∪ {d}, { $δ_{j}^{k}$ |k=1, 2, …, I; j=1, 2, …, m}),

当t≤ h时, $δ_{j}^{t}$ ≤ $δ_{j}^{h}$ .

定义7 给定一个多尺度邻域决策信息系统

S=(U, A∪ {d}, { $δ_{j}^{k}$ |k=1, 2, …, I; j=1, 2, …, m}),

对于邻域半径δ 关于特征子集B的多尺度邻域相似关系定义如下:

$R_{B}^{δ}$ ={(x, y)| $\sqrt[]{\sum_{a_{j}^{k}} (v_{j}^{k} (x) - v_{j}^{k} {(y))}^{2}}$ ≤ δ _B},

其中, 当特征值 $v_{j}^{k}$ (x)为语义型数据时,

| $v_{j}^{k}$ (x)- $v_{j}^{k}$ (y)|= $\{\begin{array}{l} 1, & v_{j}^{k} (x) \neq v_{j}^{k} (y) \\ 0, & v_{j}^{k} (x) = v_{j}^{k} (y) \end{array}$

当I=1时, 多尺度邻域相似关系退化为经典的邻域相似关系.因此, 多尺度邻域相似关系可视为邻域相似关系的推广.

邻域半径δ 的选取是影响多尺度邻域相似关系的关键因素之一, 本文参考文献[36]中利用标准差的方法, 改进后得到更适用于本文的邻域半径δ 的定义.

定义8 给定一个多尺度邻域决策信息系统

S=(U, A∪ {d}, { $δ_{j}^{k}$ |k=1, 2, …, I; j=1, 2, …, m}),

对于∀ B⊆A, 定义邻域半径:

δ _B= $\frac{1}{Card (B)} \overset{m}{\sum_{j = 1}}$ ( $\frac{αSTD (a_{j}^{1})}{μ^{k - 1}}$ ),

其中, k=1, 2, …, I; j=1, 2, …, m.当B中只包含一个特征 $a_{j}^{k}$ 时, 特征 $a_{j}^{k}$ 的邻域半径表示为

$δ_{j}^{k}$ = $\frac{αSTD (a_{j}^{1})}{μ^{k - 1}}$ ,

其中, STD( $a_{j}^{1}$ )为对象集U对于特征 $a_{j}^{1}$ 的标准差, α 、 μ 为协调参数.通过调节参数使多尺度邻域决策信息系统满足尺度越粗、邻域半径越大的性质.因此, 本文提出的邻域半径获取方法可使根据粒度转换函数多尺度邻域相似关系满足单调性.

例1 给定一个多尺度邻域决策信息系统,

S=(U, A∪ {d}, { $δ_{j}^{k}$ |k=1, 2, …, I; j=1, 2, …, m}),

其中U为对象集, 表示不同的电影,

$a_{j}^{k}$ (j=1, 2, …, m; k=1, 2, …, I)

表示电影在不同平台上对应的不同评价标准, 第一尺度等级为每部电影在该平台上评分的标准化数据, 第二尺度等级为观众在该平台上的留言评价, 即

V²={1, 2, 3}={不好看, 一般, 好看},

第三个尺度等级为该平台上专业影评的评价, 即

V³={1, 2}={不喜欢, 喜欢},

决策d为电影的最终评价分类.多尺度邻域决策信息系统如表1所示.

表1 多尺度邻域决策信息系统 Table 1 Multi-scale neighborhood decision information system

U	$a_{1}^{1}$	$a_{2}^{1}$	$a_{3}^{1}$	$a_{1}^{2}$	$a_{2}^{2}$	$a_{3}^{2}$	$a_{1}^{3}$	$a_{2}^{3}$	$a_{3}^{3}$	d
x₁	2.86	3.01	2.64	3	3	3	2	2	2	1
x₂	2.59	2.89	2.38	2	3	2	2	2	2	1
x₃	1.39	1.16	2.20	1	1	2	1	1	2	2
x₄	2.40	2.31	1.06	2	2	1	2	2	1	1
x₅	1.11	1.73	2.55	1	2	2	1	2	2	2
x₆	1.48	1.27	0.53	1	1	1	1	1	1	3
x₇	0.92	0.92	2.29	1	1	2	1	1	2	2

表1 多尺度邻域决策信息系统 Table 1 Multi-scale neighborhood decision information system

根据定义8, α =1/3, μ =0.4, 计算得到每个特征在不同尺度下的邻域半径分别为

性质2 给定一个多尺度邻域决策信息系统,

S=(U, A∪ {d}, { $δ_{j}^{k}$ |k=1, 2, …, I; j=1, 2, …, m}),

对于特征子集B的多尺度邻域相似关系 $R_{B}^{δ}$ , 满足

1)自反性.若x∈ U, 则(x, x)∈ $R_{B}^{δ}$ .

2)对称性.若(x, y)∈ $R_{B}^{δ}$ , 则(y, x)∈ $R_{B}^{δ}$ .

证明先证明1).若x∈ U, 对于(x, x), 有

$\sqrt[]{\sum_{a_{j}^{k}} (v_{j}^{k} (x) - v_{j}^{k} {(x))}^{2}}$ =0≤ δ ,

可得(x, x)∈ $R_{B}^{δ}$ .

再证明2).若(x, y)∈ $R_{B}^{δ}$ , 则

可得(y, x)∈ $R_{B}^{δ}$ .

定义9 给定一个多尺度邻域决策信息系统

S=(U, A∪ {d}, { $δ_{j}^{k}$ |k=1, 2, …, I; j=1, 2, …, m}),

假设对于每个特征 $a_{j}^{k}$ 的多尺度邻域相似关系 $R_{{a_{j}^{k}}}^{δ}$ 的尺度均为l_j, 则K=(l₁, l₂, …, l_m)对应的邻域相似关系族定义记为 $R_{K}^{δ}$ .同时

L={(l₁, l₂, …, l_m)|l_j∈ {1, 2, …, I}, j={1, 2, …, m}},

表示为多尺度组合全体.若

K₁={l₁, l₂, …, l_m}, K₂={k₁, k₂, …, k_m},

且

l_j≤ k_j, j=1, 2, …, m,

则表示K₁细于K₂, 记为K₁ ⪯K₂; 若

l_j< k_j, j=1, 2, …, m,

则表示K₁严格细于K₂, 记为K₁≺K₂.

定义10 给定一个多尺度邻域决策信息系统

S=(U, A∪ {d}, { $δ_{j}^{k}$ |k=1, 2, …, I; j=1, 2, …, m}),

对于邻域相似关系 $R_{{a_{j}^{k}}}^{δ}$ , 对应的邻域信息粒为

R $N_{{a_{j}^{k}}}^{δ}$ (x)={y|(x, y)∈ $R_{{a_{j}^{k}}}^{δ}$ , y∈ U}.

而对于K=(k₁, k₂, …, k_m)∈ L, 对应多尺度邻域相似关系族 $R_{K}^{δ}$ , 可得对应的多尺度邻域信息粒为

R $N_{K}^{δ}$ ={y|(x, y)∈ $R_{K}^{δ}$ , y∈ U}.

性质3 对于

∀ K₁=(k₁, k₂, …, k_m)∈ L, K₂=(l₁, l₂, …, l_m)∈ L,

x∈ U, 对应的多尺度邻域相似关系族及多尺度邻域信息粒有如下性质:

1)若δ ₁≤ δ ₂, 则 $R_{K}^{δ_{1}}$ ⊆ $R_{K}^{δ_{2}}$ ;

2)若K₁⪯K₂, 则 $R_{K_{1}}^{δ}$ ⊆ $R_{K_{2}}^{δ}$ ;

3)若δ ₁≤ δ ₂, 则R $N_{K}^{δ_{1}}$ (x)⊆R $N_{K}^{δ_{2}}$ (x);

4)若K₁⪯K₂, 则R $N_{K_{1}}^{δ}$ (x)⊆R $N_{K_{2}}^{δ}$ (x).

证明先证明1).若δ ₁≤ δ ₂, 由于

$R_{K}^{δ}$ ={(x, y)| $\sqrt[]{\sum_{a_{j}^{k}} (v_{j}^{k} (x) - v_{j}^{k} {(y))}^{2}}$ ≤ δ }, k∈ K,

可得 $R_{K}^{δ_{1}}$ ⊆ $R_{K}^{δ_{2}}$ .

再证明2).由于

$R_{K}^{δ}$ ={(x, y)| $\sqrt[]{\sum_{a_{j}^{k}} (v_{j}^{k} (x) - v_{j}^{k} {(y))}^{2}}$ ≤ δ }, k∈ K,

设

K₁=(k₁, k₂, …, k_m)∈ L, K₂=(l₁, l₂, …, l_m)∈ L,

对于K₁⪯K₂, ∀ 1≤ j≤ m, 有k_j≤ l_j, 可得

$R_{K_{1}}^{δ}$ ⊆ $R_{K_{2}}^{δ}$ .

再证明3).由1)可得:若δ ₁≤ δ ₂, 有 $R_{K}^{δ_{1}}$ ≤ $R_{K}^{δ_{2}}$ , 又

R $N_{K}^{δ}$ (x)={y|(x, y)∈ $R_{K}^{δ}$ },

可得

R $N_{K}^{δ_{1}}$ (x)⊆R $N_{K}^{δ_{2}}$ (x).

最后证明4).由2)可得:若K₁⪯K₂, 有

$(R^{K_{1}})^{δ}$ ⊆ $(R^{K_{2}})^{δ}$ ,

又

R $N_{K}^{δ}$ (x)={y|(x, y)∈ $R_{K}^{δ}$ },

可得

R $N_{K_{1}}^{δ}$ (x)⊆R $N_{K_{2}}^{δ}$ (x).

定义11 给定一个多尺度邻域决策信息系统

S=(U, A∪ {d}, { $δ_{j}^{k}$ |k=1, 2, …, I; j=1, 2, …, m}),

对于

K=(k₁, k₂, …, k_m)∈ L, U/ $R_{d}^{δ}$ ={D₁, D₂, …, D_r},

可得关于决策类D_i对于 $R_{K}^{δ}$ 的上下近似的定义为

则对决策集d关于 $R_{K}^{δ}$ 的正域定义如下:

PO $S_{R_{K}^{δ}}$ (d)= $\cup_{i}^{=} \bar{R_{K}^{δ}}$ (D_i).

性质4 对于∀ K=(k₁, k₂, …, k_m)∈ L, 决策类D_i关于 $R_{K}^{δ}$ 的性质如下:

1)若δ ₁≤ δ ₂, D_i∈ U/ $R_{d}^{δ}$ , 则 $\bar{R_{K}^{δ_{1}}}$ (D_i)⊇ $\bar{R_{K}^{δ_{2}}}$ (D_i);

2)若δ ₁≤ δ ₂, 则PO $S_{R_{K}^{δ_{1}}}$ (d)⊇PO $S_{R_{K}^{δ_{2}}}$ (d);

3)若K₁⪯K₂, D_i∈ U/ $R_{d}^{δ}$ , 则 $\bar{R_{K_{1}}^{δ}}$ (D_i)⊇ $\bar{R_{K_{2}}^{δ}}$ (D_i);

4)若K₁⪯K₂, 则PO $S_{R_{K_{1}}^{δ}}$ (d)⊇PO $S_{R_{K_{2}}^{δ}}$ (d).

证明先证明1).根据性质3中3)可得, 若δ ₁≤ δ ₂, 则

R $N_{K}^{δ_{1}}$ (x)⊆R $N_{K}^{δ_{2}}$ (x).

对∀ y∈ U, D_i∈ $\bar{R_{K}^{δ}}$ (D_i), 有

R $N_{K}^{δ_{1}}$ (x)⊆D_i(y), R $N_{K}^{δ_{2}}$ (x)⊆D_i(y),

可得

$\bar{R_{K}^{δ_{1}}}$ (D_i)⊇ $\bar{R_{K}^{δ_{2}}}$ (D_i).

再证明2).由1) 根据性质3中3)可得, 若δ ₁≤ δ ₂, 则

R $N_{K}^{δ_{1}}$ (x)⊆R $N_{K}^{δ_{2}}$ (x).

对∀ y∈ U, 可得, 若δ ₁≤ δ ₂, 则

$\bar{R_{K}^{δ_{1}}}$ (D_i)⊇ $\bar{R_{K}^{δ_{2}}}$ (D_i),

又

PO $S_{R_{K}^{δ}}$ (d)= $\cup_{i}^{=} \bar{R_{K}^{δ}}$ (D_i),

可得

PO $S_{R_{K}^{δ_{1}}}$ (d)⊇PO $S_{R_{K}^{δ_{2}}}$ (d).

再证明3).根据性质3中4)可得, 若K₁⪯K₂, 则

R $N_{K_{1}}^{δ}$ (x)⊆R $N_{K_{2}}^{δ}$ (x),

对∀ y∈ U, D_i∈ $\bar{R_{K}^{δ}}$ (D_i), 有

R $N_{K_{1}}^{δ}$ (x)⊆D_i(y), R $N_{K_{2}}^{δ}$ (x)⊆D_i(y),

可得

$\bar{R_{K_{1}}^{δ}}$ (D_i)⊇ $\bar{R_{K_{2}}^{δ}}$ (D_i).

最后证明4).根据3)可得, 若K₁⪯K₂, 则

$\bar{R_{K_{1}}^{δ}}$ (D_i)⊇ $\bar{R_{K_{2}}^{δ}}$ (D_i),

又

PO $S_{R_{K}^{δ}}$ (d)= $\cup_{i}^{=} \bar{R_{K}^{δ}}$ (D_i),

可得

PO $S_{R_{K_{1}}^{δ}}$ (d)⊇PO $S_{R_{K_{2}}^{δ}}$ (d).

定义12 给定一个多尺度邻域决策信息系统

S=(U, A∪ {d}, { $δ_{j}^{k} |k = 1, 2, \dots, I; j = 1, 2, \dots, m$ }),

K=(k₁, k₂, …, k_m)∈ L,

在决策集d中对于邻域相似关系全体 $R_{K}^{δ}$ 的依赖度定义如下:

$γ_{R_{K}^{δ}}$ (d)= $\frac{|PO S_{R_{K}^{δ}} (d)|}{|U|}$ .

因此可得, 对于 $R_{{a_{j}^{k}}}^{δ}$ ∈ $R_{K}^{δ}$ , k∈ K, 假设

$γ_{R_{K}^{δ} - {R_{{a_{j}^{k}}}^{δ}}}$ (d)= $γ_{R_{K}^{δ}}$ (d),

则可称对应的特征 $a_{j}^{k}$ 为冗余特征; 假设

$γ_{R_{K}^{δ} - {R_{{a_{j}^{k}}}^{δ}}}$ (d)< $γ_{R_{K}^{δ}}$ (d),

则可称对应的特征 $a_{j}^{k}$ 为必要特征.

性质5 对于K=(k₁, k₂, …, k_m)∈ L, 在决策集d中, 邻域相似关系族 $R_{K}^{δ}$ 的依赖度的性质如下:

1)若δ ₁≤ δ ₂, 则 $γ_{R_{K}^{δ_{1}}}$ (d)≥ $γ_{R_{K}^{δ_{2}}}$ (d);

2)若K₁⪯K₂, 则 $γ_{R_{K_{1}}^{δ}}$ (d)≥ $γ_{R_{K_{2}}^{δ}}$ (d).

证明先证明1).由性质4中2)可得, 若δ ₁≤ δ ₂, 则

PO $S_{R_{K}^{δ_{1}}}$ (d)⊇PO $S_{R_{K}^{δ_{2}}}$ (d),

又

$γ_{R_{K}^{δ}}$ (d)= $\frac{| PO S_{R_{K}^{δ}} (d) |}{|U|}$ ,

可得

$γ_{R_{K}^{δ_{1}}}$ (d)> $γ_{R_{K}^{δ_{2}}}$ (d).

再证明2).由性质4中4)可得, 若K₁⪯K₂, 则

PO $S_{R_{K_{1}}^{δ}}$ (d)⊇PO $S_{R_{K_{2}}^{δ}}$ (d),

又

$γ_{R_{K}^{δ}}$ (d)= $\frac{| PO S_{R_{K}^{δ}} (d) |}{|U|}$ ,

可得

$γ_{R_{K_{1}}^{δ}}$ (d)≥ $γ_{R_{K_{2}}^{δ}}$ (d).

3 多尺度邻域决策信息系统的特征子集选择算法

现有的关于多尺度决策信息系统特征子集选择的研究多数采用首先选出最优尺度再进行特征选择的方式.与之不同的是, 本文采用特征选择和最优尺度选择结合的方式对多尺度邻域决策信息系统进行特征子集选择.面对多尺度模型中最优尺度选择时间复杂度过大的问题, 文献[37]中提出逐步最优尺度算法, 相比格模型^[14], 可有效减少最优尺度选择的时间成本.受逐步最优尺度算法^[37]启发, 本文引入特征重要度阈值λ 进行特征子集选择.

定义13 给定一个多尺度邻域决策信息系统

S=(U, A∪ {d}, { $δ_{j}^{k}$ |k=1, 2, …, I; j=1, 2, …, m}),

K₀=(1, 1, …, 1)∈ L, K=(k₁, k₂, …, k_m)∈ L,

若邻域相似关系族 $R_{K_{0}}^{δ}$ ⊆ $R_{d}^{δ}$ , 则S为协调的, 否则S为不协调的.若 $R_{K}^{δ}$ ⊆ $R_{d}^{δ}$ , $R_{K'}^{δ}$ ⊈ $R_{d}^{δ}$ , 且不存在K< H< K', 使得 $R_{H}^{δ}$ ⊆ $R_{d}^{δ}$ , 则称K为S的最优尺度组合.

定义14 给定一个多尺度邻域决策信息系统

S=(U, A∪ {d}, { $δ_{j}^{k}$ |k=1, 2, …, I; j=1, 2, …, m}),

K=(1, 1, …, k_j, …, 1)∈ L,

在决策集d中关于 $R_{K}^{δ}$ 的特征的内部重要度定义如下:

sig( $R_{{a_{j}^{k}}}^{δ}$ , $R_{K}^{δ}$ , d)= $γ_{R_{K}^{δ}}$ (d)- $γ_{R_{K}^{δ} - R_{{a_{j}^{k}}}^{δ}}$ (d).

因此, 根据定义14可得

0< sig( $(R_{j}^{l_{j}})^{δ}$ , $R_{K}^{δ}$ , d)< 1.

并且对于特征a_j的重要度采用加权和的方式进行定义, 即

由此根据定义14给出的特征子集选择算法.首先基于最细的尺度组合计算每个特征在不同尺度下特征的重要度, 采用加权和的方式计算每个特征的重要度.由于重要度较小的特征对分类的影响较小, 根据设定的阈值λ , 删除重要度小于阈值λ 的特征, 对于其余特征, 根据特征的重要度由小到大排序, 根据所得的排序依次对每个特征进行选择最优尺度, 得到特征子集.具体算法步骤如下.

算法1 多尺度邻域决策信息系统的特征子集选择

算法

输入多尺度邻域决策信息系统

S=(U, A∪ {d},

$δ_{j}^{k}$ |k=1, 2, …, I; j=1, 2, …, m}),

阈值λ

输出特征子集 X

初始化 X=[], S'=[]

For k=1∶ I_m//I_m为每个特征的最粗尺度

令K← (1; 1; …; k; …; 1)

计算 sig( $R_{{a_{j}^{k}}}^{δ}$ , $R_{K}^{δ}$ , d)

计算 sig( $R_{{a_{j}}}^{δ}$ , $R_{K}^{δ}$ , d)

For a_j∈ A(j=1, 2, …, m)

If sig( $R_{{a_{j}}}^{δ}$ , $R_{K}^{δ}$ , d)≥ λ

令S'← S'∪ {a_j}

End

For a_p∈ S'(j=1, 2, …, q)

根据特征的重要度sig( $R_{{a_{p}}}^{δ}$ , $R_{K}^{δ}$ , d)由小到大对

特征进行排序, 得到τ

For a_p in τ

For k=I_p∶ 1

令 K'(p)← k∥K'(p)表示中的第p个元素

If $R_{K'}^{δ}$ ⊆ $R_{d}^{δ}$

得到特征子集选择后的最优尺度组合 K'

End

得到特征子集 X

End

特征子集选择算法的时间复杂度为

O(max(|U|² $\overset{|A|}{\sum_{j = 1}}$ I_j, |A|²)).

因此, 本文算法同时进行最优尺度选择和特征选择, 减少搜索最优尺度组合的遍历次数, 有效提高特征子集选择的效率.

例2(续例1) 根据定义14得到每个特征在每个尺度下的重要度:

进而得到每个特征的重要度:

由于每个特征的重要度一致, 设λ =0.根据特征的重要度排序得到τ =123,

$R_{d}^{δ}$ = $(\begin{array}{l} \begin{array}{l} \begin{array}{l} \begin{array}{l} 1 \\ 1 \\ 0 \\ 1 \\ 0 \\ 0 \\ 0 \end{array} & \begin{array}{l} 1 \\ 1 \\ 0 \\ 1 \\ 0 \\ 0 \\ 0 \end{array} \end{array} & \begin{array}{l} 0 \\ 0 \\ 1 \\ 0 \\ 1 \\ 0 \\ 1 \end{array} & \begin{array}{l} 1 \\ 1 \\ 0 \\ 1 \\ 0 \\ 0 \\ 0 \end{array} & \begin{array}{l} 0 \\ 0 \\ 1 \\ 0 \\ 1 \\ 0 \\ 1 \end{array} \end{array} & \begin{array}{l} 0 \\ 0 \\ 0 \\ 0 \\ 0 \\ 1 \\ 0 \end{array} & \begin{array}{l} 0 \\ 0 \\ 1 \\ 0 \\ 1 \\ 0 \\ 1 \end{array} \end{array})$ .

1)考虑特征a₁.当K₁=(3, 1, 1)时, 计算得到

$R_{K_{1}}^{δ}$ = $(\begin{array}{l} \begin{array}{l} \begin{array}{l} \begin{array}{l} 1 \\ 1 \\ 0 \\ 0 \\ 0 \\ 0 \\ 0 \end{array} & \begin{array}{l} 1 \\ 1 \\ 0 \\ 0 \\ 0 \\ 0 \\ 0 \end{array} & \begin{array}{l} 0 \\ 0 \\ 1 \\ 0 \\ 1 \\ 0 \\ 1 \end{array} & \begin{array}{l} 0 \\ 0 \\ 0 \\ 1 \\ 0 \\ 0 \\ 0 \end{array} \end{array} & \begin{array}{l} 0 \\ 0 \\ 1 \\ 0 \\ 1 \\ 0 \\ 1 \end{array} & \begin{array}{l} 0 \\ 0 \\ 0 \\ 0 \\ 0 \\ 1 \\ 0 \end{array} \end{array} & \begin{array}{l} 0 \\ 0 \\ 1 \\ 0 \\ 1 \\ 0 \\ 1 \end{array} \end{array})$ ,

即 $R_{K_{1}}^{δ}$ ⊆ $R_{d}^{δ}$ , 则最优尺度组合更新为K'=(3, 1, 1).

2)考虑特征a₂.当K₂=(3, 3, 1)时, 计算得到

$R_{K_{2}}^{δ}$ = $(\begin{array}{l} \begin{array}{l} \begin{array}{l} \begin{array}{l} 1 \\ 1 \\ 0 \\ 0 \\ 1 \\ 0 \\ 0 \end{array} & \begin{array}{l} 1 \\ 1 \\ 0 \\ 0 \\ 1 \\ 0 \\ 0 \end{array} & \begin{array}{l} 0 \\ 0 \\ 1 \\ 0 \\ 1 \\ 0 \\ 1 \end{array} & \begin{array}{l} 0 \\ 0 \\ 0 \\ 1 \\ 0 \\ 0 \\ 0 \end{array} \end{array} & \begin{array}{l} 1 \\ 1 \\ 1 \\ 0 \\ 1 \\ 0 \\ 1 \end{array} & \begin{array}{l} 0 \\ 0 \\ 0 \\ 0 \\ 0 \\ 1 \\ 0 \end{array} \end{array} & \begin{array}{l} 0 \\ 0 \\ 1 \\ 0 \\ 1 \\ 0 \\ 1 \end{array} \end{array})$ ,

即 $R_{K_{1}}^{δ}$ ⊈ $R_{d}^{δ}$ .当K₃=(3, 2, 1)时, 计算得到

$R_{K_{3}}^{δ}$ = $(\begin{array}{l} \begin{array}{l} 1 \\ 1 \\ 0 \\ 0 \\ 0 \\ 0 \\ 0 \end{array} & \begin{array}{l} 1 \\ 1 \\ 0 \\ 0 \\ 0 \\ 0 \\ 0 \end{array} & \begin{array}{l} \begin{array}{l} 0 \\ 0 \\ 1 \\ 0 \\ 0 \\ 0 \\ 1 \end{array} & \begin{array}{l} 0 \\ 0 \\ 0 \\ 1 \\ 0 \\ 0 \\ 0 \end{array} & \begin{array}{l} 0 \\ 0 \\ 0 \\ 0 \\ 1 \\ 0 \\ 0 \end{array} & \begin{array}{l} \begin{array}{l} 0 \\ 0 \\ 0 \\ 0 \\ 0 \\ 1 \\ 0 \end{array} & \begin{array}{l} 0 \\ 0 \\ 1 \\ 0 \\ 0 \\ 0 \\ 1 \end{array} \end{array} \end{array} \end{array})$ ,

即 $R_{K_{3}}^{δ}$ ⊆ $R_{d}^{δ}$ , 则最优尺度组合更新为K'=(3, 2, 1).

3)考虑特征a₃.当K₄=(3, 2, 3)时, 计算得到

$R_{K_{4}}^{δ}$ = $(\begin{array}{l} \begin{array}{l} \begin{array}{l} \begin{array}{l} 1 \\ 1 \\ 0 \\ 0 \\ 0 \\ 0 \\ 0 \end{array} & \begin{array}{l} 1 \\ 1 \\ 0 \\ 0 \\ 0 \\ 0 \\ 0 \end{array} & \begin{array}{l} 0 \\ 0 \\ 1 \\ 0 \\ 1 \\ 1 \\ 1 \end{array} & \begin{array}{l} 0 \\ 0 \\ 0 \\ 1 \\ 0 \\ 0 \\ 0 \end{array} \end{array} & \begin{array}{l} 0 \\ 0 \\ 1 \\ 0 \\ 1 \\ 0 \\ 1 \end{array} & \begin{array}{l} 0 \\ 0 \\ 1 \\ 0 \\ 0 \\ 1 \\ 1 \end{array} \end{array} & \begin{array}{l} 0 \\ 0 \\ 1 \\ 0 \\ 1 \\ 1 \\ 1 \end{array} \end{array})$ ,

即 $R_{K_{4}}^{δ}$ ⊈ $R_{d}^{δ}$ . 当K₅=(3, 2, 2)时, 计算得到

$R_{K_{5}}^{δ}$ = $(\begin{array}{l} \begin{array}{l} \begin{array}{l} \begin{array}{l} 1 \\ 1 \\ 0 \\ 0 \\ 0 \\ 0 \\ 0 \end{array} & \begin{array}{l} 1 \\ 1 \\ 0 \\ 0 \\ 0 \\ 0 \\ 0 \end{array} & \begin{array}{l} 0 \\ 0 \\ 1 \\ 0 \\ 1 \\ 1 \\ 1 \end{array} & \begin{array}{l} 0 \\ 0 \\ 0 \\ 1 \\ 0 \\ 0 \\ 0 \end{array} \end{array} & \begin{array}{l} 0 \\ 0 \\ 1 \\ 0 \\ 1 \\ 0 \\ 1 \end{array} & \begin{array}{l} 0 \\ 0 \\ 1 \\ 0 \\ 0 \\ 1 \\ 1 \end{array} \end{array} & \begin{array}{l} 0 \\ 0 \\ 1 \\ 0 \\ 1 \\ 1 \\ 1 \end{array} \end{array})$ ,

即 $R_{K_{5}}^{δ}$ ⊈ $R_{d}^{δ}$ , 根据定义13得到最优尺度组合为

K'=(3, 2, 1).

由例2可得每个特征均不为冗余特征, 即可得特征子集X={ $a_{1}^{3}$ , $a_{2}^{2}$ , $a_{3}^{1}$ }.

4 实验及结果分析

对于本文提出的多尺度邻域决策信息系统模型及对应的特征子集选择算法, 本节通过实验分析验证其可行性和有效性.所有实验硬件环境配置为Inter(R)Core(TM)i5-8250U CPU@1.60 GHz和4 GB内存的个人计算机, 算法运行的软件环境为Matlab R2021a.

实验数据集选择UCI数据库上的7个数据集, 具体如表2所示.由于均为相应的单尺度决策表, 因此需要进行预处理, 构建相应的多尺度邻域决策表.

表2 实验数据集 Table 2 Experimental datasets

通过文献[14]中方法类比得到多源异构多尺度数据集.鉴于语义型数据需转化为整数的数值型数据进行实验, 故后续数据获取均用整数表示.

1)若对象的某一特征值缺失, 删除该对象.

2)设σ _a为标准差, m_a为最小值, a(x)表示原始数据的特征值, 则多尺度邻域决策信息表中第一尺度的对象x的特征值为

a¹(x)=roundn( $\frac{a (x) - m_{a}}{σ_{a}}$ , -2).

根据特征值a¹(x)得到相应的特征值, 若对象的某一特征值为0, 删除该对象, 得到第一尺度的特征值.

3)利用定义8中的邻域半径定义求取第一尺度的邻域相似类的平均值, 并保留两位小数作为第二尺度对应的特征值a²(x), 删除特征值为0所在的对象, 其中对应δ 中的a¹的取值为决策类的个数d.以此类推, a^k的取值递减, 直到k的取值为d/3-1, 即

a^k=d- $\frac{d}{3}$ +1,

其中d为决策类的个数.

4)从k=d/3开始, 求取前一个尺度级别的邻域相似类的平均值后取整.对于后续尺度等级的获取, 将在前一个尺度级别的基础上, 通过从上到下的方式合并某个值, 直到某个特征的当前尺度级别中的等价类数量不超过3个.

对于所得特征子集结果, 采用十折交叉验证法分别在SVM和KNN两个分类器上进行分类性能评估.将本文算法得到的特征子集(简记为Opt)分类精度与原始数据集(简记为Raw)、最细尺度数据集(简记为Fin)、最粗尺度数据集(简记为Coa)在分类器上的分类精度进行对比, 详情如表3和表4所示, 表中参数设置为α =0.1, μ =0.8.从实验结果可知, 通过本文的模型与算法, 可获得较好的特征子集, 分类精度近似于原始数据集在分类器上的分类精度, 且绝大多数分类精度优于最细尺度数据集和最粗尺度数据集.由此说明本文的模型与算法是有效的.

表3 在分类器SVM上的分类精度对比 Table 3 Comparison of classification accuracy with classifier SVM %

数据集		1折	2折	3折	4折	5折	6折	7折	8折	9折	10折	平均精度
Wine	Opt Raw Fin Coa	94.12 94.12 94.12 100.00	94.12 94.44 100.00 94.12	94.12 94.44 94.12 94.12	93.75 94.44 93.75 93.75	100.00 94.44 93.75 94.12	93.75 94.44 94.12 100.00	100.00 94.44 94.12 93.75	94.12 94.44 100.00 94.12	100.00 94.12 93.75 94.12	100.00 94.44 94.12 100.00	96.40± 3.60 94.38± 0.07 95.18± 4.82 95.81± 4.19
Seeds	Opt Raw Fin Coa	95.24 95.24 95.24 95.00	95.00 95.24 95.24 95.00	95.00 95.24 95.00 95.24	95.24 95.24 95.00 95.24	95.00 95.24 95.24 95.00	95.00 95.24 95.00 95.00	95.00 95.24 95.00 95.24	95.24 95.24 95.00 95.00	95.00 95.24 95.24 95.00	95.24 95.24 95.00 95.24	95.10± 0.14 95.24± 0.00 95.10± 0.14 95.10± 0.14
Sonar	Opt Raw Fin Coa	93.75 95.24 93.75 93.75	94.12 95.24 93.75 93.75	93.75 95.24 93.75 93.75	93.75 95.24 93.75 93.75	93.75 95.24 93.75 93.75	93.75 95.24 93.75 94.12	93.75 95.24 94.12 93.75	93.75 95.00 93.75 94.12	93.75 95.24 94.12 93.75	94.12 95.00 93.75 93.75	93.82± 0.29 95.19± 0.05 93.82± 0.29 93.82± 0.29
Thyroid	Opt Raw Fin Coa	100.00 95.45 100.00 100.00	95.24 95.24 95.24 95.24	95.24 95.24 95.24 95.24	95.24 95.45 100.00 95.24	95.24 95.24 100.00 100.00	100.00 95.24 95.24 95.24	95.24 95.45 95.24 95.24	100.00 95.45 95.24 95.24	95.24 95.24 95.24 95.24	100.00 95.45 95.24 100.00	97.14± 2.86 95.35± 0.11 96.67± 3.33 96.67± 3.33
WholesaleChan	Opt Raw Fin Coa	100.00 100.00 97.56 97.56	100.00 100.00 97.62 97.62	100.00 100.00 97.56 97.56	100.00 100.00 97.56 97.56	97.62 100.00 100.00 97.62	100.00 100.00 97.56 97.62	100.00 97.73 97.62 100.00	100.00 100.00 97.56 97.56	100.00 100.00 97.56 97.56	97.62 97.73 97.62 97.62	99.52± 0.48 99.55± 0.45 97.82± 2.18 97.83± 2.17
Iris	Opt Raw Fin Coa	92.86 93.33 92.86 92.86	92.86 93.33 92.86 92.86	92.86 93.33 93.33 92.86	92.86 93.33 92.86 92.86	92.86 93.33 92.86 92.86	93.33 93.33 92.86 92.86	92.86 93.33 92.86 93.33	92.86 93.33 93.33 92.86	93.33 93.33 92.86 92.86	92.86 93.33 92.86 93.33	92.95± 0.38 93.33± 0.00 92.95± 0.38 92.95± 0.38
Autompg	Opt Raw Fin Coa	97.22 97.44 97.14 97.22	100.00 97.44 97.14 97.22	97.22 97.44 97.14 97.14	100.00 97.44 97.22 97.22	97.14 97.44 97.22 97.22	97.14 97.44 97.14 97.14	97.14 97.44 97.22 97.22	97.22 97.50 97.22 97.14	97.22 97.50 97.22 97.14	97.22 97.44 97.22 97.22	97.75± 2.25 97.45± 0.05 97.19± 0.03 97.19± 0.03

表3 在分类器SVM上的分类精度对比 Table 3 Comparison of classification accuracy with classifier SVM %

表4 在分类器KNN(K=2)上的分类精度 Table 4 Comparison of classification accuracy with classifier KNN(K=2) %

数据集		1折	2折	3折	4折	5折	6折	7折	8折	9折	10折	平均精度
Wine	Opt Raw Fin Coa	58.82 70.59 62.50 62.50	76.47 50.00 70.59 56.25	64.71 50.00 76.47 52.94	62.50 61.11 76.47 62.50	62.50 66.67 64.71 64.71	64.71 58.82 81.25 70.59	58.82 72.22 68.75 70.59	76.47 50.00 64.71 64.71	64.71 66.67 64.71 76.47	68.75 55.56 70.59 58.82	65.85± 10.63 60.16± 12.06 70.07± 11.18 64.01± 12.46
Seeds	Opt Raw Fin Coa	60.00 66.67 52.38 30.00	65.00 71.43 65.00 20.00	60.00 71.43 80.95 33.33	66.67 52.38 50.00 35.00	60.00 57.14 52.38 23.81	71.43 61.90 50.00 35.00	60.00 80.95 60.00 25.00	70.00 47.62 75.00 42.86	57.14 52.38 47.62 42.86	61.90 47.62 65.00 55.00	63.21± 8.21 60.95± 20.00 59.83± 21.12 34.29± 20.71
Sonar	Opt Raw Fin Coa	75.00 85.71 100.00 81.25	75.00 85.00 87.50 87.50	75.00 70.00 87.50 87.50	70.59 71.43 87.50 75.00	81.25 95.24 75.00 93.75	93.75 85.71 94.12 64.71	75.00 71.43 100.00 87.50	81.25 66.67 81.25 75.00	75.00 80.95 93.75 93.75	82.35 85.71 94.12 76.47	78.42± 15.33 79.79± 15.45 90.07± 9.93 82.24± 11.51
Thyroid	Opt Raw Fin Coa	90.48 81.82 90.48 85.71	95.24 85.71 71.43 66.67	85.71 71.43 90.48 76.19	76.19 86.36 71.43 71.43	80.95 95.24 80.95 66.67	76.19 86.36 95.24 66.67	76.19 85.71 85.71 76.19	85.71 80.95 71.43 61.90	85.71 72.73 90.48 85.71	90.48 68.18 90.48 71.43	84.29± 10.95 81.45± 13.79 83.81± 11.43 72.86± 12.86
WholesaleChan	Opt Raw Fin Coa	87.80 84.09 51.22 64.29	82.93 90.91 68.29 51.22	90.48 86.36 61.90 60.98	92.68 81.82 68.29 64.29	83.33 81.82 63.41 58.54	87.80 90.91 68.29 60.98	90.24 84.09 58.54 60.98	80.95 86.36 52.38 65.85	90.24 93.18 59.52 57.14	95.24 88.64 69.05 69.05	88.17± 7.07 86.82± 6.36 62.09± 6.96 61.33± 7.72
Iris	Opt Raw Fin Coa	64.29 73.33 64.29 35.71	64.29 66.67 50.00 21.43	78.57 53.33 64.29 28.57	64.29 53.33 64.29 40.00	64.29 80.00 57.14 42.86	64.29 80.00 73.33 21.43	60.00 66.67 57.14 40.00	60.00 73.33 66.67 57.14	57.14 66.67 50.00 57.14	64.29 53.33 64.29 28.57	64.14± 14.43 66.67± 13.33 61.14± 12.19 37.29± 19.86
Autompg	Opt Raw Fin Coa	61.11 64.10 62.86 69.44	74.29 72.50 55.56 52.78	55.56 66.67 55.56 62.86	61.11 77.50 63.89 52.78	74.29 58.97 65.71 52.78	61.11 64.10 72.22 62.86	60.00 66.67 55.56 65.71	62.86 61.54 58.33 61.11	58.33 61.54 54.29 66.67	58.33 61.54 54.29 57.14	62.70± 11.59 65.51± 11.99 59.83± 12.40 60.41± 9.03

表4 在分类器KNN(K=2)上的分类精度 Table 4 Comparison of classification accuracy with classifier KNN(K=2) %

5 结束语

本文针对多源异构多尺度数据进行研究, 通过构造多尺度邻域信息粒, 提出多尺度邻域决策信息系统模型, 给出多尺度邻域半径的形式化定义, 对多尺度邻域相似关系及上下近似的相关定义进行理论分析.最后, 给出基于特征重要度的多尺度邻域决策系统的特征子集选择算法, 并通过实验验证算法的有效性.今后将进一步探索多尺度信息系统在多源异构多尺度数据上的研究, 着重考虑大型数据集的多尺度邻域决策信息系统的知识表示、规则提取等问题.

本文责任编委张燕平

Recommended by Associate Editor ZHANG Yanping

参考文献

文献选项

[1]	ZADEH L A. Toward a Theory of Fuzzy Information Granulation and Its Centrality in Human Reasoning and Fuzzy Logic. Fuzzy Sets and Systems, 1997, 90(2): 111-127. [本文引用:1]
[2]	YAO Y Y. Three-Way Decision and Granular Computing. International Journal of Approximate Reasoning, 2018, 103: 107-123. [本文引用:1]
[3]	ZADEH L A. Fuzzy Sets and Information Granularity // ZADEH L A, ed. Fuzzy Sets, Fuzzy Logic, and Fuzzy Systems. Toh Tuck Link, Singapore: World Scientific Publishing, 1996: 433-448. [本文引用:1]
[4]	PAWLAK Z. Rough Sets. International Journal of Computer and Information Sciences, 1982, 11(5): 341-356. [本文引用:1]
[5]	胡清华, 于达仁, 谢宗霞. 基于邻域粒化和粗糙逼近的数值属性约简. 软件学报, 2008, 19(3): 640-649. (HU Q H, YU D R, XIE Z X. Numerical Attribute Reduction Based on Neighborhood Granulation and Rough Approximation. Journal of Software, 2008, 19(3): 640-649. ) [本文引用:3]
[6]	HU Q H, YU D R, LIU J F, et al. Neighborhood Rough Set Based Heterogeneous Feature Subset Selection. Information Sciences, 2008, 178(18): 3577-3594. [本文引用:1]
[7]	CHEN H M, LI T R, CAI Y, et al. Parallel Attribute Reduction in Dominance-Based Neighborhood Rough Set. Information Sciences, 2016, 373: 351-368. [本文引用:1]
[8]	HU M, TSANG E C C, GUO Y T, et al. A Novel Approach to Attribute Reduction Based on Weighted Neighborhood Rough Sets. Knowledge-Based Systems, 2021, 220. DOI: DOI:10.1016/j.knosys.2021.106908. [本文引用:1]
[9]	WU W Z, LEUNG Y. Theory and Applications of Granular Labelled Partitions in Multi-scale Decision Tables. Information Sciences, 2011, 181(18): 3878-3897. [本文引用:2]
[10]	GU S M, WU W Z. Knowledge Acquisition in Inconsistent Multi-scale Decision Systems // Proc of the International Conference on Rough Sets and Knowledge Technology. Berlin, Germany: Springer, 2011: 669-678. [本文引用:1]
[11]	WU W Z, LEUNG Y. Optimal Scale Selection for Multi-scale Decision Tables. International Journal of Approximate Reasoning, 2013, 54(8): 1107-1129. [本文引用:5]
[12]	SHE Y H, LI J H, YANG H L. A Local Approach to Rule Induction in Multi-scale Decision Tables. Knowledge-Based Systems, 2015, 89: 398-410. [本文引用:1]
[13]	WU W Z, QIAN Y H, LI T J, et al. On Rule Acquisition in Incomplete Multi-scale Decision Tables. Information Sciences, 2017, 378: 282-302. [本文引用:1]
[14]	LI F, HU B Q. A New Approach of Optimal Scale Selection to Multi-scale Decision Tables. Information Sciences, 2017, 381: 193-208. [本文引用:3]
[15]	XU Y H, WU W Z, TAN A H. Optimal Scale Selections in Consistent Generalized Multi-scale Decision Tables // Proc of the International Joint Conference on Rough Sets. Berlin, Germany: Springer, 2017: 185-198. [本文引用:1]
[16]	WU W Z, LEUNG Y. A Comparison Study of Optimal Scale Combination Selection in Generalized Multi-scale Decision Tables. International Journal of Machine Learning and Cybernetics, 2020, 11(5): 961-972. [本文引用:1]
[17]	吴伟志, 孙钰, 王霞, 等. 不协调广义多尺度决策系统的局部最优尺度组合选择. 模式识别与人工智能, 2021, 34(8): 689-700. (WU W Z, SUN Y, WANG X, et al. Local Optimal Scale Combination Selections in Inconsistent Generalized Multi-scale Decision Systems. Pattern Recognition and Artificial Intelligence, 2021, 34(8): 689-700. ) [本文引用:1]
[18]	王金波, 吴伟志. 基于证据理论的广义多尺度覆盖决策系统的最优尺度组合. 模式识别与人工智能, 2022, 35(4): 291-305. (WANG J B, WU W Z. Evidence-Theory-Based Optimal Scale Combinations in Generalized Multi-scale Covering Decision Sys-tems. Pattern Recognition and Artificial Intelligence, 2022, 35(4): 291-305. ) [本文引用:1]
[19]	吴伟志, 庄宇斌, 谭安辉, 等. 不协调广义多尺度决策系统的尺度组合. 模式识别与人工智能, 2018, 31(6): 485-494. (WU W Z, ZHUANG Y B, TAN A H, et al. Scale Combinations in Inconsistent Generalized Multi-scale Decision Systems. Pattern Recognition and Artificial Intelligence, 2018, 31(6): 485-494. ) [本文引用:1]
[20]	张嘉茹, 吴伟志, 杨烨. 协调广义决策多尺度序信息系统的知识获取. 模式识别与人工智能, 2022, 35(9): 789-804. (ZHANG J R, WU W Z, YANG Y. Knowledge Acquisition for Consistent Generalized Decision Multi-scale Ordered Information Systems. Pattern Recognition and Artificial Intelligence, 2022, 35(9): 789-804. ) [本文引用:1]
[21]	牛东苒, 吴伟志, 李同军. 广义多尺度决策系统中基于可变精度的最优尺度组合. 模式识别与人工智能, 2019, 32(11): 965-974. (NIU D R, WU W Z, LI T J. Variable Precision Based Optimal Scale Combinations in Generalized Multi-scale Decision Systems. Pattern Recognition and Artificial Intelligence, 2019, 32(11): 965-974. ) [本文引用:1]
[22]	HUANG Z H, LI J J, DAI W Z, et al. Generalized Multi-scale Decision Tables with Multi-scale Decision Attributes. International Journal of Approximate Reasoning, 2019, 115: 194-208. [本文引用:1]
[23]	HUANG Z H, LI J J. Multi-scale Covering Rough Sets with Applications to Data Classification. Applied Soft Computing, 2021, 110. DOI: DOI:10.1016/j.asoc.2021.107736. [本文引用:1]
[24]	LI W K, LI J J, HUANG J X, et al. A New Rough Set Model Based on Multi-scale Covering. International Journal of Machine Learning and Cybernetics, 2021, 12(1): 243-256. [本文引用:1]
[25]	ZHENG J W, WU W Z, BAO H, et al. Evidence Theory Based Optimal Scale Selection for Multi-scale Ordered Decision Systems. International Journal of Machine Learning and Cybernetics, 2022, 13(4): 1115-1129. [本文引用:1]
[26]	WANG J B, WU W Z, TAN A H. Multi-Granulation-Based Know-ledge Discovery in Incomplete Generalized Multi-scale Decision Systems. International Journal of Machine Learning and Cybernetics, 2022, 13(12): 3963-3979. [本文引用:1]
[27]	HAO C, LI J H, FAN M, et al. Optimal Scale Selection in Dynamic Multi-scale Decision Tables Based on Sequential Three-Way Decisions. Information Sciences Optimal Scale Selection in Dynamic Multi-scale Decision Tables Based on Sequential Three-Way Decisions. Information Sciences, 2017, 415/416: 213-232. [本文引用:1]
[28]	LI J H, FENG Y. Update of Optimal Scale in Dynamic Multi-scale Decision Information Systems. International Journal of Approximate Reasoning, 2023, 152: 310-324. [本文引用:1]
[29]	CHEN Y S, LI J H, LI J J, et al. Sequential 3WD-Based Local Optimal Scale Selection in Dynamic Multi-scale Decision Information Systems. International Journal of Approximate Reasoning, 2023, 152: 221-235. [本文引用:1]
[30]	陈应生, 李进金, 林荣德, 等. 多尺度集值决策信息系统. 控制与决策, 2022, 37(2): 455-463. (CHEN Y S, LI J J, LIN R D, et al. Multi-scale Set Valued Decision Information System. Control and Decision, 2022, 37(2): 455-463. ) [本文引用:1]
[31]	陈应生, 李进金, 林荣德, 等. 多尺度覆盖决策信息系统的布尔矩阵方法. 模式识别与人工智能, 2020, 33(9): 776-785. (CHEN Y S, LI J J, LIN R D, et al. Boolean Matrix Approach for Multi-scale Covering Decision Information System. Pattern Recognition and Artificial Intelligence, 2020, 33(9): 776-785. ) [本文引用:1]
[32]	HUANG B, WU W Z, YAN J J, et al. Inclusion Measure-Based Multi-granulation Decision-Theoretic Rough Sets in Multi-scale Intuitionistic Fuzzy Information Tables. Information Sciences, 2020, 507: 421-448. [本文引用:1]
[33]	HUANG B, LI H X, FENG G F, et al. Dominance-Based Rough Sets in Multi-scale Intuitionistic Fuzzy Decision Tables. Applied Mathematics and Computation, 2019, 348: 487-512. [本文引用:1]
[34]	HUANG Z H, LI J J. Feature Subset Selection with Multi-scale Fuzzy Granulation. IEEE Transactions on Artificial Intelligence, 2022. DOI: DOI:10.1109/TAI.2022.3144242. [本文引用:1]
[35]	杨璇, 黄兵. 多尺度决策系统中基于模糊相似关系的决策粗糙集最优尺度选择与约简. 南京理工大学学报, 2021, 45(4): 455-463. (YANG X, HUANG B. Optimal Scale Selection and Reduction of Decision-Theoretic Rough Set Based on Fuzzy Similarity Relation in Multi-scale Decision Systems. Journal of Nanjing University of Science and Technology, 2021, 45(4): 455-463. ) [本文引用:1]
[36]	WAN J H, CHEN H M, YUAN Z, et al. A Novel Hybrid Feature Selection Method Considering Feature Interaction in Neighborhood Rough Set. Knowledge-Based Systems, 2021, 227. DOI: DOI:10.1016/j.knosys.2021.107167. [本文引用:1]
[37]	LI F, HU B Q, WANG J. Stepwise Optimal Scale Selection for Multi-scale Decision Tables via Attribute Significance. Knowledge-Based Systems, 2017, 129: 4-16. [本文引用:2]