基于稀疏表示的线性回归模型^{[24, 25, 26]}不仅能够取得较好的分类性能, 而且能够识别每个特征对分类结果的重要性, 即具有基于特征重要性的可解释性.常见的基于稀疏表示的线性回归模型^[24]的目标函数如下:

$\begin{aligned} & \min _{\boldsymbol{v}}\left\lgroup\frac{1}{2 n}\|\boldsymbol{X} \boldsymbol{v}-\boldsymbol{Y}\|^2+\lambda_1\|\boldsymbol{v}\|_1+\frac{\lambda_2}{2}\|\boldsymbol{v}\|^2\right\rgroup \text {, } \\ & \end{aligned}$ (1)

其中, X表示训练样本集, Y表示标签向量, v∈ R^{d× 1}表示稀疏表示向量, n表示训练样本的总数, λ ₁、λ ₂分别控制两个正则项的权重.

式(1)中目标函数主要用于学习一个最优的稀疏表示向量v, 文献[24]通过ASSPN(Accelerated Proximal Subsampled Newton Method)求解式(1), 不仅具有较快的求解速度, 而且从v中可以看出不同的特征对于分类结果的重要性, 即优化得到的稀疏表示v具有基于特征重要性的可解释性.

作为一种常用的可解释模糊分类器, TSK模糊分类器具有良好的泛化能力和较高的可解释性.经典0阶TSK模糊分类器的第k条模糊规则定义为

Rule^k:IF x₁ is A1k∧ x₂ is A2k∧ …∧ x_d is Adk

THEN fk⁽x)= a0k

其中, x=[x₁, x₂, …, x_d]表示d维特征的输入样本, ∧ 表示模糊连接算子, Aik表示第k条模糊在第i个特征上的前件模糊集, f^k(x)表示第k条模糊规则的输出.在去模糊化运算之后, 0阶TSK模糊分类器的输出可表示为

y(x)= ∑k=1Kμk(x)fk(x)∑k'=1Kμk'(x)= ∑k=1Kμk(x)a0k∑k'=1Kμk'(x)∑k=1Kμ-k(x)a0k

其中, μ^k(x)和 μ-k(x)表示模糊隶属度函数,

μ^k(x)= ∏i=1dμAik(x_i), μ-k(x)= μk(x)∑k'=1Kμk'(x).

μAik(x_i)通常使用如下高斯模糊隶属度函数定义, 即

$\begin{aligned} & \mu_{A_i^k}\left(x_i\right)=\exp \left(-\frac{1}{2}\left(\frac{x_i-c_i^k}{\sigma_i^k}\right)^2\right) \\ & \end{aligned}$

cik、 σik分别表示第k条规则在第i个特征上的中心和宽度.根据文献[14]、文献[18]~文献[20]中的描述, cik可以随机从5个固定的中心里选取, 即{0, 0.25, 0.5, 0.75, 1}, 这5个中心分别具有相应的语义解释, 即{very low, low, medium, high, very high}.

σik= h∑j=1nujk(xij-cjk)∑j=1nujk,

h表示人为给定的尺度参数, u_jk表示第j个特征属于第k个中心的隶属度, n表示输入样本总数.

之后, 对于输入的样本x, 0阶TSK模糊分类器的所有K条模糊规则的前件可以表示为如下形式:

μ-(x)= [μ-1(x), μ-2(x), …, μ-K(x)]T.

因此, 对于所有的训练集X, 0阶TSK模糊分类器的所有K条模糊规则的前件可以表示为

Φ = [μ-(x1), μ-(x2), …, μ-(xn)]T.

然后, 基于给定的训练样本的标签Y, K条模糊规则的后件, 即

a= [a01, a02, …, a0K]T,

可以通过优化如下的线性回归模型

$Y_{tr}= \boldsymbol{\Phi a } $ (2)

得到.依据文献[18]~文献[20]中的优化方法, 使用LLM优化式(2), 得到最优结果:

$\boldsymbol{a}=\left(\frac{1}{2 C} \boldsymbol{I}+\boldsymbol{\Phi}^{\mathrm{T}} \boldsymbol{\Phi}\right)^{-1} \boldsymbol{\Phi}^{\mathrm{T}} \boldsymbol{Y}_{\mathrm{tr}}$

近年来, 随着深度学习的发展, 研究者们开始研究TSK模糊分类器的深度集成结构, 其中基于栈式堆叠的深度TSK模糊分类器以其增强的泛化性能以及较高的可解释性受到越来越多的关注.依据栈式堆叠泛化原理^[15], Zhou等^[27]提出D-TSK-FC(Deep TSK Fuzzy Classifier).相比传统TSK模糊分类器, D-TSK-FC以深度栈式的形式集成多个TSK模糊子分类器, 具体地, 当前TSK模糊子分类器的输入由前一个TSK模糊子分类的输出残差加上原始输入样本组成, 因此D-TSK-FC具有增强的泛化性能和较好的可解释性.Zhang等^[20]提出另一种深度TSK模糊分类器, 即HID-TSK-FC(Highly Interpretable Deep TSK Fuzzy Classifier), 共享不同层TSK模糊子分类器的模糊规则, 提高集成分类器的可解释性, 同时, 深度栈式结构保证HID-TSK-FC的高泛化性能.Gu等^[19]提出DSA-FC(Stacked Adversarial TSK Fuzzy Classifiers), 基于对抗输出信息和平滑梯度信息, 能够取得增强的泛化性能和高可解释性.

综上所述, 以深度栈式方式集成多个TSK模糊分类器, 能够有效增强分类器的泛化性能, 同时具有较好的可解释性.

ID-TSK-FC的训练阶段可分为两个部分:训练IGLRc和训练多个I-TSK-FC.

首先, 基于全部原始训练数据集X及其相应的标签向量Y, 训练IGLRc, 考虑到原始数据集上存在不平衡数据, 因此, 定义IGLRc的目标函数:

$\begin{aligned} & \min _{\boldsymbol{v}}\left\lgroup\frac{1}{2 n}\|\boldsymbol{X}^{* }(w1^{T}))v-\boldsymbol{Y}\|^2+\lambda_1\|\boldsymbol{v}\|_1+\frac{\lambda_2}{2}\|\boldsymbol{v}\|^2\right\rgroup \text {, } \\ & \end{aligned}$ (3)

其中, * 表示点乘运算符,

1=[1, 1, …, 1]^T∈ R^{n× 1},

w= [w1, w2, …, wn]T∈ R^{n× 1},

表示权重向量, w_i= nni表示第i个训练样本上的权重, nⁱ表示与第i个训练样本相同类的所有训练样本的个数, n表示所有训练样本数, v表示优化的稀疏表示.

从式(3)可以看出, 为每个训练样本施加不同的权重, 可有效减少不平衡的数据对于最终结果的影响.与1.1节相同, 对于式(3)的优化, 同样使用ASSPN进行求解.

优化式(3), 构建IGLRc.再使用构建好的IGLRc分类所有的训练样本X, 对于每个训练样本x_i (i=1, 2, …, n), 分类公式

yi*=x_iv.(4)

显然, 通过式(4)得到是回归结果而不是分类结果.因此, 需要对回归结果进行处理.根据文献[4]、文献[18]~文献[20]中的操作, 对于二分类问题, 设置数据集类别为正类和负类, 观察sign(x_iv)的值将x_i划分为正类或负类.对于多分类问题, 设置数据集类别为{1, 2, …, cl}, 其中cl表示数据集的总类别数, 通过观察x_iv距离最近的整数, 将x_i归于最近的整数类(即|c'-x_iv|最小), c'∈ {1, 2, …, cl}表示划分的类别.上述这种分类策略, 称为基于最小距离的投票策略.

使用上述的方法, 在所有训练样本上训练IGLRc, 然后利用IGLRc预测所有训练样本, 使用基于最小距离的投票策略, 可以将训练样本集X划分为两部分:分类正确的训练样本集和分类不正确的训练样本.分类正确的训练样本集为线性分布训练样本, 分类不正确的训练样本为非线性分布训练样本.

由于IGLRc为线性分类器, 不能正确识别非线性分布训练样本, 因此, 需要使用非线性分类器对其正确识别.假设由IGLRc识别得到的非线性分布训练样本集

X₁= [x1, x2, …, xn1]T∈ Rn1×d,

和标签向量

Y₁= [y1, y2, …, yn1]T∈ Rn1×1,

其中n₁表示非线性分布训练样本的总数,

Y'₁= [y'1, y'2, …, y'n1]T∈ Rn1×1

表示非线性分布训练样本X₁的IGLRc的输出回归值.

在上述非线性分布训练样本上, 使用深度栈式结构训练L个I-TSK-FC.具体过程如下.

首先, 基于非线性分布训练样本X₁及其残差向量Y₁-Y'₁, 训练第1个I-TSK-FC₁.

与IGLRc类似, I-TSK-FC₁为不同的训练样本施加一个权重, 以减少不平衡数据集的影响.假设第1个I-TSK-FC₁的规则数为K¹, 由1.2节可知, 对于X₁中任何一个训练样本x_i(i=1, 2, …, n₁), K¹条规则的前件可表示为

μ-1(x_i)=ω '_i [μ-1(xi), μ-2(xi), …, μ-K1(xi)]T, (5)

其中,

ω '_i= n1(n1)i,

表示施加在训练样本x_i上的权重, (n1)i表示X₁中与x_i同类的训练样本总数.

对于X₁中所有样本, K¹条规则的前件可以表示为

Φ ¹= [μ-1(x1), μ-1(x2), …, μ-1(xn1)]T.(6)

参考1.2节中的推导过程, 可以得到I-TSK-FC₁所有的后件:

$\begin{aligned} & \boldsymbol{a}^1= \left[a_0^1, a_0^2, \cdots, a_0^{K^1}\right]^{\mathrm{T}}= \left\lgroup\frac{1}{2 C} \boldsymbol{I}+\left(\boldsymbol{\Phi}^1\right)^{\mathrm{T}} \boldsymbol{\Phi}^{\mathbf{1}}\right\rgroup \boldsymbol{\Phi}^{-1}\left(\boldsymbol{\Phi}^1\right)^{\mathrm{T}}\left(\boldsymbol{Y}_1-\boldsymbol{Y}_1^{\prime}\right) . \\ & \end{aligned}$ (7)

然后, 对于非线性分布训练样本集X₁, I-TSK-FC₁的输出向量为:

Y¯1= [y-1, y-2, …, y-n1]T,

其中, 每个元素 y-i表示x_i(i=1, 2, …, n₁)的输出,

y-i=(a¹) μ-'(x_i).(8)

上述为第1个TSK子分类器(即I-TSK-FC₁)的全部训练过程.由于使用深度栈式结构训练L个I-TSK-FC, 所以依据栈式堆叠泛化原理中的残差算子^[15], 从第2个TSK子分类器(即I-TSK-FC₂)开始, 需要借助前一个分类器的输出作为当前分类器的输入, 即第l(2≤ l≤ L)个TSK子分类器(I-TSK-FC_l)的输入为新的训练样本集

$\begin{aligned} & X_1^{\prime}=\left[X_1, \bar{Y}_{l-1}\right] \in \mathbf{R}^{n_1 \times d} \\ & \end{aligned}$

及其残差向量Y₁-Y'₁, 其中 Y¯l-1表示第l-1个I-TSK-FC_l-1的输出.

与上述I-TSK-FC₁的推导过程类似, 对于新的训练样本集X'₁中每个新的训练样本x'_i=[x_i, y-i], I-TSK-FC_l的K^l条规则前件可以表示为

μ-l(x'_i)=ω '_i [μ-1(x'i), μ-2(x'i), …, μ-Kl(x'i)]T, (9)

其中ω '_i与式(5)的定义一致.因此, X'₁的K^l条规则前件可以表示为

Φ ^l=[ μ-l(x'₁), μ-l(x'₂), …, μ-l( x'n1)].(10)

最终, 可以得到I-TSK-FC_l的后件:

$\begin{aligned} & \boldsymbol{a}^l=\left[a_0^1, a_0^2, \cdots, a_0^{K^l}\right]^{\mathrm{T}}= \left(\frac{1}{2 C} \boldsymbol{I}+\left(\boldsymbol{\Phi}^l\right)^{\mathrm{T}} \boldsymbol{\Phi}^l\right)^{-1}\left(\boldsymbol{\Phi}^l\right)^{\mathrm{T}}\left(\boldsymbol{Y}_1-\boldsymbol{Y}_1^{\prime}\right) . \\ & \end{aligned}$ (11)

然后, 对于X'₁, I-TSK-FC_l的输出定义为

Y¯l= [y-1, y-2, …, y-n1]T,

其中

y-i=(a^l) μ-'(x'_i).(12)

当L个I-TSK-FC训练完毕后, ID-TSK-FC的训练阶段结束.

训练阶段的输出主要包含两部分:1)X中的线性训练样本, 输出就是IGLRc的正确输出; 2)X中的非线性分布训练样本X₁的输出, 首先栈式叠加IGLRc的输出与每个I-TSK-FC的输出, 即

{Y₁, Y¯1+Y₁, …, Y¯L+Y₁},

然后使用基于最小距离的投票策略得到最后的输出.

总之, ID-TSK-FC的训练阶段如算法1所示.

算法1 ID-TSK-FC训练阶段

输入 训练样本集X, 标签向量Y, 参数λ ₁, λ ₂, L, L个I-TSK-FC规则数{K¹, K², …, K^L}

输出 稀疏表示v,

L个I-TSK-FC后件{a¹, a², …, a^L}

step 1 训练一个IGLRc并划分训练样本集.

step 1.1 利用ASSPN优化公式(3), 求解最优稀疏表示v.

step 1.2 利用式(4)计算X的输出, 得到非线性分布训练样本集X₁∈ Rn1×d及其标签向量Y₁∈ Rn1×1, 输出向量Y'₁∈ Rn1×1.

step 2 训练L个I-TSK-FC.

step 2.1 在X₁和残差向量Y₁-Y'₁上训练第1个I-TSK-FC₁.

step 2.1.1 通过式(6)求解K¹条规则的前件Φ ¹.

step 2.1.2 通过式(7)求解K¹条规则的后件a¹.

step 2.1.3 通过式(8)求解I-TSK-FC₁的输出 Y¯1.

step 2.2 当2≤ l≤ L时, 构建I-TSK-FC_l.

step 2.2.1 构建新训练样本集X'₁=[X₁, Y¯l-1]及其残差向量Y₁-Y'₁.

step 2.2.2 通过式(10)求解K^l条规则的前件Φ ^l.

step 2.2.3 通过式(11)求解K^l条规则的后件a^l.

step 2.2.4 通过式(12)求解I-TSK-FC_l的输出 Y¯l.

step 2.2.5 l=l+1.

step 3 在{Y₁, Y¯1+Y₁, …, Y¯L+Y₁}上使用基于最小距离的投票策略, 得到最终训练输出.

对于测试数据集X_te∈ Rnte×d中的每个测试样本 xtei(i=1, 2, …, n_te), ID-TSK-FC首先通过IGLRc得到输出:

(ytei)LGLRc= xteiv, (13)

其中v表示最优的稀疏表示.然后分别使用I-TSK-FC_l(l=1, 2, …, L)对 xtei进行预测, 得到输出:

(y-tei)l=(a^l) μ-l( xtei).(14)

最后, 在

{ (ytei)LGLRc, (y-tei)1+ (ytei)LGLRc, …, (y-tei)L+ (ytei)LGLRc}

上使用基于最小距离的投票策略得到最终的标签.

ID-TSK-FC的测试阶段如算法2所示.

算法2 ID-TSK-FC测试阶段

输入 测试样本集X_te∈ Rnte×d,

IGLRc的最优稀疏表示v,

L个I-TSK-FC的后件{a¹, a², …, a^L}

输出 预测标签Y'_te= [y'1, y'2, …, y'nte]T∈ Rnte×1

step 1 当1≤ i≤ n_te时, 转入step 2.

step 2 对于测试样本 xite, 通过式(13)求解IGLRc输出 (ytei)LGLRc.

step 3 当1≤ l≤ L时

step 3.1 通过式(9)求解 μ-l( xtei).

step 3.2 通过式(14)求解I-TSK-FC_l的输出 (y-tei)l.

step 4 在{ (ytei)LGLRc, (y-tei)1+ (ytei)LGLRc, …, (y-tei)L+ (yite)LGLRc}上, 使用基于最小距离投票策略得到 xtei的预测标签y'_i.

step 5 i=i+1, 返回step 1.

ID-TSK-FC的时间复杂度主要从模型的计算复杂度上进行分析, 模型复杂度主要从模型的参数量进行量化分析, 包括模型的模糊规则数和特征数^{[19, 20, 28]}.

首先, 讨论ID-TSK-FC的计算复杂度.ID-TSK-FC训练阶段的计算复杂度主要集中分析算法1.

依据文献[24], 算法1中step 1.1的计算复杂度为

$\begin{aligned} & O\left\lgroup\left\lgroup\frac{\left(s r(\boldsymbol{B}) \log _2 d\right)^{\frac{1}{4}}}{n^{\frac{1}{8}}} \sqrt{t_{\text {avereage }}}\right\rgroup\left(d n^2+s^2 n+d^2 n t_{\text {avereage }}^{\prime}\right)\right\rgroup \\ & \end{aligned},$

其中, n表示训练样本的总数, d表示总特征数, s表示随机采样的总数, t'_average表示ASSPN平均迭代次数, sr(B)表示矩阵B的稳定秩, 具体定义见文献[24].step 1.2的计算复杂度为O(nd).因此, step 1的计算复杂度约为

$\begin{aligned} & O\left\lgroup\left\lgroup\frac{\left(s r(\boldsymbol{B}) \log _2 d\right)^{\frac{1}{4}}}{n^{\frac{1}{8}}} \sqrt{t_{\text {average }}}\right\rgroup \left(d n^2+s^2 n+d^2 n t_{\text {avererge }}^{\prime}\right)\right\rgroup \text {. } \\ & \end{aligned}$

step 2.1主要是训练I-TSK-FC₁.依据文献[14], 文献[18]~文献[20]中的分析, step 2.1.1的计算复杂度为O(5n₁d²K¹), step 2.1.2的计算复杂度为

O( (K1)3+n₁K¹+n₁),

step 2.1.3的计算复杂度为O(n₁K¹), 其中n₁表示非线性分布样本的总数.因此, step 2.1的计算复杂度约为

O(5n₁d²K¹+ (K1)3).

step 2.2是训练L个I-TSK-FC, 与step 2.1不同的是, step 2.2的数据集特征数为d+1, 因此, step 2.2.2的计算复杂度为

O(5n₁(d+1)²K^l),

step 2.2.3的计算复杂度为

O( (Kl)3+n₁K^l+n₁),

step 2.2.4的计算复杂度为O(n₁K^l), 其中K^l表示I-TSK-FC_l的总规则数.因此, I-TSK-FC_l的总计算复杂度约为

O(5n₁(d+1)²K^l+ (Kl)3),

所以step 2.2的总计算复杂度为

∑l=2LO(5n₁(d+1)²K^l+ (Kl)3).

因此, step 2的总计算复杂度约为

O(5n₁d²K¹+ (K1)3+ ∑l=2L5n₁(d+1)²K^l+ (Kl)3).

综上所述, ID-TSK-FC的训练总计算复杂度约为

$\begin{aligned} & O\left\lgroup \left\lgroup\frac{\left(s r(\boldsymbol{B}) \log _2 d\right)^{\frac{1}{4}}}{n^{\frac{1}{8}}} \sqrt{t_{\text {avererge }}}\right\rgroup\left(d n^2+s^2 n+d^2 n t_{\text {average }}^{\prime}\right)+ \\ 5 n_1 d^2 K^1+\left(K^1\right)^3+\sum_{l=2}^L\left(5 n_1(d+1)^2 K^l+\left(K^l\right)^3\right)\right\rgroup \\ & \end{aligned}.$

考虑到本文使用的数据集的样本量远大于特征数(n≥ d)和n> n₁, 因此, ID-TSK-FC的训练总计算复杂度记为

O(dn²+s²n+ (Kl_ave)3).

可知, ID-TSK-FC的训练时间主要受到数据集的样本总量n、维度d、取样量s和平均规则数K^l_ave的影响.

在测试阶段, ID-TSK-FC需要分别计算每个子分类器的输出, 即算法2, 算法2的计算消耗主要集中在step 2和step 3.step 2的计算复杂度约为O(n_ted).step 3的计算复杂度主要集中在step 3.1和step 3.2.参考对于训练复杂度的分析, 可得到step 3.1的计算复杂度约为

$\begin{aligned} & O\left\lgroup 5 n_{\mathrm{te}} d^2 K^1+\sum_{l=2}^L\left(5 n_{\mathrm{te}}(d+1)^2 K^l\right)\right\rgroup \\ & \end{aligned}$

step 3.2的计算复杂度约为

$\begin{aligned} & O\left\lgroup n_{\mathrm{te}} \sum_{l=1}^L K^l\right\rgroup \\ & \end{aligned}.$

所以ID-TSK-FC测试阶段的总计算复杂度约为

$\begin{aligned} & O\left\lgroup5 n_{\mathrm{te}} d^2 K^1+\sum_{l=2}^L\left(5 n_{\mathrm{te}}(d+1)^2 K^l\right)\right\rgroup . \end{aligned}$

设K^l_ave为平均规则数, 则测试阶段的计算复杂度简单记为

O(n_te(d+1)²K^l_ave),

易知, ID-TSK-FC的测试时间主要受到测试样本量n_te、特征数d和平均规则数K^l_ave的影响.

接下来讨论ID-TSK-FC的模型复杂度(Model Complexity, MC), 主要从模型训练时使用的参数量进行分析.依据文献[19]、文献[20]、文献[28]中的分析, 0阶TSK分类模型复杂度主要通过计算IF和Then两部分的参数总量决定, 计算公式如下:

MC=2dK+K(d+1),

其中, d表示特征数, K表示规则数.

由算法1的描述可知, I-TSK-FC₁使用的特征数为d, 而I-TSK-FC_l(2≤ l≤ L)使用的特征数为d+1, 因此在IF部分使用的参数总量为

2K¹d+2(d+1) ∑l=2LK^l,

在Then部分的参数总量为

K¹(d+1)+(d+2) ∑l=2LK^l.

考虑到ID-TSK-FC中还包含1个IGLRc, 需要的特征数为d.因此, ID-TSK-FC的总参数量约为

3K¹d+2(d+1) ∑l=2LK^l+(d+2) ∑l=2LK^l.

综上所述, ID-TSK-FC的时间复杂度和模型复杂度均受到模型使用的规则数K^l和特征数d的影响, 同时, 这些参数也影响ID-TSK-FC的泛化性能.

在本文实验中, 主要从算法的分类性能和可解释性评估ID-TSK-FC.

本文选取20个常用的不平衡数据集作为实验数据集, 包含10个小样本数据集(样本量少于1 000), 10个大样本数据集(样本量为1 000~70 000), 详细信息如表1所示.表中数据集的不平衡率是指数据集上最大类与最小类样本量的比例.

表1

Table 1

表1(Table 1)

表1 实验数据集描述 Table 1 Description of experimental datasets 名称 样本量 特征数 类别数 不平衡率 Class 163 9 2 1.1447 Wdbc 198 33 2 3.2123 Auto 205 25 6 22.3214 Glass 214 9 6 8.4459 Ionosphere 351 34 2 1.7857 Balance 625 4 3 5.8789 Australian 690 14 2 1.2475 Breast 699 10 2 1.9004 Blood 748 4 2 3.2020 Pima 768 8 2 1.8657 German 1000 20 2 2.3332 Yeast 1484 8 10 92.5926 Titanic 2201 3 2 2.0956 Page 5473 10 5 175.4386 Thyroid 7200 21 3 40.1606 Opt 9822 85 2 15.7729 EEG 14980 14 2 1.2282 Magic 19020 10 2 1.8440 Avila 20867 10 12 833.3333 Connect 67557 42 3 6.8966

表1 实验数据集描述 Table 1 Description of experimental datasets

在本文实验中, 为了验证ID-TSK-FC在不平衡数据集上的效果, 主要选取如下4种不平衡分类器作为对比算法.

1)W-zero-TSK(A Weighted Zero-Order TSK Fuzzy Classifier).本文改进0阶TSK模糊分类器, 提出W-zero-TSK, 为样本施加一个权重, 提升算法的不平衡处理能力.

2)DSA-FC^[19].深度栈式集成的TSK模糊分类器, 通过栈式集成多个0阶TSK子分类器, 提升集成分类器的分类性能.

3)IB-TSK-FC^[10].采用跨类贝叶斯模糊聚类算法, 提高TSK模糊分类器对不平衡数据集的性能和可解释性.

4)IDE-TSK-FC^[14].不平衡深度混合TSK模糊分类器, 以逐层的方式栈式堆叠多个TSK模糊子分类器, 从第2层开始, 在采用KNN(K Nearest Neighbor)生成的相应不平衡区域上训练每个TSK模糊分类器.

接下来讨论本文的参数设置.首先, 讨论ID-TSK-FC的参数设置.ID-TSK-FC包含两种子分类器:IGLRc和L个0阶I-TSK-FC.从算法1中可以看出, IGLRc含有λ ₁和λ ₂这两个正则参数, 依据文献[24]中设置, 设置这两个正则参数的网格搜索范围都是{0.001, 0.01, 0.1, 1, 10, 100}.对于L个0阶I-TSK-FC, 需要设置每个子分类器的规则数及子分类器的个数.简单设置L的寻参范围是1~5, 步长为1.对于每个I-TSK-FC的规则数, 简单设置寻参范围为c~20c, 步长为round(c/2), 其中, round(· )表示取整, c表示数据集的总类别数.

对于所有对比算法, 需要设置每个TSK分类器的规则数.为了公平起见, 同样设置规则数寻参范围也是c~20c, 步长为round(c/2).对于DSA-FC、IB-TSK-FC和IDE-TSK-FC的其它参数, 请参照其相应文献中的参数设置.

在本文实验中, 使用Friedman's with Bonferroni-Dunn Statistical Test^[29]评估算法之间的差异性.从文献[29]可以看出, 统计测试方法需要使用到两种统计测试参数:

$\begin{aligned} & \tau_F=\frac{\left(N_d-1\right) \zeta}{N_d\left(N_m-1\right)-\zeta}, \\ & C D=q_\alpha \sqrt{\frac{N_m\left(N_m+1\right)}{6 N_d}}, \end{aligned}$

其中,

$\begin{aligned} & \zeta=\frac{12 N_d}{N_m\left(N_m+1\right)}\left(\sum_{i=1}^{N_m} \operatorname{Rank}_i^2-\frac{N_m\left(N_m+1\right)^2}{4}\right), \end{aligned}$

Rank_i表示第i个算法的平均排名值, N_m表示算法个数, N_d表示数据集的个数.依据文献[29]中设置, α=0.05, q_α≈ 2.850.

F((N_m-1), (N_m-1)(N_d-1))

表示自由度为(N_m-1)和(N_m-1)(N_d-1)的F分布.依据统计测试结果, 如果

τ _F> F((N_m-1), (N_m-1)(N_d-1)),

表示所有算法之间存在显著差异.如果

|Rank_i-Rank_j|> CD,

表示第i种算法和第j种算法之间存在明显差异.

在本文的实验中, 使用五重交叉验证作为主要的实验方法.为了评估各分类器的分类性能, 选取常用的算法精度(Accuracy, ACC)作为评估标准.为了进一步验证各分类器对于不平衡数据集的分类效果, 选取F1分数(F1-score)作为另一个评估标准.通过结合精度和F1分数, 评估各分类器在不平衡数据集上的分类性能.此外, 从算法的规则数以及模型复杂度方面评估分类器的可解释性.

首先对比各分类器在所有数据集上的ACC和F1-score, 然后使用统计分析方法分析ID-TSK-FC与对比分类器之间的差异性.表2列出各分类器在所有数据集上的平均训练精度和测试精度.表3列出各分类器在所有数据集上的平均训练F1分数和测试F1分数.表4列出对应表2的平均排名.请注意, 这里的排名是按照测试精度的高低而评定的, 即测试精度越高, 平均排名越低.表2~表4中黑体数字表示最优值.

表2

Table 2

表2(Table 2)

表2 各分类器的平均训练精度和测试精度 Table 2 Average training ACC and testing ACC of different classifiers 数据集 W-zero-TSK DSA-FC IB-TSK-FC IDE-TSK-FC ID-TSK-FC 训练精度 测试精度 训练精度 测试精度 训练精度 测试精度 训练精度 测试精度 训练精度 测试精度 Class 0.6543 +0.0303 0.6406 +0.0089 0.6714 +0.0085 0.6569 +0.0129 0.6697 +0.0054 0.6604 +0.0014 0.6888 +0.0001 0.6756 +0.0000 0.6900 +0.0000 0.6801 +0.0000 Wdbc 0.8977 +0.0044 0.8834 +0.0051 0.9378 +0.0075 0.9291 +0.0230 0.9187 +0.0068 0.9075 +0.0107 0.9467 +0.0110 0.9221 +0.0093 0.9507 +0.0075 0.9401 +0.0089 Auto 0.3585 ± 0.0419 0.3171 ± 0.0345 0.5298 ± 0.0134 0.4479 ± 0.0112 0.4587 ± 0.0108 0.4468 ± 0.098 0.5456 ± 0.0056 0.5418 ± 0.0035 0.5640 ± 0.0486 0.5546 ± 0.0738 Glass 0.4174 ± 0.0670 0.3762 ± 0.0036 0.5144 ± 0.0317 0.4965 ± 0.0226 0.5202 ± 0.0229 0.5107 ± 0.0334 0.5773 ± 0.0055 0.5444 ± 0.0043 0.5824 ± 0.0417 0.5465 ± 0.0683 Ionosphere 0.8612 ± 0.0115 0.8143 ± 0.0404 0.9647 ± 0.0154 0.9239 ± 0.0206 0.93601 ± 0.0122 0.9212 ± 0.0157 0.9734 ± 0.0051 0.9692 ± 0.0013 0.9847 ± 0.0414 0.9675 ± 0.0240 Balance 0.4280 ± 0.0192 0.4080 ± 0.0905 0.4709 ± 0.0102 0.4624 ± 0.0087 0.4754 ± 0.0220 0.4671 ± 0.0199 0.4612 ± 0.0401 0.4412 ± 0.0125 0.4903 ± 0.0112 0.4611 ± 0.0452 Australian 0.8877 +0.0133 0.8689 +0.0359 0.9100 +0.0017 0.9051 +0.0039 0.9089 +0.0033 0.9003 +0.0086 0.9280 +0.0001 0.9143 +0.0000 0.9300 +0.0024 0.9207 +0.0034 Breast 0.8500 ± 0.0211 0.8424 ± 0.0203 0.9209 ± 0.0324 0.9110 ± 0.0550 0.8724 ± 0.0110 0.8624 ± 0.0144 0.9644 ± 0.0076 0.9618 ± 0.0103 0.9908 ± 0.0105 0.9638 ± 0.0206 Blood 0.7957 ± 0.0157 0.7886 ± 0.0427 0.7807 ± 0.0216 0.7463 ± 0.0011 0.7789 ± 0.0315 0.7712 ± 0.0044 0.8067 ± 0.0055 0.7804 ± 0.0078 0.8656 ± 0.0197 0.8247 ± 0.0231 Pima 0.7811 ± 0.0169 0.7745 ± 0.0416 0.7823 ± 0.0148 0.7577 ± 0.0023 0.7522 ± 0.0047 0.7468 ± 0.0082 0.7931 ± 0.0188 0.7811 ± 0.0142 0.7869 ± 0.0272 0.7681 ± 0.0344 German 0.7557 ± 0.0168 0.7350 ± 0.0000 0.8508 ± 0.0113 0.8415 ± 0.0216 0.8420 ± 0.0225 0.8361 ± 0.0119 0.9356 ± 0.0093 0.9094 ± 0.0114 0.9817 ± 0.0000 0.9642 ± 0.0327 Yeast 0.3623 ± 0.0044 0.4020 ± 0.0143 0.4389 ± 0.0044 0.4349 ± 0.0065 0.4287 ± 0.0111 0.4085 ± 0.0104 04434 ± 0.0037 0.4390 ± 0.0051 0.5585 ± 0.0109 0.5400 ± 0.0194 Titanic 0.7905 ± 0.0054 0.8034 ± 0.0016 0.8821 ± 0.0110 0.8892 ± 0.0123 0.8211 ± 0.0098 0.8176 ± 0.0010 0.9776 ± 0.0237 0.9726 ± 0.0133 0.9993 ± 0.0000 0.9835 ± 0.0199 Page 0.9083 ± 0.0087 0.8857 ± 0.0000 0.8631 ± 0.0032 0.8779 ± 0.0054 0.9123 ± 0.0146 0.9000 ± 0.0143 0.9479 ± 0.0193 0.9213 ± 0.0064 0.9380 ± 0.0256 0.9057 ± 0.0059 Thyroid 0.9041 ± 0.047 0.8971 ± 0.0000 0.9375 ± 0.0034 0.9351 ± 0.0028 0.9308 ± 0.0202 0.9214 ± 0.0140 0.9643 ± 0.0253 0.9525 ± 0.0148 0.9613 ± 0.0148 0.9532 ± 0.0056 Opt 0.9204 +0.0014 0.9179 +0.0001 0.9395 +0.0002 0.8992 +0.0001 0.9284 +0.0047 0.9100 +0.0055 0.9427 +0.0022 0.9210 +0.0033 0.9451 +0.0078 0.9200 +0.0055 EEG 0.6504 +0.0015 0.6461 +0.0000 0.6809 +0.0844 0.6545 +0.0771 0.6689 +0.0110 0.6500 +0.0092 0.6893 +0.0057 0.6593 +0.0521 0.7014 +0.0034 0.6804 +0.0027 Magic 0.8100 +0.0033 0.8000 +0.0037 0.8241 +0.0214 0.8031 +0.0100 0.8201 +0.0135 0.8055 +0.0114 0.8485 +0.0003 0.8186 +0.0038 0.8501 +0.0039 0.8247 +0.0038 Avila 0.1700 +0.0037 0.1654 +0.0049 0.1817 +0.0127 0.1807 +0.0134 0.1901 +0.0221 0.1724 +0.0280 0.2066 +0.0336 0.1944 +0.0330 0.2217 +0.0190 0.2001 +0.0220 Connect 0.6668 +0.0158 0.6571 +0.0032 0.6936 +0.0242 0.6827 +0.0225 0.6720 +0.0524 0.6604 +0.0348 0.6955 +0.0122 0.6845 +0.0185 0.7001 +0.0221 0.6921 +0.0210

表2 各分类器的平均训练精度和测试精度 Table 2 Average training ACC and testing ACC of different classifiers

表3

Table 3

表3(Table 3)

表3 各分类器的平均训练F1分数和测试F1分数 Table 3 Average training F1-score and testing F1-score of different classifiers 数据集 W-zero-TSK DSA-FC IB-TSK-FC IDE-TSK-FC ID-TSK-FC 训练F1 测试F1 训练F1 测试F1 训练F1 测试F1 训练F1 测试F1 训练F1 测试F1 Class 0.6477 +0.0267 0.6380 +0.0086 0.6866 +0.0108 0.6441 +0.0227 0.6507 +0.095 0.6401 +0.0064 0.6654 +0.0000 0.6540 +0.0000 0.7007 +0.0089 0.6800 +0.0020 Wdbc 0.8988 +0.0085 0.8821 +0.0103 0.9100 +0.0103 0.8764 +0.0210 0.9008 +0.0097 0.8922 +0.0108 0.9334 +0.0109 0.9237 +0.0076 0.9407 +0.0095 0.9311 +0.0037 Auto 0.3486 ± 0.0127 0.3679 ± 0.0414 0.5777 ± 0.0025 0.4338 ± 0.0073 0.4319 ± 0.0059 0.4186 ± 0.0076 0.4837 ± 0.0115 0.4628 ± 0.0198 0.4889 ± 0.0295 0.4729 ± 0.0685 Glass 0.4233 ± 0.0013 0.3953 ± 0.0297 0.4717 ± 0.0166 0.5258 ± 0.0398 0.4823 ± 0.0073 0.4682 ± 0.0036 0.5023 ± 0.0129 0.4900 ± 0.0140 0.5399 ± 0.0139 0.5044 ± 0.0145 Ionosphere 0.7807 ± 0.0201 0.7747 ± 0.0303 0.9345 ± 0.0288 0.9047 ± 0.0301 0.8641 ± 0.0136 0.8521 ± 0.0166 0.9616 ± 0.0147 0.9615 ± 0.0122 0.9843 ± 0.0068 0.9799 ± 0.0210 Balance 0.4541 ± 0.0322 0.4222 ± 0.0318 0.4536 ± 0.0071 0.4340 ± 0.0096 0.4589 ± 0.0125 0.4412 ± 0.0108 0.4336 ± 0.0125 0.4329 ± 0.0302 0.4325 ± 0.0086 0.4238 ± 0.0638 Australian 0.8067 +0.0280 0.7736 +0.0193 0.8880 +0.0020 0.8777 +0.0089 0.8587 +0.0057 0.8432 +0.0024 0.9011 +0.0000 0.8994 +0.0000 0.9107 +0.0133 0.9008 +0.0108 Breast 08133 ± 0.034 0.8380 ± 0.0103 0.9234 ± 0.0056 0.9140 ± 0.0231 0.8607 ± 0.0024 0.8534 ± 0.0055 0.9665 ± 0.0437 0.9602 ± 0.0087 0.9943 ± 0.0064 0.9816 ± 0.0151 Blood 0.7783 ± 0.0098 0.7644 ± 0.0182 0.7894 ± 0.0114 0.7702 ± 0.0022 0.7899 ± 0.0075 0.7790 ± 0.0034 0.8077 ± 0.0287 0.7900 ± 0.0088 0.9876 ± 0.0072 0.9408 ± 0.0142 Pima 0.6990 ± 0.0195 0.7025 ± 0.0231 0.8049 ± 0.0101 0.7733 ± 0.0015 0.7689 ± 0.0088 0.7489 ± 0.0036 0.7889 ± 0.0224 0.7724 ± 0.0184 0.8757 ± 0.0129 0.7896 ± 0.0342 German 0.7211 ± 0.0116 0.7032 ± 0.0267 0.9316 ± 0.0903 0.9279 ± 0.0984 0.8300 ± 0.0111 0.8264 ± 0.0223 0.9501 ± 0.0478 0.9407 ± 0.0117 0.9900 ± 0.0000 0.9865 ± 0.0248 Yeast 0.4091 ± 0.0059 0.4044 ± 0.0072 0.4175 ± 0.0096 0.3929 ± 0.0038 0.4201 ± 0.0033 0.3989 ± 0.0046 0.4164 ± 0.0110 0.4029 ± 0.01077 0.4659 ± 0.0131 0.4425 ± 0.0751 Titanic 0.7498 ± 0.0041 0.7438 ± 0.0150 0.9240 ± 0.0012 0.9313 ± 0.0089 0.8666 ± 0.0022 0.8564 ± 0.0046 0.9534 ± 0.0107 0.9442 ± 0.0111 0.9989 ± 0.0000 0.9795 ± 0.0165 Page 0.9210 ± 0.0226 0.9129 ± 0.0225 0.9490 ± 0.0019 0.9242 ± 0.0063 0.9447 ± 0.0022 0.9306 ± 0.0045 0.9564 ± 0.0021 0.9379 ± 0.0011 0.9761 ± 0.0025 0.9630 ± 0.0064 Thyroid 0.9255 ± 0.0016 0.9236 ± 0.0048 0.9419 ± 0.0000 0.9468 ± 0.0000 0.9537 ± 0.0071 0.9499 ± 0.0137 0.9842 ± 0.0028 0.9719 ± 0.0037 0.9848 ± 0.0015 0.9860 ± 0.0030 Opt 0.9306 ± 0.0014 0.9283 ± 0.0058 0.9396 ± 0.0071 0.9300 ± 0.0032 0.9344 +0.0022 0.9252 +0.0027 0.9400 +0.0033 0.9342 +0.0028 0.9421 +0.0068 0.9341 +0.0064 EEG 0.5711 +0.0003 0.5417 +0.0011 0.6050 +0.0324 0.5673 +0.0196 0.5797 +0.0012 0.5507 +0.0044 0.6768 +0.0151 0.6668 +0.0001 0.6877 +0.0101 0.6781 +0.0095 Magic 0.7289 +0.0112 0.7189 +0.0159 0.7509 +0.0224 0.7259 +0.0101 0.7337 +0.0118 0.7200 +0.0183 0.7547 +0.0002 0.7345 +0.0000 0.7589 +0.0017 0.7409 +0.0022 Avila 0.3691 +0.0091 0.3603 +0.0012 0.3668 +0.0039 0.3654 +0.0047 0.3700 +0.0110 0.3624 +0.0109 0.3755 +0.0032 0.3565 +0.0022 0.3990 +0.0027 0.3870 +0.0045 Connect 0.6722 ± 0.0554 0.6701 ± 0.0014 0.6844 ± 0.0059 0.6783 ± 0.0022 0.6801 +0.0091 0.6741 +0.0087 0.6849 +0.0086 0.6800 +0.0074 0.6990 +0.0054 0.6814 +0.0088

表3 各分类器的平均训练F1分数和测试F1分数 Table 3 Average training F1-score and testing F1-score of different classifiers

表4

Table 4

表4(Table 4)

表4 各分类器对应的平均排名 Table 4 Average ranking of different classifiers 数据集 W-zero-TSK DSA-FC IB-TSK-FC IDE-TSK-FC ID-TSK-FC Class 5 4 3 2 1 Wdbc 5 3 4 2 1 Auto 5 3 4 2 1 Glass 5 4 3 2 1 Ionosphere 5 3 4 2 1 Balance 5 2 1 4 3 Australian 5 3 4 2 1 Breast 5 3 4 2 1 Blood 2 5 4 3 1 Pima 2 4 5 1 3 German 5 3 4 2 1 Yeast 5 3 4 2 1 Titanic 5 3 4 2 1 Page 4 5 3 1 2 Thyroid 5 3 4 2 1 Opt 3 5 4 1 2 EEG 5 3 4 2 1 Magic 5 4 3 2 1 Avila 5 3 4 2 1 Connect 5 3 4 2 1 平均排名 4.55 3.45 3.7 2 1.3

表4 各分类器对应的平均排名 Table 4 Average ranking of different classifiers

由表2和表3的实验结果可以看出, ID-TSK-FC在大部分数据集上的测试精度和F1分数均高于对比分类器.这是因为, ID-TSK-FC集成两种分类器, 即线性分类器和TSK分类器, 这有利于提升集成分类器的分类性能, 并且通过栈式堆叠所有子分类器的输出, 进一步提升集成分类器的泛化性能.此外, 实验结果同时表明, 在本文采取的实验数据集上, ID-TSK-FC在小规模和大规模不平衡数据集上具有较好的泛化性能.

下面使用Friedman's with Bonferroni-Dunn Stati-stical Test分析各分类器之间的差异性, 各分类器精度的排名结果如表4所示.由表中结果可以计算得到统计分析的参数结果如下:

τ _F≈ 44.018, F(4, 44)≈ 2.59, CD≈ 1.925.

本文使用的统计测试方法分析各分类器之间的差异性需要分成两步:1)分析所有分类器之间是否存在明显差异性, 因为

τ _F> F(4, 44),

从统计结果可以得出, 就分类器的测试精度而言, 本文实验使用的所有分类器之间存在明显差异.2)进一步分析ID-TSK-FC分别与对比分类器之间是否存在明显差异性.从表4可以得出, ID-TSK-FC分别与W-zero-TSK、DSA-FC、IB-TSK-FC和IDE-TSK-FC之间的平均排名差值的绝对值为:3.25, 2.15, 2.4, 0.7.结合CD的描述, 由统计分析结果可以看出, ID-TSK-FC与W-zero-TSK、DSA-FC和IB-TSK-FC之间存在明显的差异性, 因为3.25、2.15、2.4均大于CD(CD≈ 1.925).尽管从统计分析结果可以看出ID-TSK-FC与IDE-TSK-FC之间的差异性并不明显(因为CD> 0.7), 但是结合表2中测试精度和表3中F1分数可看出, ID-TSK-FC拥有比IDE-TSK-FC更优的分类性能.

本节分析各分类器的可解释性, 分别从算法使用的规则数以及模型的复杂度进行算法可解释性分析.另一方面, 通过一个实例展示ID-TSK-FC的可解释性.

首先, 从算法使用的规则数和模型复杂度对比算法的可解释性, 结果如表5所示.从表可以看出, 相比深度集成分类器DSA-FC和IDE-TSK-FC, 在大多数数据集上, ID-TSK-FC需要更少的模糊规则数以及更小的模型复杂度.这是因为相对于DSA-FC中每个子分类器都是基于所有训练样本训练而成, ID-TSK-FC首先在全部训练数据集上训练一个线性分类器, 然后在非线性数据集上生成多个TSK模糊分类器, 因此, ID-TSK-FC需要更少的规则数.

表5

Table 5

表5(Table 5)

表5 各分类器的平均规则数及模型复杂度 Table 5 Average number of rules and model complexity of different classifiers 数据集 W-zero-TSK DSA-FC IB-TSK-FC IDE-TSK-FC ID-TSK-FC 平均规则数 复杂度 平均规则数 复杂度 平均规则数 复杂度 平均规则数 复杂度 平均规则数 复杂度 Class 6.8 190.4 10.2 285.6 8.8 246.4 9.8 274.4 9.2 257.6 Wdbc 12 1200 67 6700 14.8 1480 78.2 7820 48.2 4820 Auto 13.6 1033.6 52.8 4012.8 24.2 1839.2 53.9 4096.4 50.5 3838 Glass 21.4 599.2 52.2 1461.6 18.4 515.2 50.6 1416.8 46.6 1304.8 Ionosphere 5.4 556.2 33.6 3460.8 5.2 535.6 28.4 2925.2 28.8 2966.4 Balance 9 117 13.8 179.4 12.2 158.6 12.4 161.2 10.2 132.6 Australian 8.4 361.2 13.2 567.6 9.4 404.2 10.8 464.4 9.8 421.4 Breast 6.6 204.6 27.4 849.4 7.2 223.2 22.6 700.6 21.4 663.4 Blood 8.6 111.8 12.8 166.4 9 117 10.2 132.6 11.2 145.6 Pima 12.6 315 26.4 660 11.8 295 22.8 570 22.4 560 German 8.4 512.4 16.4 1000.4 8.8 536.8 12.8 780.8 12.2 744.2 Yeast 20.5 512.5 33.2 830 29.2 730 32 800 29.5 737.5 Titanic 5.2 52 16.2 162 6.2 62 13.5 135 15.6 156 Page 15.5 480.5 28.8 892.8 20.2 626.2 26.4 818.4 25.5 790.5 Thyroid 5 320 25 1600 6.4 409.6 26.2 1676.8 21.8 1395.2 Opt 2.8 716.8 32 8192 10.2 2611.2 28.4 7270.4 20.8 5324.8 EEG 12.4 533.2 40.2 1728.6 14.8 636.4 36.2 1556.6 25.4 1092.2 Magic 14.6 452.6 25.6 793.6 18.6 576.6 25.8 799.8 22.2 688.2 Avila 22.2 688.2 100.4 3112.4 20.8 644.8 111.4 3453.4 72.2 2238.2 Connect 15.4 1955.8 32.4 4114.8 18.4 2336.8 31.4 3987.8 28.6 3632.2

表5 各分类器的平均规则数及模型复杂度 Table 5 Average number of rules and model complexity of different classifiers

另一方面, 尽管IDE-TSK-FC中的模糊子分类器也是基于训练数据集中的子集训练而成, 但是也需要首先在所有训练样本集上训练一个全局TSK分类器, 因此, 相比ID-TSK-FC, IDE-TSK-FC需要更多的模糊规则.相比W-zero-TSK和IB-TSK-FC, ID-TSK-FC需要更多的模糊规则, 这是因为W-zero-TSK和IB-TSK-FC是单一的分类器, 相比集成分类器, 需要更少的模糊规则, 但是它们的分类性能低于集成分类器.

综上所述, 相比集成的对比分类器, ID-TSK-FC具有更少的模糊规则以及更小的模型复杂度.

下面说明ID-TSK-FC的可解释性.在Yeast数据集上, 选取其中的两个样本作为测试样本:

x₁=[0.2700, 0.4600, 0.5200, 0.1700, 0.5000, 0.0000, 0.4900, 0.4400],

x₂=[0.3000, 0.5000, 0.3400, 0.2600, 0.5000, 0.0000, 0.5100, 0.2200].

实验中ID-TSK-FC中的参数L=2.为了描述方便, 定义Yeast数据集上8个特征分别为F₁, F₂, …, F₈.执行完ID-TSK-FC的训练过程, 得到ID-TSK-FC中IGLRc的表达如下:

y=1.8164F₁+1.7798F₂-2.9763F₃-1.8207F₄+3.1074F₅+2.9173F₆+2.0946F₇-0.0650F₈.

在测试阶段, ID-TSK-FC中所有子分类器(IGLRc+I-TSK-FC₁+I-TSK-FC₂)对测试样本x₁的输出分别为:2.0034, 2.5154, 3.4204.基于最小距离投票策略, 可以得到x₁的类别最终是由IGLRc决定, 即为2.因此, 对于测试样本x₁, 最终预测结果由IGLRc决定, 可以使用IGLRc对其分类结果进行解释.由IGLRc的表达式可知, 特征F₅对“ x₁为正” 的预测影响程度较大, 而特征F₃和F₈对“ x₁为负” 有着影响, 且F₃的影响程度大于F₈(因为F₃的权值绝对值较大).

相似地, 对于测试样本x₂, ID-TSK-FC中所有子分类器(IGLRc+I-TSK-FC₁+I-TSK-FC₂)的输出分别是2.5571, 4.6247, 5.0683.基于最小距离投票策略可知, x₂的最终类别被预测为5, 因此, 可以使用I-TSK-FC₂对其预测结果进行解释.为了简单起见, 只列出其中五条规则对应的前件和后件, 具体如表6所示.

表6

Table 6

表6(Table 6)

表6 Yeast数据集上I-TSK-FC2的规则前件和后件 Table 6 Antecedents and consequents of rules by I-TSK-FC2on Yeast dataset 规则 IF-parts THEN-parts F1 F2 F3 F4 F5 F6 F7 F8 1 H Me L VL H H Me VH 2.4412 2 VL L L Me Me L L VH 4.6726 3 VL L VH VL L Me Me H -2.1058 4 VH H L Me H L Me H 2.4440 5 VH L Me VH H L L H 3.3349

表6 Yeast数据集上I-TSK-FC2的规则前件和后件 Table 6 Antecedents and consequents of rules by I-TSK-FC2on Yeast dataset

以第1条模糊规则为例, 可以解释为如下形式:

IF(F₁ is H) AND (F₂ is Me) AND (F₃ is L) AND

(F₄ is VL) AND (F₅ is H) AND (F₆ is H) AND

(F₇ is Me) AND (F₈ is VH)

THEN y=2.4412

显然, 容易解释和理解这样一个模糊规则.综上所述, ID-TSK-FC既具有基于特征重要性的可解释性, 也具有基于语义的可解释性.