本文选择一阶TSK型模糊分类器作为孪生自蒸馏的双生网络, 提出融合深浅层次知识的具有自我学习能力的TSK模糊分类算法(DSMT), 整体框架如图1所示.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 DSMT整体框架图Fig.1 Architecture of DSMT

DSMT将原始脑电信号作为输入, 使用主成分分析(Principal Component Analysis, PCA)对癫痫脑电信号进行特征提取, 获得关键特征.利用孪生网络的多方面交互, 首先训练静态孪生网络, 再使用静态孪生网络输出协助动态孪生网络进行深浅层次的知识获取.设计的余温式蒸馏模块使孪生网络两部分处于相同的温度之下.通过孪生自蒸馏的方式, DSMT获取自我学习的能力, 旨在适应不同患者和时间段中EEG信号特征的复杂变化问题.

一阶TSK型模糊分类器系统规则较简单, 轻量化的模型结构可在算力受限的终端中使用.然而, 这种系统在处理高复杂度的非线性数据时可能会受限, 因为它依赖于局部线性的假设并且对单一专家规则具有较强的依赖性, 不足以捕捉所有系统特性.传统的“ if-then” 规则虽然直观, 但往往无法精确模拟复杂的诊断决策过程, 限制模型对训练数据深层次理解的能力.

因此, 为了克服这些局限性, 引入“ 反思-归纳” 机制, 扩展和深化基础的“ if-then” 规则, 从初级规则中总结知识和隶属度, 并归纳为深度规则.这一方法不仅增强模型对新情况的适应能力, 还提高其在复杂决策中的准确性.

在人类学视域下, 反思不仅是对过去经验的回顾, 还包括对现有理论和实践的批判性思考.反思通常用于专业学习环境中, 帮助从业者改进实践.Fook^[31]提出, 通过批判性反思的过程, 可更深入、全面地理解实践经验, 而这种理解往往是从业者最初无法表达的.这一观点同样适用于基于模糊规则进行判断的TSK型模糊分类器.

本文基于人类“ 反思-归纳” 过程, 拓展TSK型模糊分类器中的模糊规则.具体地, 仿照一般人类对于事物分步得出结论的过程, 批判性反思数个基本的模糊规则, 归纳成更深层次的规则.

对于一个简单的场景, 考虑使用一个拓展深度规则的“ if-then” 模糊规则集, 具体描述如下:

IF(In rule 1:湿度 is 较低∧ 温度 is 适中∧

云量 is 较少),

THEN 天气条件=晴朗;

IF(In rule 1:天气条件 is 晴朗∧

In rule 2:时间 is 周末),

THEN 活动=出门爬山.

上述方法不仅提升对基本规则中知识的理解, 还进一步减少每次分类器判断的难度.通过这种方式, 模型能在复杂的症状判断中表现得更准确.描述第i条基于“ 反思-归纳” 的深度规则输出y_i如下:

IF (In rule 1:x₁ is A11∧ x₂ is A21∧ …∧ x_d is Ad1)∧

(In rule 2:x₁ is A12∧ x₂ is A22∧ …∧ x_d is Ad2)∧ …∧

(In rule M:x₁ is A1M∧ x₂ is A2M∧ …∧ x_d is AdM),

THEN y_i=f_d(f_s(x))=f_g(x),

其中, 输入

x= (x1, x2, …, xd)T,

M表示基础规则数, d表示样本的属性数, Aim表示变量x_i在第m条规则的模糊子集.

相比传统TSK型模糊分类器, 基于“ 反思-归纳” 的深度规则更符合人类的思维过程, 使模型在处理复杂的非线性问题时表现更出色.具体地, 采用“ 反思-归纳” 过程的模型在处理复杂问题时, 显著提升决策准确性, 能更好地适应变化的环境条件.首先, 计算模糊规则隶属度:

$\begin{array}{l}\mu_{m}(\boldsymbol{x})=\prod_{i=1}^{d} \mu_{A_{i}^{m}}\left(x_{i}\right) \\\mu_{A_{i}^{m}}\left(x_{i}\right)=\exp \left(-\frac{\left|x_{i}-c_{i}^{m}\right|^{2}}{2\left(\sigma_{i}^{m}\right)^{2}}\right), \end{array}$ (1)

μAim(x_i)=exp(- |xi-cim|22(σim)2),

核宽

$\sigma_{i}^{m}=\frac{\sum_{j=1}^{N} u_{j}^{m}\left(x_{i j}-c_{i}^{m}\right)}{\sum_{j=1}^{N} u_{j}^{m}},$

x_i表示输入样本x的第i个特征, cim表示FCM聚类中心点, ujm表示第m个中心点的模糊隶属度, x_ij表示第j个输入样本x_j的第i个特征.

下面进行基础规则-深度规则的归纳过程.在经过基础规则归一化输出和深度规则归纳后, 得到输出:

y_i=f_d(f_s(x))=f_g(x),

其中

$f_{s}(\boldsymbol{x})=\frac{\sum_{m=1}^{M} \mu_{m}(\boldsymbol{x}) f_{m}(\boldsymbol{x})}{\sum_{m^{\prime}=1}^{M} \mu_{m^{\prime}}(\boldsymbol{x})}=\sum_{m=1}^{M} \tilde{\mu}_{m}(\boldsymbol{x}) f_{m}(\boldsymbol{x}) .$

在确定前件参数之后, 后件部分可等价转换到模糊规则以及高斯隶属度下的线性回归模型.

定义基本规则的后件参数矩阵:

$\begin{array}{l} \boldsymbol{Q}_{s}=\left(\left(\boldsymbol{q}_{s}^{1}\right)^{\mathrm{T}}, \left(\boldsymbol{q}_{s}^{2}\right)^{\mathrm{T}}, \cdots, \left(\boldsymbol{q}_{s}^{M}\right)^{\mathrm{T}}\right)^{\mathrm{T}} \\ \boldsymbol{q}_{s}^{m}=\left(q_{s}^{m, 0}, q_{s}^{m, 1}, \cdots, q_{s}^{m, d}\right)^{\mathrm{T}} . \end{array}$ (2)

深度规则的后件参数矩阵为:

$\begin{array}{l} \boldsymbol{Q}_{d}=\left(\left(\boldsymbol{q}_{d}^{1}\right)^{\mathrm{T}}, \left(\boldsymbol{q}_{d}^{2}\right)^{\mathrm{T}}, \cdots, \left(\boldsymbol{q}_{d}^{D}\right)^{\mathrm{T}}\right)^{\mathrm{T}}, \\ \boldsymbol{q}_{d}^{i}=\left(q^{i, 1}, q^{i, 2}, \cdots, q^{i, M}\right)^{\mathrm{T}} . \end{array}$ (3)

通过模糊规则将原始输入x模糊化后映射到特征空间的矩阵:

$\begin{array}{l} \boldsymbol{H}=\left(\left(\boldsymbol{h}^{1}\right)^{\mathrm{T}}, \left(\boldsymbol{h}^{2}\right)^{\mathrm{T}}, \cdots, \left(\boldsymbol{h}^{M}\right)^{\mathrm{T}}\right)^{\mathrm{T}}, \\ \boldsymbol{h}^{m}=\widetilde{\mu}_{m}(\boldsymbol{x})\left(1, \boldsymbol{x}^{\mathrm{T}}\right)^{\mathrm{T}} . \end{array}$ (4)

根据式(2)~式(4), 总结深度规则的输出, 得到DSMT预测输出:

$\boldsymbol{z}=\sum_{i=1}^{D} \boldsymbol{y}_{i}=\boldsymbol{Q}_{d}^{\mathrm{T}}\left(\boldsymbol{Q}_{s}^{\mathrm{T}} \cdot \boldsymbol{H}\right)=\boldsymbol{W}^{\mathrm{T}} \cdot \boldsymbol{H}$ (5)

其中D表示深度规则的数量.本文均通过使用梯度下降法优化目标损失的方式求得后件参数矩阵.同时求得模型的概率输出:

ŷ=softmax(z). (6)

此外, 深层规则的优化知识表示使系统在处理模糊性和不确定性时更有效.更重要的是, 这种自我学习和自我优化的过程减少对传统专家知识的绝对依赖, 提升模型的自主性和灵活性.本文选择以“ 反思-归纳” 深层规则为基础的一阶TSK型模糊分类器作为孪生网络, 增强模型对潜在信息的挖掘能力.

为了解决自学习过程中的自我特征缺失问题, 首先设计动静结合的网络结构, 以不同训练批次输出, 作为教师模型, 为动态孪生网络提供深层知识及合适的投影温度, 使动态孪生网络能较好地获取知识.在模型训练过程中, 观察到不同批次的学习程度往往不相同, 根据该情况, 利用批次输出中的差距设计基于批次提升的自蒸馏网络, 将不同批次的软输出替代教师模型输出, 作为自身的教师模型进行自我提升, 软化后的c分类的软输出为:

$p_{i}=\frac{\exp \left(\frac{z_{i}}{T}\right)}{\sum_{l=1}^{c} \exp \left(\frac{z_{l}}{T}\right)} .$ (7)

基于批次提升的自我蒸馏模型不需要额外加入教师模型, 也不带来大量数据存储的需求.

静态孪生网络接受来自真实标签以及批次输出中的知识, 设计如下3项损失.1)正则化项损失.2)真实损失:

ζ _i=- y¯iln ŷi, i=1, 2, …, N,

其中, y¯i表示训练集的真实标签输出, ŷi表示模型的软输出, 使模型向真实标签学习.3)批次蒸馏损失:

ξ _i= piσln(piσpiσ-μ), i=1, 2, …, N,

其中, piσ表示第σ批次的输出, piσ-μ表示第σ-μ批次的输出, 使第σ批次向第σ-μ批次学习.

在训练过程中, 来自不同批次的知识可避免在自蒸馏中学生模型只能从同一模型重复获取知识的问题, 能有效防止关键的特征信息在传递过程中丢失.

在此过程中, 静态孪生网络的一般损失为:

$L_{\text {static }}=\frac{\lambda}{2}\|w\|^{2}+\frac{1}{2} \sum_{i=1}^{N} \zeta_{i}^{2}+\frac{\alpha}{2} \sum_{i=1}^{N} \xi_{i}^{2},$(8)

其中, w表示一阶TSK的参数, λ、α表示正则化参数.

将结合浅层批次知识的静态孪生网络最后模型软输出 ŷ记录为e_s, 并作为知识供动态孪生网络进行深度训练.DSMT还能通过更优的蒸馏温度模块, 增强对样本知识进行分析的能力.

静态孪生网络算法的一般伪代码如下.

算法1 混合批次知识的静态孪生网络

输入 癫痫特征X={x₁, x₂, …, x_N},

x_i∈ R^d, i=1, 2, …, N, 标签 Y¯,

模糊规则的数量M, 深度规则的数量D,

周期epoch_max, 训练误差θ_min

输出 训练好的静态模糊后件参数矩阵Q_d, Q_s,

静态孪生网络的深度知识

e_s={e₁, e₂, …, e_c}

阶段1 前件计算

通过FCM初始化模糊集中心;

根据式(1)获取并归一化模糊隶属度μ _m(x);

阶段2 后件计算

随机初始化后件参数矩阵Q_d, Q_s;

WHILE epoch< epoch_maxOR L_static≥ θ_minDO:

根据式(2)~式(4), 计算输出z, ŷ;

根据式(8)计算L_static;

$\begin{array}{l} \boldsymbol{Q}_{d}^{t+1} \leftarrow \boldsymbol{Q}_{d}^{t}-\nabla_{q} L_{\text {static }} ; \\ \boldsymbol{Q}_{s}^{t+1} \leftarrow \boldsymbol{Q}_{s}^{t}-\nabla_{q} L_{\text {static }} ; \end{array}$

END WHILE

阶段3 标签输出

根据式(5)计算静态网络输出z;

根据式(6)计算静态网络模型的概率输出e_s.

在完成静态孪生网络训练之后, 为了有效接收静态孪生网络训练完成的深度知识, 在结构相同的动态孪生网络损失中引入静态网络的软输出e_s.类似于物理蒸馏过程, 调整温度以软化教师模型, 以便学生模型能更有效地吸收知识.

在DSMT中, 希望两个孪生网络能吸收相似的知识, 因此置于相同的蒸馏温度下.这种设置使得在相同或相似数据集上, 孪生网络的两个部分更容易吸收类似知识, 正如在物质蒸馏过程中, 在相似温度下更容易析出相同物质.保持孪生网络的两个部分在相同温度下, 知识传递变得更顺畅和高效.

在动态网络中批次软输出同式(7).

动态孪生网络接受来自静态网络、批次输出及真实标签中的知识, 设计如下3项损失:静态网络的蒸馏损失δ _i、批次蒸馏损失ξ _i、真实损失ζ _i.批次蒸馏损失ξ _i和真实损失ζ _i与静态孪生网络保持相同的蒸馏损失:

δ _i=p_iln(pieis), i=1, 2, …, N.

最终得到动态孪生网络的一般损失:

$L_{\mathrm{Dyn}}=\frac{1}{2} \sum_{i=1}^{N} \delta_{i}^{2}+\frac{\beta}{2} \sum_{i=1}^{N} \zeta_{i}^{2}+\frac{\alpha}{2} \sum_{i=1}^{N} \xi_{i}^{2} .$ (9)

另外, 动态网络在优化后件参数时, 也同时学习静态网络输出e_s中的深度知识.

设定相同蒸馏温度, 结合孪生模型中的深浅层次知识, 在深层知识传递过程中尽可能减少丢失有用特征信息的可能性.在不显著增加模型复杂度的前提下, 使用模型内部知识代替知识蒸馏中的教师模型, 实现模型内部的自我学习.上述过程的动态孪生网络的算法伪代码如下.

算法2 结合深浅层次知识的动态孪生网络

输入 癫痫特征X={x₁, x₂, …, x_N},

x_i∈ R^d, i=1, 2, …, N, 标签 Y¯,

模糊规则的数量M, 深度规则的数量D,

最大周期epoch_max, 训练误差θ_min,

静态网络输出软标签e_s={e₁, e₂, …, e_c}

输出 动态网络输出z, 后件参数矩阵Q_d, Q_s

阶段1 前件计算

通过FCM初始化模糊集中心;

根据式(1)获取并归一化模糊隶属度μ _m(x);

阶段2 后件计算

随机初始化后件参数矩阵Q_d, Q_s;

FOR epoch< epoch_maxOR L_Dyn≥ θ_minDO:

根据式(2)~式(6), 计算输出z, ŷ;

根据式(9)计算L_Dyn;

$\begin{array}{l} \boldsymbol{Q}_{d}^{t+1} \leftarrow \boldsymbol{Q}_{d}^{t}-\nabla_{q} L_{\mathrm{Dyn}} ; \\ \boldsymbol{Q}_{s}^{t+1} \leftarrow \boldsymbol{Q}_{s}^{t}-\nabla_{q} L_{\mathrm{Dyn}} ; \end{array}$

END FOR

阶段3 模型结果输出

根据式(6)计算动态网络输出z.

在癫痫辅助检测的应用场景中, 更轻量化的模型设计能应用于硬件算力受限的穿戴式场景.下面将分步分析算法的时间复杂度, 更好地评估DSMT在处理复杂任务时的潜力.DSMT的复杂性主要分为两个孪生网络.

1)阶段1:前件计算.

(1)初始化模糊集中心.使用FCM, 时间复杂度通常为O(Nrid), 其中, r表示模糊集中心的数量, d表示特征维度, i表示迭代次数, N表示样本数量.

(2)获取并归一化模糊隶属度.计算隶属度的时间复杂度为O(NrM), 其中, N表示样本数量, r表示模糊集中心的数量, M表示基础规则数量.归一化操作时间复杂度为O(N).

综合(1)、(2), 得到阶段1的时间复杂度为

O(Nrid+NrM+N).

本文中r、d、i、M都是远小于样本数N的常数, 因此可认为阶段1的时间复杂度为O(N).

2)阶段2:后件计算.

(1)初始化参数.后件参数矩阵初始化的复杂度为O(NMD), 其中D表示深度规则数量.

(2)输出计算.计算网络硬输出z的时间复杂度为O(NMD), 软输出 ŷ的时间复杂度为O(nMDc), 其中c表示分类数.

(3)梯度计算.在两个孪生网络中, 动态孪生网络损失比静态孪生网络更复杂, 因此下面以动态网络的时间复杂度为例进行分析.损失函数L_Dyn定义如式(9), 计算梯度时将三个约束项分别进行反向传播的推导及梯度的计算, 分析算法的时间复杂度.

对δ _i进行求导时, 需要分步计算损失函数对p_i的梯度:

∂δi∂pi=ln(piei)+1,

∂LDyn∂pi=δ _i(ln(piei)+1) ,

同样, 对ζ _i求导时, 需要计算损失函数对 ŷi的梯度:

$\begin{array}{l} \frac{\partial \zeta_{i}}{\partial \hat{y}_{i}}=-\frac{\bar{y}_{i}}{\hat{y}_{i}} \\ \frac{\partial L_{\mathrm{Dyn}}}{\partial \hat{y}_{i}}=\beta \zeta_{i} \frac{\partial \zeta_{i}}{\partial \hat{y}_{i}}=-\frac{\beta \bar{y}_{i} \zeta_{i}}{\hat{y}_{i}} . \end{array}$

最后对ξ _i进行反向传播时, 同样分步计算损失函数对p_i的梯度:

$\begin{array}{l} \frac{\partial \xi_{i}}{\partial p_{i}^{\sigma}}=\ln \left(\frac{p_{i}^{\sigma}}{p_{i}^{\sigma-\nu}}\right)+1, \\ \frac{\partial L_{\mathrm{Dyn}}}{\partial p_{i}^{\sigma}}=\alpha \xi_{i} \frac{\partial \xi_{i}}{\partial p_{i}^{\sigma}}=\alpha \xi_{i}\left(\ln \left(\frac{p_{i}^{\sigma}}{p_{i}^{\sigma-\nu}}\right)+1\right) . \end{array}$

在计算梯度的过程中, 计算 pieis, ln(piei)等单样本组件时都需要O(1)的时间复杂度, 则N个样本计算的总时间复杂度为O(N).所以, 反向传播后件参数矩阵的总的时间复杂度为

O(epoch_max(N(MD)+MD)),

其中epoch_max表示反向传播的最大迭代次数.

总之, DSMT的时间复杂度

O(epoch_max(N(MD)+MD)),

主要由基础规则数M和深度规则数D决定, 但MD都是远小于数据量的常数.

综合分析上述的时间复杂度, 设计的具有自我学习能力的DSMT在时间复杂度上与传统的基于反向传播求解的一阶TSK模糊分类器无显著差异, 较好地保持其轻量化的特性.

实验硬件环境如下: Intel Core i7-13700F at 5.02 GHz, 64 GB RAM, GeForce RTX 4090.编程的软件环境如下:64-bit Microsoft Windows 10, PyThon 3.10.11 Torch 2.0.0 with CUDA 11.8.

为了验证和评估DSMT在癫痫脑电信号分类任务上的性能.在波士顿儿童医院与麻省理工学院联合提供的CHB-MIT数据集^[32]以及天普大学(Temple University)提供的TUAB(Temple Univer-sity Hospital EEG Abnormal Corpus)、TUEV(Temple University Hospital EEG Video Corpus)数据集^[33]上进行充分实验.

CHB-MIT数据集是一个公开的EEG数据集, 由麻省理工学院和波士顿儿童医院的研究人员收集并发布.数据集包含24段患有难治性癫痫的儿童的头皮脑电图记录, 包括178次癫痫发作记录.具体有23个通道的916 h头皮脑电信号记录, 采样频率为256 Hz, 分辨率为16位.研究表明^[34], 癫痫的发作频率主要为4 Hz~30 Hz, 因此, 本文使用快速傅里叶变化进行滤波处理, 提取4 Hz~30 Hz之间的频域特征, 采样间隔为0.5 Hz.受制于硬件条件限制, 同时利用子集有助于评估方法在未见数据上的泛化能力, 在子集上训练并在其它子集上测试, 模拟在新的环境下进行测试.取不同时间长度下数据标准化后的10个子集 CHB 01~CHB 10作为此次的实验数据, 每条样本数据都有23× 53个特征维度.同时因为癫痫数据集上发病比例太少, 为了增加癫痫片段的数量, 采用重采样的样本提取方法, 重叠采样的时长设置为0.5 s, 以此平衡正负样本的数量.CHB-MIT数据集详细信息如表1所示.

表1

Table 1

表1(Table 1)

表1 CHB-MIT数据集信息 Table 1 Description of CHB-MIT dataset 名称 非发病数 发病数 CHB 01 1800 881 CHB 02 700 341 CHB 03 1600 801 CHB 04 1600 753 CHB 05 2300 1113 CHB 06 600 303 CHB 07 1300 647 CHB 08 3650 1817 CHB 09 1100 549 CHB 10 1800 891

表1 CHB-MIT数据集信息 Table 1 Description of CHB-MIT dataset

DSMT的有效性也在TUAB、TUEV数据集上进行验证.TUAB、TUEV数据集来自天普大学, 是用于脑电信号研究的重要资源.TUAB数据集包含23个通道、采样率为256 Hz、409 455个已标注正常或异常的10 s样本, 用于二分类任务.TUEV数据集具有相同通道数和采样率, 112 491个注释为6种事件类型的5 s样本, 用于多类分类任务.

基于硬件条件限制, 同样按照CHB-MIT数据集的处理方式采样3个正负样本平衡的TUAB子集以及3个多分类样本平衡的TUEV子集, 每条样本数据都有23× 53个特征维度, 每个子集样本详细信息如表2所示.

表2

Table 2

表2(Table 2)

表2 TUAB、TUEV数据集信息 Table 2 Description of TUAB and TUEV datasets 名称 样本数 分类数 TUAB 01 1000 2 TUAB 02 1500 2 TUAB 03 2000 2 TUEV 01 1200 6 TUEV 02 1800 6 TUEV 03 2400 6

表2 TUAB、TUEV数据集信息 Table 2 Description of TUAB and TUEV datasets

为了评估DSMT的性能, 采用准确率(Accuracy, ACC)、敏感性(Sensitivity, SEN)和F1分数作为评价指标, 计算公式如下:

$\begin{array}{l} A C C=\frac{T P+T N}{T P+T N+F P+F N}, \\ S E N=\frac{T P}{T P+F N}, \\ F_{1}=\frac{2 \cdot(T P \cdot P)}{(T P \cdot P)+(T P \cdot R)} . \end{array}$

其中:TP(True Positives)表示正确预测为正类的样本数量, 即正确检测癫痫样本; TN(True Negatives)表示正确预测为负类的样本数量, 即正确识别癫痫发作; FP(False Positives)表示错误预测为正类样本数量, 即误检为癫痫的样本; FN(False Negatives)表示错误预测为负类的样本数量, 即误检为健康的样本.

文中F1的权重P、R都由样本的比重自动计算.

为了验证DSMT的分类性能, 选择如下深度模糊分类器进行对比实验.

1)由于DSMT是基于TSK模糊分类器的自学习癫痫检测算法, 因此选择3个最新的TSK模糊分类器在癫痫上的应用算法进行对比: VR-TSK-FC^[13]、CNNBaTSK^[14]、MIP-TRL-FS(Multiview Information Preservation Transfer Representation Learning Based on Fuzzy Systems)^[35], .

2)DSMT将深度知识引入模糊规则中, 因此, 采用两种使用深度模型作为后件的深度模糊分类器作为对比算法:将1个1D-CNN提取的深度特征作为TSK后件变量的MST-TSK(Multiple-Source Transfer Learning-Based TSK Fuzzy System)^[36], 由多视角深度特征拼接共同作为TSK后件变量的基于增强深度特征的TSK模糊分类器(ED-TSK-FC)^[16].

实验时对比算法都采用原文献中的参数设置.对于DSMT中的超参数, 都通过网格搜索策略进行优化, 其中epoch_max设为100, 蒸馏温度T从{0.01, 0.1, 1, 10, 100, 1 000, 10 000} 中搜索, 基础规则数量M从{1, 2, 3, 4, 5, 7, 10}中搜索, 深度规则数量D从{1, 2, 3, 4, 5, 10, 15, 20}中搜索, 梯度设为0.01, 最小损失θ设为0.001, 训练批次固定为256.

所有实验都采用五折交叉方式, 每次随机选取一折交叉的样本作为测试集, 其余样本作为训练集, 重复五次, 最后结果取五次运行的平均值, 以此减少数据集划分对实验结果的影响.

在CHB-MIT、TUAB、TUEV数据集上测试各算法的分类性能, 具体平均准确率和F1分数如表3~表5所示, 表中黑体数字表示最优值.

表3

Table 3

表3(Table 3)

表3 各算法在CHB-MIT子集上的准确率对比 Table 3 Accuracy comparison of different algorithms on CHB-MIT subset 数据集 MST-TSK ED-TSK-FC CNNBaTSK MIP-TRL-FS VR-TSK-FC DSMT CHB 01 0.9758 0.9832 0.9765 0.9789 0.9907 0.9869 CHB 02 0.9665 0.9761 0.9769 0.9845 0.9809 0.9923 CHB 03 0.9480 0.9792 0.9787 0.9610 0.9813 0.9863 CHB 04 0.9023 0.9236 - 0.9303 0.9405 0.9860 CHB 05 0.9751 0.9766 0.9845 0.9809 0.9898 0.9968 平均值 0.9535 0.9677 0.9792 0.9671 0.9766 0.9897

表3 各算法在CHB-MIT子集上的准确率对比 Table 3 Accuracy comparison of different algorithms on CHB-MIT subset

表4

Table 4

表4(Table 4)

表4 各算法在CHB-MIT子集上的F1值对比 Table 4 F1 comparison of different algorithms on CHB-MIT subset 数据集 MST-TSK ED-TSK-FC CNNBaTSK MIP-TRL-FS VR-TSK-FC DSMT CHB 01 0.9623 0.9735 0.9765 0.9677 0.9854 0.9869 CHB 02 0.9449 0.9640 0.9768 0.9769 0.9692 0.9923 CHB 03 0.9258 0.9689 0.9788 0.9406 0.9938 0.9866 CHB 04 0.8446 0.8839 - 0.8904 0.8963 0.9862 CHB 05 0.9626 0.9658 0.9845 0.9713 0.9889 0.9968 平均值 0.9280 0.9512 0.9792 0.9494 0.9667 0.9898

表4 各算法在CHB-MIT子集上的F1值对比 Table 4 F1 comparison of different algorithms on CHB-MIT subset

表5

Table 5

表5(Table 5)

表5 各算法在TUAB、TUEV子集上的准确率对比 Table 5 Accuracy comparison of different algorithms on TUAB and TUEV subsets 数据集 MST-TSK ED-TSK-FC CNNBaTSK MIP-TRL-FS VR-TSK-FC DSMT TUAB 01 0.9242 0.9281 0.9406 0.9123 0.9229 0.9460 TUAB 02 0.9313 0.9420 0.9809 0.9548 0.9722 0.9742 TUAB 03 0.9068 0.9071 0.9119 0.9062 0.9093 0.9129 TUEV 01 0.7283 0.7267 0.7433 0.7560 0.7383 0.7755 TUEV 02 0.7728 0.7939 0.7833 0.7833 0.7911 0.8183 TUEV 03 0.7417 0.7711 0.7711 0.7267 0.7754 0.7989 平均值 0.8342 0.8448 0.8552 0.8399 0.8515 0.8710

表5 各算法在TUAB、TUEV子集上的准确率对比 Table 5 Accuracy comparison of different algorithms on TUAB and TUEV subsets

由表3可观察到, DSMT在5个CHB-MIT子集上都取得相当不错的性能.在分类精度方面, DSMT在5个数据集上均高于MST-TSK、ED-TSK-FC、CNN-BaTSK、MIP-TRL-FS, 并且在4个数据集上都优于VR-TSK-FC, 在CHB 01子集上也获得较优的性能.这说明DSMT从自身模型和孪生架构中获取知识, 与同样从CNN中蒸馏知识的CNNBaTSK具有相似的性能, 但DSMT不用引入额外的复杂深度架构.本文认为, DSMT之所以能取得这样的成果, 主要归功于其独特的孪生网络架构, 该架构能深入挖掘数据的内在知识, 并通过内部模型知识增强学习过程.自学习方法的一个显著优势是:允许TSK模糊系统在无需外部教师模型的指导下自主学习并适应, 而在计算资源受限的环境中, 如癫痫辅助检测, 能提供更个性化和高效的解决方案, 这种自我学习能力也使其能更好地适应患者的个体差异.

由表4同样可观察到, DSMT的F1值更高, 尤其在CHB 04子集上, 性能最优, 这表明DSMT在这些数据集上具有相对更好的综合分类表现.

由表5可观察到, DSMT在TUAB、TUEV数据集上均取得较优值.在TUAB数据集上, DSMT的准确率在所有子集上均高于或接近其它算法, 虽然在TUAB 02子集上, DSMT的准确率略低于CNNBa-TSK, 但仍显著高于其它算法.在TUEV数据集上, DSMT同样展现出良好性能, 尤其是在TUEV 02子集上, DSMT的准确率为0.818 3, 高于其它算法.综合所有子集的平均准确率来看, DSMT的平均准确率(0.871 0)最高, 这进一步表明DSMT在不同数据集上的泛化能力和优越性.上述结果表明, DSMT在TUAB、TUEV数据集上, 能有效提取和利用关键特征, 在癫痫EEG信号的分类任务中取得优异性能.

为了全面评估DSMT中各模块的自我学习能力, 进行消融实验, 旨在验证算法每个部分对整体学习效果的贡献.首先, 建立一个普通梯度下降的一阶TSK分类器作为基线模型(Baseline, 简记为B).然后, 将DSMT主要分为三个核心的学习模块:孪生网络(SiameseNet, 简记为S)、批次自我学习(Batch-Learn, 简记为L)、深度规则(DeepRule, 简记为D), 在消融实验中, 测试这些模块的不同组合, 如BD表示在基线模型上增加深度规则模块, 由此验证DSMT各部分学习的有效性.具体准确率如表6所示, 表中黑体数字表示最优值.

表6

Table 6

表6(Table 6)

表6 DSMT各模块的消融实验结果 Table 6 Ablation experiment results of DSMT modules 数据集 ACC B BD BDS BDL DSMT CHB 02 0.9808 0.9846 0.9866 0.9885 0.9923 CHB 03 0.9771 0.9813 0.9838 0.9842 0.9863 CHB 04 0.9528 0.9719 0.9822 0.9749 0.9860 CHB 05 0.9918 0.9941 0.9956 0.9947 0.9968 CHB 06 0.9734 0.9767 0.9812 0.9834 0.9878 CHB 07 0.9702 0.9841 0.9902 0.9856 0.9938 CHB 08 0.8736 0.9429 0.9530 0.9451 0.9585 CHB 09 0.9824 0.9818 0.9867 0.9836 0.9915 CHB 10 0.9848 0.9855 0.9900 0.9889 0.9911 平均值 0.9661 0.9782 0.9834 0.9812 0.9871

表6 DSMT各模块的消融实验结果 Table 6 Ablation experiment results of DSMT modules

由表6可看到, 在3个模块的不同组合下, 各模块在普通基线模型的基础上都展现出优秀的学习效果.加入深度规则的BD引入深层的模糊逻辑规则, 用于处理更复杂的数据模式和关系, 性能更优.加入深度规则和孪生网络结构(BDS)后使模型学到相似结构孪生网络中的深度知识, 增强模型对癫痫特征的区分能力, 相比BD, BDS进一步提升性能, 表明静态孪生网络在提高特征识别能力上的有效性.加入批次自我学习和深度规则的BDL在每个训练批次中自我优化, 提高模型对新数据的适应性和学习效率, 相比BD, BDL也表现出性能提升, 表明批次自我学习在增强模型泛化能力方面的贡献.实验表明, 这三个模块的协同作用可显著提升算法性能.

为了验证DSMT能将学习的知识应用在不同的患者和使用场景下, 设计性能泛化性测试实验, 验证DSMT在复杂癫痫信号下的性能保持.将不同患者分别作为学习知识来源和应用场景, 模拟在训练场景和测试场景下的个体差异.将10位患者脑电数据分别随机作为目标数据和实验数据, 结果如表7和图2所示.

表7

Table 7

表7(Table 7)

表7 DSMT在不同病人上的泛化性能 Table 7 Generalization performance of DSMT on different patients 测试数据 训练数据 ACC F1 SEN CHB 01 CHB 10 0.9775 0.9776 0.9798 CHB 02 CHB 09 0.9900 0.9900 0.9896 CHB 03 CHB 08 0.9685 0.9686 0.9751 CHB 04 CHB 07 0.9844 0.9844 0.9754 CHB 05 CHB 06 0.9868 0.9868 0.9902 CHB 06 CHB 01 0.9897 0.9897 0.9822 CHB 07 CHB 02 0.9910 0.9910 0.9910 CHB 08 CHB 03 0.9685 0.9686 0.9685 CHB 09 CHB 04 0.9778 0.9777 0.9778 CHB 10 CHB 05 0.9910 0.9910 0.9856 平均值 0.9825 0.9825 0.9815

表7 DSMT在不同病人上的泛化性能 Table 7 Generalization performance of DSMT on different patients

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 训练完成的DSMT在不同病人上的性能Fig.2 Performance of trained DSMT algorithm on different patients

分析图2和表7可得, DSMT在完成初步训练之后, 转换应用场景到不同患者身上时, 在3个重要指标上都保持相当不错的性能, 表明DSMT拥有在不同应用场景下优秀的泛化性.因此本文认为, DSMT的“ 反思-归纳” 过程深度学习病人的通用知识.此外, DSMT的自我学习模块与温度调节模块的结合, 可有效减少对患者个人特征的过度拟合, 提升模型在不同患者群体中的泛化性能.同时, DSMT的自我学习特性可结合患者的个人数据得到进一步强化, 生成患者个人特征强化的癫痫辅助检测模型.

下面测试DSMT的超参数:温度T、正则化参数α、批次大小.在CHB数据集上进行敏感性测试, 其它参数都保持最佳值, 结果如图3所示.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 参数敏感性分析结果Fig.3 Results of parameter sensitivity analysis

由图3(a)可看到, DSMT的准确率随温度参数T的变化而波动, 在一个适中的温度值(大约在10⁰到10¹之间)时, DSMT达到最高的准确率, 当温度参数过低(小于 10^-1)或过高(大于 10¹)时, 准确率显著下降.本文认为, 过高的温度会破坏算法中的知识, 导致算法忽视重要的数据细节, 而过低的温度可能使算法无法有效学习数据中的复杂模式.合适的温度参数有助于算法在保持足够学习动态的同时, 使静态孪生网络中的知识更好地传递到动态孪生网络中, 使DSMT更好地学习多层次的知识.

同样, 在(b)中可看到, 正则化参数α对DSMT的性能具有显著影响, 在α约为 0.2 到 0.4 之间时, 算法表现出最佳的分类性能, 太低或太高的α值都会导致准确率下降, 这是因为合适的正则化参数有助于控制模型的复杂度, 防止过拟合.正则化参数过低可能导致算法对训练数据过度拟合, 而过高则可能抑制算法的学习能力.适当的正则化参数有助于算法学习更一般化的特征.

在(c)中可观察到, 当批次大小为256时, 算法在CHB 01、CHB 05子集上的表现较优, 这可能是因为较大的批次大小有助于算法捕捉数据的全局特征, 使批次间的自我学习更有效.同时也注意到, 在较小的数据集上, 较小的批次大小(如在CHB 02子集上批次大小为64)增加批次间互相学习的可能性, 有助于算法更好地适应数据的局部变化.