传统脑机接口解码网络通常采用固定的单一时间卷积与空间卷积结构^{[12, 13]}.然而, 由于EEG信号固有的复杂时空结构及多频带特性, 固定尺度的特征提取策略难以实现充分建模.为了应对上述挑战, 多尺度与多视角神经网络在多个时间尺度或频率尺度上并行提取特征, 更全面刻画EEG信号的复杂时序动态与频谱特性, 提升分类解码性能.

Mane等^[15]提出FBCNet(Filter-Bank Convolu-tional Network), 借助多视角分支, 分别对各频带的EEG信号进行表征学习, 实现跨频段与跨空间判别特征的协同提取, 在多个MI数据集上取得超越传统深度学习基线方法的解码性能.Wang等^[16]提出IFNet(Interactive Frequency Convolutional Neural Net-work), 设计交互式频域卷积模块, 建立不同频率分量间的信息交互, 有效增强网络对关键频带特征的感知能力, 显著提升MI任务的解码准确率.Thuwajit等^[17]提出EEGWaveNet, 采用多尺度卷积结构, 对EEG信号进行时空特征提取, 通过不同感受野的卷积核捕获多尺度时序模式, 在癫痫检测任务上展现出良好的解码效果.Tao等^[18]提出ADFCNN(Atten-tion-Based Dual-Scale Fusion Convolutional Neural Network), 采用双尺度卷积结构, 分别提取不同时间尺度的EEG特征, 并结合自注意力机制, 对多尺度特征进行自适应融合, 同时捕获局部与全局的时空信息, 显著提升MI任务的分类性能.Zhao等^[19]提出MSCFormer(Multi-scale Convolutional Transfor-mer), 设计多尺度卷积模块, 提取局部时序特征, 并引入Transformer, 对长程依赖关系进行建模, 实现跨尺度时序信息的有效整合, 进一步提升MI任务的分类性能.

为了进一步提升方法对关键脑区空间特征的表征能力, 近年来已有研究者将通道注意力机制引入EEG解码模型, 自适应学习不同电极通道的贡献权重, 提升空间特征表达能力.

Altuwaijri等^[20]提出MBEEGSE(Multi-branch EEGNet with Squeeze-and-Excitation Blocks), 在多分支卷积神经网络框架中嵌入SE(Squeeze-and-Excitation)通道注意力模块, 对通道特征进行压缩与重标定, 自适应调整各脑区信号的贡献权重, 在多个MI数据集上性能较优.Tong等^[21]提出基于ECA(Efficient Channel Attention)的EEG通道选择方法, 将轻量化通道注意力模块嵌入卷积网络, 建模通道间的依赖关系, 实现对关键电极通道的自适应选取, 在MI任务上取得较好的分类效果.Liao等^[22]提出CIACNet(Composite Improved Attention Convolutional Network), 将CBAM(Convolutional Block Attention Module)结构引入卷积网络, 对通道注意力与空间注意力联合建模, 强化关键特征表达, 在多个MI数据集上实现稳定可靠的性能提升.Jiang等^[23]提出CTA-CNN-Bi-LSTM, 采用通道时间联合注意力机制, 同时学习关键通道与关键时间点的权重, 在EEG情绪识别任务中取得较优的识别性能.

近年来, 随着Transformer在序列建模领域的广泛应用, 相关研究逐步尝试将CNN与Transformer架构加以融合, 实现对EEG信号局部时空特征与长程依赖关系的协同建模.

Song等^[14]提出EEG Conformer, 使用卷积层提取EEG的局部时空特征, 并借助自注意力机制对全局依赖关系进行建模, 在运动想象与情绪识别等任务上取得较优的解码性能.Ding等^[24]提出EEG-Deformer, 在卷积与注意力融合框架中引入分层时间特征建模方式, 逐步捕获不同时间尺度的神经动态模式, 在认知注意、驾驶疲劳及工作负荷等多类任务中取得良好的解码效果.Zhao等^[25]提出CTNet(Convolutional Transformer Network), 使用轻量卷积完成底层特征提取, 并通过注意力模块建模高层特征的全局关联, 在多个MI数据集上展现出具有竞争力的分类性能.Liu等^[26]提出MSVTNet(Multi-scale Vision Transformer Neural Network), 采用多尺度卷积, 分别提取不同时间与频率尺度的特征表示, 并结合注意力机制进行联合建模, 在多模态心理意象解码任务中取得有效的性能提升.Zhao等^[27]提出TMSA-Net(Temporal Multi-scale Attention-Net), 在卷积与注意力融合框架中引入改进的注意力机制, 强化局部特征与全局特征之间的信息交互, 在多个 MI数据集上取得稳定的性能提升.Wang等^[28]提出DBConformer(Dual-Branch Convolutional Transformer), 针对Conformer单路径特征提取的固有局限, 设计双分支并行结构, 分别对时间动态特征与通道空间关系进行专项建模, 在运动想象和癫痫检测等任务上性能较优.Jiang等^[29]提出FAST(Functional Areas Spatio-Temporal Transformer), 依据脑区功能划分EEG通道, 提取局部时空特征, 并利用Transformer对时序依赖关系建模, 在言语EEG解码任务上取得较优性能.

上述建模思路已在运动想象、情绪识别等多类EEG应用范式中得到充分验证.尽管已有研究开始针对言语解码任务设计专项网络^[29], 但整体而言, 现有方法仍主要依赖通用EEG建模范式, 对言语相关神经调制特性及时空组织规律的专属利用仍相对有限.因此, 有必要进一步探索面向言语解码任务特点的专用网络.

本文提出知识驱动的多尺度时空言语脑机接口解码网络(KMST-Former), 整体架构如图1所示.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 KMST-Former整体架构Fig.1 Overall KMST-Former architecture

首先, 针对人类言语在音素、亚音节和音节等不同层级上呈现的固有时间节律, 构建调制频率驱动的多尺度时域卷积模块, 依据言语相关神经活动的低频调制特性, 设置多个不同时间感受野的并行卷积分支, 提取多时间尺度下的局部神经动态模式, 构建多粒度时域特征表示.然后, 为了强化空间维度的特征建模, 在各尺度分支上独立施加尺度特异性通道注意力机制, 旨在模拟大脑皮层的空间动态激活规律, 对通道权重进行自适应学习与特征重标定, 使网络可在不同时间尺度下突出关键电极信息, 捕获尺度敏感的通道协同关系与电极交互特性.

在此基础上, 设计两阶段多尺度时空融合模块, 系统整合跨尺度与跨通道信息, 映射至统一维度的嵌入空间, 实现时空神经表征的联合编码.沿时间轴对嵌入特征进行分段Token化, 将连续时序表示划分为离散Token序列.考虑到人类言语表达包含具有长程上下文依赖的语义与语法信息的连续序列, 进一步引入Transformer编码器, 捕获长程时序依赖与全局上下文信息, 最终由分类头输出预测结果.

总之, KMST-Former综合运用多尺度时域信息与尺度相关空间特征表示, 并借助Transformer的全局序列建模能力刻画言语相关神经活动的长程时序依赖.

表1给出KMST-Former的网络细节配置, B表示批次大小, C表示通道数量, T表示采样点数, E表示嵌入维度, W表示块大小, P=「T/W⌉, 表示Token数量, 其中「· ⌉表示向下取整运算, P_max表示Token最大数量, L表示Transformer编码器的层数, H表示自注意力机制的头数, N_cls表示类别数量, k(C)表示根据通道数C自适应计算得到的ECA卷积核大小.

表1

Table 1

表1(Table 1)

表1 KMST-Former细节配置 Table 1 Detailed configurations of KMST-Former 模块 层 卷积核数 卷积核大小 参数量 输出形状 实验设置 输入 - - - 0 (B, C, T) 调制频率驱动的 多尺度时域卷积模块 深度卷积(尺度1) C 128 128C (B, C, T) 组数C 深度卷积(尺度2) C 64 64C (B, C, T) 组数C 深度卷积(尺度3) C 32 32C (B, C, T) 组数C 尺度特异性 通道注意力机制 ECA(原始输入) - k(C) k(C) (B, C, T) ECA(尺度1) - k(C) k(C) (B, C, T) ECA(尺度2) - k(C) k(C) (B, C, T) ECA(尺度3) - k(C) k(C) (B, C, T) 特征拼接 特征拼接 - - 0 (B, 4C, T) 两阶段多尺度 时空融合模块 一维卷积 4E 3 3C(4E) (B, 4E, T) 组数4 一维BatchNorm+LeakyReLU - - 2× 4E (B, 4E, T) 一维卷积 E 3 3(4E)E (B, E, T) 组数1 一维BatchNorm+LeakyReLU - - 2E (B, E, T) 时间序列 Token化 一维平均池化 - W 0 (B, E, P) Dropout - - 0 (B, E, P) 丢弃概率0.5 维度重排 - - 0 (B, P, E) 时序建模 添加[CLS]Token - - E (B, P+1, E) 位置编码 - - (Pmax+1)E (B, P+1, E) Transformer编码器 - - ~ (B, P+1, E) 层数L, 头数H 分类头 提取[CLS]Token特征 - - 0 (B, E) Dropout+Linear - - ENcls+Ncls (B, Ncls)

表1 KMST-Former细节配置 Table 1 Detailed configurations of KMST-Former

言语相关神经活动在高频段通常呈现出与任务密切相关的振幅调制现象, 表现为神经信号幅值随时间的规律性起伏.为了刻画高频神经活动随时间的起伏特征, 本文采用希尔伯特变换提取信号的瞬时包络.对于滤波后的信号x(t), 解析信号定义如下:

z(t)=x(t)=jH{x(t)}

其中, H{· }表示希尔伯特变换, j表示虚数单位.由解析信号可得到高频神经活动的瞬时幅值包络:

a(t)=|z(t)|.

尽管载波频率位于高频段, 包络信号通常表现为随时间缓慢变化的低频成分, 可视为高频神经振荡受低频调制后的幅值轨迹, 能有效表征言语产生过程的时间层级组织结构.语音感知在很大程度上依赖于语音信号的低频时间包络调制.研究表明, 语音调制谱中的大部分语言信息主要集中在约16 Hz以下的调制频率范围内^[30] , 各调制频段通常与不同层级的语言结构单位对应:16 Hz左右的调制频率主要反映快速的音素级变化与瞬态语音过渡; 8 Hz左右的调制频率对应亚音节层级的时间结构; 4 Hz左右的调制频率与言语中的典型音节节律一致; 低于2 Hz的慢速调制对应言语中的韵律组织或短语级语言单位^{[31, 32]}.

近年来的神经科学研究进一步表明, 人脑在语音感知和言语加工过程中会对不同频段的语音包络调制产生选择性跟踪, 不同频率范围的神经响应反映不同层级语言信息的加工过程 ^{[31, 32]}.因此, 语音调制谱反映的层级时间结构不仅存在于声学信号中, 也在脑电神经响应中有所体现.对于言语脑机接口解码任务而言, 仅依赖单一时间尺度的特征提取难以同时捕获不同层级语言单位对应的神经表征, 从而限制方法对言语相关脑电活动的建模能力.

基于上述认知神经科学发现, 本文将语音调制谱中的时间层级结构作为模型设计的领域先验知识, 并据此构建多尺度时域卷积模块.具体而言, 针对音素级、亚音节级和音节级信息分别设计面向不同时间感受野的卷积核, 使网络能在多个时间尺度上同时提取与言语加工相关的神经调制特征.与现有多尺度卷积方法主要依赖经验设置参数的方式不同, 本文各个尺度卷积核的设计依据语音调制频率与语言结构层级之间的对应关系, 从而使网络具备更明确的神经生理学解释基础.

基于上述语音时间层级结构, 设计一组具有不同时间感受野的卷积核, 捕获神经包络中的层级时间结构.具体地, 为了在保证时间分辨率的同时稳定刻画对应频段的节律信息, 以两个周期作为各个尺度时间窗口的近似长度, 设置时间长度分别为125 ms、250 ms与500 ms的卷积核, 分别用于建模约16 Hz、8 Hz和4 Hz的调制频率成分, 从而提取与音素、亚音节结构及音节节律相关的时间信息.脑电信号采样频率为256 Hz, 对应的卷积核尺寸分别为32、64、128.同时, 为了保留更慢时间尺度上的语音结构信息, 进一步保留原始信号用于后续建模, 捕获低频调制成分, 表征与韵律和短语级语义结构相关的长时间尺度信息.

为了强化对言语相关空间表征的建模能力, KMST-Former在原始信号分支及每条多尺度卷积分支上均引入基于ECA的尺度特异性通道注意力机制, 对各个电极通道的贡献进行自适应重标定.区别于基于全连接层的通道注意力方法, ECA在通道维度上施加轻量级一维卷积, 显式建模局部通道依赖关系, 在几乎不增加参数与计算开销的前提下实现高效的通道选择与特征增强.

在各个尺度分支中, 首先对时间维度执行全局平均池化, 得到通道级描述向量.然后在通道维度施加轻量一维卷积, 捕获局部通道依赖, 并经Sigmoid激活函数生成通道权重.最后将该权重与原始特征图相乘, 实现通道级重标定, 有效突出关键电极通道信息.

完成多尺度时域卷积与通道重标定后, 网络将各个尺度分支的输出在通道维度上进行拼接, 再经两阶段多尺度时空融合模块完成跨尺度信息整合.第一阶段采用分组一维卷积, 对各尺度内部特征进行对齐与压缩, 防止不同尺度特征的过早混叠; 第二阶段采用标准一维卷积, 实现跨尺度与跨通道的信息融合, 并将多尺度特征映射至统一的嵌入空间.

然后, 网络以固定窗口将连续序列切分为若干子段, 对时序表示沿时间维度进行分段Token化, 每个Token表征对应时间片段的局部嵌入特征.在Token序列首部追加可学习的[CLS]聚合标记, 并叠加位置编码信息, 构成Transformer编码器的输入序列.

Transformer编码器由多层多头自注意力模块与前馈神经网络堆叠而成, 并借助残差连接与层归一化机制确保训练过程的稳定性.最终以[CLS]Token对应的序列级全局表征作为高级语义特征, 经分类头映射后得到最终的类别预测结果.

本文在BCI2020数据集(https://osf.io/pq7vb/overview)上开展实验.BCI2020数据集源自2020年世界机器人大赛脑机接口竞赛的言语想象专项赛题, 涵盖Hello、Help me、Stop、Thank you、Yes共5个类别, 共纳入15名健康被试, 旨在验证基于脑电信号完成基础语言交互的可行性.实验要求被试在完全无声、不伴有任何口部运动的条件下完成言语想象任务.脑电信号采用64导联电极进行采集, 依据国际10-20系统进行记录, 信号采样频率为256 Hz.在数据组织上, 每名被试的数据由300个试次的训练数据、50个试次的验证数据及50个试次的测试数据构成.

基于BCI2020数据集, 本文设计3种任务, 从多个维度系统评估网络的解码能力与泛化性能, 具体设置如图2所示.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 评估任务示意图Fig.2 Schematic diagram of evaluation tasks

1)任务1.被试内分类任务.每个被试被分别训练和评估, 即对每个被试分别使用训练集进行训练, 验证集用于模型选择与参数调节, 测试集用于最终性能评估.该任务主要用于评估模型在特定个体脑电信号模式下的解码能力, 适用于个性化脑机接口系统的设计.

2)任务2.混合被试分类任务.将所有被试数据合并训练以统一模型, 即以所有被试训练集的合并作为整体训练集, 所有被试的验证集构成整体验证集, 所有被试的测试集构成整体测试集.该任务旨在评估模型在多被试混合数据分布条件下的学习能力, 适用于无需个体校准的通用型脑机接口系统.

3)任务3.跨被试微调分类任务.该任务采用留一被试交叉验证策略:将某一被试设定为目标被试, 其余14名被试数据用于模型训练, 并从训练数据中随机抽取1/14作为验证集.训练完成后, 利用目标被试少量有标注数据(本文设置有标注数据占目标被试训练集的30%)对模型进行微调, 并在其测试集上评估性能.15名被试依次作为目标被试进行测试, 最终结果取所有目标被试实验结果的平均值.该任务模拟新用户仅凭少量校准数据即可接入系统的实际场景, 用于系统评估模型的跨被试迁移能力与快速个性化适应能力.

数据预处理流程主要包括如下环节.首先对原始信号进行去趋势与重参考处理, 减小信号中的慢漂移及参考电极带来的影响.为了突出与言语产生及运动过程相关的皮层高频神经活动, 对信号施加30 Hz高通滤波, 同时进行陷波滤波, 去除50 Hz工频噪声及其奇次谐波成分.滤波完成后, 对信号进行希尔伯特变换并提取瞬时幅值包络, 捕获信号幅值随时间变化的调制信息.提取的包络信号作为网络输入, 用于后续言语解码分析.

所有方法均采用Adam(Adaptive Moment Esti-mation)优化器进行训练, 初始学习率统一设为0.001.训练过程中采用早停机制防止过拟合, 最大训练轮数为250轮, 若连续50轮验证集性能无明显提升则终止训练, 并保存验证集上表现最优的模型权重.针对任务3的跨被试微调阶段, 初始学习率调整为0.000 5, 固定微调100轮次.综合考虑训练效率与显存开销, 任务1的批次大小设为64, 任务2与任务3因训练样本量较大, 批次大小均调整为128.为了降低随机性对评估结果的干扰, 所有实验均独立重复运行3次, 取平均性能作为最终值.在结构超参数方面, Transformer编码器的多头注意力头数设为8, 堆叠编码层数设为5.

为了全方位评估方法性能, 选取如下指标进行综合评价:分类准确率(Accuracy, ACC)、宏平均F1分数(Macro-F1)、Cohen's Kappa系数(Kappa)及宏平均曲线下面积(Macro Area under Receiver Opera-ting Characteristic Curve, Macro-AUC).ACC反映整体分类的正确比例.Macro-F1量化方法在各个类别上的平均判别性能, 避免整体准确率掩盖个别类别识别性能不足的问题.Kappa系数在一致性度量中剔除随机一致性的干扰, 客观衡量预测标签与真实标签间的一致程度.Macro-AUC依据方法输出概率评价各个类别间的区分能力, 从概率层面综合反映方法的类别可分性与预测置信度.

为了评估方法性能的提升是否具有统计显著性, 首先计算配对t检验的p值, 再采用Benjamini-Hochberg假发现率校正方法对p值进行校正.

本文选取如下具有代表性的脑电解码方法作为对比方法.1)传统CNN方法:EEGNet^[12]、Deep Conv- Net^[13]、Shallow ConvNet^[13].2)多尺度与多视角卷积解码方法:FBCNet^[15]、IFNet^[16]、EEGWaveNet^[17]、ADFCNN^[18].3)基于Transformer结构的解码方法:EEG Conformer^[14]、MSCFormer^[19]、EEG-Deformer^[24]、CTNet^[25]、MSVTNet^[26]、TMSA-Net^[27]、DBConfor-mer^[28]、FAST^[29].

各方法在任务1上的全被试平均解码性能如表2所示, 表中黑体数字表示最优值.由表可见, KMST-Former在全部指标上均取得最优值, 由此表明其不仅在整体分类准确率上具有优势, 在类别均衡判别能力、预测一致性及类别可分性等维度上也具有明显优势.

表2

Table 2

表2(Table 2)

表2 各方法在任务1上的性能对比 Table 2 Performance comparison of different methods on Task 1 方法 ACC/% Macro-F1 Kappa Macro-AUC EEGNet 38.18 0.3659 0.2272 0.7064 Deep ConvNet 31.47 0.2536 0.1433 0.6755 Shallow ConvNet 51.29 0.5090 0.3911 0.8082 ADFCNN 50.44 0.4996 0.3806 0.8086 FBCNet 48.89 0.4789 0.3611 0.7886 IFNet 46.27 0.4439 0.3283 0.7834 EEGWaveNet 34.49 0.3002 0.1811 0.6732 EEG Conformer 50.62 0.4913 0.3828 0.8115 EEG-Deformer 34.22 0.2947 0.1778 0.6803 CTNet 33.20 0.3193 0.1650 0.6799 MSVTNet 53.02 0.5206 0.4128 0.8146 TMSA-Net 42.04 0.3995 0.2756 0.7462 MSCFormer 49.42 0.4827 0.3678 0.8032 DBConformer 53.02 0.5193 0.4128 0.8313 FAST 53.60 0.5245 0.4200 0.8303 KMST-Former 58.44 0.5724 0.4806 0.8551

表2 各方法在任务1上的性能对比 Table 2 Performance comparison of different methods on Task 1

从各类方法的建模特点来看:传统CNN方法侧重局部时空特征的提取; 多尺度卷积解码方法可在一定程度上刻画不同时间粒度下的局部神经模式; 基于Transformer结构的解码方法在长程时序依赖建模上具有明显优势.与上述方法相比, KMST-Former在保留多尺度时间建模能力的基础上, 引入言语相关的领域先验知识, 设计时间尺度, 能对言语产生过程中不同时间层级的神经调制模式进行显式建模, 同时, 借助通道注意力机制对各脑区的空间特征进行自适应加权, 突出与言语相关的关键电极.在此基础上, 模型结合Transformer实现全局时序关系的建模, 能同时捕获多尺度局部特征与长程时序依赖信息.KMST-Former取得的整体性能优势表明, 对于言语脑电解码任务, 单一类型的建模机制难以满足精准解码的需求.引入领域先验知识进行多尺度时空特征提取, 并结合长程时序依赖建模, 有助于提升方法对个体脑电模式判别能力, 获取更优的解码性能.

各方法在任务2上的整体解码性能如表3所示, 表中黑体数字表示最优值.由表可见, 在所有对比方法中, KMST-Former在4个指标上均取得最优值.相比表现次优的基线方法MSCFormer, KMST-Former在ACC、Macro-F1、Kappa、Macro-AUC指标上分别提升6.62%、0.064 0、0.082 8和0.039 2.

表3

Table 3

表3(Table 3)

表3 各方法在任务2上的性能对比 Table 3 Performance comparison of different methods on Task 2 方法 ACC/% Macro-F1 Kappa Macro-AUC EEGNet 22.53 0.2160 0.0317 0.5359 Deep ConvNet 25.16 0.2340 0.0644 0.5879 Shallow ConvNet 27.24 0.2702 0.0906 0.5802 ADFCNN 27.69 0.2748 0.0961 0.5977 FBCNet 35.87 0.3519 0.1983 0.6855 IFNet 27.56 0.2696 0.0944 0.5951 EEGWaveNet 24.80 0.2252 0.0600 0.5673 EEG Conformer 44.84 0.4456 0.3106 0.7684 EEG-Deformer 26.93 0.2405 0.0867 0.6108 CTNet 23.42 0.2222 0.0428 0.5324 MSVTNet 31.51 0.3111 0.1439 0.6338 TMSA-Net 25.91 0.2460 0.0739 0.5728 MSCFormer 48.22 0.4824 0.3528 0.7866 DBConformer 43.69 0.4311 0.2961 0.7625 FAST 43.16 0.4309 0.2894 0.7536 KMST-Former 54.84 0.5464 0.4356 0.8258

表3 各方法在任务2上的性能对比 Table 3 Performance comparison of different methods on Task 2

区别于被试内分类任务, 混合被试分类任务要求方法在所有被试的混合数据上进行统一训练, 需从中提炼具有群体共性的判别表征.在此设置下, KMST-Former在各指标上均呈现出显著领先, 表明其在多被试混合数据分布条件下具备更强的判别能力与泛化性.上述结果进一步印证, 在言语脑电解码任务中, 以领域先验知识为引导的多尺度时空特征提取, 结合全局时序依赖建模, 能有效增强方法在群体级数据上的整体解码性能.

各方法在任务3上的平均解码性能如表4所示, 表中黑体数字表示最优值.由表可看到, KMST-Former在ACC、Macro-F1、Kappa指标上均取得最优值, 在Macro-AUC指标上取得次优值, 相比最优结果, 仅相差0.000 5, 基本持平.

表4

Table 4

表4(Table 4)

表4 各方法在任务3上的性能对比 Table 4 Performance comparison of different methods on Task 3 方法 ACC/% Macro-F1 Kappa Macro-AUC EEGNet 30.67 0.2876 0.1333 0.6228 Deep ConvNet 28.49 0.2195 0.1061 0.6297 Shallow ConvNet 32.62 0.3091 0.1578 0.6312 ADFCNN 36.09 0.3479 0.2011 0.6589 FBCNet 33.96 0.3211 0.1744 0.6479 IFNet 32.80 0.3005 0.1600 0.6315 EEGWaveNet 29.38 0.2476 0.1172 0.6331 EEG Conformer 42.09 0.4153 0.2761 0.7030 EEG-Deformer 33.73 0.3066 0.1717 0.6592 CTNet 34.36 0.3243 0.1794 0.6460 MSVTNet 36.84 0.3523 0.2106 0.6762 TMSA-Net 39.47 0.3829 0.2433 0.6848 MSCFormer 40.18 0.3919 0.2522 0.6904 DBConformer 38.00 0.3641 0.2250 0.6842 FAST 39.16 0.3812 0.2394 0.6796 KMST-Former 44.04 0.4305 0.3006 0.7025

表4 各方法在任务3上的性能对比 Table 4 Performance comparison of different methods on Task 3

相比被试内分类任务与混合被试分类任务, 跨被试微调分类任务要求方法先在源域被试数据上完成预训练, 再以目标被试少量数据进行适配微调, 对跨被试迁移能力提出更高要求.在此条件下, KMST-Former在多项核心指标上保持领先, 表明其在跨被试微调场景中具有较强的适应性, 能借助少量目标被试数据实现高效的个性化迁移.上述结果表明, 领域先验知识驱动的多尺度时空特征提取结合全局时序依赖建模, 能有效提升方法在跨被试迁移场景中的泛化能力.

围绕三类任务, KMST-Former与对比方法在分类准确率上的校正p值对比结果如表5所示.

表5

Table 5

表5(Table 5)

表5 KMST-Former与基线方法在分类准确率上的校正p值对比 Table 5 Comparison of corrected p-values between KMST-Former and baseline methods on classification accuracy 方法 任务1 任务2 任务3 EEGNet < 0.001 < 0.001 < 0.001 Deep ConvNet < 0.001 < 0.001 < 0.001 Shallow ConvNet 0.007 < 0.001 < 0.001 ADFCNN 0.002 < 0.001 < 0.001 FBCNet 0.002 < 0.001 < 0.001 IFNet < 0.001 < 0.001 < 0.001 EEGWaveNet < 0.001 < 0.001 < 0.001 EEG Conformer < 0.001 < 0.001 0.120 EEG-Deformer < 0.001 < 0.001 < 0.001 CTNet < 0.001 < 0.001 < 0.001 MSVTNet 0.004 < 0.001 < 0.001 TMSA-Net < 0.001 < 0.001 0.004 MSCFormer < 0.001 < 0.001 0.005 DBConformer 0.010 < 0.001 < 0.001 FAST 0.050 < 0.001 < 0.001

表5 KMST-Former与基线方法在分类准确率上的校正p值对比 Table 5 Comparison of corrected p-values between KMST-Former and baseline methods on classification accuracy

由表5可见:KMST-Former在被试内分类任务和混合被试分类任务中均取得优于基线方法的解码性能; 在跨被试微调分类任务上, KMST-Former与多数基线方法对比时仍保持显著优势.从校正p值对比结果可看到, KMST-Former与绝大多数基线方法的对比达到统计显著水平, 表明其在个体判别、群体建模及跨被试迁移方面整体上具备较强的竞争力与泛化性.

被试8在不同方法上的混淆矩阵如图3所示.由图可看出, KMST-Former在各个类别上均表现出较清晰的对角结构, 针对各个类别的分类准确率均超过60%.这一结果表明, KMST-Former能对各个类别的脑电信号实现更稳定、均衡的区分, 有效抑制类间误分类, 提升整体分类性能.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 被试8在各方法上的混淆矩阵Fig.3 Confusion matrices of subject 8 under different methods

为了考察KMST-Former中各模块的独立贡献, 分别去除调制频率驱动的多尺度时域卷积模块和尺度特异性通道注意力机制, 以及将两阶段多尺度时空融合模块退化为单阶段的消融变体.具体消融结果如表6所示.

表6

Table 6

表6(Table 6)

表6 各模块消融实验结果 Table 6 Ablation experiment results of different modules 任务 多尺度时域卷积模块 通道注意力机制 两阶段多尺度时空融合模块 ACC/% Macro-F1 Kappa Macro-AUC 任务1 - √ √ 53.33 0.5202 0.4167 0.8194 √ - √ 56.49 0.5502 0.4561 0.8441 √ √ - 54.67 0.5335 0.4333 0.8288 √ √ √ 58.44 0.5724 0.4806 0.8551 任务2 - √ √ 45.38 0.4530 0.3172 0.7702 √ - √ 52.13 0.5211 0.4017 0.8175 √ √ - 45.87 0.4544 0.3233 0.7765 √ √ √ 54.84 0.5464 0.4356 0.8258 任务3 - √ √ 41.60 0.4043 0.2700 0.6849 √ - √ 43.02 0.4179 0.2878 0.7017 √ √ - 38.93 0.3784 0.2367 0.6775 √ √ √ 44.04 0.4305 0.3006 0.7025

表6 各模块消融实验结果 Table 6 Ablation experiment results of different modules

当移除多尺度时域卷积模块时, KMST-Former在3个任务中的性能均出现明显下滑, 特别是在任务2中, ACC指标降幅达9.46%.这表明针对脑电信号的非平稳特性, 多尺度时域卷积模块在捕获不同时间粒度的神经调制特征方面具有不可替代的作用.

去除通道注意力机制后, 各项指标的全面回落表明该机制能有效对不同脑区的电极进行自适应赋权, 强化关键空间特征的表达.取消两阶段多尺度时空融合模块, KMST-Former在任务3中解码性能骤降, 在任务1和任务2中也分别出现不同程度的性能衰退.这充分说明单一维度的特征拼接难以满足复杂任务的需求, 而两阶段多尺度时空融合模块能更深层次地实现时空特征的有效交互与整合.

首先定义Transformer编码器多头注意力头数H=4, 8, 10, 分析其对KMST-Former解码性能的影响, 结果如图4所示.由图可见, 随着H的增加, 方法性能整体呈上升趋势.这表明在3个任务上, 增加头数有助于从多维视角捕获言语相关脑电信号中的时空依赖关系, 增强特征表征的丰富性与类别判别能力, 获得更优的解码性能.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 H对KMST-Former性能的影响Fig.4 Effect of H on KMST-Former performance

再定义Transformer编码器层数L=1, 3, 5, 7, 分析其对KMST-Former性能的影响, 结果如图5所示.由图可见, 解码性能并不随着层数的增加而单调递增, 层数过深时反而出现性能退化现象.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 L对KMST-Former性能的影响Fig.5 Effect of L on KMST-Former performance

由于脑电数据规模相对有限, 过深的网络结构容易引发过拟合, 对解码性能产生负面影响.因此, 相对轻量的网络结构更契合脑电数据的建模需求.