在SSVEP-BCIs的应用中, 每位受试者针对所有目标刺激采集若干脑电样本, 作为该受试者的训练样本集, 记为

χ =(χ )_{n, j, k, h}∈ RNf×Nc×Ns×Nt,

其中, n表示目标刺激索引, j表示电极索引, k表示采样点索引, h表示样本索引, N_f表示目标刺激总数, N_c表示电极总数, N_s表示采样点总数, N_t表示样本总数.此外, 在实际应用中, 将用于SSVEP检测的单个测试样本记为X∈ RNc×Ns.

SSVEP检测算法的目标是正确匹配待测试样本X的目标刺激

f_n∈ {f₁, f₂, …, fNf}.

CCA^[12]计算X与正余弦谐波参考信号Y∈ R2Nh×Ns的相关系数:

$\rho=\max _{u, v}\left(\frac{\boldsymbol{u}^{\mathrm{T}} \boldsymbol{X} \boldsymbol{Y}^{\mathrm{T}} \boldsymbol{v}}{\sqrt{\boldsymbol{u}^{\mathrm{T}} \boldsymbol{X} \boldsymbol{X}^{\mathrm{T}} \boldsymbol{u} \boldsymbol{v}^{\mathrm{T}} \boldsymbol{Y} \boldsymbol{Y}^{\mathrm{T}} \boldsymbol{v}}}\right), $

其中, u∈ RNc表示X的最佳投影矩阵, v∈ R2Nh表示Y的最佳投影矩阵.正余弦谐波参考信号如下所示:

$\begin{array}{l} \boldsymbol{Y}=\left[\begin{array}{l} \sin (2 \pi f t) \\ \cos (2 \pi f t) \\ \vdots \\ \sin \left(2 \pi N_{h} f t\right) \\ \cos \left(2 \pi N_{h} f t\right) \end{array}\right], \\ \boldsymbol{t}=\left[\frac{1}{F_{s}}, \frac{2}{F_{s}}, \cdots, \frac{N_{s}}{F_{s}}\right], \end{array}$ (1)

其中, F_s表示脑电信号的采样率, f表示目标的刺激频率, N_h表示谐波数量, 通常设为5.

CCA无法捕捉脑电信号中的非线性和周期震荡特性.IT-CCA^[20]摒弃谐波模板, 采用个体均值匹配模板, 计算每位受试者训练样本集X的均值匹配模板 χ¯∈ RNc×Ns.在SSVEP匹配过程中, 计算X与第k个刺激的均值匹配模板 χ¯k之间的相关系数:

$\rho_{k}=\operatorname{corr}\left(\boldsymbol{w}_{k}^{\mathrm{T}} \boldsymbol{X}, \boldsymbol{w}_{k}^{\mathrm{T}} \overline{\boldsymbol{X}}_{k}\right), k=1, 2, \cdots, N_{f}, $

其中, corr(· )表示Pearson相关系数, w_k表示第k个目标刺激的最优空间滤波器.最终根据最大相关系数确定目标刺激:

$ k^{* }=\arg \max _{k} \rho_{k}, k=1, 2, \cdots, N_{f} .$ (2)

IT-CCA只考虑待检测样本X与单个刺激均值匹配模板 χ¯之间的相关系数, 忽略多个训练样本之间的相关性, 降低空间过滤器的有效性.TRCA^[21]考虑配对样本之间的相似性, 有效提取任务相关成分, 最大程度提高任务期间的再现性.因此, TRCA的目标是寻找最大化如下目标的最优空间滤波器:

$ \hat{\boldsymbol{w}}_{\mathrm{TRCA}, k}=\arg \max _{\boldsymbol{w}_{k}}\left(\frac{\boldsymbol{w}_{k}^{\mathrm{T}} \boldsymbol{S}_{k} \boldsymbol{w}_{k}}{\boldsymbol{w}_{k}^{\mathrm{T}} \boldsymbol{Z}_{k} \boldsymbol{w}_{k}}\right), $(3)

其中, w_k∈ RNc×1表示第k个目标刺激的最优空间滤波器, S_k表示第k个目标刺激的所有配对样本之间的协方差之和, Z_k表示所有样本的方差.求解式(3), 由 Zk-1S_k最大特征值对应的特征向量获得最优空间滤波器.至此, TRCA的相关系数为:

$ \rho_{k}=\operatorname{corr}\left(\boldsymbol{w}_{\mathrm{TRCA}, k}^{\mathrm{T}} \boldsymbol{X}, \boldsymbol{w}_{\mathrm{TRCA}, k}^{\mathrm{T}} \overline{\boldsymbol{\chi}}_{k}\right) .$ (4)

最终, 由式(2)计算第k个目标刺激.此外, 研究者通过分析发现^[21], TRCA将所有N_f个目标刺激的训练样本同时用于计算最优空间滤波器, 获得更高的SSVEP检测准确率, 称为eTRCA(Extended TRCA), 集成的最优空间滤波器如下:

W_TRCA= [wTRCA, 1T, wTRCA, 2T, …, wTRCA, NfT]T∈ RNc×Nf. (5)

TRCA求解目标式(3)时仅使用训练样本的均值计算匹配模板.当训练样本的质量较差(如SSVEP刺激中前期)时, 容易造成匹配模板质量较差, 导致性能瓶颈.为了解决该瓶颈, 可利用TRCAR(TRCA with Sine-Cosine Reference Signal)^[10]的匹配模板, 保证模板中有效的正余弦谐波特性, 改善因样本质量导致的性能瓶颈.具体地, TRCA-R将TRCA中第k个目标刺激配对样本协方差S_k修改为

$ \begin{array}{l} \boldsymbol{S}_{\mathrm{TRCA}-\mathrm{R}, k}=\boldsymbol{\chi}_{k}^{a} \boldsymbol{L}_{k} \boldsymbol{\chi}_{k}^{a \mathrm{~T}}, \\ \boldsymbol{L}_{k}=\left[\begin{array}{cccc} \mathbf{0} & \boldsymbol{p}_{k} & \cdots & \boldsymbol{p}_{k} \\ \boldsymbol{p}_{k} & \mathbf{0} & \cdots & \boldsymbol{p}_{k} \\ \vdots & \vdots & & \vdots \\ \boldsymbol{p}_{k} & \boldsymbol{p}_{k} & \cdots & \mathbf{0} \end{array}\right] \in \mathbf{R}^{\left(N_{s} N_{t}\right) \times\left(N_{s} N_{t}\right)}, \end{array}$ (6)

其中,

p_k=QQ^T∈ RNs×Ns,

表示第k个目标刺激的正交投影矩阵, 源自对第k个目标刺激正余弦谐波模板Y_k执行QR分解, 正交分量表示为Q.因此TRCA-R求解的最优目标函数修改为:

$ \hat{\boldsymbol{w}}_{\mathrm{TRCA}-\mathrm{R}, k}=\arg \max _{\boldsymbol{w}_{k}}\left(\frac{\boldsymbol{w}_{k}^{\mathrm{T}} \boldsymbol{S}_{\mathrm{TRCA}-\mathrm{R}, k} \boldsymbol{w}_{k}}{\boldsymbol{w}_{k}^{\mathrm{T}} \boldsymbol{Z}_{k} \boldsymbol{w}_{k}}\right)$.

与TRCA相似, 由 Zk-1S_{TRCA-R, k}最大特征值对应的特征向量获得最优空间滤波器.同时, 由式(4)计算相关系数, 由式(5)计算集成TRCA-R(eTRCA-R)的最优空间滤波器, 由式(2)计算第k个目标刺激.

在TRCA基础上, GCCA^[24]还考虑训练样本、均值匹配模板和正余弦谐波模板之间的相关性.具体地, 对于SSVEP检测中的训练样本集χ , 训练均值模板 χ¯和正余弦谐波模板Y, GCCA同时计算它们之间的相关性, 通过更优的线性组合计算空间滤波器.以第k个目标刺激为例, GCCA的最优空间滤波器的优化目标为:

$ \begin{array}{l} \boldsymbol{\phi}\left(\boldsymbol{w}_{\mathrm{GCCA}, k}\right)=\operatorname{tr}\left(\boldsymbol{w}_{\mathrm{GCCA}, k}^{\mathrm{T}} \boldsymbol{X}_{G} \boldsymbol{X}_{G}^{\mathrm{T}} \boldsymbol{w}_{\mathrm{GCCA}, k}\right), \\ \text { s.t. } \boldsymbol{w}_{\mathrm{GCCA}, k}^{\mathrm{T}} \boldsymbol{D}_{G} \boldsymbol{w}_{\mathrm{GCCA}, k}=\boldsymbol{I}, \end{array}$ (7)

其中,

X_G= [(χka)T, (χ¯ka)T, (Yka)T]T,

I表示单位矩阵.

相关矩阵定义如下.

1)训练样本集连接矩阵:

$ \boldsymbol{\chi}_{k}^{a}=\left[\boldsymbol{\chi}_{1, k}, \boldsymbol{\chi}_{2, k}, \cdots, \boldsymbol{\chi}_{N_{t}, k}\right] \in \mathbf{R}^{N_{c} \times\left(N_{s} N_{t}\right)} .$

2)均值匹配模板连接矩阵:

$ \overline{\boldsymbol{X}}_{k}^{a}=\left[\overline{\boldsymbol{X}}_{k}, \overline{\boldsymbol{\chi}}_{k}, \cdots, \overline{\boldsymbol{X}}_{k}\right] \in \mathbf{R}^{N_{c} \times\left(N_{s} N_{t}\right)} .$

3)正余弦谐波模板连接矩阵:

Yka=[Y_k, Y_k, …, Y_k]∈ R2Nh×(NsNt).

GCCA的最优空间滤波器:

w_{GCCA, k}= [wTχka, wTχ¯ka, wTYka]T∈ R(Nc+Nc+2Nh)×1.

约束条件矩阵:

D_G= χka(χka)T000χ¯ka(χ¯ka)T000Yka(Yka)T.

为了求解式(7), 引入拉格朗日系数λ , 将优化目标转换为如下的广义特征方程:

X_G XTGw_{GCCA, k}=λ D_Gw_{GCCA, k}.

因此, 由 DG-1(X_G XTG)最大特征值对应的特征向量获得最优空间滤波器.对于第k个目标刺激, GCCA分别针对均值匹配模板和正余弦谐波模板计算相关系数:

ρk1=corr(wTχkaX, wTχ¯kaχ¯k), ρk2=corr(wTχkaX, wTYkaYk).

因此需经过加权组合, 确定最终的相关系数:

ρ _k= ∑i=12sign( ρki)( ρki)², (8)

其中sign(· )表示获取相关系数符号的函数.同理, GCCA也可由式(5)获得集成版本(eGCCA), 由式(2)计算第k个目标刺激.

本文提出谐波校正与泛化的稳态视觉诱发电位检测算法(HCG), 是对TRCA(TRCA-R)和GCCA的改进和提升.首先, TRCA(TRCA-R)虽然考虑训练样本配对间的相似性, 同时通过正余弦谐波模板有效突破训练样本质量较差时的性能瓶颈.然而, TRCA(TRCA-R)却没有完备考虑训练样本、均值匹配模板及正余弦谐波模板三者之间的相关性.其次, GCCA虽然全面考虑上述三者之间的相关关系, 但缺少对正余弦谐波模板的有效参考, 同时也未考虑样本配对之间的相似性, 降低SSVEP匹配的性能.为此, HCG旨在全面考虑上述所有的相关关系, 难点在于如何在GCCA构建的目标函数式(7)中有效实现正余弦谐波模板的参考.

为了解决这个问题, HCG旨在考虑面向第k个目标刺激的训练样本

χkc= χ1, kp, χ2, kp, …, χNt, kp∈ RNc×(NsNt)

和均值匹配模板

$ \overline{\boldsymbol{X}}_{k}^{c}=\left[\overline{\boldsymbol{X}}_{k}^{p}, \overline{\boldsymbol{X}}_{k}^{p}, \cdots, \overline{\boldsymbol{X}}_{k}^{p}\right] \in \mathbf{R}^{N_{c} \times\left(N_{s} N_{t}\right)} $

之间的最大相关性, 保留GCCA框架中的训练样本与均值匹配模板的判别性信息, 同时获得正余弦谐波参考信号的特性, 映射至正余弦谐波参考信号的正交投影空间中.这样, 既可保证在SSVEP刺激的中前期提取正余弦谐波的空域特征, 还能保证在SSVEP刺激的中后期提取均值匹配模板的空域特征.也就是说, HCG能同时在SSVEP刺激各个时期获得较高的匹配准确率.

具体地, 采用式(6)的正交投影矩阵p_k将训练样本和均值匹配模板投影至正余弦谐波进行校正, 即将第k个目标刺激的第i个样本及第k个目标刺激的均值匹配模板重新构造为:

χi, kp=χ _{i, k}p_k, χ¯kp= 1Nt∑i=1Ntχi, kp. (9)

经过2.1节分析, HCG在GCCA框架中融入式(9)计算的重构均值匹配模板.因此, 修改GCCA框架的优化目标式(7), 计算训练样本与重构均值匹配模板之间的相关性, 给出如下优化目标:

$ \begin{array}{l} \phi\left(\boldsymbol{w}_{\mathrm{HCG}, k}\right)=\operatorname{tr}\left(\boldsymbol{w}_{\mathrm{HCG}, k}^{\mathrm{T}} \boldsymbol{X}_{H} \boldsymbol{X}_{H}^{\mathrm{T}} \boldsymbol{w}_{\mathrm{HCG}, k}\right), \\ \text { s. t. } \boldsymbol{w}_{\mathrm{HCG}, k}^{\mathrm{T}} \boldsymbol{D}_{G} \boldsymbol{w}_{\mathrm{HCG}, k}=\boldsymbol{I}, \end{array} $ (10)

其中,

$ \begin{array}{l} \boldsymbol{X}_{H}=\left[\left(\boldsymbol{\chi}_{k}^{c}\right)^{\mathrm{T}}, \left(\overline{\boldsymbol{\chi}}_{k}^{c}\right)^{\mathrm{T}}\right]^{\mathrm{T}}, \\ \boldsymbol{w}_{\mathrm{HCG}, k}=\left[\boldsymbol{w}_{\boldsymbol{\chi}_{k}^{c}}^{\mathrm{T}}, \boldsymbol{w}_{\overline{\boldsymbol{\chi}}_{k}^{c}}^{\mathrm{T}}\right]^{\mathrm{T}} \in \mathbf{R}^{\left(N_{c}+N_{c}\right) \times 1} . \end{array} $

同样地, 引入拉格朗日乘子λ , 式(10)可转换为如下的广义特征方程:

X_H XTHw_{HCG, k}=λ D_Gw_{HCG, k}. (11)

求解式(11), 由 DG-1(X_H XTH)最大特征值对应的特征向量获得最优空间滤波器w_{HCG, k}.

实际上, 通过式(9)和式(10)的计算过程, 重构均值匹配模板能在SSVEP中前期训练样本质量较差时, 提供正余弦谐波的优良特性, 保证SSVEP检测的鲁棒性.同时, 在SSVEP中后期还存在训练样本质量较高的情形.在这种情形下, 通过计算训练样本之间的相似性, 能比仅使用正余弦谐波获得更具可分性的空域特性.为此, 在SSVEP检测的中后期, 还需针对正余弦谐波参考之前的均值匹配模板 χ¯k, 计算与待检测样本之间的任务相关成分.

最终, HCG包含两个部分的相关系数计算:

1)重构均值匹配模板之间的泛化相关系数;

2)重构前均值匹配模板之间的任务相关系数(由式(3)获得).

HCG的相关系数如下:

$ \begin{array}{l} \rho_{k}^{1}=\operatorname{corr}\left(\boldsymbol{W}_{\boldsymbol{\chi}_{k}^{\mathrm{T}} \boldsymbol{X}}^{\mathrm{X}}, \boldsymbol{W}_{\overline{\boldsymbol{\chi}}_{k}^{c}}^{\mathrm{T}} \overline{\boldsymbol{\chi}}_{k}^{p}\right), \\ \rho_{k}^{2}=\operatorname{corr}\left(\boldsymbol{W}_{\mathrm{TRCA}, k}^{\mathrm{T}} \boldsymbol{X}, \boldsymbol{W}_{\mathrm{TRCA}, k}^{\mathrm{T}} \overline{\boldsymbol{\chi}}_{k}\right) . \end{array} $ (12)

同理, 通过式(8)对上述两个相关系数进行加权组合.同时, 也可由式(5)获得HCG的集成版本, 由式(2)计算第k个目标刺激.

综上所述, HCG综合考虑TRCA(TRCA-R)与GCCA的优势.在SSVEP检测过程中, 绝大多数受试者在SSVEP检测中后期(如匹配时间大于0.5 s后)产生获得对目标刺激较强的可分性.然而, 对于SSVEP检测中前期存在目标刺激可分性不足的问题, 如何面向这些数据有针对性地构建具有可分性的空域滤波器, 是SSVEP检测算法的关键.

HCG充分考虑如下两个方面:1)当SSVEP检测中前期训练样本质量不佳时, 通过正余弦谐波校正后的均值匹配模板提升目标刺激可分性; 2)当SS- VEP检测中后期训练样本质量较好时, 计算任务相关成分, 进一步提升目标刺激可分性.因此, HCG在SSVEP检测各个时期均具有较高的匹配准确率.HCG的伪代码如下所示.

算法1 SSVEP检测的HCG

for i← 1 to N_t-1 do

for k← 1 to N_f do

由式(1)计算正余弦谐波模板Y_k, 同时计算训练集的均值匹配模板 χ¯k

由式(6)计算正交投影矩阵p_k

由式(9)重构正余弦谐波参考的均值匹配模板 χ¯kp

构造条件约束矩阵D_G、任务相关矩阵S_k和Z_k

由式(3)和式(11)获得HCG最优空间滤波器

WTRCA, kT和 WTχkc

end

由式(12)计算测试样本的相关系数, 由式(8)组合相关系数

由式(2)匹配测试样本的目标刺激, 同时验证准确率

end

通过交叉验证获得每个样本目标刺激的准确率

为了验证HGC的可行性与有效性, 选择清华大学BCIs研究小组发布的Benchmark^[28]、BETA^[29](http://bci.med.tsinghua.edu.cn/)这两个公开SS-VEP数据集进行实验, 具体统计信息如表1所示.

表1

Table 1

表1(Table 1)

表1 实验数据集统计信息 Table 1 Statistical information of experimental datasets 名称 受试者 数量 目标 刺激数 电极数 实验 试次 采样 点数 Benchmark 35 40 9 6 250 BETA 70 40 9 4 250

表1 实验数据集统计信息 Table 1 Statistical information of experimental datasets

1)Benchmark数据集.2016年发布, 采用联合频率相位调制(Joint Frequency-Phase Mudulation, JFPM)作为刺激范式, 采集来自35位健康受试者的64个电极的脑电信号.在实验室环境下采集, 在视觉闪烁刺激下执行目标选择任务, 任务一共包含40个视觉闪烁目标刺激, 刺激频率范围为8 Hz~15.8 Hz, 间隔为0.2 Hz, 相邻频率之间的相位差为0.5π .对于每位受试者, SSVEP样本包含在40个目标刺激上重复进行的6个实验试次, 所有刺激通过随机顺序展示, 每个刺激的持续时间为5 s.

2)BETA数据集.2020年发布, 遵循与Bench-mark相同的JFPM范式.由70位健康受试者组成, 包含与Benchmark数据集相同的40个视觉闪烁目标刺激, 但在实验室外环境下采集, 相比Benchmark数据集, 采集的脑电信号的信噪比更低, 增加SSVEP检测的挑战性.对于每位受试者, SSVEP样本包含在40个目标刺激上重复进行的4个实验试次, 所有刺激通过随机顺序展示, 前15位受试者的刺激时间为2 s, 其余受试者的刺激时间为3 s.

Benchmark、BETA数据集具有不同信噪比的脑电信号、不同数量的受试者、不同数量的实验试次, 因此能客观评估HCG的性能.为了提升算法匹配效率, 将两个数据集的采样率均降采样至250 Hz, 并选择SSVEP刺激开始的1 s后采样点进行算法验证, 即采样点数均为250个.同时, 选择与视觉枕区相关的9个采集电极(Pz、PO3、PO5、PO4、PO6、POz、O1、Oz和O2)执行SSVEP检测任务.

在SSVEP检测实验中, Benchmark、BETA数据集的目标刺激视觉延时分别为0.14 s, 0.13 s^[30].因此, 在进行目标刺激检测时, 检测算法使用的采样点区间包含视觉时延T_l及使用的校准时长T_w, 即采样点时间窗口为[T_l, T_l +T_w].根据FBCCA^[13]的结论, 由于SSVEP刺激的基础频率及谐波在90 Hz左右的频率上限范围内信噪比较高, 因此HCG也选择构建[8m Hz, 88 Hz]的滤波器组频带范围, 其中m=5表示滤波器组的频段, 这样的选择能进一步优化空域滤波器的频率特性.为此, 对于包含m个滤波器组的频段, 通过如下的加权过程计算目标刺激的相关系数:

ρ̂= ∑i=1mλ _i ρi2, λ _i=i^-c+d, i∈ [1, m],

实验采用与FBCCA^[13]相同的参数设置, c=1.25, d=0.25.

在对比所有SSVEP检测算法时, 所有带通滤波器组计算过程均保持相同参数.

准确率和ITR是评估SSVEP检测算法的两个重要指标.准确率为最大相关系数是否与目标刺激正确匹配, ITR确定BCIs每分钟传输的比特位数, 计算如下:

$\begin{aligned} \text { ITR }= & \left(\log _{2} N_{f}+A C C \log _{2} A C C+\right. \\ & \left.(1-A C C) \log _{2}\left[\frac{1-A C C}{N_{f}-1}\right]\right) \times\left(\frac{60}{T}\right), \end{aligned}$

其中, ACC表示准确率, T=T_w+0.5表示检测使用时间, 0.5 s表示刺激之间的转移时间.

在SSVEP检测实验中, 采用留一交叉验证法进行算法对比, 即从每位受试者的样本集上选择1个样本作为测试样本, 余下所有样本作为训练样本.

实验软硬件环境如下:Intel (R) i9-13900HX CPU @2.20 GHz, 16 GB内存, 在Windows 11操作系统上运行Matlab R2021b.

由于HCG从正余弦谐波参考信号和任务相关分析两方面进行改进, 为此分别选择如下两类重要的SSVEP检测算法进行对比.

1)采用正余弦谐波进行免校准的匹配算法:CCA^[12]、FBCCA^[13]、MsetCCA-R^[31];

2)采用训练数据进行校准的匹配算法:eTRCA-R^[10]、eTRCA^[21]、eGCCA^[24]、mTRCA^[25]、TDCA^[26]、weSSRSC^[27].

采用相同的实验软硬件配置及参数设置进行对比, 验证HCG的可行性与有效性.为了方便对比, 均使用集成版本算法进行实验对比.

设置

T_w=0.3 s, 0.5 s, 0.7 s, 0.9 s,

在Benchmark、BETA数据集上进行对比实验, 各算法的指标值结果如图1和图2所示.为了给出显著性统计结果, 在每种T_w值下, 分别给出HCG与5种基线算法的准确率和ITR的显著性分析结果, 即分别在两个数据集的所有受试者的结果上进行配对t检验.当显著性结果的p值为p< 0.001、p< 0.01、p< 0.05和p> 0.05时, 图中采用* * * 、* * 、* 和ns进行标记.

图1

Fig.1

	Figure Option ViewDownloadNew Window
	图1 各算法在Benchmark数据集上的指标值对比Fig.1 Metric value comparison of different algorithms on Benchmark dataset

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 各算法在BETA数据集上的指标值对比Fig.2 Metric value comparison of different algorithms on BETA dataset

由图1(a)的准确率对比可知, 当T_w=0.3 s时, HCG仅对weSSRSC具有显著的性能提升(p< 0.001), 而对eTRCA、eGCCA和mTRCA的性能提升并不显著(p> 0.05).当T_w=0.5 s, 0.7 s, 0.9 s时, HCG对于除了TDCA以外的4种算法都有显著的性能提升(p< 0.05).对比eTRCA和eGCCA, HCG在T_w=0.5 s时准确率提升最显著.对比eTRCA、eGCCA、mTRCA和weSSRSC, HCG最大的准确率提升分别为3.17%、2.29%、2.98%和6.75%.由于TDCA最小化单一目标刺激所有试次之间的差异性, 因此HCG的准确率不及TDCA, 但随着T_w的增加, 二者的识别准确率越来越接近.

对比图1(b)中ITR结果可知, 当T_w=0.3 s时, HCG的ITR接近mTRCA, 对eGCCA和weSSRSC提升显著(p< 0.05), 但对于eTRCA性能提升并不显著(p> 0.05).当T_w=0.5 s, 0.7 s, 0.9 s时, HCG对eTRCA、eGCCA和weSSRSC都有显著的性能提升(p < 0.01), 对mTRCA也有显著的性能提升(p< 0.05).

由图2(a)准确率对比结果可知, 只有在T_w=0.3 s时, HCG对eGCCA提升并不显著(p> 0.05), 但在T_w=0.7 s时有显著的性能提升(p< 0.001), 最大提升达到1.99%.对比mTRCA和eTRCA, HCG都在T_w=0.9 s时获得显著的准确率提升(p< 0.001), 最大提升分别达到5.47%和 6.55%.

对比图2(b)ITR结果可知, 只有当T_w=0.3 s时, HCG对eGCCA的性能提升不显著(p> 0.05).对比TDCA, 随着T_w的增加, HCG的性能逐渐接近TDCA, 在T_w=0.9 s时略超TDCA.在其它T_w情形下, HCG都能显著超越所有对比算法(p< 0.05).在信噪比较低的BETA数据集上, HCG虽然性能略逊于TDCA, 但是相比其它算法在准确率和ITR的提升上更显著, 表明HCG能适用于更复杂的SSVEP-BCIs应用.

为了进一步验证HCG相比正余弦谐波模板匹配相关算法的优势, 选择TRCA-R^[10]、CCA^[12]、FBCCA^[13]、MsetCCA-R^[31]进行对比实验, 结果如表2所示, 在表中, 黑体数字表示最优值, 斜体数字表示次优值.由表可知, HCG在两个数据集上的准确率同样超越所有对比算法.

对比图1、图2、表2中的准确率可知, 相比两类经典SSVEP匹配算法, HCG均取得快速校准的优势.在校准时长较低的SSVEP检测中前期(T_w≤ 0.5 s), HCG在Benchmark、BETA数据集上分别获得超过80%及65%的SSVEP检测准确率, 超越所有对比算法.当然, 由于校准时长T_w较短, HCG能获得更显著的ITR性能提升.在SSVEP检测中后期, HCG计算任务相关成分, 能在样本质量良好时进一步提升检测性能.这表明HCG通过正余弦谐波重构均值匹配模板及计算任务相关成分, 大幅提升在SSVEP各时期的检测准确率及ITR.

表2

Table 2

表2(Table 2)

表2 Tw不同时各算法在2个数据集上的准确率对比 Table 2 Accuracy comparison of different algorithms with different Tw on 2 datasets 算法 Benchmark BETA 0.3s 0.5s 0.7s 0.9s 0.3s 0.5s 0.7s 0.9s CCA 5.51% 14.11% 26.81% 40.87% 5.80% 14.19% 24.21% 34.71% FBCCA 6.69% 20.13% 39.63% 56.96% 8.03% 21.20% 36.68% 50.42% MsetCCA-R 16.35% 38.19% 57.62% 71.89% 14.28% 30.77% 44.73% 53.90% TRCA-R 64.45% 79.52% 87.90% 92.65% 50.64% 62.38% 70.22% 75.57% HCG 64.69% 82.17% 90.38% 94.79% 52.24% 66.26% 75.50% 81.04%

表2 Tw不同时各算法在2个数据集上的准确率对比 Table 2 Accuracy comparison of different algorithms with different Tw on 2 datasets

此外, 对比HCG、eTRCA^[21]、eGCCA^[24]、mTR-CA^[25]、TDCA^[26]和weSSRSC^[27]在2个数据集上获得的最高ITR及其获得时使用的校准时长T_w, 结果如表3所示, 表中黑体数字表示最优值, 斜体数字表示次优值.由表可知, HCG在2个数据集上虽然略逊于TDCA, 但却能获得性能接近的次高ITR, 同时所需的校准时长T_w也较短.实际上, HCG在SSVEP检测中后期保留正余弦谐波模板的优势, 在SSVEP检测中前期保留任务相关成分的多样性, 因此, 在2个数据集上, HCG均取得更高的ITR值, 表明该算法在不同受试者数量、不同脑电采集环境上具有较强的适应性.当然, 由于TDCA最大化所有目标刺激、所有试次之间的差异性, 因此获得更具分辨性的空域滤波器, 但同时也产生更高的时间复杂度.

表3

Table 3

表3(Table 3)

表3 各算法最大ITR及其数据长度Tw对比结果 Table 3 Comparison of maximum ITR with its data length Tw among different algorithms 算法 Benchmark BETA ITR/bits/min Tw ITR/bits/min Tw eTRCA 217.53± 12.63 0.5 149.50± 8.75 0.6 eGCCA 219.46± 9.67 0.6 161.17± 7.28 0.7 mTRCA 218.46± 12.63 0.5 152.93± 8.72 0.6 weSSRSC 210.14± 9.38 0.7 152.20± 7.70 0.7 TDCA 238.02± 11.32 0.5 169.48± 8.23 0.6 HCG 229.88± 11.55 0.5 168.39± 8.06 0.6

表3 各算法最大ITR及其数据长度Tw对比结果 Table 3 Comparison of maximum ITR with its data length Tw among different algorithms

效率在SSVEP检测中也起着至关重要的作用, 速度更快的检测算法更适合构建在线SSVEP-BCIs.为了对比计算效率, 选择相同的校准时间T_w=0.6 s, 分别在2个数据集上计算算法在每位受试者上的平均耗时, 结果如表4所示.由表可知, HCG在耗时上略高于eTRCA、mTRCA和weSSRSC, 但低于GCCA和TDCA.实际上, HCG吸收GCCA框架的优势, 但是摒弃其将正余弦谐波模板一同加入目标优化框架的方式, 取而代之的是直接采用谐波模板校准训练样本和均值模板, 因此具有更高的效率优势.同时, 在相关系数的计算中添加任务相关成分, 保证SSVEP中前期检测的性能.虽然耗时略高于TRCA系列算法, 但SSVEP检测准确率和ITR均显著高于这些算法.相比TDCA需要针对所有目标刺激、在所有试次之间计算差异性, HCG具有更低的时间复杂度.

表4

Table 4

表4(Table 4)

表4 各算法单位受试者平均计算效率对比 Table 4 Comparison of average computational efficiency across different algorithms for a single subjects 数据集 eTRCA eGCCA weSSRSC TDCA mTRCA HCG Benchmark 10.92 15.79 5.50 35.64 8.94 11.64 BETA 6.88 10.02 3.23 19.89 5.26 7.67

表4 各算法单位受试者平均计算效率对比 Table 4 Comparison of average computational efficiency across different algorithms for a single subjects

为了进一步验证HCG中不同模块的效果, 以及在不同实验设置下的鲁棒性, 进行如下3组消融实验.

3.5.1 相关系数

HCG的相关系数计算包含两个部分(见式(12)), 在消融实验中, 分别命名如下.

1)ρ ₁:待测试SSVEP样本与校正均值模板的泛化相关系数.

2)ρ ₂:待测试SSVEP样本与原始均值模板的任务成分相关系数.

在两个数据集上ρ ₁和ρ ₂的消融实验结果如图3和图4所示, 定义校准时间

T_w=0.3 s, 0.4 s, …, 1.0 s,

求解平均准确率、平均ITR及相应的标准差, 实验采用与3.3节相同的显著性检测方式.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 在Benchmark数据集上的消融实验结果Fig.3 Results of ablation experiment on Benchmark dataset

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 在BETA数据集上的消融实验结果Fig.4 Results of ablation experiment on BETA dataset

由图3和图4可知, ρ ₂能为HCG提供更高的准确率, 特别是在SSVEP刺激的中后期, 通过任务相关成分, 能较好地保证HCG的高ITR值.由配对t检验结果可知, 在不同的校准时长T_w中, 添加ρ ₂均能显著提升HCG的准确率和ITR (p< 0.001).同时, 图1和图2中的HCG与eTRCA是去掉ρ ₁的对比结果.从结果中也可知, 校正均值模板的泛化相关系数能在SSVEP刺激呈现的中前期为HCG提供更高的ITR值.因此, ρ ₁和ρ ₂二者缺一不可, 并且相互促进, 为SSVEP刺激呈现的各个时期提供更高的目标刺激可分性.

3.5.2 训练样本数

在有校准的SSVEP检测算法中, 用于校准的训练样本数量是衡量算法性能的重要因素之一.越少的训练样本数N_t表明算法的适应性越强, 即从更少的训练样本中能学习更多的知识.为此, 在Benchmark、BETA数据集上, 分别设定N_t=2, 3, 4, 5和N_t =2, 3, 进行消融实验, 结果如图5所示, 图中定义T_w = 0.5 s, 给出每个N_t下的平均准确率、ITR及相应的标准差.同时, 也通过与3.3节相同的配对t检验, 给出每种训练样本条件下的显著性情况.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 Nt不同时的消融实验结果Fig.5 Results of ablation experiment of different algorithms with different Nt

由图5可知, 在Benchmark数据集上, 当N_t=2时, HCG接近eGCCA的准确率(p> 0.05).当N_t取其它值时, HCG在2个数据集上的准确率都有显著提升(p< 0.05).与基线算法中效果最优的eGCCA相比, 随着N_t的不断增加, 两者的准确率差距也在扩大.特别地, 在Benchmark(N_t=5)、BETA(N_t=3)数据集上, HCG获得显著提升(p< 0.001), 最高提升率分别为2.29%和1.81%.

3.5.3 电极数

脑电采集的电极数是衡量算法性能的另一个重要因素.越少的电极数N_c参与运算, 表明算法能在越少的电极中学习越多的知识, 即算法适用于资源更受限的SSVEP-BCIs场景.为此, 在Benchmark、BETA数据集上, 设置N_c= 6, 7, 8, 9, 进行消融实验.

不同电极数的对应电极选择如表5所示.定义T_w = 0.5 s, 对比HCG、eTRCA^[21]、eGCCA^[24]、mTR-CA^[25], 平均准确率、ITR及相应的标准差如图6所示.同时, 也通过与3.3节相同的配对t检验, 给出每种训练样本条件下的显著性情况.

表5

Table 5

表5(Table 5)

表5 Nc不同时的通道选择情况 Table 5 Channel selection with different Nc 通道数量 通道名字 6 Pz, PO3, PO4, O1, Oz, O2 7 Pz, PO5, PO3, POz, PO4, PO6, Oz 8 PO5, PO3, POz, PO4, PO6, O1, Oz, O2 9 Pz, PO5, PO3, POz, PO4, PO6, O1, Oz, O2

表5 Nc不同时的通道选择情况 Table 5 Channel selection with different Nc

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 Nc不同时的消融实验结果Fig.6 Results of ablation experiment of different algorithms with different Nc

由图6可知, 在Benchmark数据集上, 当N_c=6时, 相比eGCCA, HCG获得显著的性能提升(p< 0.01).当N_c取其它值时, HCG在2个数据集上的准确率提升最大(p< 0.001).相比基线算法中最优的eGCCA, 随着N_c的不断增加, 两者准确率差距也在扩大.特别地, 在Benchmark(N_c=7)、BETA(N_c=6)数据集上, HCG获得最高的准确率提升, 分别为1.89%和1.98%.

对比不同数量的训练样本N_t和不同数量的电极数N_c的结果可看出, HCG在更少的训练样本条件以及更少的电极数条件下, 均具有比基线算法更优的性能.因此, HCG更能在资源受限环境下建立SSVEP-BCIs, 同时仅需更少的校准时间就能获得更高的ITR, 面向用户更友好.

尽管HCG在选择的两个SSVEP数据集上取得较高的检测准确率和TIR, 但仍有许多方面有待进一步的提升.首先, 虽然HCG在SSVEP检测中前期准确率较高, 但仍需要少量的训练样本作为校准数据, 以此计算最优的空域滤波器.这意味着在构建在线可用的SSVEP-BCIs前, 仍需要针对特定受试者记录适量样本作为基础, 不利于持续的在线BCIs应用.目前, Bian等^[32]提出sd-LST(Small Data Least-Squares Transformation), 构建受试间可迁移的空域滤波器, 获得免校准的效果.今后可拓展HCG至迁移学习版本, 实现更高性能的免校准在线SSVEP-BCIs.此外, 相比基线算法, HCG需要在T_w= 0.6 s的校准时长下获得最高的ITR, 这样的校准时长仍较高.实际上, 随着计算机硬件性能的显著提升, 目标刺激的相关系数计算效率越来越高, 导致校准时长成为SSVEP检测的性能瓶颈.当然, 为了在更低的校准时长下获得更高的ITR, 已有研究者采用神经网络方法进行相关研究^[33].该研究利用神经网络的深度表征能力, 实现空域滤波器的计算, 大幅降低校准时长.今后, 可考虑拓展HCG, 利用神经网络的深度表征能力, 进一步降低算法的校准时长.