EEG信号经通道选择与时间窗截取后, 原始维度与视觉表征空间并不一致, 因此需先通过脑电投影层映射至共享表征维度, 支撑后续跨模态对齐.本文保留17个来自枕叶O区与顶叶P区的通道, 并采用0~250 ms完整时间窗作为输入.

为了减少额外预处理选择对核心对齐机制分析的影响, 本文不进行子窗口划分或时频变换, 而将保留通道与完整时间窗作为一个整体时空模式输入脑电投影层.设脑电输入向量x∈ R^{C× T}, 其中, C=17, T表示0~250 ms时间窗对应的采样点数.本文首先将二维EEG输入按通道展开为一维脑电向量:

$ \overline{\boldsymbol{x}}=\operatorname{vec}(\boldsymbol{x}) \in \mathbf{R}^{c \cdot T} .$

其中vec(· )表示按通道顺序将二维脑电矩阵展开为一维向量.

EEG分支采用全局时空投影结构, 将完整窗口内的跨通道响应统一映射至共享表征空间, 强调跨模态对齐目标下的整体判别模式学习.该结构保持较低的结构先验, 使EEG端以简洁形式学习与视觉教师空间匹配的判别表示.教师侧压缩适配器与双曲插值融合模块负责后续跨模态表征重整.

然后, 通过线性投影得到初始脑电表征:

$ \boldsymbol{u}_{e}=\boldsymbol{W}_{e} \overline{\boldsymbol{x}}+\boldsymbol{b}_{e} .$

其中, W_e表示脑电线性投影层的权重矩阵, b_e表示对应的偏置向量.

为了增强脑电表征的非线性建模能力, CHIF在初始投影后引入残差前馈映射, 并结合随机失活与层归一化, 得到脑电基础表征:

z_e=LayerNorm(u_e+Drop(r_e))∈ R^d,

其中,

r_e=W_{e, 2}ϕ (W_{e, 1}u_e+b_{e, 1})+b_{e, 2},

表示残差前馈映射结果, W_{e, 1}、W_{e, 2}表示残差前馈映射的权重矩阵, b_{e, 1}、b_{e, 2}表示对应的偏置向量, ϕ (· )表示GeLU非线性函数, LayerNorm(· )表示层归一化, Drop(· )表示随机失活, d表示脑电表征与视觉教师表征共同采用的共享表征维度, 与后续视觉教师目标的共享表征维度保持一致.

在训练过程中, CLIP(Contrastive Language-Image Pre-training)图像编码器参数保持冻结, 压缩适配器、融合系数预测模块、曲率参数及EEG投影层参与训练.其中, 融合系数预测模块根据结构增强分支的视觉表征预测样本级融合系数t, 并据此动态调节外观, 保持分支在统一教师目标中的融合占比.视觉侧模块仅接收图像特征输入, 用于生成与EEG表征对齐的视觉教师目标.得到z_e后, 进一步构造与其对齐的视觉教师表征.

预训练CLIP图像编码器能提供丰富的视觉表征, 但输出特征主要面向通用视觉任务, 包含一定与EEG-图像对齐无关的冗余信息.为此, CHIF在冻结CLIP图像编码器的基础上构建结构增强分支和外观保持分支, 并分别引入教师侧压缩适配器, 对两类视觉特征进行筛选与重整, 生成更适合指导EEG表征学习的视觉教师目标.

两路视觉特征均来自预训练CLIP ResNet-50图像编码器, 原始视觉特征维度记为d_v.二者区别在于输入图像的预处理方式.结构增强分支对图像施加注视区模糊(Fovea Blur), 突出图像主体及其全局结构线索^[12]; 外观保持分支对图像施加轻度均匀高斯模糊, 保留颜色分布、整体轮廓与粗粒度外观统计.经过两次独立前向推理, 得到结构增强分支输出的原始视觉特征$ \boldsymbol{v}_{s} \in \mathbf{R}^{d_{v}}$与外观保持分支输出的原始视觉特征$ \boldsymbol{v}_{p} \in \mathbf{R}^{d_{v}}$.

对于结构增强分支, CHIF先对原始语义特征执行L2归一化, 得到相应结构增强特征:

$ \overline{\boldsymbol{v}}_{s}=\frac{\boldsymbol{v}_{s}}{\left\|\boldsymbol{v}_{s}\right\|_{2}}, $

其中‖ · ‖ ₂表示L2范数.再将其输入语义压缩适配器, 得到适配后的结构增强教师表征:

$ \widetilde{\boldsymbol{v}}_{s}=\operatorname{LayerNorm}\left(\operatorname{Drop}\left(\boldsymbol{W}_{s, 2} \boldsymbol{h}_{s}^{(2)}+\boldsymbol{b}_{s, 2}\right)\right) \in \mathbf{R}^{d}, $

其中,

$ \boldsymbol{h}_{s}^{(2)}=\phi\left(\boldsymbol{h}_{s}^{(1)}\right), $

表示经GeLU激活后的中间特征,

$ \boldsymbol{h}_{s}^{(1)}=\boldsymbol{W}_{s, 1} \overline{\boldsymbol{v}}_{s}+\boldsymbol{b}_{s, 1}, $

表示降维线性映射后的中间特征, W_{s, 1}、W_{s, 2}表示语义压缩适配器两层映射的权重矩阵, b_{s, 1}、b_{s, 2}表示对应的偏置向量.适配器先将特征压缩至瓶颈维度d_b, 再回投至共享维度d.

对于外观保持分支, CHIF不进行L2归一化, 而是直接将原始感知特征输入对应的感知压缩适配器, 得到适配后的外观保持教师表征:

$ \widetilde{\boldsymbol{v}}_{p}=\operatorname{LayerNorm}\left(\operatorname{Drop}\left(\boldsymbol{W}_{p, 2} \boldsymbol{h}_{p}^{(2)}+\boldsymbol{b}_{p, 2}\right)\right) \in \mathbf{R}^{d}, $

其中,

$ \boldsymbol{h}_{p}^{(2)}=\phi\left(\boldsymbol{h}_{p}^{(1)}\right), $

表示经GeLU激活后的中间特征,

$ \boldsymbol{h}_{p}^{(1)}=\boldsymbol{W}_{p, 1} \boldsymbol{v}_{p}+\boldsymbol{b}_{p, 1}, $

表示降维线性映射后的中间特征, W_{p, 1}、W_{p, 2}表示感知压缩适配器两层映射的权重矩阵, b_{p, 1}、b_{p, 2}表示对应的偏置向量.

外观保持分支在进入适配器前不进行L2归一化, 使原始视觉特征中的幅值差异能参与适配器的非线性变换, 再通过LayerNorm稳定输出分布, 避免不同样本间尺度波动对后续融合造成过强影响.

两个分支在进入双曲空间前提供互补的视觉证据, 指导EEG表征的跨模态对齐:结构增强分支侧重图像主体、轮廓和全局结构线索; 外观保持分支补充颜色分布、粗粒度纹理和外观统计信息.

脑电图像检索中的类别关系具有层次性, 语义线索与感知线索又对应不同粒度的视觉证据.若直接在欧氏空间中对两路表征进行线性加权, 融合结果可能偏离原有结构, 难以保持类别间的层级关系.为此, CHIF设计双曲插值融合模块, 将脑侧表征与两路教师表征统一映射至双曲空间, 并在双曲流形上通过测地线插值构造统一教师目标.

本文采用洛伦兹模型表示双曲空间.给定可学习曲率参数c> 0, 曲率为-c的d维洛伦兹双曲空间定义如下:

$ H_{c}^{d}=\left\{\hat{\boldsymbol{x}} \in \mathbf{R}^{d+1}:\langle\hat{\boldsymbol{x}}, \hat{\boldsymbol{x}}\rangle_{L}=-\frac{1}{c}, \hat{x}_{0}> 0\right\}, $

其中, $ \hat{\boldsymbol{x}}=\left(\hat{x}_{0}, \boldsymbol{x}_{1: d}\right)$表示双曲空间中的点, $ \hat{x}_{0} $表示时间分量, x_1:d表示空间分量, c在训练过程中通过正值约束保证取值大于0.

洛伦兹内积定义为

$ \langle\hat{\boldsymbol{x}}, \hat{\boldsymbol{y}}\rangle_{L}=-x_{0} y_{0}+\boldsymbol{x}_{1: d}^{\mathrm{T}} \boldsymbol{y}_{1: d}, $

其中, $ \hat{\boldsymbol{y}}=\left(\hat{y}_{0}, \boldsymbol{y}_{1: d}\right)$表示另一双曲空间点, < · , · > 表示洛伦兹内积.

对于任意欧氏表征ξ ∈ R^d, CHIF将其视为洛伦兹原点切空间中的切向量[0, ξ ], 记

$ \boldsymbol{o}=\left[\frac{1}{\sqrt{c}}, 0, \cdots, 0\right]$

表示洛伦兹原点, 则以o为基点, 曲率参数为c的指数映射为:

$ \begin{array}{l} \operatorname{Exp}_{o}^{c}([0, \boldsymbol{\xi}])= \\ \quad\left[\frac{1}{\sqrt{c}} \cosh \left(\sqrt{c}\|\boldsymbol{\xi}\|_{2}\right), \frac{\sinh \left(\sqrt{c}\|\boldsymbol{\xi}\|_{2}\right)}{\sqrt{c}\|\boldsymbol{\xi}\|_{2}} \boldsymbol{\xi}\right] \cdot \end{array}$

当‖ ξ ‖ ₂=0时, 空间项按其极限值处理.

由此脑电表征、结构增强教师表征和外观保持教师表征分别映射为

$ \begin{array}{l} \hat{\boldsymbol{h}}_{e}=\operatorname{Exp}_{o}^{c}\left(\left[0, z_{e}\right]\right), \hat{\boldsymbol{h}}_{s}=\operatorname{Exp}_{o}^{c}\left(\left[0, \widetilde{\boldsymbol{v}}_{s}\right]\right), \\ \hat{\boldsymbol{h}}_{p}=\operatorname{Exp}_{o}^{c}\left(\left[0, \widetilde{\boldsymbol{v}}_{p}\right]\right) . \end{array}$

在教师表征融合阶段, CHIF先由结构增强侧表征通过融合系数预测模块生成样本级门控权重, 即当前样本中外观保持分支的融合占比系数为:

$ t=\sigma\left(\boldsymbol{w}_{g}^{\mathrm{T}} \widetilde{\boldsymbol{v}}_{s}+b_{g}\right) \in(0, 1), $

其中, w_g∈ R^d表示融合系数预测线性层的权重向量, b_g∈ R表示对应的偏置项.

结构增强侧表征作为结构基准, 决定当前样本需要引入多少外观补充信息.然后, 在洛伦兹空间中沿语义端点$ \hat{\boldsymbol{h}}_{s}$与感知端点$ \hat{\boldsymbol{h}}_{p}$之间的测地线进行插值.设二者之间的测地距离参数为

$ \nu=\operatorname{arcosh}\left(-c\left\langle\hat{\boldsymbol{h}}_{s}, \hat{\boldsymbol{h}}_{p}\right\rangle_{L}\right), $

则统一教师目标为:

$ \hat{\boldsymbol{h}}_{t}=\left(\frac{\sinh ((1-t) \nu)}{\sinh (\nu)}\right) \hat{\boldsymbol{h}}_{s}+\left(\frac{\sinh (t \nu)}{\sinh (\nu)}\right) \hat{\boldsymbol{h}}_{p} .$

在实际应用中, 为了保证数值稳定, 对arcosh(· )的输入进行下界截断, 并在ν 接近0时直接令$ \hat{\boldsymbol{h}}_{t}=\hat{\boldsymbol{h}}_{s}$.插值后对$ \hat{\boldsymbol{h}}_{t}$重新进行洛伦兹归一化, 修正浮点误差导致的流形偏移.由定义可知, 融合占比系数t动态调节融合偏好:t越大, 教师目标引入的外观特征越多.相比欧氏加权, 测地线插值不仅保证融合过程始终受到双曲流形约束, 还有效保留异质视觉证据的层级几何结构, 输出的统一目标$ \hat{\boldsymbol{h}}_{t}$也直接用于后续与脑侧表征$ \hat{\boldsymbol{h}}_{e}$的跨模态对齐.

CHIF以脑侧双曲表征与教师双曲表征之间的匹配关系作为训练依据.定义第i个脑电样本的双曲表征$ \hat{\boldsymbol{h}}_{e}^{i}$和第j个图像样本的教师双曲表征$ \hat{\boldsymbol{h}}_{t}^{j}$, 则二者之间的双曲距离为:

$d_{H}\left(\hat{\boldsymbol{h}}_{e}^{i}, \hat{\boldsymbol{h}}_{t}^{j}\right)=\frac{1}{\sqrt{c}} \operatorname{arcosh}\left(-c\left\langle\hat{\boldsymbol{h}}_{e}^{i}, \hat{\boldsymbol{h}}_{t}^{j}\right\rangle_{L}\right) .$

具体实现时对arcosh(· )的输入进行下界截断, 保证数值稳定.距离越小表示匹配越强, 由此得到批内脑电样本与图像样本之间的匹配得分矩阵S^hyp, 相应第i行、第j列元素

$S_{i j}^{\mathrm{hyp}}=-\tau d_{H}\left(\hat{\boldsymbol{h}}_{e}^{i}, \hat{\boldsymbol{h}}_{t}^{j}\right), $

其中, τ > 0表示可学习尺度参数, 调节双曲距离到匹配得分的映射强度.

在此基础上, CHIF采用双向对比损失

$L_{\text {hyp }}=\frac{1}{2}\left[C E\left(\boldsymbol{S}^{\text {hyp }}, \boldsymbol{y}\right)+C E\left(\left(\boldsymbol{S}^{\text {hyp }}\right)^{\mathrm{T}}, \boldsymbol{y}\right)\right]$

完成训练, 其中, CE(· )表示交叉熵损失, y表示批内配对标签.

默认第i个EEG样本与第i个图像样本构成正样本对.该目标包含两个互补的检索视角:CE(S^hyp, y)沿行施加Softmax处理, 以每个脑电样本为查询寻找对应图像; CE((S^hyp)^T, y)沿列施加Softmax处理, 以每幅图像为查询寻找对应脑电特征.联合优化两个方向可保证EEG到图像与图像到EEG检索视角的一致性.对比学习中的负样本来自当前批次内其余不匹配的样本对.

在测试阶段, 对每个脑电样本经投影层与双曲映射得到$\hat{\boldsymbol{h}}_{e}$.同时, 候选图像库中的每幅图像经两路视觉分支、压缩适配与双曲插值后, 离线预计算得到教师表征$\hat{\boldsymbol{h}}_{t}$.然后逐一计算脑侧表征与所有候选教师表征之间的双曲距离d_H, 并按距离升序排列, 取Top-5作为最终检索结果.

实验在标准的10名被试EEG-图像检索数据集^[4]上进行.每名被试观看来自共享图像池的视觉刺激, 同时记录EEG信号.检索任务如下:根据测试阶段的EEG查询, 从候选图像集合中检索被试实际观看的图像.

本文采用Top-1、Top-5检索准确率作为核心指标, 分别衡量首名检索正确与前五名检索正确的比例.

本文保留17个后部视觉相关EEG通道作为方法输入, 通道主要位于枕叶O区与顶叶P区, 包括O1、Oz、O2、PO7、PO3、POz、PO4、PO8、P7、P5、P3、P1、Pz、P2、P4、P6和P8.时间窗设为0~250 ms完整窗口.方法不进行子窗口划分或时频变换, 而是将保留通道与完整时间窗按通道和时间维展平后输入全局时空投影分支.默认EEG分支由线性投影、两层残差前馈和LayerNorm组成, 并采用GeLU非线性激活和Dropout随机失活.该设置用于在较少额外结构先验下学习EEG信号中的整体判别模式, 并与后续视觉教师侧压缩适配器和双曲插值融合模块配合完成跨模态对齐.

使用AdamW(Adaptive Moment Estimation with Weight Decay)优化器.EEG投影层、压缩适配器与融合系数预测模块的学习率设为3× 10^-4, 几何插值融合模块的学习率设为1× 10^-4, 权重衰减系数设为1× 10^-4.训练批次设为1 024、验证批次和测试批次设为200, 训练50个轮次.视觉骨干网络默认采用CLIP ResNet-50, 图像特征维度为1 024.

在训练过程中, CLIP图像编码器参数保持冻结, EEG投影层、结构增强分支与外观保持分支中的压缩适配器、融合系数预测模块及双曲空间曲率参数共同参与优化.训练目标采用对称双曲对比交叉熵.

本文选择如下脑电-图像检索领域的多项代表性方法作为对比方法.1)NICE(Natural Image Con- trast EEG)^[6].采用自监督对比学习, 实现自然图像的EEG解码.2)BraVL^[7].通过脑、视觉和语言三模态特征学习进行视觉神经表征解码.3)Cognition- Capturer^[11].利用多模态信息增强EEG表征学习.4)UBP(Uncertainty-Aware Blur Prior)^[12].通过不确定性感知模糊先验缓解视觉-脑信号差异.5)ATS(Adaptive Teaching System)^[13].通过自适应教师机制进行非对称EEG-视觉对齐.6)ATM(Adaptive Thinking Mapper)^[17].将EEG表征映射至CLIP共享空间, 结合扩散模型, 用于视觉解码与重建.7)HyFI(Hyperbolic Feature Interpolation)^[21].基于双曲特征插值的脑-视觉对齐方法.8)NeuroCLIP(Brain-Inspired Prompt Tuning for EEG-to-Image Multimodal Contrastive Learning)^[22].引入面向EEG-图像对齐的提示调优.9)MindAlign^[23].关注EEG、视觉和语言之间的零样本对齐.10)CognitionCapturerPro^[24].进一步面向EEG/MEG的高保真视觉解码, 进行多模态与非对称对齐.

各方法在10名被试上的检索准确率如表1所示.在表中, CHIF与HyFI为重复实验均值, 其余结果引自原文献, 黑体数字表示最优值, 斜体数字表示次优值.

表1

Table 1

表1(Table 1)

表1 各方法在10名被试上的检索准确率对比 Table 1 Comparison of retrieval accuracy among different methods on 10 subjects % 方法 指标 Sub-01 Sub-02 Sub-03 Sub-04 Sub-05 Sub-06 Sub-07 Sub-08 Sub-09 Sub-10 平均值 BraVL Top-1 Top-5 6.10 17.90 4.90 14.90 5.60 17.40 5.00 15.10 4.00 13.40 6.00 18.20 6.50 20.40 8.80 23.70 4.30 14.00 7.00 19.70 5.80 17.50 NICE Top-1 Top-5 15.20 40.10 13.90 40.10 14.70 42.70 17.60 48.90 9.00 29.70 16.40 44.40 14.90 43.10 20.30 52.10 14.10 39.70 19.60 46.70 15.60 42.80 ATM Top-1 Top-5 25.60 60.40 22.00 54.50 25.00 62.40 31.40 60.90 12.90 43.00 21.30 51.10 30.50 61.50 38.80 72.00 24.40 51.50 29.10 63.50 26.10 58.10 Cognition- Capturer Top-1 Top-5 31.41 79.65 31.44 77.80 38.19 85.65 40.37 85.80 24.44 66.34 34.84 78.75 34.65 80.95 48.10 88.60 37.42 79.36 35.57 79.29 35.64 80.22 UBP Top-1 Top-5 41.20 70.50 51.20 80.90 51.20 82.00 51.10 76.90 42.20 72.80 57.50 83.50 49.00 79.90 58.60 85.80 45.10 76.20 61.50 88.20 50.90 79.70 ATS Top-1 Top-5 53.00 79.00 62.00 87.50 61.50 89.00 57.00 86.50 55.00 84.00 68.00 90.50 53.00 84.00 66.50 91.00 58.50 86.00 67.50 89.00 60.20 86.70 NeuroCLIP Top-1 Top-5 60.30 84.20 64.50 94.10 63.70 93.20 62.80 91.30 55.00 83.70 68.60 93.60 70.60 93.30 69.60 90.30 48.20 86.50 69.10 92.10 63.20 90.30 MindAlign Top-1 Top-5 56.50 85.50 52.30 81.80 53.30 79.70 56.70 86.70 47.50 80.50 50.30 83.30 50.10 80.30 64.00 87.00 51.50 80.00 58.30 88.80 54.10 83.40 Cognition- CapturerPro Top-1 Top-5 61.90 91.50 59.40 90.90 62.20 91.90 67.00 94.60 45.20 78.80 64.30 91.80 58.00 90.40 73.20 95.70 55.00 88.60 65.80 93.60 61.20 90.80 HyFI Top-1 Top-5 60.80 85.60 69.60 95.00 70.20 94.70 65.60 89.90 55.40 84.70 71.80 93.80 68.10 91.10 79.00 97.10 63.70 91.50 76.80 95.70 68.10 91.91 CHIF Top-1 Top-5 62.50 87.90 69.60 94.90 70.00 94.20 66.80 90.70 57.90 86.20 75.10 97.00 63.20 90.50 77.30 96.30 62.70 91.40 75.50 95.60 68.06 92.47

表1 各方法在10名被试上的检索准确率对比 Table 1 Comparison of retrieval accuracy among different methods on 10 subjects %

由表1可见, CHIF在10名被试上取得68.06%的平均Top-1检索准确率和92.47%的平均Top-5检索准确率.相比HyFI, 两者的平均Top-1检索准确率基本持平, CHIF的平均Top-5检索准确率略高, 二者整体处于相近水平.

为了检验CHIF与HyFI在整体检索性能上的差异, 基于重复实验结果, 并以10名被试作为配对样本, 分别对Top-1与Top-5结果进行配对样本t检验, 相应统计结果如表2所示.在表中, 平均差异为CHIF平均检测准确率减去HyFI平均检测准确率的值, t(df=9)表示配对t检验统计量及自由度, p表示显著性水平.由表可见, CHIF与HyFI在整体Top-1与Top-5指标上的平均差异均未达到统计显著性:Top-1指标上的平均差异为-0.04%, Top-5指标上的平均差异为0.56%.配对检验结果表明, CHIF与HyFI在整体检索性能上处于相近水平.

表2

Table 2

表2(Table 2)

表2 CHIF与HyFI的配对t检验结果 Table 2 Paired t-test results of CHIF and HyFI 指标 平均检索准确率/% 平均差异/% t(df=9) p 95%置信区间/% CHIF HyFI Top-1 68.06 68.10 -0.04 -0.053 0.9588 [-1.74, 1.66] Top-5 92.47 91.91 0.56 1.305 0.2242 [-0.41, 1.53]

表2 CHIF与HyFI的配对t检验结果 Table 2 Paired t-test results of CHIF and HyFI

为了验证性能增益的来源, 对CHIF进行模块分解, 包含4种配置:Baseline(移除教师侧压缩适配器和双曲插值融合模块后的CHIF)、仅加入压缩适配器、仅引入双曲插值融合模块、CHIF, 具体检索准确率如表3所示, 表中黑体数字表示最优值, 斜体数字表示次优值.

表3

Table 3

表3(Table 3)

表3 各模块在10名被试上的检索准确率对比 Table 3 Comparison of retrieval accuracy among different modules on 10 subjects % 方法 指标 Sub-01 Sub-02 Sub-03 Sub-04 Sub-05 Sub-06 Sub-07 Sub-08 Sub-09 Sub-10 平均值 Baseline Top-1 Top-5 41.50 70.50 53.00 81.00 48.50 88.00 47.00 77.00 46.00 72.50 55.50 81.50 51.50 83.50 65.00 88.50 43.50 81.00 59.00 90.50 51.05 81.40 压缩适配器 Top-1 Top-5 52.50 79.00 60.00 87.50 61.00 87.00 57.50 84.50 54.00 82.00 68.00 90.00 52.50 83.00 65.50 91.00 56.50 86.50 67.00 89.00 59.45 85.95 双曲插值 融合模块 Top-1 Top-5 56.50 81.50 62.50 83.50 63.00 85.50 60.50 80.50 49.00 71.50 65.00 86.50 60.00 79.00 71.00 88.50 57.00 82.00 65.50 81.50 61.00 82.00 CHIF Top-1 Top-5 67.50 88.00 70.00 95.50 71.50 95.00 67.00 91.00 59.50 84.50 72.50 95.00 61.00 92.00 77.00 95.00 62.00 89.50 75.00 96.00 68.30 92.15

表3 各模块在10名被试上的检索准确率对比 Table 3 Comparison of retrieval accuracy among different modules on 10 subjects %

由表3可见, 各模块均能带来独立的性能增益, CHIF在Top-1、Top-5指标上均取得最优值.Baseline的平均Top-1检索准确率为51.05%, 平均Top-5检索准确率为81.40%.加入压缩适配器后两项指标提升至59.45%和85.95%, 表明将视觉教师压缩至与EEG表征匹配的容量可带来独立的性能增益.仅使用双曲插值融合模块时, 平均Top-1检索准确率为61.00%、平均Top-5检索准确率为82.00%, 说明双曲几何先验同样能独立提升检索性能.CHIF的相应指标值分别达到68.30%和92.15%, 优于两个单独模块配置.

不同EEG分支结构的性能对比如表4所示.该数据可分析脑电投影层在当前输入中的适配性.除了EEG分支结构以外, 其余训练协议与视觉教师设置保持一致.

表4

Table 4

表4(Table 4)

表4 各EEG分支结构的检索准确率对比 Table 4 Comparison of retrieval accuracy among different EEG branch structures % EEG分支结构 Top-1 Top-5 说明 全局时空投影分支 68.30 92.15 默认配置 时序-空间卷积EEG分支 51.45 82.75 结合时序与空间卷积先验

表4 各EEG分支结构的检索准确率对比 Table 4 Comparison of retrieval accuracy among different EEG branch structures %

由表4可见, 在相同设置下, 默认全局时空投影分支取得68.30%的Top-1检索准确率和92.15%的Top-5检索准确率, 分别高于时序-空间卷积EEG分支的51.45%和82.75%.时序-空间卷积EEG分支采用时间卷积与通道维空间卷积提取局部时序响应和跨通道空间模式, 用作对更强EEG专用结构先验的对照.该结果表明, 在当前17个通道、0~250 ms完整窗口和本文训练协议下, 默认全局时空投影分支与教师侧压缩适配器和双曲插值融合模块形成更好的配合关系.全局时空投影分支将完整窗口作为整体模式进行映射, 有助于学习与视觉教师空间匹配的判别表示.

为了进一步验证模块级性能提升的统计显著性, 在10名被试上, 对各配置的Top-1检索准确率进行配对样本t检验, 结果如表5所示, 表中配对样本t检验的n=10, df=9.由表可见, 所有模块级对比均具有统计显著性(p≤ 0.000 2).具体而言, 相对Baseline, CHIF提升17.25%; 相对加入压缩适配器, CHIF提升8.85%; 相对仅使用双曲插值融合模块, CHIF提升7.30%.此外, 相对Baseline, 仅加入压缩适配器使准确率提升8.40%, 仅使用双曲插值融合模块使准确率提升9.95%.这些结果表明, 压缩适配器与双曲插值融合模块均能独立提升性能, 并在完整模型中形成互补增益.

表5

Table 5

表5(Table 5)

表5 各模块之间平均Top-1准确率的配对t检验结果 Table 5 Paired t-test results of mean Top-1 accuracy among different modules Comparison 平均差异/% t(df=9) p 95%置信区间/% CHIF vs Baseline 17.25 10.980 p< 0.0001 [13.70, 20.80] CHIF vs压缩适配器 8.85 8.776 p< 0.0001 [6.57, 11.13] CHIF vs双曲插值融合模块 7.30 7.862 p< 0.0001 [5.20, 9.40] 压缩适配器vs Baseline 8.40 5.853 0.0002 [5.15, 11.65] 双曲插值融合模块vs Baseline 9.95 7.714 p< 0.0001 [7.03, 12.87]

表5 各模块之间平均Top-1准确率的配对t检验结果 Table 5 Paired t-test results of mean Top-1 accuracy among different modules

下面分析CHIF对视觉骨干网络的依赖程度.将默认的CLIP ResNet-50替换为更大规模的CLIP ViT-H-14, 并在除了视觉骨干网络及其对应特征维度适配以外, 保持其余训练设置一致, 具体检索准确率如表6所示.

表6

Table 6

表6(Table 6)

表6 不同视觉骨干网络在10名被试上的检索准确率对比 Table 6 Comparison of retrieval accuracy among different visual backbone networks on 10 subjects % 视觉骨干网络 指标 Sub-01 Sub-02 Sub-03 Sub-04 Sub-05 Sub-06 Sub-07 Sub-08 Sub-09 Sub-10 平均值 ResNet-50 Top-1 Top-5 67.50 88.00 70.00 95.50 71.50 95.00 67.00 91.00 59.50 84.50 72.50 95.00 61.00 92.00 77.00 95.00 62.00 89.50 75.00 96.00 68.30 92.15 ViT-H-14 Top-1 Top-5 32.00 55.00 37.50 69.50 42.50 75.50 41.00 73.00 30.50 63.00 40.50 78.00 38.00 67.00 49.00 76.00 37.50 68.50 48.00 85.50 39.65 71.10

表6 不同视觉骨干网络在10名被试上的检索准确率对比 Table 6 Comparison of retrieval accuracy among different visual backbone networks on 10 subjects %

由表6可见, ViT-H-14变体仅取得39.65%的平均Top-1检索准确率和71.10%的平均Top-5检索准确率, 相比ResNet-50性能出现显著下降.这一结果表明, 视觉骨干网络规模、特征粒度与脑信号对齐效果之间具有任务相关的适配关系.

类似的情况在近期脑信号视觉解码研究中也有出现.例如:UBP在对比多种OpenCLIP视觉编码器时发现ResNet-50在THINGS-EEG检索任务中优于多种ViT系列骨干网络^[12]; MindAlign中紧凑嵌入几何可优于更大规模的视觉骨干网络^[23].这些现象表明, 脑电信号到视觉表征的对齐质量不仅受视觉编码器规模的影响, 也与视觉特征空间的粒度、分布和几何结构密切相关.

从机制上看, ViT-H-14的性能下降可能是因为如下3个方面.1)ResNet-50输出更接近全局图像向量, 可能更符合EEG信号中较粗粒度的视觉语义线索; ViT-H-14的表示更依赖块或词元级结构, 直接聚合后与EEG的整体语义表征之间可能存在粒度差异.2)当前压缩适配器的瓶颈比率、输出维度和归一化方式主要是在ResNet-50特征分布下形成有效配置, 替换成ViT-H-14后, 特征尺度、分布和冗余结构变化可能削弱既有配置的适配性.3)双曲插值融合模块依赖语义端点和感知端点在目标特征空间中的几何关系, ResNet-50的语义空间可能与当前双曲映射及门控插值形成更稳定的协同关系, 而ViT-H-14的特征空间需要重新评估融合权重、曲率和适配器容量.

当前实验主要验证CHIF在CLIP ResNet-50骨干网络下的适配效果, 跨视觉骨干网络的稳定适配仍需更系统的研究.后续可从骨干特异性适配器、视觉特征层选择、词元聚合方式及跨骨干超参数重调等方向进一步进行探索.

为了分析压缩适配器中容量设置对EEG-图像检索性能的影响, 考察不同输出维度与瓶颈比率组合下的平均Top-1检索准确率, 设置输出维度为256, 512, 768, 1 024, 瓶颈比率为1/8, 1/4, 1/2, 1/1, 相应结果如图2所示.由图可见, 无瓶颈配置(瓶颈比率为1/1)在输出维度增大时性能明显下降, 说明直接保留完整教师表征容量并不利于EEG表征对齐.相比之下, 适度压缩配置在高维度下表现更稳定, 其中瓶颈比率为1/4或1/2时, 在1 024维附近取得最优值或近最优值.该结果表明, 压缩适配器的性能收益主要来自输出维度与瓶颈比率之间的容量匹配.

图2

Fig.2

	Figure Option ViewDownloadNew Window
	图2 压缩适配器的容量敏感性分析Fig.2 Capacity sensitivity analysis of compression adapter

总之, 压缩适配器的设计是一个面向EEG信号容量约束的表征压缩问题.合适的瓶颈结构能抑制过高容量的视觉教师表征带来的对齐困难, 并为CHIF的默认超参数设置提供经验依据.

为了进一步评估CHIF在未见被试和不同神经记录数据上的表现, 设计跨被试验证和THINGS-MEG验证.

跨被试验证采用留一被试设置, 每次将1名被试作为测试被试, 其余9名被试作为训练被试, 逐被试的检索准确率如表7所示.

表7

Table 7

表7(Table 7)

表7 跨被试验证中逐被试的检索准确率对比 Table 7 Comparison of subject-wise retrieval accuracy in cross-subject validation % 指标 Sub-01 Sub-02 Sub-03 Sub-04 Sub-05 Sub-06 Sub-07 Sub-08 Sub-09 Sub-10 平均值 Top-1 15.00 13.00 6.00 10.00 8.00 12.00 8.00 10.00 10.50 18.00 11.05 Top-5 39.50 34.50 21.50 27.00 25.00 30.50 23.50 32.00 30.50 42.00 30.60

表7 跨被试验证中逐被试的检索准确率对比 Table 7 Comparison of subject-wise retrieval accuracy in cross-subject validation %

由表7可见, CHIF的平均Top-1检索准确率为11.05%、平均Top-5检索准确率为30.60%, 明显低于被试内主结果(表1中平均检索准确率), 说明跨被试泛化性仍然有限.该结果仍高于200路检索的随机水平(Top-1检索准确率为0.50%, Top-5检索准确率为2.50%).

THINGS-MEG验证采用4名被试的MEG数据, 输入为271通道、0~201 ms时间窗, 并使用ResNet-50视觉骨干网络进行被试内检索验证, 相应检索准确率如表8所示.由表可见, CHIF在THINGS-MEG上取得28.12%的平均Top-1检索准确率和55.00%的平均Top-5检索准确率, 其中不同被试的Top-1范围为14.00%~50.50%, 说明该跨数据集与跨神经记录模态验证仍存在明显个体差异.

表8

Table 8

表8(Table 8)

表8 THINGS-MEG验证中逐被试的检索准确率对比 Table 8 Comparison of subject-wise retrieval accuracy in THINGS-MEG validation % 指标 Sub-01 Sub-02 Sub-03 Sub-04 平均值 Top-1 14.00 50.50 34.00 14.00 28.12 Top-5 32.00 81.50 64.50 42.00 55.00

表8 THINGS-MEG验证中逐被试的检索准确率对比 Table 8 Comparison of subject-wise retrieval accuracy in THINGS-MEG validation %

为了进一步验证CHIF学习的EEG表征是否具有可解释的语义结构, 对测试集上不同概念的EEG表征进行余弦相似度计算, 并将概念按照动物、食物、车辆、工具、其它这5个语义类别重新排列, 跨被试EEG表征相似性矩阵如图3所示.

图3

Fig.3

	Figure Option ViewDownloadNew Window
	图3 跨被试平均的EEG表征相似性矩阵Fig.3 Cross-subject average EEG representation similarity matrix

由图3可见, 矩阵呈现较明显的块状结构, 说明同一语义类别内的EEG表征具有更高的相似性.

部分测试样本的Top-1~Top-5检索结果如图4所示.

图4

Fig.4

	Figure Option ViewDownloadNew Window
	图4 部分测试样本的图像检索结果Fig.4 Image retrieval results for selected test samples

由图4可看到, CHIF在多个样例中能将原始图像检索为Top-1, 表明其学习的EEG表征能支持实例级图像匹配.同时, 部分非Top-1候选结果仍与原始图像保持一定的语义或视觉相关性.

图5进一步展示不同被试的EEG表征相似性矩阵.由图可看到, 该结构在多数被试上呈现出相似趋势, 说明CHIF学习的表征具有一定的跨被试一致性.

图5

Fig.5

	Figure Option ViewDownloadNew Window
	图5 不同被试的EEG表征相似性矩阵Fig.5 EEG representation similarity matrices for different subjects

上述结果说明, CHIF不仅提升定量检索性能, 也学习具有语义组织性的EEG-图像跨模态表征.

为了进一步理解CHIF在错检样本中的表现边界, 图6展示若干代表性失败样本及其前5个检索结果.以蜻蜓样本为例, CHIF返回的前两名候选结果包含明显的绿色植物和自然背景, 说明在昆虫主体响应较弱时, 检索结果容易受到背景颜色和局部形态线索的影响.对于锤子样本, CHIF返回锅铲等具有细长手柄和工具属性的候选结果; 对于低音管样本, 检索出现瑞士军刀、冰棍等细长或条状物体.由此表明CHIF在部分样本上能保留形状或材质等相关线索, 但这些局部线索可能引导检索结果偏离真实语义类别.旅行车样本的前5个候选结果与真实类别差异更大, 说明当单试次EEG信号中的类别相关信息较弱, 或候选集上存在干扰性较强的图像时, 可能产生较明显的语义偏移.

图6

Fig.6

	Figure Option ViewDownloadNew Window
	图6 错误样本的代表性检索结果Fig.6 Representative retrieval results for failed retrieval samples

这些现象反映出CHIF的若干边界.首先, 单试次EEG信号信噪比较低, 瞬时注意波动可能削弱与目标类别相关的神经响应, 使方法更多依赖颜色、轮廓或背景等较粗粒度线索.其次, 不同被试的视觉诱发响应和信号质量存在差异, 同类视觉刺激在不同被试上的可分性可能不同.再次, 视觉候选图像之间的外观相似性、局部形状相似性或背景相似性也会增加闭集检索难度.因此, CHIF在当前200选1检索协议下能取得有效匹配结果, 但在开放集识别、强视觉干扰和跨被试稳定泛化场景中仍需进一步提升鲁棒性.

为了进一步分析CHIF中双曲插值融合模块的作用, 对不同表征在根节点距离上的分布及融合占比系数t的变化进行可视化分析.图7对比原始CLIP空间与双曲空间中的根节点距离分布.

图7

Fig.7

	Figure Option ViewDownloadNew Window
	图7 不同表征在两个空间中的根节点距离分布Fig.7 Distribution of distances to root node for different representations in 2 spaces

由图7可看到, 经过双曲映射后, 不同来源的表征在径向距离上呈现更清晰的层次化差异:融合教师表征更靠近根节点, 语义表征与感知表征位于中间区域, 脑电表征分布在相对外层区域.这表明双曲插值融合模块能将不同来源的表征重组到具有径向层次差异的空间结构中.

图8为融合占比系数t的分布及其对应示例.

图8

Fig.8

	Figure Option ViewDownloadNew Window
	图8 t的分布及High-t与Low-t样本示例Fig.8 Distribution of t and high-t and low-t samples

由图8可看到, t在一定范围内形成有偏分布, 说明CHIF能根据输入样本动态调整语义教师与感知教师之间的融合比例.

从示例来看, t值较高的样本通常具有更明显的材质、形状或局部视觉线索, 而t值较低的样本更多对应语义类别较清晰的对象.上述结果说明, CHIF的双曲插值融合模块不仅引入层次化的表征空间, 也实现样本相关的自适应教师融合.