将同构迁移学习应用于脑机接口，解决训练数据不足的问题

脑机接口 (BCI) 通过识别大脑活动并将其转化为外部命令&＃xff0c;提供了大脑与外部设备之间的另一种通信方式。功能性近红外光谱 (fNIRS) 作为一种非侵入性的大脑活动检测方式正变得越来越流行。

基于人工智能的 BCI 系统构建高质量、大规模的注释数据集非常繁琐、复杂且昂贵。本研究调查了基于fNIRS 的 BCI 迁移学习的新应用&＃xff0c;以解决三个问题&＃xff0c;即训练数据不足、训练时间缩短和准确性提高的问题。我们在卷积神经网络上应用了基于对称同质特征的迁移学习&＃xff0c;该网络专为从执行 n-back 任务的26)名参与者收集的 fNIRS 数据而设计。结果表明&＃xff0c;所提出的方法更快地达到最大饱和精度&＃xff0c;并且在训练时间的精确持续时间内比传统的 卷积神经网络模型的平均精度高 25.58%&＃xff0c;减少了训练时间、重新校准时间和计算资源。

本研究使用的数据集为JaeyoungShin等人于在柏林工业大学获得的开源元数据集。本数据集包括26名受试者在不同心理工作水平下的头皮fNIRS数据。

在实验开始之前&＃xff0c;所有受试者都坐在舒适椅子上。受试者被要求按下数字键 7 和 8 来记录他们的反应&＃xff0c;并确保受试者在数据采集过程中使用连接在右侧的小键盘用食指和中指参与。此外&＃xff0c;为了避免运动伪影&＃xff0c;受试者被指示在实验期间通过将他们的眼球运动限制在监视器上来保持专注。实验方案旨在执行三个认知任务&＃xff0c;即每个受试者的 n-back、Discrimination Selection Response (DSR)和Word Generation (W.G)。设计的 n-back 实验的时序如图所示。

数据采集实验流程

实验范式&＃xff1a;(a) motor imagery (MI)和mental arithmetic (MA)、(b)word generation (WG)、(c) n-back (NB)和 (d) discrimination/selection response (DSR)

    网络模型设计

下图为网络架构的详细参数&＃xff0c;选择一个全连接的前馈 CNN 网络&＃xff0c;它有两个卷积层&＃xff0c;一个最大池化层&＃xff0c;然后在flatten层将数据压平。 

迁移学习可以分为两种类型&＃xff1a;(1)同构迁移学习和(2)异构迁移学习。在数学上&＃xff0c;迁移学习中源域特征和目标域特征 Xt 和 Xs 相等的条件称为同构迁移学习。而源域和目标域特征 Xt 和 Xs 不相似的状态称为异构迁移学习。同构和异构迁移学习也分别称为域内迁移学习和域间迁移学习。

同构迁移学习中&＃xff0c;源域和目标域的特征空间相同. 主要通过降低源域和目标域之间样本的分布来进行迁移学习。

1.通过Maximum Mean Discrepancy (MMD) 来近似地拉近特征分布的距离。

3.通过领域对抗学习(Domain adversarial training)训练特征提取器使其能够提取领域不变特征(domain-invariant features)&＃xff0c;同时提取的特征(discriminative features)又具有较好的分类能力。

异构迁移学习中&＃xff0c;源域和目标域的特征空间不同. 主要通过对源域和目标域的特征进行转换来降低特征的差异和降低源域和目标域之间样本的分布来进行迁移学习。

基于特征映射(或转换)的迁移学习方法是把各个领域的不同特征空间的数据映射到相同的特征空间&＃xff0c;在该特征空间下&＃xff0c;拉近源领域数据与目标领域数据之间的分布。这样就可以利用在同一空间中的有标签的源领域样本数据训练分类器&＃xff0c;对目标测试数据进行预测。

通过神经网络进行特征空间学习。

本研究对 fNIRS 数据进行了同构迁移学习&＃xff0c;并评估了其在深度学习网络中的性能和可行性。

    实验效果

学习 CNN 模型在 10 到 60 个epoch对对照组受试者获得的准确度。

使用 CNN 模型对 10 到 60 个时期的基线组受试者的准确度

    结论

在这项研究中&＃xff0c;研究人员探索了一种基于特征的同构迁移学习方法&＃xff0c;以减少基于 fNIRS 的 BCI 系统的训练和校准时间。

研究者在以下不同假设下评估了基于 fNIRS 的 BCI 系统的迁移学习的有效性和可行性。首先&＃xff0c;迁移学习有效地将源领域知识转移到目标领域&＃xff0c;减少了深度学习模型的训练迭代次数;其次&＃xff0c;迁移学习最大限度地减少了目标领域训练深度学习模型所需的大量数据。研究人员使用了16个实验对象来训练CNN网络&＃xff0c;学习n-back数据集的源领域知识。并将剩下的10名受试者分成两组&＃xff0c;即对照组和基线组。对照组用学习后的CNN网络进行训练&＃xff0c;基线用随机初始化的CNN网络进行训练&＃xff0c;并通过统计分析比较二者的准确率。结果表明&＃xff0c;采用基于特征的迁移学习算法可以比基线组更快地获得最大饱和精度&＃xff0c;从而减少了训练时间。迁移学习方法的平均正确率也比传统CNN模型(68.94%)高25.58%&＃xff0c;达到94.52%。因此&＃xff0c;提出的fNIRS迁移学习方法对于深度学习模型增加训练迭代和BCI有限训练数据集的问题都是一个有前途的解决方案。

参考

Khalil, K., Asgher, U. & Ayaz, Y. Novel fNIRS study on homogeneous symmetric feature-based transfer learning for brain–computer interface. Sci Rep 12, 3198 (2022). https://doi.org/10.1038/s41598-022-06805-4

J. Shin et al., "Open access repository for hybrid EEG-NIRS data," 2018 6th International Conference on Brain-Computer Interface (BCI), 2018, pp. 1-4, doi: 10.1109/IWW-BCI.2018.8311523.

仅用于学术交流&＃xff0c;不用于商业行为&＃xff0c;若有侵权及疑问&＃xff0c;请后台留言&＃xff0c;管理员即时删侵&＃xff01;

更多阅读

脑-机交互运动训练的神经反馈方法及康复应用

工程师将大脑信号直接转化为语音

人工智能芯片借鉴大脑学习机制实现终身学习

脑机接口(BCI)系统概述及应用

牛津大学的研究人员首次在人体植入“闭环”生物电子研究系统

PNAS&＃xff1a;人类首次利用新型脑磁图可视化快速大脑信号

基于EEG的癫痫自动检测: 综述与展望

2021年度脑机接口重大事件和进展汇总

点个在看祝你开心一整天!