同步脑电图功能磁共振融合推断宏观脑动力学

同步脑电-功能性磁共振成像(EEG-fMRI)的仪器和信号处理技术的进步，为人类大脑的高时空神经动力学研究提供了更近一步的方法。脑电图-功能磁共振神经成像系统的核心功能是融合两种数据，在这个过程中，机器学习发挥着关键作用。这些方法可以分为对称和不对称两种融合方式。使用这些方法的研究表明，融合产生了对大脑功能的新认识。随着技术的进步和融合方法变得更加复杂，脑电图-功能磁共振成像(EEG-fMRI)为无创脑动力学测量带来了许多新的启示，包括：基于目标扰动的神经成像、利用深度学习发现电生理和血流动力学测量之间的非线性表征等新的研究领域。本文发表在Annual Review of Neuroscience杂志。

1.介绍

脑电图(EEG)和功能磁共振成像(fMRI)是两种无创的神经成像方法，广泛应用于人类神经科学。众所周知，这两种模式在空间和时间分辨率方面是互补的，这催生了能够同时获取脑电图和功能磁共振成像数据的系统的发展。虽然从理论上讲，EEG和fMRI(EEG-fMRI)的融合是一种常见的多模态脑成像的方法，但相对于其组成模式，采取同时获得EEG和fMRI(EEG-fMRI)的应用在现在仍然很少。

最初，这种未充分利用的情况很大程度上归因于与电磁干扰相关的技术障碍。然而，电子技术和电磁屏蔽技术的改进，以及更好的信号处理方法，极大地提高了通过脑电图-功能磁共振成像获取数据的质量。以往存在的主要挑战不再是同时获取数据的技术困难，而是缺乏有效和有原则的数据融合方法，特别是能够在认识到两种模式的独特优势和弱点的同时，以高保真度最佳地结合信息的工具。

总的来说，EEG-fMRI数据融合方法可分为两类：非对称融合和对称融合。如果一个模态被视为一个先验或约束来指导其他模态的分析，则融合是不对称的。反之，如果将从每个模态的信息以类似平均的方式使用，则融合是对称的。对称融合可以进一步分为两类：模型驱动和数据驱动。在模型驱动的方法中，EEG和fMRI通过它们共同的神经基底明确地建模神经血管耦合，从而整合到生成框架中。另一方面，数据驱动方法避免了脑电图和功能磁共振成像生成过程的复杂建模。相反，他们利用一些计算机算法，直接利用EEG和fMRI在特征空间中的协方差，而不考虑它们潜在的生物物理特性可能存在的差异。

在本文中，作者们重点关注已经和正在发展的脑电图-功能磁共振融合的方法，以及它们如何使新的神经科学见解成为可能。首先简要地讨论了这两种模式，即它们测量的是什么，以及当它们同时获得时，如何通过电磁耦合去除伪影。然后，回顾了在对称和不对称方法的背景下融合这两种模式的技术状态。需要强调的是：一些方法主要集中在它们测量的信号对大脑活动共同的神经底物的反应(图1)，而其他的方法则考虑每个模态捕获的独特信息。在本文中介绍不同的融合方法时，也提供了它们如何产生对人类大脑时空动态进行深入研究的例子，这些研究的发现在单独使用这些模式的情况下是难以被发掘的。

图1：脑电图(EEG)和功能磁共振成像(fMRI)可以测量独特和共同的神经活动。有一些融合方法关注潜在的共同神经活动(σc)，也有一些融合方法考虑独特的信息。

2.EEG-fMRI采集

脑电图可以获取头皮上电极的电活动，这些电活动是由神经元群同步去极化产生的。头皮脑电图测量的主要贡献者是皮层锥体神经元突触后电位。由于容积传导，推断头皮脑电图的潜在来源是一项研究中的重要挑战，因为一般的假定是：在一个电极上的电信号测量是多个源信号的总和，其中包括那些远离记录电极的源。

因此，头皮脑电图的主要局限性是缺乏空间分辨率。然而，脑电图可以提供毫秒级的时间分辨。另一方面，血液氧合水平依赖(BOLD)功能磁共振成像测量的是磁场的不均匀性，这是由于整个脑容量中血流中氧合血红蛋白水平的变化造成的。fMRI BOLD的活性反映了血液氧合变化对活跃神经元耗氧的反应。神经活动与BOLD反应之间的耦合关系尚不清楚；然而，一些研究表明，与动作电位相反，BOLD信号与缓慢变化的突触后活动相关。有越来越多的证据表明，BOLD信号与脑电图在不同频段的频谱功率有关。尽管fMRI具有较高的空间分辨率和全脑覆盖，但其较差的时间分辨率以及血流动力学响应的区域差异，给fMRI数据分析带来了重大挑战。

脑电图-功能磁共振成像采集的目的是提供具有高度时间特异性和解剖定位的人类大脑的非侵入性成像——这是单靠任何一种方式都很难实现的。然而，当同时采集时，这两种模式的信噪比(SNR)都降低了。与独立的脑电图相比，磁共振(MR)扫描仪内收集的脑电图表现出两种主要的大型和周期性伪影：梯度和心冲击(BCG，心冲击描记图，由磁共振扫描仪的静态场诱发的脑电图伪影，它是非线性的，由脉动的血流和运动驱动)伪影。梯度伪影是由梯度磁场的转换引起的，通常比脑电图活动的幅度大得多。由于在头皮上的伪影是高度非线性的，而且伪影的频率内容与脑电图信号的频率内容重叠，简单的去伪迹技术效果不佳。BCG伪影更为复杂，BCG主要来自与心动周期同步的脑电图电极的脉动运动。基于主成分分析的BCG伪影去除方法是一种广泛应用的保守方法。该方法是保守的，因为它通常容忍残余BCG。图2显示了梯度和BCG伪影，以及去除这些伪影后那些被认为是干净的EEG信号。

图2：(a)梯度伪影，(b)BCG伪影，(c)梯度伪影去除后的脑电图信号，(d)无梯度和BCG伪影的清洁脑电图信号。梯度伪影与BCG伪影和真实神经信号相比，大约大10倍。

尽管许多人认为，在进一步分析和融合数据方面，MRI在脑电图中诱发的伪影是最重要和最具问题的，但必须意识到，EEG也诱发了fMRI数据中的伪影。BOLD信号相对较小——对于一项主动任务，信号变化仅为1-5%。脑电导线和头皮电极的存在增加了磁场的不均匀性，从而导致BOLD信号的信噪比降低。在大多数情况下，可以使用偏置场校正技术来提高BOLD数据的信噪比。

总的来说，在过去十年左右的时间里，大量的研究和技术发展已经提出了很多消除伪影、减少噪音和预处理脑电图-功能磁共振记录数据的解决方案。考虑到这些解决方案使高信噪比数据成为可能，这里我们将重点放在如何将它们融合在一起，从而深入了解大脑功能。

3.融合EEG-fMRI

背景

非对称融合是指将一个模态的信息作为另一个模态的先验或加权。例如，EEG信息(如振幅、频率和相位)可以作为BOLD预测因子纳入fMRI的一般线性模型(GLM)分析。这种基于脑电图的功能磁共振分析常常利用单试次的脑电图变异性。单试次的脑电图变异性可以在试次的时间跨度内获得不同的时间间隔，从而使fMRI激活的时间顺序成为可能。相反，fMRI激活图可以作为脑电源定位的空间约束。磁共振脑电信号分析通过限制脑电信号反问题中的源空间，提高了脑电信号定位的空间特异性。

当脑电与功能磁共振成像信息相等时，融合是对称的。模型驱动的对称融合试图对共享但未观察到的神经状态进行建模，从而产生脑电图和功能磁共振成像记录。例如，一些研究利用状态空间模型，通过自身的生物物理生成过程，将潜在神经动力学的时间演化与EEG和fMRI联合观察相联系。这种类型的模型旨在通过EEG和fMRI观察直接推断共享的潜在大脑状态。数据驱动的对称融合是指利用独立分量分析(ICA)和线性回归等机器学习方法将脑电和功能磁共振成像(fMRI)融合在一个共同的特征空间中。这些方法通常不采用关于脑电图和功能磁共振成像的生理学假设。例如，在基于ICA的脑电-功能磁共振融合中，时域脑电信息和空间功能磁共振信息被连接成一个单一的特征矩阵，并在被试之间进行联合ICA分解。

非对称融合方法对脑电图和功能磁共振成像的协变性有很强的先验假设，但通常会产生易于解释的结果。数据驱动方法可以灵活扩展，以实现脑电图-功能磁共振成像与其他模式的集成，因此更适合于探索性数据挖掘任务。模型驱动的方法直接模拟脑电图和功能磁共振成像之间的神经血管耦合，因此是非常强大的工具；然而，由于所涉及的数值方法的计算复杂性，这类模型的推断是非常具有挑战性的。接下来，我们将展示每种数据融合方法的优点，并根据具体研究问题的性质考虑这些方法。

非对称融合

以脑电图为基础的fMRI方法是将两种方法结合使用最广泛的方法。这些方法假定脑电图和功能磁共振成像的神经基底之间存在一致的关系。为了在功能磁共振成像分析中利用脑电图信息，首先从脑电图数据中提取感兴趣的特征，然后使用其构建回归器来解释功能磁共振成像数据中显示的方差。例如，在事件相关的脑电-功能磁共振设计中，事件相关电位(ERP)的特征可以从脑电图中提取。在单试次中，特征值被用来调节回归时间过程中的事件振幅，在回归时间过程中，每个事件被建模为一个阶梯函数，持续时间和开始时间与每个刺激呈现一致。在体素层面的GLM中，回归器的时间过程通常与fMRI的血流动力学响应功能卷积。值得注意的是，该方法假定脑电图特征与BOLD反应呈线性关系，这是神经活动和血流动力耦合的一种表现。

提取的ERP特征的变化将受到脑电神经基底σEEG的驱动，这有助于得到与fMRI(σc)共享的信息和脑电(σfMRI−)独有的信息。由于很难从σEEG中分离出共同的神经底物σc的贡献，脑电图回归器解释的功能磁共振数据的方差可能归因于与功能磁共振正交的神经底物。这可能会导致在脑电图信息的fMRI分析中对fMRI结果的偏差解释。尽管脑电图回归器的解释能力受到脑电图伪影和血流动力学反应(神经血管解耦)的潜在神经活动的干扰，但脑电图回归器的价值来自于传统fMRI分析所缺乏的额外的时间特异性。不同形式的脑电图特征可以使用单变量或多变量方法提取，这取决于有关脑电图-功能磁共振关系的兴趣问题和潜在假设。我们集中讨论事件相关的脑电图-功能磁共振成像研究。事件相关设计的一个有用方法是从试次时间跨度内不同时间窗的多电极脑电图信号中提取单试次变异性。这些脑电图成分通常表现出与不同的神经底物相对应的一次又一次的变异性。通过构造参数脑电回归模型，可以实现不同神经基底的时空动态解。

到目前为止，这种类型的融合是文献中最普遍的，它已被用于研究广泛的认知过程。例如，Fouragnan等人(2015)使用这种方法推断在强化学习任务中与结果效应相关的网络动态。在传统的功能磁共振成像研究中，人们通常会对比反馈锁定的数据，这些数据来自积极结果试次和消极结果试次。这反过来又导致了一组分布的差异激活(图3a)。然而，神经网络不仅仅是局部的激活，而且还必须根据它们的相对时间和相互作用来定义。此外，分类对比——比如这里所描述的只能揭示相对的差异，而没有信息表明个体情况能够在多大程度上独立地解释功能磁共振成像信号。

图3 强化学习中的不对称脑电图-功能磁共振融合：

(a)对阳性和阴性结果试次的常规fMRI对比显示出一组高度分布的(尽管是静态的，要注意的是这里的“静态”是从结果相减后已经失去不同脑区之间动态关系的角度来声明它的“静态”特点的，而不是像静息态那样)大脑活动。一些大脑区域对积极结果的反应强于对消极结果的反应(红色组)，反之亦然(蓝色组)。

(b)从区分结果效价的两个时间上不同的脑电图成分中提取的STV(分别用于阳性和阴性结果)用于调节四种不同的fMRI预测因子(早期阴性、早期阳性、晚期阴性和晚期阳性)来暂时分离图a中所示的激活。蓝色簇主要由STV调节，在早期脑电图中，只有阴性结果。

缩写：脑电图、EEG；ERP与事件相关电位；fMRI，功能性磁共振成像；STV，实验不会变化。

为了解决这些问题，脑电信息的fMRI利用电生理衍生的时间成分的单试次变异性来梳理fMRI中相关神经过程的级联。在这个例子中，Fouragnan等人(2015)报道了在快速连续反馈220和300毫秒后出现的两种区分阳性和阴性结果的时间特异性脑电图成分。利用这些组成部分的残余试次，作者可以引入4个独立的功能磁共振成像预测器——每个早期/晚期脑电图组成部分和阳性/阴性结果试次。在这样做的过程中，他们能够解耦在常规fMRI对比中观察到的激活，从而提供潜在网络相互作用的时间顺序(图3b)。

具体地说，他们揭示了一个快速(早期)系统的存在，该系统包括与产生自主唤醒状态有关的区域。相反，一个更深思熟虑的(晚期)系统沿着消极和积极结果的完整连续体作出反应，并与在奖励处理和价值导向学习中发挥关键作用的大脑区域相关联。

至关重要的是，在这两个系统中，原始的功能磁共振成像对比中都缺少了额外的脑节点，这进一步强调了脑电图衍生的功能磁共振成像预测器的内源性变异性，与刺激或行为衍生的测量相比，可以提供额外的解释。同样，这种基于EEG的功能磁共振成像分析的一个潜在的重要的优点是它可以在更深处显示激活的皮层下结构。

最后，分离出早期和晚期系统后，作者可以对如何描述两个系统内和跨系统的节点交互做出更明智的决定。特别值得注意的是一种可靠的丘脑纹状体相互作用，即丘脑(早期系统)在出现负面结果后下调(晚期系统)腹侧纹状体的活动，这与价值更新机制的理论模型一致。相应地，表现出更强的丘脑纹状体耦合的个体表现出更高的切换行为率和更强烈地权衡近期负面结果的倾向。

在另一个例子中，Muraskin等人(2018)使用脑电图信息fMRI提供了快速感知(视觉)决策的动态网络重建。决策依赖于神经活动的协调模式，这些神经活动层叠在早期感觉区域和高级执行系统之间，从感知刺激的开始到最终做出选择的最终承诺，都是及时展开的。实验范式通常包括对决策难度的参数化操作(通过对外部刺激难度的调整)，并依靠功能磁共振成像(fMRI)对比容易和较难的试次来揭示潜在的网络。

然而，这种方法生成了对刺激证据水平敏感的所有大脑区域的激活图，而不管它们的时间和反应的(功能显著性)差异。与这一缺点相一致的是，作者证明了基于感觉证据数量的传统fMRI预测器会导致跨越整个大脑结构层次的广泛的静态激活(图4a)。

图4 知觉决策过程中的非对称脑电图-功能磁共振成像融合：

(a)传统的fMRI对比高刺激-证据(简单)和低刺激-证据(困难)试次，揭示了一组高度分布的静态的大脑激活。一些大脑区域在简单的测试中比在困难的测试中表现出更强的反应(红色组)，反之亦然(蓝色组)。

(b)在编码模型中使用从连续脑电图组鉴别易与难试次的单试次变异性来预测fMRI中逐试次变异性，从而通过对个体体素进行时间标记来解耦面板a中的激活。插图显示了在决策过程中不同时间点的大脑节点的重新激活情况。考虑到功能磁共振成像信号的迟缓特性，在传统的功能磁共振成像分析(单一预测器)中，这些再激活会相互抵消。

和前面的例子一样，该文章的作者首先在刺激开始和反应之间的时间间隔内，从脑电图成分中提取了一个又一个试次的可变性，以区分容易和困难的试次。虽然在整个试次过程中有区别的信息持续存在，但随着时间的推移，每个试次的变异性不同地解耦，表明了不同过程的级联。这种连续的电生理(内源性)变异性随后被用来用一个或一组时间，通过一个适合预测一次又一次fMRI信号变异性的编码模型，对单个fMRI体素进行独特的标记。

这个脑电图信息标记程序显示了一个连续的大脑活动的进程，它在刺激出现后不久开始，同时沿着背侧和腹侧视觉流进行，并在刺激后持续大约250ms。在此之后，级联变得更加复杂，并在顶叶皮层和内侧前额叶皮层的参与区域持续展开，直到反应时刻(图4b)。这些区域与文献中先前的报道大体一致，然而，这种方法能够以一种以前只有侵入性技术才能实现的方式将时间顺序分配给底层的大脑网络。

这项工作的另一个关键结果是，一些相关的脑节点似乎在反应后不久被重新激活。重要的是，这种反激活模式在常规的功能磁共振成像分析中(只有一个难度预测器)会随着时间的推移而被整合，并被抵消。虽然这种类型的再激活模式被认为对记忆巩固和决策后元认知评价很重要，但在人类中缺乏直接证据。

在这项研究中，Muraskin等人(2018)可能将这种再激活模式的强度与决策信心的代理关联起来，并证明这种关联在更困难的试次中更强，并且它主要是由前侧前额叶皮层参与元认知判断的区域调节的。因此，该分析提供了具体的证据，在做出和执行知觉决策的过程中，大脑可能会回放活动，以发展与学习和适应行为相关的准确元认知表征。

以上两个例子都清楚地说明，基于脑电图的功能磁共振成像(fMRI)可以得到一系列丰富的观察结果，而不仅仅是通过每一种模态所推断的结果。反过来，这些观察可以帮助修正现有的理论，并引入新的可验证的预测。验证已识别网络的存在和精确作用受益于技术的互补，包括功能磁共振成像和脑磁图(尽管不是同时进行的)的结合，以及更具侵入性的电生理实验(例如，人类的皮质电描记术或动物的深度电极记录)。此外，很明显，利用电生理变异性来驱动功能数据的分析，可以用于将神经信息处理的时间动态映射到空间明确的网络，从而使新的见解和神经科学发现成为可能。

对称融合

对称融合技术将脑电和功能磁共振成像的信息进行均衡融合，以避免由于不均衡使用各模态信息而导致的推断σc的偏差。对称融合可以进一步分为模型驱动和数据驱动两种方法。在模型驱动的方法中，脑电图和功能磁共振成像被整合在一个共同的概率框架中，它们共享的神经基底σc通过它们自己的生物物理生成过程明确地转化为脑电图和功能磁共振成像的观察结果。虽然这种方法允许直接建模和推断σc，但也存在一些挑战，包括脑电图和功能磁共振成像的正向模型的选择；脑电、功能磁共振成像与神经元反应的时空维数不匹配以及模型有效反演存在难点。人们一直在努力开发神经血管耦合生物物理模型的理论框架。例如，Riera等(2007，2006)提出了一种贝叶斯局部电活动-血流耦合模型，通过同时使用EEG-fMRI数据推断未知的神经状态。Daunizeau等人(2007)提出了一种变分贝叶斯方法，从事件相关的生物电和血流动力学反应推断常见的脑电图-功能磁共振成像来源。在他们的生成模型中，EEG源与fMRI源共享一个空间剖面。

与模型驱动方法相比，数据驱动方法避免了对神经血管耦合的显式生成模型的需求。它们依赖于机器学习算法，这些算法在脑电图和功能磁共振成像(fMRI)的特征空间中运行，通常对常见的神经基底σc不作具体假设。因此，通过脑电图和功能磁共振成像的信息充分检查，以揭示他们之间可能共享的协方差。数据驱动方法的一种方法是考虑分类分析，其中分类器在个体模式的空间中接受训练，但通过函数进行连接，鼓励试次到试次的相似性。例如，在给定的多模态数据集(E1，F1，y1)，...，(EN，FN，yN)，中，在每一个试次i，我们有pE脑电特征Ei∈RpE，pffMRI数据Fi∈RpE，还有一个实验标签yi编码信息，例如，刺激条件。为了简单起见，考虑二元判别的情况yn∈{0，+1}，每个模态都有任意的特征；例如，Ei可能是给定时间窗的电极电压或特定频段的频谱功率，而Fi可能是感兴趣区域体素的BOLD响应。然后，该方法专注于平衡两个目标:(a)在每个模态中设计可以预测试次标签的多元分类器；(b)让这些分类器共享试次到试次变异的相似模式——也就是说，每个模态的预测输出应该是相关的。

在Conroy等人(2013)的研究中，作者评估了脑电图和功能磁共振分类器对称连接与不连接之间的差异。利用Muraskin等人的EEG-fMRI数据，他们发现，除了右侧额上回之外，非连接方法识别出了非常相似的区域。这表明，增加的多通道相关性不是通过识别新的区域来解释的，而是通过改变网络中的模式来解释的，在这种情况下，这些模式与任务难度有关。

其他类型的对称融合方法使用从每个模态(如脑电图功率、功能磁共振成像的多体素模式分析)中提取特征的技术，然后在一个又一个试次的基础上直接关联这些特征。在另一个对称脑电图-功能磁共振融合的例子中，Griffiths等人(2019)提供了关于人脑中α/β振荡作用的新视角。Griffiths等人(2019)提出了另一种解释，即α/β去同步可以作为信息处理的表征，与任务诱导的神经元噪声相关性降低相一致。参与者参与了一项联想记忆任务，他们必须生动地想象，将一个单词(名词)与先前呈现的动态刺激配对。在一个单独的检索任务中，参与者首先看到同一个名词，然后必须报告这个词与之前的哪个视频配对。神经数据的分析以一种对称的方式进行，首先，EEG和fMRI数据被独立分析，以产生与任务相关的表征，随后使融合成为可能。

对fMRI数据进行表征相似性分析，通过估计匹配与不同视频的神经模式之间的差异，量化刺激特定信息的水平。在编码过程中，显著的模式出现在视觉枕区以及额叶和颞叶簇中，这些簇与刺激的高级概念化有关。在提取任务中，神经模式与编码任务比较，刺激特定信息出现在双侧梭状回区域。

利用波束形成技术在源空间进行脑电图分析。作者报告了在编码任务中，枕叶区域相对于刺激前基线alpha/beta功率下降(去同步化)。相应地，在提取任务中对比回忆和遗忘试次时，在腹侧视觉区域(包括梭状回)也观察到alpha/beta功率下降。有趣的是，在fMRI分析中，这些区域与那些传递特定刺激信息的区域有很大的重叠。

Griffiths等人(2019)利用这些重叠区域的活动，在脑电图(EEG)的alpha/beta功率估计和功能磁共振成像(fMRI)的刺激特定信息水平中进行了试次相关性计算，从而实现了两个数据集的对称融合(图5)。他们发现这两项指标之间存在负相关关系，这表明alpha/beta能量的下降可以被认为是信息处理的一个表征。他们进一步指出，这些能量的下降并不携带有关刺激本身的表征信息，而是提供了有利条件(即低神经元噪声环境)，在此条件下，相关刺激的内部表征可以出现。

图5 联想记忆任务中的对称脑电图-功能磁共振融合：分别分析脑电图和功能磁共振成像数据，量化脑电图(绿色)和不同刺激之间的多变量功能磁共振成像模式的相似性(蓝色)，以编码和检索联想记忆。然后，每个神经成像模式的试次测量直接相关，揭示脑电图的功率下降与反映在功能磁共振成像的表征相似性水平。

具体来说，Griffiths等人(2019)通过将一种具有功能意义和公认的电生理现象(即频谱振荡的变化)与功能数据中刺激表征的变化联系起来，为人类大脑信息门控的功能结构提供了新的见解。

4.未来方向

超高磁共振场的脑电图-功能磁共振成像

大多数脑电图-功能磁共振实验都是在MR场强为3T或更低的情况下进行的，尽管更高的场强提供的空间分辨率可以在皮层的层级尺度上进行测量。例如，3T时的EEG-fMRI研究提供了证据，表明皮层脑电图振荡存在皮层特异性依赖，这可能有助于深入了解皮层特异性前馈和反馈过程。然而，超高场(≥7T)可以在介观尺度上提供更好的分辨率。尽管用于人脑成像的超高场磁共振系统正在开发和部署，但一个明显的问题是，在这些更高的领域中，伪影和电极过热带来的安全性更受关注，同时进行脑电图测量是否可能也存在问题。包括我们自己在内的一些团队一直在解决这些问题，并为超高场EEG-fMRI开发解决方案(见图6)。考虑到这种血流动力学信号的空间分辨率测量，结合并行的脑电图测量，将对人类大脑功能的中尺度动态产生深入的了解。

图6 格拉斯哥大学正在开发脑电图(EEG)-7T功能磁共振成像系统

靶向神经刺激和基于干扰的神经成像

光遗传学通过实现对清醒的行为动物的神经活动的高度特异性控制，彻底改变了神经系统的研究。它为研究人员提供了一种直接扰乱神经回路的工具，从而为推断神经活动和行为之间的因果关系提供了一条新的途径。尽管光遗传学在神经科学中是一个令人兴奋和重要的工具，但它的应用目前仅限于动物模型。

对人类来说，对神经活动的直接操作通常是通过神经刺激来完成的。无创神经刺激在很大程度上是基于经颅磁刺激(TMS)、经颅电刺激或最近的聚焦超声的系统。人们对开发能够精确定位这些刺激模式的系统越来越感兴趣。例如，集成的EEG-TMS系统被用于提供时间精度和定位，即通过触发刺激，给定脑电图动力学。相反，fMRI-TMS系统关注的是空间精度，目的是确定在局部刺激时哪些网络和远端节点受到影响。包括我们在内的一些团队最近一直在致力于开发综合脑电图-功能磁共振-磁刺激系统。这些系统的一个直接应用是优化神经刺激疗法的目标，例如，TMS治疗重度抑郁症。然而，这种集成系统也可能对人类神经科学研究人员有广泛的用途，因为它可以根据特定的刺激模式观察整个大脑的时空动态。最终，这些系统可以被设计成闭环系统，这样它们将支持主动实验设计和自适应采样，将该领域转变为基于扰动的神经成像方法，从而更直接地探索人类大脑活动和行为之间的因果推理。

脑电-功能磁共振融合的深度学习模型

随着脑电图-功能磁共振成像(EEG-fMRI)的使用越来越普遍，更多的数据将用于开发依赖于大数据集的复杂机器学习模型。例如，深度学习提供了一种令人兴奋的方法来考虑如何融合脑电图-功能磁共振成像。尽管深度学习模型通常被认为是一个黑盒子，难以解释，但这些模型在某些方面与脑电图-功能磁共振成像融合问题非常匹配。例如，卷积神经网络(CNNs)实现时间和/或空间卷积运算符，这些运算符在形式上与线性化的正向模型相似，后者通常用于将神经源映射到脑电图和功能磁共振成像测量空间。然而，CNNs的优势在于能够学习非线性表示，它们可以将两种形式联系起来，从而在映射中提供灵活性。例如，我们的团队利用了这个想法，建立了一个对称的神经转码器融合系统，它使用CNNs从一个模态映射到另一个模态，通过将数据编码到一个潜在的源空间，然后解码到另一个替代模态。仿真结果表明，该方法能够在脑电图的时间分辨率下学习潜在源空间，但空间分辨率接近于功能磁共振成像，并能从给定的新测试数据中生成一种模式。鉴于深度学习方法的持续发展和脑电图-功能磁共振成像数据的可能增加，与脑电图-功能磁共振成像融合相关的其他深度学习发展很可能即将出现。

总结：

总而言之，同步脑电-功能性磁共振成像(EEG-fMRI)技术方法在过去的十年获得了极大的提升，为未来结合使用两种技术方法在高时间、空间分辨率上分析大脑的神经过程提供了更有力的工具。在脑电图-功能磁共振神经成像同步分析的路径上，存在对称融合和不对称融合两种方法，每种方法都有自己的优势，但从当前的使用经验来看，不对称融合方法有更加成熟的技术应用，而对称融合方法则更加依赖复杂的计算建模和机器学习方法，在未来，开发高场强fMRI-EEG技术、多模态融合采集技术和深度学习的对称融合方法等都可能给本领域的发展带来极大的推动。