卡内基梅隆大学贺斌教授团队：非侵入式脑机接口的深度学习解码
卡内基梅隆大学贺斌教授团队一直寻求侵入性脑机接口（BCI）的可行替代方案。2019 年，该研究小组利用非侵入式 BCI 首次成功演示了意念控制机械臂持续跟踪计算机光标的能力。
近日，贺斌教授团队的一项研究成果发表在《PNAS Nexus》杂志上。该研究利用深度学习解码器提高了BCI对用户的响应性能，用户正在用光标追踪二维空间中的一个物体。该研究小组证明，人类完全可以通过意念来控制对移动物体的持续跟踪，而且性能非常不错。
与侵入性脑机接口(例如Neuralink或Synchron)相比，非侵入性脑机接口带来了许多优势。这些优点包括安全性、成本效益的提高，以及可供众多患者和一般人群使用的能力。然而，无创脑机接口面临着挑战，因为它们的记录不太准确，难以解释。
在这项研究中，一组28名人类参与者接受了一项复杂的BCI任务，即通过思考在二维空间中追踪一个物体。具体来说，参与者被要求想象用右手向右移动光标，用左手向左移动光标，同时用两只手向上移动，同时移动两只手向下移动光标，以实现虚拟物体的连续、持续移动。
脑电图脑机接口示意图。A) BCI设置，其中用户与计算机交互，并记录其意图并从脑电图中解码。B)脑机接口的运动想象控制范例。C) DT和CP脑机接口任务的说明。
在任务过程中，研究人员利用脑电图（EEG）方法从大脑外部记录了他们的活动。利用人工智能训练一个深度神经网络。研究小组随后使用BCI传感器数据直接解码和解释连续物体运动的人类意图。研究人员对两种不同的深度学习架构和一种传统解码器进行了评估，共进行了七次BCI训练。在整个研究过程中，两种深度学习解码器都有所改进，并在最后一个环节中表现优于传统解码器。
除了为 CP 任务实施 EEGNet 外，我们还选择在在线实验中测试另一种架构。为此，我们调整了PointNet架构用于BCI解码。PointNet架构是围绕任务的点云表示设计的，作为提取空间模式或特征的输入。在其他领域，这个点云可以是组成3D场景的点的集合，但在这里，我们使用电极的集合和它们在空间中的3D位置(相对于彼此)作为点云。
DL架构。A)本研究使用的EEGNet的实施情况。B)我们提出的点云架构，适用于BCI解码。
我们实现的 PointNet 架构如上图所示。模型从频谱输入开始，依次经过三个集合抽象层、一个全连接层、批处理归一化、一个RELU激活函数、dropout(40%)，最后一个完全连接层。
研究小组随后使用BCI传感器数据直接解码和解释连续物体运动的人类意图。研究人员对两种不同的深度学习架构和一种传统解码器进行了评估，共进行了七次BCI训练。在整个研究过程中，两种深度学习解码器都有所改进，并在最后一个环节中表现优于传统解码器。
总之，这项工作证明了无创BCI 在脑控计算机设备方面的卓越性能。
研究人员表示：“借助人工智能技术的创新，相对于传统脑机接口技术相比，我们大大提高了脑机接口的性能，为未来广泛的人类应用带来了曙光。”
参考：
https://academic.oup.com/pnasnexus/article/3/4/pgae145/7656016?login=false