人工智能技术极大地提高了大脑信号解码的准确度，让基于视觉、听觉等神经信号的应用逐渐变为现实。2011年，由美国加利福尼亚大学伯克利分校杰克•加伦特（Jack Gallant）教授领导的一组神经科学家开展了一系列具有开创性的实验，这些实验使用功能磁共振成像（fMRI）读取躺在脑部扫描仪中的被试者视觉皮层中的大脑活动模式，并试图重建出被试者所观看到的电影片段。从那时起，世界各地的科学家便采用类似的实验开始研究如何解码人脑信号、重建视觉内容。![]()
2012年年底，日本京都大学的研究人员证实，使用功能磁共振成像可以准确解码梦中的视觉内容。随后，多个研究小组开始使用脑部扫描信号解码技术帮助脑部受损患者进行交流。功能磁共振成像和其他脑部扫描技术可为患有多种神经系统疾病的患者提供诸多帮助。通过大脑扫描和解码技术，研究人员不仅可以为瘫痪的患者开发用于交流的语音合成器，还可以解码某人正在经历的疼痛程度、类型以及某人正在看到或者正在想象的视觉画面或文字等。除了可以帮助诊断和治疗神经系统疾病外，这些技术还有望提高人们对大脑的认知。2016年，加伦特领导的研究小组进一步深化了与语音相关的大脑活动模式的解码研究工作，并揭示该研究工作的最新进展。该研究小组选取了7名被试者，每名被试者同时收听10个故事，每个故事为10～15分钟。他们使用功能磁共振成像扫描了这7名被试者的大脑，通过将扫描的脑活动模式与从近1 000个常见英语单词集中观察到的活动模式进行比较，从而解码与单词含义相关的大脑活动模式。这些相似之处使他们能够创建大脑语义“地图”，以显示特定的单词含义在大脑中的编码位置。这表明相关的语义概念分布在相同的大脑区域中。这项研究很重要，因为它表明我们的大脑使用相似的代码表示相近的含义，且在人群之间具有普遍化效应。这为大脑解码系统提供了实用性的论据，因为这意味着我们无须从零开始就可以解码某个人的大脑信号。目前，神经解码的研究范畴不断在扩展，包括听觉神经解码、主观疼痛状态解码、视觉神经解码等，这些在当前解码技术的助推下取得了诸多进展。大脑信号解码技术已经被用于开发脑机接口，以用于诸如语音假肢的开发，这些语音假肢可以将大脑的活动模式转换为可理解的语音。解码与语音相关的大脑活动模式具有极大的挑战性，因为语音需要对口和喉中的声道肌肉进行复杂、精确和快速的控制。虽然语音假肢已经开发了多年，但重建出的语音质量一直不是很理想，许多瘫痪的患者仍旧依赖其他交流方式，如测量头部和眼睛运动的设备、通过光标来拼出单词的设备等。为此，研究人员越来越多地使用基于深度学习的人工智能技术，更准确地解码与语音相关的大脑活动模式。
最近有两项研究结果显示，听觉皮层神经活动的解码准确性以及从神经活动中重建出的语音质量均得到显著提升。一项研究为，2018年美国哥伦比亚大学的研究人员将深度学习的最新进展与先进的语音合成技术相结合，从听觉皮层活动中重建出了高质量语音。研究人员将高密度的电极网格直接放置在大脑左颞叶上，从而使研究人员可以解码正在聆听简短故事的患者的大脑活动模式。在技术上，研究人员设计了一种深度神经网络算法，从大脑活动中提取关键特征并将其与先进的语音合成算法相结合，重建患者听到的语音。相比之前的研究，这项研究的准确性更高。另一项研究为，2019年美国加利福尼亚大学旧金山分校的研究人员通过深度学习方法直接从大脑信号中产生含150个单词的句子。在这项工作中，研究人员使用了一种通过高密度皮层脑电图的技术跟踪志愿者在进行表达时大脑中控制言语和发音器官运动区域的活动模式。为了重建话语，研究人员不是将大脑信号直接转换为音频信号，而是使用一种两级解码的方法：他们首先将神经信号转换为声道发音器官的运动模式，然后将解码的运动模式转换为句子。这项研究代表了语音假肢发展方面的重大飞跃，以接近正常语音的速度与瘫痪患者进行交流。慢性疼痛是世界范围内导致残疾的主要原因之一，但它极难控制。由于无法客观地衡量慢性疼痛，医生必须依靠患者的自我报告进行诊断。
在研究解码疼痛状态的进程中，研究人员一直在使用功能磁共振成像和机器学习技术识别慢性疼痛难以捉摸的神经系统“特征”。2013年，美国科罗拉多大学的研究人员开发出一种灵敏度高、特异性高的用于区分疼痛和非疼痛程度的解码方法。在这项研究发现的基础上，他们采用相同方法解码了一个人正在经历的灼热或剧烈疼痛的程度，并且确定了与慢性疼痛相关的大脑活动模式，这似乎与由伤害性疼痛引起的大脑活动模式不同。研究人员充分意识到这些技术隐含的意义，并希望通过他们的方法能够进一步了解疼痛的大脑机制。尽管现有的视觉信息解码模型在对大脑信号的分类、识别任务上表现良好，但是试图通过大脑视觉皮层信号精确重建视觉刺激内容仍然非常困难。为此，研究人员通过人工智能技术开启了对视觉大脑活动模式解码的研究工作。研究结果显示，大脑活动模式重建的准确性可以在人工智能技术的助推下越来越高。最近，又有研究人员利用深度学习方法从大脑活动中解码视觉刺激内容。例如，研究人员利用卷积神经网络已经实现了对感知图像精确地重建，这使得人们对人脑神经表征的功能有了新的认识。
实际上，在大规模图像数据集上预训练的卷积神经网络的层次视觉特征已经在神经解码领域中被用来近似代替人类视觉系统的神经表征。2017年，美国普渡大学的研究人员利用卷积神经网络重建被试者在功能磁共振扫描仪中观看的电影片段，而不必将解码后的活动模式与之前生成的其他活动模式进行比较。2018年，日本京都大学的研究人员使用了预训练的卷积神经网络来解码和重建看到的、想象的视觉图像的神经活动。同年，我们研究团队提出了一种基于贝叶斯深度学习的视觉神经信息解码方法，能够根据记录到的脑活动信号重建被试者所感知到的视觉刺激内容，如手写数字、字母等图案。2020年，针对复杂自然视觉刺激的神经信息解码问题，我们团队又提出了一种结构化神经信息解码方法（如图所示）。该方法包括两个级联阶段：在第一阶段，我们构建了一个同时考虑输入体素、解码任务和输出节点之间的协方差结构的结构化多输出回归模型；在第二阶段，我们开发了一种自省条件生成模型，这种模型可以很容易地被训练，用于生成高质量的重建图像。通过结构化神经信息解码方法，我们可以揭示多个典型计算机视觉模型与人脑腹侧视觉通路在层次化特征表达方面的联系。基于上述联系，我们可以清晰地重建出被试者所感知到的复杂自然图像和人脸刺激内容。![]()
此外，像神经链接（Neuralink）和脸书（Facebook）这样拥有大量资源的公司也都在进行神经解码研究，他们的目标是将神经解码技术简单化，从而使其可以用于可穿戴设备。我们团队的愿望是实现科幻小说中梦寐以求的东西：用神经解码技术解读大脑。然而，从某种意义上来说，将神经解码技术用于解读人的思想会侵犯人的隐私。虽然现在的神经解码技术还未能准确地解读人的大脑，但是在未来或许这些技术可以做到这一点。倘若这个目标真的实现了，我们还需要考虑如何规范其应用。
杜长德，中国科学院自动化研究所博士。
何晖光，中国科学院自动化研究所研究员，博士生导师，中国科学院大学人工智能学院脑认知与智能医学教研室主任、岗位教授，中国科学院脑科学与智能技术卓越中心团队成员。中国图象图形学会视觉大数据专委会及机器视觉专委会常务委员，电气和电子工程师协会高级会员，中国计算机学会计算机视觉专委会委员。
![]()
点击"阅读原文"购买杂志