让机器更可靠地读懂情绪:开源脑电工具箱助力标准化评测 | NSR

来自清华大学、西安交通大学和同济大学的研究人员开发了EEGEmoLib,这是一个开源的Python工具箱,旨在使基于脑电图(EEG)的情绪识别更加标准化、可解释和可复现。相关工作发表于《国家科学评论》(National Science Review),它融合了领域综述、对照基准实验与可直接使用的软件工具。
情绪会影响注意、决策和社会互动,但面部表情、语音等外显线索可能受到人为控制。脑电图通过头皮电极记录大脑电活动,为研究较难主动伪装的神经反应提供了无创手段。然而,脑电信号噪声大、随时间变化明显,而且个体差异显著。既有研究采用的数据集、预处理流程和训练测试划分方式也不统一,使不同论文报告的识别准确率难以直接比较。
EEGEmoLib将完整研究流程组织为四个模块:数据集、特征提取、特征选择和识别模型。当前版本统一支持8个公开数据集、18类人工设计特征、11种特征选择方法、5种传统机器学习模型和15种深度学习架构,覆盖卷积网络、循环网络、图网络和Transformer等代表性方法。
与将情绪识别完全视为数据驱动分类任务的资源不同,EEGEmoLib还把心理学和神经科学发现转化为可调用的计算模块。该工具箱可建模不同脑电频段和电极位置的重要性,并构造反映左右脑半球差异的特征。研究人员因此能够在统一框架中检验这些具有生理依据的假设究竟在什么条件下有效。

从情绪刺激到机器识别:EEGEmoLib整体流程
该框架将情绪刺激、脑电采集与数据集、特征提取、特征选择、识别模型和标准化评测连接起来,并展示心理学及神经生理学知识如何转化为计算模块。
为在一致条件下比较模型,团队选取SEED、DEAP和SEED-V三个常用数据集,对7种代表性神经网络开展基准实验。评测同时覆盖受试者依赖(subject-dependent)场景和受试者独立(subject-independent)场景:前者的训练与测试数据来自同一个人,后者则要求模型识别在训练阶段从未见过的新个体。
在统一且不针对特定模型单独调参的训练设置下,基于Transformer的EEG-Conformer在受试者依赖任务中属于表现最强的模型之一。但当模型需要泛化到新个体时,结果发生变化:浅层网络或带有显式域适应机制的模型往往表现出更好的“开箱即用”稳健性。研究团队强调,这并不是对模型架构的绝对排名;复杂模型可能通过专门调参获得进一步提升,论文结论也仅适用于该研究评测的数据集、特征和协议。
实验还表明,神经生理先验有时能够提高识别性能,但效果取决于模型。让网络自适应学习不同频段或电极位置的权重,可改善多种架构的表现;显式表示左右半球不对称,对部分图网络和循环网络帮助尤其明显,而表示能力更强的Transformer模型可能已能在一定程度上自行学习这类结构。
通过提供统一的数据流程、模型实现、配置文件和评测协议,EEGEmoLib为复现既有研究和检验新方法提供了共同起点。该平台有望支持自适应人机交互、心理健康研究和实时情感反馈等方向,但研究团队指出,目前的工具箱属于科研平台,并非临床诊断系统。
EEGEmoLib已开源发布,项目主页为:https://eegemolib.github.io。
该研究得到国家自然科学基金资助。

文章信息

EEG-Based Emotion Recognition for Machine Intelligence: A Survey with an Open-Source Python Toolbox
National Science Review, nwag460, https://doi.org/10.1093/nsr/nwag460
颅内电极记录揭示人脑白质在工作记忆中的电生理动态与连接特征
NeuroCam:基于柔性薄膜晶体管阵列的4096通道植入式高通量脑机接口器件
服务于人智社会建设的“人—AI共情环路”构想

