Page 205 - 《软件学报》2021年第12期

软件学报 ISSN 1000-9825, CODEN RUXUEW E-mail: jos@iscas.ac.cn
Journal of Software,2021,32(12):3869−3883 [doi: 10.13328/j.cnki.jos.006123] http://www.jos.org.cn
©中国科学院软件研究所版权所有. Tel: +86-10-62562563

∗
基于混合神经网络的脑电时空特征情感分类

陈景霞, 郝 为, 张鹏伟, 闵重丹, 李玥辰

(陕西科技大学 电子信息与人工智能学院,陕西 西安 710021)
通讯作者: 陈景霞, E-mail: chenjx_sust@foxmail.com

摘 要: 提出一种脑电图(electroencephalograph,简称 EEG)数据表示方法,将一维链式 EEG 向量序列转换成二维
网状矩阵序列,使矩阵结构与 EEG 电极位置的脑区分布相对应,以此来更好地表示物理上多个相邻电极 EEG 信号
之间的空间相关性.再应用滑动窗将二维矩阵序列分成一个个等长的时间片段,作为新的融合了 EEG 时空相关性的
数据表示.还提出了级联卷积-循环神经网络(CASC_CNN_LSTM)与级联卷积-卷积神经网络(CASC_CNN_ CNN)这
两种混合深度学习模型,二者都通过CNN卷积神经网络从转换的二维网状EEG数据表示中捕获物理上相邻脑电信
号之间的空间相关性,而前者通过 LSTM 循环神经网络学习 EEG 数据流在时序上的依赖关系,后者则通过 CNN 卷
积神经网络挖掘局部时间与空间更深层的相关判别性特征,从而精确识别脑电信号中包含的情感类别.在大规模脑
电数据集 DEAP 上进行被试内效价维度上两类情感分类实验,结果显示,所提出的 CASC_CNN_LSTM 和
CASC_CNN_CNN 网络在二维网状 EEG 时空特征上的平均分类准确率分别达到 93.15%和 92.37%,均高于基准模
型和现有最新方法的性能,表明该模型有效提高了 EEG 情感识别的准确率和鲁棒性,可以有效地应用到基于 EEG
的情感分类与识别相关应用中.
关键词: 脑电图;情感识别;二维网状;时空特征;卷积循环神经网络;混合模型
中图法分类号: TP18

中文引用格式: 陈景霞,郝为,张鹏伟,闵重丹,李玥辰.基于混合神经网络的脑电时空特征情感分类.软件学报,2021,32(12):
3869−3883. http://www.jos.org.cn/1000-9825/6123.htm
英文引用格式: Chen JX, Hao W, Zhang PW, Min CD, Li YC. Emotion classification of spatiotemporal EEG features using
hybrid neural networks. Ruan Jian Xue Bao/Journal of Software, 2021,32(12):3869−3883 (in Chinese). http://www.jos.org.cn/
1000-9825/6123.htm
Emotion Classification of Spatiotemporal EEG Features Using Hybrid Neural Networks

CHEN Jing-Xia, HAO Wei, ZHANG Peng-Wei, MIN Chong-Dan, LI Yue-Chen

(School of Electronic Information and Artificial Intelligence, Shaanxi University of Science and Technology, Xi’an 710021, China)
Abstract: This study proposes a data representation of electroencephalogram (EEG), which transforms 1D chain-like EEG vector
sequences into 2D mesh-like matrix sequences. The mesh structure of the matrix at each time point corresponds to the distribution of EEG
electrodes, which could better represent the spatial correlation of EEG signals among multiple physically adjacent electrodes. Then, the
sliding window is used to divide the 2D mesh sequence into segments containing equal time length, and each segment is seen as an EEG
sample integrating the temporal and spatial correlation of raw EEG recordings. Two hybrid deep learning models are also proposed, i.e.,
cascaded convolutional recurrent neural network (CASC_CNN_LSTM) and cascaded double convolutional neural network
(CASC_CNN_CNN). Both of them use the CNN model to capture the spatial correlation between physically adjacent EEG signals from
the converted 2DEEG meshes. The former uses the LSTM model to learn the time dependency of the EEG sequence, and the latter uses
another CNN model to extract the deeper discriminative features of local time and space. Extensive binary emotion classification

∗ 基金项目: 国家自然科学基金(61806118); 陕西科技大学科研启动基金(2020BJ-30)
Foundation item: National Natural Science Foundation of China (61806118); Research Startup Foundation of Shanxi University of
Science and Technology (2020BJ-30)
收稿时间: 2020-04-02; 修改时间: 2020-05-21; 采用时间: 2020-07-20; jos 在线出版时间: 2020-12-02