Page 207 - 《软件学报》2021年第12期

陈景霞 等:基于混合神经网络的脑电时空特征情感分类 3871

相比,该方法具有较高的平均精度.Soleymani 等人 [17] 提出利用 LSTM-RNN 和连续条件随机场(CCRF)算法,从被
试的脑电信号和面部表情即时检测被试观看视频时情感状态的方法,取得了较好的效果.Salama 等人 [18] 采用一
种三维卷积神经网络(3D-CNN),针对多通道脑电图数据进行情绪识别,在效价和唤醒上的识别准确率分别为
87.44%和 88.49%.本文作者也曾采用深度 CNN 模型 [19] ,基于 DEAP 数据集 EEG 信号时域、频域及其组合特征,
端对端自学习这些特征的高层抽象表示,在效价和唤醒度上的分别取得了 88.5%和 86.7%的识别准确率.在文献
[20]中,我们还采用了一种基于注意力机制的多层双向 GRU(gated recurrent unit)模型对 DEAP 数据集中连续的
EEG 序列信号进行情感识别.实验证明,该模型能够有效降低 EEG 序列长时非稳定性对情感识别的影响.上述
这些方法都在一定程度上提高了 EEG 情感分类的性能,但是还没有一种模型能够有效地在空间、时间和频域
上同步学习脑电信号情感相关的判别性特征,进一步提高基于 EEG 的情感识别的准确率和鲁棒性仍然面临较
大的挑战.
本文提出一种新的脑电图数据表示方法,将一维链式 EEG 序列转换成二维网状矩阵序列,使矩阵结构与
EEG 电极位置的脑区分布相对应,以此来表示 EEG 信号物理上多个相邻电极之间的空间特征.再应用滑动窗采
样的方法将二维矩阵序列分成一个个等长的时间片段,作为新的融合了 EEG 时空相关性的数据表示.本文还提
出了级联卷积-循环神经网络(CASC_CNN_LSTM)与级联卷积-卷积神经网络(CASC_CNN_CNN)这两种深度
学习模型,二者都通过 CNN 卷积神经网络从转换的二维网状 EEG 数据表示中捕获物理上相邻脑电信号之间的
空间相关性,而前者通过 LSTM 循环神经网络学习 EEG 数据流在时序上的依赖关系,后者则通过 CNN 卷积神
经网络挖掘局部时间与空间更深层的相关判别性特征,从而精确识别脑电信号中包含的情感类别.

1 本文提出的方法

1.1 二维EEG网状特征转换

基于 EEG 的情感脑-机接口系统通常使用便携式可穿戴的多通道电极帽采集 EEG 信号,当被试者观看刺激
视频时,电极帽上的传感器捕获被试大脑头皮电流的波动情况.本文提出的 EEG 信号采集与特征转换的总体流
程如图 1 所示,其中,EEG 电极地图显示了一种 BCI 常用电极帽上的电极位置分布.不同 BCI 系统的脑电记录通
道数量不同,其电极的分布也有所不同.

Fig.1 EEG data acquisition and pre-processing process
图 1 脑电数据采集和预处理流程

EEG 采集系统获取的传感器读数表示一定采样频率下的脑电信号时间序列.通常,时间点 t 采集的原始
1
EEG 信号用一个一维数据向量 X = [,xx t 2 ,...,x t nT n t
] 表示,其中,n 表示采集系统的通道总数, x 表示第 n 个电极通
t
t
道在第 t个时间点的读数.对于观测时间段[t,t+N−1],共有 N个一维这样的数据向量,每一个向量都包含 n个元素,