Page 217 - 《软件学报》2021年第12期

陈景霞 等:基于混合神经网络的脑电时空特征情感分类 3881

以 2D-PSD 特征作为输入时,分类准确率分别达到了 91.02%和 92.84%,比以链式 PSD 特征作为输入的 2D-CNN-
V2,BILSTM(64)模型的 88.51%,88.89%分别高出 2.51%和 3.95%.唤醒度维度上的 PSD 特征经过维度转换后,分
类精度平均提高了 3.23%.就特征结构的改变对特征可分性的影响而言,唤醒度维度下,NORM 特征依然比 PSD
特征高出 2.145%.
结合表 3、表 4 可以发现:效价维度上 NORM 特征经过结构转换后,其分类精度提升了 5.85%;而在唤醒度
维度上,NORM 特征经过转换后提升的精度值为 5.375%.二者仅相差 0.475%.而效价和唤醒度维度上的 PSD 特
征经过转换后提升的分类精度分别为 2.775%和 3.23%,两者的差值也仅为 0.455%.
以上实验说明:在效价和唤醒度维度上,NORM 特征和 PSD 特征数据由一维链式结构转变为二维网状结构
后,特征的可分性都会得到提升;并且特征结构的转换对于只包含时域信息的 NORM 特征的影响大于包含时频
信息的 PSD 特征的影响;同时,对于 NORM 特征和 PSD 特征而言,当其分别处于效价和唤醒度维度上时,一维到
二维的特征结构变化为其分类精度带来的提高大致相同.
2.5 时间与空间信息对模型性能的影响
我们还比较了两种级联组合神经网络与其他几种基准神经网络的性能,来研究分析空间与时间信息对
EEG 情感识别的影响.通过比较 Casc-CNN-CNN 与 2D-CNN 发现,Casc-CNN-CNN 的总体性能优于 2D-CNN.
这表明提取二维网状物理相邻传感器上的脑电信号比简单的一维链式脑电信号能更有效地捕获 EEG 的空间
相关性,这更有助于识别人类大脑的情感模式.从表 2 可见:Casc-CNN-CNN 模型的性能又明显优于 3D-CNN 与
LSTM 模型的性能,比 3D-CNN 模型在效价上的分类性能提高了 4.63%,比 LSTM 模型的性能提高了 6.92%,表
现出了显著的持续提升趋势.
而我们的 Casc-CNN-LSTM 级联组合模型在对每一个采样点的二维网状数据进行空间特征学习后,利用
LSTM 提取进一步学习一个 EEG 样本内连续采样点之间的全局时间动态,因此在效价上的分类性能进一步提
高.然而,当使用单纯的 LSTM 模型只考虑时间相关性时,其识别率下降到 85.45%,与组合模型的 93.15%相差
7.7%,这说明时空特征的结合对脑电信号的准确分析是至关重要的.我们提出的级联卷积递归组合模型的识别
率达到 93%以上,表明这种特征融合方法具有很强的时空表示能力,时空融合特征明显增强了脑电信号情感识
别的准确性.
3 总 结

本文首先提出一种新的基于网状序列的 EEG 时空特征表示方法,将每一个采样点上原始的一维链式通道
信息转换成二维网状空间信息,该网状结构与 EEG 电极位置的脑区分布相对应,以此更好地表示 EEG 信号物理
上多个相邻电极之间的空间相关性.再应用滑动窗将二维网状序列切分成一个个等长的时间片段,作为新的融
合了 EEG 时空相关性的数据表示.本文还提出两种用于 EEG 情感识别的端对端、可训练的混合深度神经网络
模型:通过 CNN 网络,从转换的 EEG 时空数据表示中捕获物理上相邻电极之间数据的空间相关性;通过 LSTM
网络,学习 EEG 数据流在时序上的依赖关系.采用大规模数据集 DEAP 中 32 名被试在效价和唤醒度上两类 EEG
数据,来评估我们提出的 EEG 时空特征表示方法及混合深度学习模型的性能.实验结果表明:两种级联混合深度
学习模型在效价上两类情感的识别的平均准确率分别达到了 93.15%和 92.37%,均明显优于目前最先进的方法,
表明本文提出的方法能够利用混合神经网络有效地联合学习脑电信号在空间与时间上的相关性,进一步提高
EEG 情感识别的准确率和鲁棒性,可以有效地应用到基于 EEG 的情感分类与识别相关应用当中.

References:
[1] Lu GM, Yuan L, Yang WJ, et al. Speech emotion recognition based on long short—term memory and convolutional neural
networks. Journal of Nanjing University of Posts and Telecommunications (Natural Science Edition), 2018,38(5):63−69 (in Chinese
with English abstract).