Page 213 - 《软件学报》2021年第12期

陈景霞 等:基于混合神经网络的脑电时空特征情感分类 3877

双向网络各自传播尽头的两个单元的隐状态在特征个数维度上进行连接后,接入一个具有 128 个神经元的全
连接神经网络,最终接入 Softmax 层产生预测值.
本文研究的神经网络均采用 TensorFlow 框架,并基于 NvidiaTitanXPascalGPU,以完全监督的方式从头开始
训练实现.采用基于 Adam 更新规则的随机梯度下降法,最小化模型的交叉熵损失函数.
2.4 实验结果

本节展示本文所提出的级联组合模型的总体性能,并系统分析 EEG 空间和时间上下文信息对实验结果的
影响.并通过 NORM 特征和 PSD 特征在效价和唤醒度两个维度上二分类计算的精度,对本文提出的模型以及特
征表示方法进行深入的探究.
2.4.1 效价维度上的实验结果与分析
本文提出的级联组合模型以及各种基准模型的整体实验性能见表 2.观察发现:以二维网状 PSD 特征为输
入的 Casc_CNN_LSTM 和 Casc_CNN_CNN 分别取得了 93.15%和 92.37%的准确率,两种组合模型均优于几种
基准模型和最新方法的分类性能.这表明上下文空间和时间信息对于提升 EEG 情感分类识别性能非常关键.实
验中,我们还尝试使用了较大或较小的滑动窗进行 EEG 数据分段,结果都会导致组合模型性能明显下降.在不同
范围内通过改变滑动窗口大小,可以使模型适应不同类型的 EEG 信号分类,体现该方法具有较好的灵活性.而且
与以往的研究相比,该模型对原始数据的预处理较少,更适合于 BCI 等实时应用.
Table 2 Comparison of the accuracy of two types of emotion classification in the valence dimension
between the benchmark model and the cascade hybrid model
表 2 基准模型与级联混合模型在效价上进行两类情感分类准确率的比较
Models Input features Valence acc
Alhagr [16] LSTM 1D Raw chain sequence 0.854 5
Chen [19] BT 1D PSD chain sequence 0.863 1
Salama [18] 3D-CNN Segmented Raw chain sequence 0.874 4
Chen [19] 2D-CNN SegmentedNorm+PSD chain sequence 0.885 3
2D-CNN-V2 Segmented PSD chain sequence 0.901 6
BILSTM(64) Segmented PSD chain sequence 0.898 1
Casc-CNN-CNN Segmented 2D PSD mesh sequence 0.923 7
Casc-CNN-LSTM Segmented 2D PSD mesh sequence 0.931 5

除此以外,我们发现:基于文献[19]中 2D-CNN 模型改进的 2D-CNN-V2 模型,分类准确率相较之前高出了
1.63%.原因一方面是输入特征的变化,正如第 2.2 节中所述,由于频域特征能够捕获更多情感相关的大脑动态,
PSD 特征相较于 NORM 特征在情感分类任务中的准确率更高,而 PSD 与 NORM 的混合特征虽然扩充了数据
量,并在一定程度上提升了模型的泛化能力,但对于情感分类任务而言,混合特征的准确率低于单一的 PSD 特
征;另一方面是由于改进后的卷积神经网络更加复杂,卷积层中卷积核的个数由 4 个上升为 32 个,提取了更多的
空间信息,从而提升了模型的性能.
以 PSD 特征为输入的 BILSTM(64)模型的分类准确率达到了 89.81%,低出 2D-CNN-V2 模型仅有 0.35%的
差距.这说明无论是在时域还是空域上,针对 DEAP 数据集,单一模型在不同维度上的情感分类任务精度相差不
大.而 2D-CNN-V2 模型相较于 Casc-CNN-CNN 模型准确率降低了 2.21%,BiLSTM(64)模型相较于 Casc-CNN-
LSTM 模型准确率降低了 3.34%,这说明单一模型在不同维度上的表现都不如混合模型.
与文献[16,18,19]中最新的方法相比,本文提出的 Casc-CNN-CNN 模型比 Alhagr 等人 [16] 提出的 LSTM 模型
的性能高出 6.92%,比 Chen 等人 [19] 提出的 BT 浅层分类器的性能高出 6.06%,比 Salama 等人 [18] 提出的 3D-CNN
模型和 Chen 等人 [19] 提出 2D-CNN 模型的性能分别高出 4.93%和 3.84%.Casc-CNN-LSTM 模型也比 Alhagr 等
人 [16] 提出的 LSTM 模型的性能高出 7.7%,比 Chen 等人 [19] 提出的 BT 浅层分类器的性能高出了 6.84%,比 Salama
等人 [18] 提出的 3D-CNN 模型和 Chen 等人 [19] 提出 2D-CNN 模型的性能分别高出 5.71%和 4.62%,性能提升都比
较显著.这表明本文提出的二维网状 PSD 特征相较于一维链式特征包含了更多的时空上下文信息,而且本文提
出的两种混合深度神经网络相较浅层机器学习算法和单一神经网络模型在深层时空特征联合学习上具有明显