Page 209 - 《软件学报》2021年第12期

陈景霞 等:基于混合神经网络的脑电时空特征情感分类 3873

以分别提取某一节点 EEG 与其前后片段的关系,从而使该模型提取的特征更加客观和准确.

Fig.2 Combination model Casc_CNN_LSTM
图 2 Casc_CNN_LSTM 组合模型

该模型的每个传播方向上都包含 s 个 LSTM 单元,LSTM 单元在当前时间点 t 处的隐状态用 h t 表示,则 h t−1
表示前一个时间点 t−1 处的隐状态.同一层前一个时间点的信息被传到当前时间点,以此类推影响到最后的输
出.本文使用 LSTM 单元的隐状态作为其输出,正向 LSTM 单元输出的隐状态序列为[h t ,h t+1 ,…,h t+s−1 ],逆向 LSTM
单元输出的隐状态序列为 [h′ ts+− 1 ,...,h′ t+ 1 , ]h′ t .由于我们感兴趣的是大脑在整个样本时间段内的情感类别,所以分
别从两个方向上取 LSTM 学习完整个窗口内所有时间点后提取的最后一个时间点的输出 h t+s−1 和 h′ .将 h t+s−1
t
和 h′ 在描述特征向量大小的维度上进行拼接,记为 H j .而 H j 作为整个 RNN 网络学习到的时序特征送入下一个
t
全连接层,如图 2 的最后阶段所示.EEG 网状矩阵序列 P j 的时域特征 H j 表示为
2i
Cas-RNN: h ()h′ = RNN (Z ),H ∈ R ,
+−
ts 1 t lstm j j
其中,i 表示一个 LSTM 单元的隐状态的大小.最后,在全连接层之后,采用一个 Softmax 层产生最终每一类情感的
k
概率预测值:Softmax:C j =SoftMax(H j ),C j ∈R ,其中,k 表示模型最终要识别的情感类别数.
总的来说,我们的框架首先将观测时间段内的 EEG 数据流转换、切分成二维的网状矩阵序列片段,然后对
每一个片段进行 k 类情感分类.每一个片段 P j 包含 s 个已经被转换的二维网状矩阵[Y t ,Y t+1 ,…,Y t+s−1 ].在每一个片
段内部,应用一个 3 层 2D-CNN 网络对其中每一个网状矩阵提取其空间特征,得到空间特征序列[z t ,…,z t+s−1 ];随
后,应用 RNN 网络对整个空间特征序列进行学习,进而提取时域特征 H j ;最后,使用 Softmax 分类器计算每一个
片段 k 种情感的分类概率.原始 EEG 记录经由 Cas-CNN-RNN 模型处理的过程可以描述为 Input(s×n)−Trans(s×