Page 210 - 《软件学报》2021年第12期

3874 Journal of Software 软件学报 Vol.32, No.12, December 2021

h×w)−Conv(s×h×w×16)−Conv(s×h×w×32)−Conv(s×h×w×64)−Conv(s×h×w×128)−FC(l)−LSTM(s×2i)−FC(l)−
Softmax(k).其中:Input(s×n)表示分段大小为 s 且包含 n 个通道数据的一维原始 EEG 记录序列,Trans(s×h×w)表示
将一维 EEG 记录序列转换为长度为 s 大小为 h×w 的网状矩阵序列,Conv(s×h×w×m)表示一个卷积层从一个网状
矩阵学习得到 m 个特征映射,FC(l)表示具有 l 个神经元的全连接层,LSTM(s×2i)表示顺逆两个传播方向分别具
有 s 个 LSTM 单元的隐含层学习得到大小为 i 的隐状态,Softmax(k)表示用于预测 k 个情感类别的 Softmax 层.
在级联结构的 2D-CNN 模型中,卷积层后面都没有使用池化操作.虽然在 CNN 体系结构中,一个卷积层通
常与一个池化层成对使用,但池化操作并不一定是必须的,池化操作是以牺牲一部分信息为代价来进行数据降
维.然而在 EEG 数据分析问题中,数据的维度比计算机视觉研究中使用的数据维度要小得多,为了不丢失有用的
EEG 信息,本文没有使用池化操作,而是直接将 4 个卷积层进行了连接.
1.3 Casc-CNN-CNN级联双卷积神经网络模型

本文提出的用来挖掘更深层局部时空特征的 Casc-CNN-CNN 模型结构如图 3 所示.

Fig.3 Combination model Casc_CNN_CNN
图 3 Casc_CNN_CNN 组合模型

模型的输入同 Casc-CNN-RNN 的输入一样,都是包含了空间和时间信息的三维数据结构.模型采用 CNN 网
络从每一个二维网状矩阵中提取 EEG 数据的空域特征,然后将提取的空间特征按照时间顺序重新排列,再次输
入一个 CNN 网络,继续提取 EEG 数据深层局部时空特征,最后通过一个全连接层接收 CNN 网络的输出,得到的
特征向量再输入到一个 softmax 层进行最后的情感类别预测.
Casc_CNN_CNN 与级联模型 Casc_CNN_LSTM 中的 CNN 部分相同,将二维网状矩阵序列 P j 输入进一个