Page 208 - 《软件学报》2021年第12期

3872 Journal of Software 软件学报 Vol.32, No.12, December 2021

对应电极帽上第 n 个电极的读数.
从 EEG 头皮电极分布图可以看出:每个电极在物理上都与多个电极相邻,用于测量大脑某一区域的 EEG 信
号,而且不同的大脑区域对应于不同的大脑活动.上述一维链式 EEG 数据向量仅能表示两个相邻电极位置的相
关性,因此,本文根据 EEG 采集系统的电极空间位置关系,将获取的一维原始脑电序列转换为二维网状矩阵序
列.本文将 32 通道一维 EEG 数据向量 X t 转换成如下所示的二维网状矩阵 Y t :
0 ⎡ 0 0 x 1 0 x 30 0 0 0 ⎤
⎢ t 2 t 29 ⎥
⎢ 0 0 0 x t 0 x t 0 0 0 ⎥
⎢ x 3 0 x 4 0 x 31 0 x 27 0 x 28 ⎥
⎢ t t t t t ⎥
0 ⎢ x t 6 0 x t 5 0 x 26 0 x t 25 0 ⎥
t
Y = t T (X = t ) ⎢ ⎢ x 7 t 0 x t 8 0 x t 32 0 x 23 0 x t 24⎥ ⎥ (1)
t
0 ⎢ x 10 0 x 9 0 x 22 0 x 21 0 ⎥
⎢ 11 t 12 t 13 t 19 t 20 ⎥
⎢ x t 0 x t 0 x t 0 x t 0 x t ⎥
0 ⎢ 0 x 14 0 0 0 x 18 0 0 ⎥
⎢ t t ⎥
0 ⎢ ⎣ 0 0 x 15 x 16 x 17 0 0 0 ⎥ ⎦
t
t
t
其中,t 表示某一具体的时间点,没有使用的电极位置被置为 0,在神经网络中不起作用.通过转换,观测时间段
[t,t+N−1]内的一维 EEG 向量序列[X t ,X t+1 ,…,X t+N−1 ]被转换成二维矩阵序列[Y t ,Y t+1 ,…,Y t+N−1 ],其中,二维网状矩阵
的数量仍然是 N.再通过 Z-score 算法对该二维矩阵中的非零数据进行归一化处理,这样产生的二维网状矩阵序
列既包含了时间信息,又包含了该时间点相关大脑活动的空间信息.然后,如图 1 的最后一步所示,应用滑动窗将
二维网状矩阵序列划分为一个个单独的片段 P j ,作为融合了时空特征的一个 EEG 样本,每个片段具有固定长度
(窗口大小),而且相邻两个片段之间不重叠,具体表示为 P j =[Y t ,Y t+1 ,…,Y t+s−1 ].其中,s 表示窗口的大小,即采样点的
个数;j=1,2,…,q,q 是观测时间段被划分成 EEG 样本片段的个数.本文将进一步提出一种有效的混合深度学习模
型,同时学习每个样本的矩阵序列 P j 在时间和空间上的相关性特征,并预测每个样本片段被试对应的情感类别.
1.2 Casc-CNN-LSTM级联卷积循环神经网络模型
本文首先提出用来学习捕获 EEG 序列的空间和时间特征的 Casc-CNN-LSTM 的模型结构,如图 2 所示.模
型的输入是经过上述预处理的二维网状矩阵序列(如样本 P j ),它是一个包含了空间和时间信息的三维数据结
构.首先,采用 CNN 网络从每一个二维网状矩阵中提取 EEG 数据的空域特征;然后,将提取的空间特征序列输入
到 LSTM 网络,进一步提取 EEG 数据的时域特征;最后,通过一个全连接层接收 LSTM 网络最后一个时间点的
输出,得到的特征向量再输入到一个 softmax 层进行最后的情感类别预测.
为了提取每一个二维网状矩阵的空间特征,我们采用如图 2 所示的一个深度二维 CNN 网络进行空间特征
学习.如上所述,输入模型的第 j 个 EEG 片段用二维网状矩阵序列 P j =[Y t ,Y t+1 ,…,Y t+s−1 ]∈R s×h×w 表示,其中包含 s
个 Y k (k=t,t+1,…,t+s−1)表示的二维网状矩阵元素,其大小是 h×w,h 和 w 分别表示电极位置网状矩阵的高和宽.将
每一个网状矩阵分别输入到一个 2D-CNN 网络,经学习得到对应的空间特征表示 Z k (k=t,t+1,…,t+s−1):Z k =
l
CNN 2D (Y k ),Z k ∈R .Z k 是一个包含 l 个元素的一维特征向量.由此,输入的 EEG 矩阵序列被转换成空间特征向量的
s×l
序列:Cas-CNN:P j →Q j , where Q j =[Z t ,Z t+1 ,…,Z t+s-1 ]∈R .该 2D-CNN 模型包含 4 个卷积层,每层分别采用 16,32,64,
128 个大小都是 3×3 的卷积核进行非填充的卷积操作,每一层都采用 ReLu 激活函数和 Adam 优化器,学习率取
0.0005.经过学习,第 1 个卷积层得到 16 个 7×7 的特征图,第 2 个卷积层得到 32 个 5×5 的特征图,第 3 个卷积层
得到 64 个 3×3 的特征图,第 4 个卷积层得到 128 个 1×1 的特征图.之后,应用一个包含 128 个神经元的全连接层
将 128 个特征映射转换成最终的空间特征表示 Z k ∈R 128 .在将 2D-CNN 的输出结果输入 RNN 网络之前,这个全
连接层是可选的.但是实验发现:添加这个全连接层,对于帮助模型收敛、提高整个框架的性能起着重要的作用.
通过对模型的精准性和时效性的双重筛选,本文最终使用如图 2 所示的 LSTM 单元构建一个单层双向
RNN 模型,将空间特征表示序列 Q j 输入到该 RNN 模型,进一步计算 EEG 片段时域的相关性特征.LSTM 是一种
为了解决梯度消失和梯度爆炸问题而提出对 RNN 隐含层改进后的神经元结构.在双向 LSTM 中,顺逆序传播可