从局部脑到全脑：时空域分层神经网络脑电情绪识别模型

作者丨张玮玮

学校丨东北大学硕士生

研究方向丨 情绪识别

引言

论文动机

近年来，脑电图 (EEG) 在处理情感识别方面得到了广泛的应用。虽然近年来人们提出了各种各样的脑电信号情感识别方法，但为了进一步提高脑电信号的情感识别性能，仍有一些重要问题需要深入研究。

首要问题是如何从脑电信号中提取具有鲁棒性的高级语义特征，相对于手工特征而言，如何提取更具区别性的时空域深度特征。第二个问题是哪些大脑区域对情绪识别更有贡献，以及如何利用这些脑区域的地形图信息来提高 EEG 的情绪识别。第三个问题是如何利用脑电信号在不同脑区的时间信息来提高情绪识别。

论文工作

作者提出了一种新的 EEG 情感识别方法。 该方法由具有区域到全局层次特征学习过程的空间和时间神经网络模型组成，以 R2G-STNN 表示，学习具有鉴别性的时空脑电图特征。采用双向长短时记忆 (BiLSTM) 网络，分别捕捉电极在脑区和脑区之间的内在空间关系，以了解脑电电极的空间特征。

考虑到不同的脑区在脑电情感识别中所起的作用不同，在 R2G-STNN 模型中引入区域注意层，学习一组权值，以增强或削弱脑区的贡献。基于空间特征序列，BiLSTM 学习区域和全部时空特征，领域判别器和分类器同时工作用以减弱领域偏移。基于以上提出的方法，本文在 SEED 数据集上设计了跨被试和被试混淆实验，并取得了很好的效果。

网络模型

R2G-STNN 方法由三个主要部分组成，如图 1 所示，即特征提取器部分，分类器部分，判别器部分。

▲  图1. R2G-STNN模型架构

特征提取器

空间域特征提取如图 2 所示。为了学习时域特征， 表示一个由 T=9 个相邻 EEG 片段组成的一个 EEG 样本，d,n 分别表示每个电极对应的特征数目，和电极数目。

首先，作者将    分为若干组，每个组对应大脑分区的电极，从而在每个脑区形成一组区域特征向量，具体分区如图 3 与表 1 所示。接着，区域特征向量送入 BiLSTM 网络学习区域深度特征，并且引入区域注意层，学习一组权值，以增强或削弱脑区的贡献。最后，加权区域特征向量进一步输入 BiLSTM，学习全脑深度特征。

▲  图2. 从区域到全脑空间域特征学习过程

       ▲  图3. 脑区域分类图       

▲  表1. 脑区域电极分类表

对于脑分区时域特征的提取， 表示第 j 个脑区第 i 个脑电特征，则脑分区的特征表示为 。

因此，我们可以将 BiLSTM 应用于特征向量序列间的时间信息学习，得到如下区域时间特征向量：

全脑时域特征提取基于全局特征矩阵 ，将 按列串联成 ，最终特征向量 包含区域和全局信息的脑电图样本 X（由 T 段组成）。

分类器与判别器

在脑电情感识别中，值得注意的是，训练和测试脑电数据样本可能来自不同的领域，例如，训练和测试数据样本来自不同的受试者。在这种情况下，基于训练数据训练的情绪识别模型可能不适用于测试数据。为了解决这一问题，我们引入了一个分类器与判别器协同工作来产生鉴别性强和领域不变的情感特征。

分类器与一般深度学习的相同，损失函数可以表示为：

在判别器部分，假定 分别来自源域和目标域，为了消减领域差异，损失函数表示为：

通过最大化识别器的上述损失函数，特征提取过程会产生域不变的特征，从而消减情绪识别中的域差异。

实验设计与结果

被试混淆实验

作者在每个 session 选择 9 个脑电信号的试验用作训练数据集，并使用同一时段的其他 6 项试验作为测试数据，并且计算 15 名受试者的平均识别精度和标准差作为最终识别结果。实验结果如表 2 与表 3 所示。

▲  表2. 被试混淆实验结果

▲  表3. 被试混淆5个频段实验结果

跨被试实验

跨被试脑电情感识别问题，其中训练的脑电图数据样本和测试的脑电图数据样本来自不同的受试者。为此，作者采用 LOSO 交叉验证策略进行实验，循环取一名受试者的脑电信号作为测试数据，其余所有受试者的脑电图信号作为训练数据。在每个受试者使用一次测试数据后，计算所有识别精度的平均值，实验结果如表 4 与表 5 所示。

▲  表4. 跨被试实验结果

▲  表5. 跨被试5个频段实验结果

结论

在本文中， 作者提出了一个新颖的 R2G-STNN 方法对脑电信号进行情感识别，分层的学习过 程从区域到全脑提取时空脑电图特征。 在 SEED 脑电情感数据库上的大量实验表明，R2G-STNN 方法在被试混淆和跨被试的脑电情感识别方面均取得了较好的效果。