阅读笔记3：基于深度学习的运动想象脑电信号分类算法研究

本论文研究了基于深度学习的运动想象脑电信号分类算法，主要分为脑电信号采集与预处理、深度学习算法研究及综合时-频-空域特征分类算法研究。在脑电信号采集与预处理部分，详细介绍了时域、频域、时频和空域分析方法，包括幅值、方差、周期分析、直方图分析、过零点分析、功率谱估计、周期图法、小波变换和卷积神经网络等技术。预处理部分包括直观时域分析、频域分析和小波降噪与重构。在深度学习算法研究中，提出了卷积神经网络（CNN）和长短期记忆网络（LSTM）的创新点，如CNN的激活函数Relu的优势、权值共享和池化技术，LSTM的门结构及其长期记忆能力。实验结果表明，CNN在单名受试者分类中表现优于LSTM，但两种算法均未显著超越传统分类方法。综合时-频-空域特征的分类算法通过将脑电信号转化为脑电功率图并结合CNN和LSTM，解决了原始信号维度差异和个体差异的问题。然而，该方法仍面临样本不足、深度学习模型应用挑战和调参理论不完善等问题。

1.论文信息

基于运动想象脑电信号的运动想象脑电信号分类算法研究，采用深度学习技术进行研究工作。作者为佟歌，所属单位为哈尔滨工程大学控制科学与工程学院，发表时间为2018年3月。

2.笔记

2.1 脑电信号采集及预处理

2.1.1脑电信号分析方法

传统分析方法主要依据四个维度领域进行分析，具体包括时域分析、频域分析、时空频分析和空间域分析。

时域分析： EEG 的全部信息都包含在采集到的时域波形中，因此时域分析方法是最为直观的分析手段，通常用于对脑电信号的幅值、周期等特征进行初步分析。该类方法的优势在于能够直接提取有用的时间域特征，操作简便且无需对脑电信号进行平稳性假设。常见的时域分析方法包括幅值分析、方差分析、周期分析、直方图分析和过零点分析等，这些方法能够清晰地表达波形特征，在长时间的睡眠脑电信号分析中具有广泛的应用。

频域分析：时域分析方法在实际应用中也显示出一定的效果，但脑电信号的特征主要来源于频域与空域的综合体现。频域分析的基础是功率谱估计，该方法通过将时域EEG信号的幅值随时间的变化转化为频率域中的功率随频率变化的图谱，为脑电分析提供了重要工具。在计算功率谱密度（Power Spectral Density, PSD）时，可以更直观地分析脑电信号中δ波、θ波、α波、β波和γ波的分布情况，从而突出显示信号的能量特征。在谱估计方法中，参数估计和非参数估计是主要的两大类。参数估计方法包括基于AR模型和AAR模型的功率谱估计，这些方法假设信号是由某种已知函数形式生成的，通过估计模型参数来揭示谱特性[59]。非参数估计方法则主要依赖于傅里叶变换、周期图法和相关图法等技术，这些方法不依赖于信号模型假设，适用于信号特性未知的情况。

时频分析：在将信号从时域转换为频域的过程中，时域信号中的趋势、突变、事件的开始与结束等特征都会被丢失，而时频分析方法则结合了时域分析与频域分析的优势，是一种更为全面分析脑电信号的方法。目前，被广泛应用的时频分析方法主要包括小波变换和小波包变换。小波变换具有多分辨率特性，在时域和频域上均具有良好的分辨率，是一种有效分析非平稳信号的方法。相比之下，小波包变换则是在小波包变换的基础上更加精细地进行了信号的分解与重构。由于 EEG 信号同样具有非平稳性和非线性特点，因此无论是小波变换还是小波包变换，都非常适合用于 EEG 信号的分析。

在脑电信号的采集过程中，通常会采用将多个导电极分布在大脑的不同区域的方法。当需要研究这些导电极所记录的脑电信号之间的关联时，可以采用空域分析法。目前，空域分析方法主要包括共同空间模式法和独立分量分析法。共同空间模式算法通过构建空间滤波器，使得不同类别脑电波在该滤波器上的能量分布差异最大化，从而实现EEG信号的空间特征提取。独立分量分析算法将原始信号分解为多个独立的子分量，不仅可用于EEG信号的空间特征提取，还可以用于消除眼动伪迹。

2.1.2脑电信号预处理

• 首先进行直观的时域分析

在该过程中，通过对不同次数实验的分析，可以初步判断 EEG 信号的有效性。当某次 EEG 数据与多数实验数据在幅值或频率上出现显著偏差时，应被归类为异常情况，视为无效数据。

• 然后对信号进行频域分析

采用周期图法进行功率谱估计

基于小波分析法对 EEG 信号进行降噪与重构，该方法在傅里叶分析的基础上进行了改进，从而具有更优的时频窗口特性，适用于分析非平稳信号。

2.2基于深度学习的脑电信号分类算法研究

2.2.1卷积神经网络

卷积神经网络在取得显著成绩方面归功于两大创新成果：新型激活函数ReLU和卷积神经网络（CNN）。这些创新不仅推动了算法性能的提升，也为深度学习领域带来了革命性进展。

以 Relu 作为激活函数，主要有以下几点优势：

(1) 与 sigmoid 和 tanh 相比，relu 函数是线性的，计算代价小，收敛速度大约可以加快 6 倍。
(2) 由于 sigmoid 和 tanh 函数具有饱和性，当输入过大或过小时这两个激活函数的导数趋于 0，会导致梯度消失现象使网络无法训练，而 relu 函数的导数为 1，有效的避免了梯度消失的问题，使研究者可以构造更深层的网络。
(3)relu 函数使一部分神经元的输出为 0，减少了参数之间依赖关系并防止过拟合现象的发生。该函数产生的稀疏性从生物方向解释也与人脑十分符合，人脑工作时只有 5%左右的神经元被激活，而 relu 函数可以降低神经元的激活率。

卷积网络充分考虑了图像像素在不同位置的相关性，基于局部感受野、权值共享和下采样的机制，为图像识别任务提供了有效的解决方案。

局部感受野：对于图片中的像素点来说，位置相邻近的像素之间关系较大，位置相距较远的像素之间关系较小，因此完全没有必要将神经元与输入图像中的每一个像素相连接。只需要对前一层的局部进行连接，分块扫描提取特征，然后在更深的层次将局部的特征综合起来就得到了全局的特征。这个过程与视觉过程极为相似，在人类的视觉系统中，每个神经元对应一部分视觉域，在卷积模型中是每个卷积核只与前一层的部分神经元相连，提取一个局部特征。
权值共享：通过局部感受野方式进行神经元之间的连接已经将参数减少了很大一部分，权值共享则可以进一步减少参数的数量。以 1000x1000 像素的输入图片为例，如果第一层卷积核大小取10x10，权值共享的含义是指卷积核上 10x10 的权值对1000x1000 个输入层神经元是一样的，即权值的参数只有 100 个，在某个位置上训练好的权值，在其他位置依然有效。
降采样：理论上，通过卷积核提取到的特征可以被直接用于分类器的训练，但是这样得到的特征向量维数过高不利于训练，而且容易产生过拟合现象。卷积网络提出了在卷积之后加入降采样的处理过程，对不同位置的特征进行聚合统计。该过程也被称
为池化，不仅可以对特征进行降维提高训练效率，还可以起到防止过拟合现象的作用。具体的池化方法有最大池化，平均池化等。最大池化只保留池化窗口的最大值，平均池化则保留池化窗口的平均值

CNN同样也可以适用于脑电信号的特征提取和分类。

(1)基于卷积神经网络模型是针对图像等二维数据设计的特性，该模型架构特别适合对二维或多维矩阵形式数据进行特征提取与分类任务。研究者采集的脑电信号属于二维矩阵数据类型，在输入上与卷积神经网络的输入格式高度契合。采用卷积网络不仅有效缓解了脑电信号数据维度过高的训练难度问题，而且充分发挥了其数据呈现方式的二维矩阵特性优势，使网络模型结构更加清晰明了。

(2)卷积网络通过局部感受野机制有效缓解网络参数冗余问题。这一前提基于这一前提，即图像中邻近像素间关系较强、远距离像素间关系较弱的特性。类比而言，将大脑皮层视为图像，放置于皮层的电极采集的电压信号可类比为图像像素。因此，卷积网络中的局部感受野机制同样适用于对脑电信号进行处理，且能够有效保持信号特征。

(3)卷积神经网络所采用的权值共享机制显著提升了模型的泛化能力，这在图像处理方面，这表现为即使在图像平移后，网络依然能够准确识别图像。在脑电信号处理方面，即使存在电极安装偏差或受试者反应迟缓等因素导致的时间偏移，也不会影响信号分类的准确性。这种特性与实际需求高度契合，因此卷积网络的权值共享策略同样适用于脑电信号的分析处理。

(4) 在卷积网络中，池化层通过降低卷积层提取的特征维度，并对图像不同位置的特征进行统计聚合。基于平均池化的计算原理可知，该方法使网络具有抗扭曲特性，即对输入图片施加一定量的扭曲操作不会影响其识别效果。另一方面，脑电信号具有噪声特性显著、随机性较强等特点，不同人的运动想象 EEG 信号以及同一人在不同时间段的运动想象 EEG 信号均存在显著差异。池化操作能够在一定程度上过滤噪声，从而增强算法的鲁棒性。

2.2.2循环神经网络

该方法主要采用了RNN架构中的长短期记忆网络（LSTM）模型。该网络在性能上表现出色，主要得益于算法中的两项创新：权值共享机制和细胞状态与门结构的巧妙设计。

该网络模型突显了时间序列的重要性，并适用于各种时序特征的提取问题。尽管基于运动想象过程中发生的ERD/ERS现象的描述，理论上该特征主要体现在频域与空域之中，但脑电信号作为时序信号，其ERD/ERS分布及强度会随着时间推移而发生一定变化。

2.2.3 实验结论分析

结论：

就统一训练而言，无论是整体训练还是分别对受试者进行训练，CNN分类器的表现均优于LSTM分类器。就CNN分类器而言，其在分别对受试者进行训练时的表现表现更为出色，但相较于LSTM分类器，其在整体训练和分别训练两种模式下的性能差异更为显著。值得注意的是，本文所设计的两个深度学习网络在单名受试者分类任务中并未显示出明显优势，但在对5名受试者的EEG数据进行统一训练后，CNN算法获得了64%的平均准确率，这一结果虽仍有提升空间，但充分表明该网络能够有效提取不同受试者脑电信号的共性特征。

大胆的推测:

LSTM在分类任务中的表现欠佳，可能源于网络架构设计的不足，未能实施有效的数据预处理流程，导致预处理方法选择不当，同时数据样本数量偏少，可能与脑电信号的特征性质与时间维度的关联度不足有关。

虽然受试者想象的过程具有时序性，但最初采用想象左右手运动方式进行脑电分类的原理主要基于：在想象过程中，ERD/ERS现象会引起脑电波能量分布区域及强度的改变。具体而言，当想象右手运动时，左脑区域能量增强，右脑区域能量减弱；反之，当想象左手运动时，情况则相反。其中，频域特征和空域特征占据主要地位，而时域特征的影响相对较小。因此，LSTM算法在学习过程中主要捕捉到时序特征，其分类效果较CNN算法（在算法学习方面）而言相对逊色，主要得益于其对空域特征的捕捉能力更为突出。

对于LSTM分类器，将受试者分为单独训练与整体训练的准确率差异并不显著，而CNN分类器在两种训练方式下的表现差异则较为明显。本文推测，脑电信号的频率特征和空间特征会受到受试者大脑形态、思维方式以及活跃区域等多方面因素的影响而产生较大差异，即单人网络的CNN提取的脑电信号特征会因人而异，而时序特征则具有较强的普遍性，受上述因素影响较小。
对于卷积神经网络而言，可以将不同受试者的数据同时训练，这是因为深度学习的本质是在海量数据中寻找共性并进行拟合。即使不同受试者运动想象的特征存在个体差异，多人网络的CNN依然能够从中提取出更具普遍意义的ERD/ERS特征。

2.3 综合时-频-空域特征的脑电信号分类算法研究

CNN和LSTM在信号分类任务中的表现相较于本实验中其他网络结构显著，然而与传统分类方法相比，其优势并不突出。然而，这种网络结构在某些特定场景下具有独特的优势。

• 第一，深度学习算法简化了分类器设计的步骤。传统方式对脑电信号的处理流程通常为：降噪、去除眼电伪迹、选择通道、特征提取、构造分类器。而深度学习方法在降噪后直接进行分类器的设计避免了手动提取特征时依靠经验和运气的问题，具有较高的运行速度。
• 第二，由于脑电信号因人而异的特点，不同受试者的个人因素相差较大，其产生的 EEG 信号也有很大差异，传统方法可以针对不同受试者分别设计分类器，但是深度学习方法却可以从这些差异较大的样本中找到共性的特征。

CNN在脑电信号上的分类效果较图片数据有所欠缺，可能的原因包括样本量较小、网络结构相对简单、采集的 EEG 信号与图片数据存在显著差异。具体而言， EEG 信号的横纵坐标轴含义与图片数据不同，且其电极排列顺序被打乱，导致原有的空间特征被破坏。此外， EEG 信号的采集特性与图像数据存在本质差异，这也影响了分类效果。

本章围绕算法层面展开讨论，提出了一种多维度融合的处理方法。具体而言，该方法通过将脑电信号按电极位置进行转化，成功将脑电数据的时域、频域和空域特征进行统一提取。在此基础上，巧妙地将CNN和LSTM两种算法进行结合，以期通过更加充分的特征提取，进一步提高单名受试者的运动想象脑电信号分类的准确率。

在EEG信号分类任务中，基于CNN的模型主要保留了信号频域中的频率成分，而对时序动态变化特征和空间分布特征则未能充分捕捉。相比之下，LSTM模型特别关注于脑电信号电压随时间变化的时序动态变化特征，但未能有效考虑不同导电层所反映的大脑皮层空间定位特征。

由此设计一种新的网络结构：

该方法首先通过采集获取某一时段内皮层 EEG 电压信号，并经由特定转换过程将其转化为脑电功率图。这一过程解决了原始 EEG 信号在两个维度上含义不一致的问题，即电压信号的时间和频率特征。处理后的脑电功率图的横纵坐标对应于电极帽在大脑皮层的放置位置，完全保留了 EEG 的空间特征信息。图中每个像素点具体反映了大脑皮层在对应位置处 6.5-23Hz 频率范围内的功率值，从而保留了与运动想象相关的EEG频率特征。将所有 EEG 数据按照时间顺序依次转换为脑电功率图后，将这些图像输入待训练的 CNN 网络，以提取空间和频率特征。随后将 CNN 提取的特征按照时间序列顺序输入 LSTM 网络，通过此过程可以提取频率和空间特征随时间变化的模式，最终实现 EEG 的时序特征提取。

2.4新挑战

• 训练样本不足
• 如何将深度学习中的网络模型有效地应用于脑电信号的分类问题
• 目前，深度学习算法作为新兴领域仍需完善其调参理论
• 将BCI设备融入日常生活中，以提升其应用价值