EEG Emotion Recognition Using DynamicalGraph Convolutional Neural Network

情感识别在人机交互中起着重要的作用[1]，它使机器能够感知人类的情感状态，从而使机器在人机交互中更加 "有同情心"。
态，从而使机器在人机互动中更有 "同情心"。基本上，情感识别方法可以分为 分为两类。第一类是基于非生理信号的，比如面部表情图像[2]。
[3], [4], [5], [6], 身体姿态[7], 和语音信号[8]。第二种是基于生理信号，如脑电图（EEG）[9]，肌电图（EMG）[10]。和心电图（ECG）[11]。在各种类型的生理信号中，EEG信号是最常用的信号之一。它是直接从大脑皮层采集的，因此它在反映人类的精神状态方面是很有优势的。反映人类的精神状态。随着干式脑电图电极技术和脑电图信号处理方法的迅速发展,随着干式EEG电极技术和EEG信号处理方法的快速发展，EEG情感识别在最近几年受到越来越多的关注。
近年来受到越来越多的关注[12]。[13], [14], [15].基本上，有两种主要方式来描述人类的
16]，即离散的基本情绪描述方法和维度方法。对于离散的基本情绪描述方法，情绪被划分为一组离散的状态，例如，六种基本情绪(即快乐、悲伤、惊讶、恐惧、愤怒和厌恶) [17]。与离散的情绪描述方法不同。维度方法以连续的形式来描述情绪，其中情绪的特点是由三个维度（价值、唤醒和支配）[18], [19]或简单的两个维度（价位和唤醒），其中价位维度主要表征积极程度或消极程度，而唤醒维度旨在描述情绪的兴奋或冷漠程度。
将EEG信号应用于情绪识别的研究可以追溯到Musha等人在[20]中的工作。在过去的几十年里，许多机器学习和信号被提出来处理EEG的情感识别[21], [22]。一个典型的EEG情绪识别方法 方法通常由两个主要部分组成，即鉴别性的EEG特征提取和情绪分类。基本上，用于情绪识别的EEG特征可以 一般分为两种，即时域特征和频域特征。和频域特征类型。时域特征如Hjorth特征[23]、分形维度特征 [24]和高阶交叉特征[25]，主要捕捉脑电图的时间信息。
捕捉脑电信号的时间信息。不同于与时域特征不同，频域特征的目的在于频域特征旨在从频率角度捕捉EEG的情绪信息。最常用的频域特征提取方法之一是将EEG信号分解为若干个频段，如 信号分解成几个频段，如d段（1-3赫兹）、u 带（4-7赫兹），a带（8-13赫兹），b带（14-30赫兹）和g 频段（31-50 Hz）[21], [26], [27], [28], 然后分别从每个频段中提取EEG特征。常用的 常用的EEG特征包括微分熵（DE）特征[29], [30], 功率谱密度（PSD）特征[31], 差异不对称性（DASM）特征[24]、有理 不对称性(RASM)特征[32]和差异性尾部 (DCAU)特征[19]。

方法

为了处理EEG的情绪分类问题，文献中出现了许多方法[33]。
文献中出现了许多方法[33]，其中包括使用深度神经网络（DNN）的方法。
其中，使用深度神经网络（DNN） 的方法[19]已被证明是最成功的方法之一。
卷积神经网络（CNN）是最著名的DNN方法之一。
，已被广泛用于处理各种分类问题，如广泛应用于处理各种分类问题，如图像
分类[34]、[35]、[36]、[37]、物体检测[38]、跟踪[39]和分割[40]。尽管CNN模型已经被证明在处理
已被证明在处理分类问题时非常强大。虽然CNN模型在处理分类问题上表现得非常强大，但值得注意的是，以前的CNN应用更多的是侧重于从图像、视频和语音中进行局部特征学习。
在图像、视频和语音中，信号的数据点是不断变化的。对于另一个特征学习
的特征学习问题，如交通网络和大脑网络的特征学习。
对于另一个特征学习问题，如交通网络和大脑网络的特征学习，传统的CNN方法
的方法可能不太适合，因为这些信号在空间上是离散的和不连续的空间域。在这种情况下，基于图
基于图的描述方法[41], [42]将提供一个更合适的适当的方法。
图神经网络（GNN）[43]旨在建立图理论下的神经网络，以应对图域中的数据
图域中的数据。图卷积神经网络（Graph convolutional neural network
(GCNN) [44]是传统CNN方法的一个扩展通过将CNN与频谱理论相结合[45]。与经典的CNN方法相比与经典的CNN方法相比，GCNN在处理离散空间信号的判别性 特征提取方面更有优势。
在离散空间域的信号的鉴别性特征提取方面更具优势[46]。更重要的是，GCNN方法提供了一种有效的方法来描述图中不同节点之间的内在关系 。图的内在关系，这将提供一种潜在的方式来
探讨在脑电识别过程中多个脑电通道之间的关系 在EEG情感识别过程中，在GCNN模型成功的激励下，在本文中我们将研究多通道的EEG情绪。本文中，我们将使用图表示方法研究多通道EEG情绪 识别问题。其中，每个EEG通道对应一个顶点节点 而两个不同顶点节点之间的连接
对应于图的一个边。虽然GCNN可以用来描述不同节点之间的联系
根据它们的空间位置，我们应该预先确定 在将其应用于建立情绪识别之前，我们应该预先确定各种EEG通道之间的联系。应用它来建立情绪识别模型。另一方面 ，值得注意的是，EEG通道之间的空间位置连接与它们之间的功能连接是不同的。换句话说，一个更紧密的 换句话说，更紧密的空间关系不一定能保证更紧密的功能关系，而功能关系将是而功能关系对于情感识别中的辨别性EEG特征提取是有用的。情绪识别中的鉴别性EEG特征提取。因此，预先确定图形节点的连接是不合理的预先确定图形节点的连接，根据它们的空间位置
为了缓解GCNN方法的局限性，在本文中我们提出了一种新的动态动态神经网络。
本文提出了一种新型的动态图卷积，神经网络（DGCNN）模型，用于学习鉴别性的EEG特征以及内在关系，例如。各种EEG通道之间的功能关系。具体来说，为了学习各种脑电通道之间的关系，我们提出了一种新的方法来构建的各个顶点结点之间的联系。
通过学习邻接矩阵来构建图的各个顶点节点之间的联系。然而，不同于
与传统的GCNN方法不同的是，DGCNN方法是以动态的方式学习邻接矩阵，即邻接矩阵的条目是自适应的。即在模型训练过程中，邻接矩阵的条目随着图形模型参数的变化而自适应更新因此，与GCNN方法不同的是相比，DGCNN方法所学习到的邻接矩阵会更加有用。因为它捕捉到了 脑电图通道的内在联系，因此它能够提高判别力。

本文的其余部分组织如下。第2节
第2节，我们简要地回顾了图论的初步知识。在第3节中，我们提出了DGCNN模型和基于该模型的EEG情绪识别方法。
第3节，我们提出了DGCNN模型和基于该模型的EEG情绪识别方法。
第4节中进行了广泛的实验。最后。
最后，我们在第5节中总结了本文。
2 图形初步
在这一节中，我们将介绍一些关于图表示和谱图过滤的初步知识。
关于图的表示和频谱图的过滤，这是我们DGCNN方法的基础。
2.1 图的表示
一个有向连接的图可以定义为G ¼ fV; E; Wg，其中V代表节点的集合，节点数为 数为jVj ¼ N的节点集合，E表示连接这些节点的边的集合。让W 2 RNN表示一个邻接矩阵
描述V中任何两个节点之间的连接，其中W的第i行和第j列的条目，用wij表示，衡量第i个节点和第j个节点之间连接的重要性。图1展示了一个包含六个顶点节点和连接该图节点的边的图 例，以及与该图相关的邻接矩阵。图中左侧的不同颜色箭头表示 连接源节点和目的节点的 边。 而图的右边则是相应的邻接矩阵的图 示。
常用的方法是确定邻接矩阵W的条目wij 相邻矩阵W的条目的常用方法包括距离函数 方法[47]和K-近邻（KNN）规则方法 [48]. 一个典型的距离函数是高斯核函数，它可以表示为