CompSNN: A Lightweight Spiking Neural Network Based on Spatiotemporally Compressive Spike Features

文献阅读

一种轻量级的时空脉冲神经网络，基于时空脉冲压缩特征

摘要：
尽管面临计算复杂度的挑战，在SNN分类问题上仍存在诸多困难。本文提出了一种高效的时间加权压缩脉冲特征表示方法，并构建了轻量级的神经网络架构作为支撑体系。实验结果基于经典的MNIST数据集验证表明，在准确率方面该网络架构在低功耗环境和资源受限的应用场景中展现出显著的性能优势。
关键词：
神经态计算，
尖峰网络，
SNN

正文：

介绍

由于脉冲刺激在时域中呈现稀疏特性，在神经元群体中存在并行计算特征，在信号到达节点时这一特点使得基于此设计的信息处理器既能在有限资源下实现高效的计算能力又能显著降低能耗水平

在特征提取领域中普遍采用的方法主要包括基于时间的传统监督学习方法以及非监督的时空相关适应性机制。通过受压缩感知理论启发的方法开发出了一种新的时空压缩脉冲特征提取技术。此外我们成功构建了一个创新性的多脉冲时空编码框架这种新框架相较于传统单脉冲时间编码方案显著提升了抗噪声能力。为了进一步优化网络性能我们设计并实现了一个高效的轻量级神经网络架构该架构由四个关键组件构成包括用于接收多维度信号的时间ensitive输入编码器、一种基于时空压缩优化的信息聚合模块、一种动态时域学习算法以及一套成熟的决策机制整合而成形成了完整的自洽处理流程。

整篇文章结构如下：第二部分将阐述整个假说的理论框架及其各层功能。第三部分将详细阐述我们提出的一种压缩脉冲特征。

第二节

学习层中共有C乘以N个LIF神经元，其中c表示分类总数，每类别配置一定数量的神经元数目。每个类别都配备多颗独立的神经元以实现信息处理功能。在此过程中,每个像素单元通过特定的时间间隔进行编码,这样做的缺点在于其对网络结构及时域噪声具有较高的敏感度,会影响系统的稳定性和可靠性

采用的是If型神经元,其膜电位初始状态设为零电位,随后线性递增至与当前像素灰度值相匹配的高度,此过程在编码窗口期间完成若超出了阈值就直接置零重置,并立即重新启动递增过程这一递增-重置循环持续直至整个图像完成编码

这样，在一个基于多神经元编码机制的设计中，在均匀的时间间隔内发射动作电位，并且每个动作电位之间的间隔与其对应的像素亮度呈正比关系。在实验部分中我们采用了参数设置：发射速率为β=4×10⁻⁵，并将阈值电压设定为V_t=1V；在此条件下，在亮度最高的像素点上可以在给定的时间窗口内触发10次动作电位；而对于亮度低于25的像素点，则不会有任何动作电位产生。由此可见，在模拟过程中该编码机制能够较好地抑制噪声干扰。

这种多时间编排本质上是一种复合体,由速率编排与首次时间编排两部分组成.然而该方法所需的速度远低于传统速度编排的标准.其优势在于即使两个高度相似的像素以相同的脉冲速度发送信号,首期编排延迟仍能有效地区分它们.

2.2 压缩感知层

每个patch包含三个属性：位置信息、尺寸以及极性状态（+1或-1）。不论何时，在t_i突触之后产生的脉冲将被叠加于膜电位中。

2.3 学习层

这里有两种典型的自适应机制针对SNN网络:基于无监督的学习机制的STDP规则以及依赖于有监督学习的时间学习机制。具体而言,即为:当神经元属于指定类别但未触发动作电位时,将其连接权重进行增强;反之亦是,当神经元不属于指定类别却触发了动作电位时,则相应地降低其连接权重。