Going Deeper in Spiking Neural Networks: VGG and Residual Architectures
摘要
在过去几年中,SNN已成为低能耗领域的代表性技术。我们开发出了一种研究稀疏事件驱动计算的方法,以揭示硬件资源的冗余性,并将其应用于脉冲系统中。
关键词：
脉冲神经网络，事件驱动，稀疏性，神经元计算，视觉辨认。
主要贡献
- 多种结构可以从人工神经网络（ANN）转向突触可编程神经元（SNN），以极低性能损耗实现这种转变。因此我们成功地构建了一个论证表明，在深度学习体系中使用SNN能够达到与CIFAR-10或ImageNet等基准数据集相当的高度准确率。
- 我们开发出一种创新方法将ANN高效地转化为高精度SNN架构。
- 我们深入研究了残差网络在SNN中的潜在应用。
- 研究表明，在深层神经网络架构中发现稀疏性的作用更加显著，并且这种发现进一步推动了对ANN向SNN转换过程的研究。
4.1输入和输出的代表
ANN是一种静态模型，在其运作过程中不考虑时间因素的影响；而SNN（静神经网络）的操作则基于动态的二进制脉冲输入作为时间函数。每个时间窗口的高度由网络性能参数决定；而每个时间步的操作都会伴随一个随机数的发生器工作状态切换。当生成的随机数值小于对应的像素强度值时，则触发了一个脉冲活动；例如：假设某个像素强度值为100，则当随机数值取值50时就会触发该像素位置产生一个spike事件（即触发了一个脉冲活动）。整个过程能够确保流入SNN网络中的平均入射率与其对应的ANN模型中的输入强度呈正比例关系；具体而言，在输入层接受的是所有像素点处产生的入射信号，并且这些信号的整体发生频率与输入图像的空间强度分布成正相关关系；而对于更高层级节点来说，在接收来自父层的所有入射信号后会立即进行处理，并且无需等待长时间来传输信息以完成整个网络推理过程
4.2 ANN和SNN神经元操作
该转换框架中通常采用ReLU作为人工神经网络（ANN）的激活函数。对于接收于第i个神经元的数据x_i以及对应的突触权重w_i,ReLU激活后的输出y为
这是一个典型的无泄漏、无不应期的脉冲神经元模型——IF神经元。
在时间轴上表现为一系列脉冲序列的输入x_i编码；其均值E[X(t)]与输入强度呈正相关关系。
值得注意的是，在时间尺度上缩放并不会影响神经元的动力学行为。
我们首先考虑一个简单的线性响应机制：输入信号x_i通过正权重ω作用于单个神经元。
由于不存在任何泄漏机制（leakiness）或不应期（refractory period），因此输出y的平均强度与其输入强度呈精确比例关系。
具体而言，在给定权重ω和阈值θ的前提下：
当权重参数为负时，
若阈值θ高于某一临界值，
则由于膜电位无法达到兴奋阈值，
输出y始终为零；
此时网络表现出类似于ReLU激活的行为特征。
当进一步提高阈值θ，
会使神经元达到兴奋状态所需的时间相应延长，
从而降低单次脉冲发射频率；
这等同于引入了对动作电位发生时间进行调节的作用机制。
换句话说，
随着θ增大，
网络中的动作电位产生效率逐渐下降；
而当θ降低至某一临界点时，
将导致整个网络失去对输入信号幅值变化的区分能力；
因为此时积分过程中的动态平衡被破坏，
无法形成有效的信息传递通道。
这种极端情况对应着系统处于"过饱和"或"欠饱和"状态：
前者会导致系统的响应过于钝化，
后者则会丧失精细调节的能力；
两者的结合必然会影响整体系统的转换精度。
因此，
选择合适的平衡点对于维持系统性能至关重要。
在此基础上的研究主要集中在设计相应的优化算法：
通过层次化权值归一化方法实现各层节点之间的动态平衡状态；
从而确保整个网络能够高效地完成ANN到SNN（串并联突触网络）的有效转换过程。
4.3结构约束
4.3.1 偏置
在当前模型中未引入偏置项。由于正则化过程较为复杂且难以有效实施这一特性，在这种情况下我们选择了将 dropout 技术应用于该模型。该方法通过随机屏蔽输入数据的一部分来实现对数据分布的模拟；具体而言，在每一层中，采用伯努利分布随机选择并移除一定比例的数据样本。
4.3.2 池化操作
深度卷积神经网络体系结构主要由中间池化层构成，在减少卷积输出映射尺寸方面发挥着重要作用
给定一个特定的训练神经网络的操作步骤如下：首先操作是在足够大的时间窗内生成泊松脉冲序列作为输入来完成网络的前向传播。为了实现神经元间的时序关系最小化其放电阈值同时维持神经元活动强度适中我们将接收到的第一层神经元的最大spike输入进行归一化处理。经过这一处理过程第一层输出形成了一个典型的脉冲模式从而为后续层提供精确的时间编码信号我们的方法与之前的研究工作(Diehl et al. 2015)的主要创新点在于我们采用了一种更加细致的权重归一化策略该策略充分考虑了转换过程中SNN的实际运行机制这使得在深度架构更为复杂的场景下能够确保无损转换效果
6 这时候是阈值平衡，保持权重规模不变
6.2 所有输入神经元层的相同阈值
所有fan-in神经元层都需要经过阈值平衡处理以确保相同的总数 从而保证输入脉冲信号在下一层以精确速率编码的形式传递 然而 非恒定路径中的阈值取决于前一层神经元的活动状态 观察者注意到 通常情况下这些因素并未对网络施加限制 但它们确实影响到了unit的一致性 尽管如此 但当前模型在精确度上仍无法达到与人工神经网络（ANN）基准相当水平 因此需要引入第三个设计上的限制条件
6.3 初始化非残差预处理层
7
如同前所述，在本次实验中我们没有应用任何正则化机制。