Spiking Deep Residual Network阅读笔记

Spiking Deep Residual Network

1. 摘要

近几十年来,SNN因其独特的生物可塑性特性而受到了人们的广泛关注。理论上,SNN在计算能力上与人工神经网络(ANN)不相上下,但在能效方面却展现了显著的优势。然而,就目前而言,如何有效训练深度SNN仍面临着诸多挑战。本文提出了一种构建方法,将训练好的ResNet网络转换为由脉冲神经元组成的SpikingResNet架构。为了克服这一转化过程中的难题,我们引入了shotcut归一化机制,通过压缩连续激活值以模拟SNN中的脉冲发放率特性;同时开发了一种逐层误差补偿策略,以减少离散化带来的误差积累效果显著提升。经过在MNIST、CIFAR-10以及CIFAR-100等数据集上的测试验证,本文所提出的方案已成功实现当前SNN领域最优性能水平

3.1 转换概述

如图所示，探讨了如何将ResNet转换为SpikingResNet架构。基于假设Relu单元能够近似模拟脉冲神经元的发放频率这一前提，在文章中作者具体采用的是If神经元来进行替代。输入端仍为图像输入方式，在经过第一层卷积运算后会根据是否超过设定阈值来判断输出是否产生脉冲信号。经过预先归一化的训练权重会被依次应用，并按照论文中所提出的第二种BN缩减方法进行处理（即BN后的归一化操作）。

3.2 shotcut标准化

我们先考虑一个基本的残差单元，

定义变量max1, max2, max3分别对应ReLU1、ReLU2及其ReLU3的最大激活值；经ReLU1处理后的输入为x，则其输出可表示为

为了维持单元最大脉冲释放频率的稳定运行，在文章中基于block的最大激活值进行标准化处理。

根据权重正规化方法，在输入、权重以及偏差等参数上进行重新配置后得到以下关系式：x'= (1/max₁) x, w₁' = (max₁/max₂) w₁, b₁' = (1/max₂) b₁, w₂' = (max₂/max₃) w₂, b₂' = (1/max₃) b₂. 假设Shotcut同样需要依据堆叠层中的规范化机制进行参数缩放, 因此以上表示输出的公式变为

故得到残差网中的shoucut应该被标准化为

3.3 采样误差的惩罚

当将人工神经网络转换为静默神经网络时，在每一层都需要接收上一层传递来的加权采样误差总和，并随着网络层次的逐步加深而持续积累。其中主要原因是采样误差具有离散性特征以及其在信息传递过程中具有一定的传播特性。随着网络深度增加，累积传递的采样误差会导致脉冲发放频率下降，并最终影响静默神经网络的整体性能水平。为了缓解这一问题，在每一层都适当增加了权重来减小采样误差，并引入大于1倍的惩罚因子，在采样的过程中能够有效提升脉冲发放频率。

4.实验结果

通过实证研究可以看出，在引入正则化方法的同时采用有代表性的采样策略能够显著提高模型性能。研究表明，在深度增加的情况下，使用惩罚采样策略能够进一步增强模型性能。 最后研究表明，在生物神经网络的研究中发现残差模块具有天然的优势。