计算成像 论文速递 | Nature 2023, All-analog photoelectronic chip for high-speed vision tasks

注1: 本篇文章属于"最新论文速览"系列之一,旨在对最新顶会/顶刊论文进行概括阐述.
注2: 论文速览较为简略,仅旨在帮助了解相关研究. 若想深入理解,强烈建议阅读原文.

Y. Chen等人的研究团队在《自然》杂志上发表了论文 titled “一种全模拟光电子芯片用于高速视觉处理”。该论文报道了他们开发的一种高效视觉处理技术。

摘要

• 本研究开发了一款融合光电计算技术的全模拟型专用芯片ACCEL,其运行能力达到每秒4.6P浮点运算、每瓦74.8P浮点运算效率,相较于当前最先进的通用计算芯片,性能分别高出一个数量级与三个数量级。

• ACHELL系统架构中,前端部分采用了基于衍射光子学的技术对输入信号进行特征识别,而后端则运用光生电流机制完成模拟电路运算过程;该系统完全摒弃了传统ADC电路的支持,从而显著降低了能耗水平与运算延迟时间。

• 在多项图像分类任务上, ACCEL 达到了 85.5% 到 97.1% 的准确率, 并且其性能甚至超过了全部数字神经网络。

  • 自适应训练方法能够显著补偿制造缺陷和误差。
  • 在低光照条件下仍展现了强大的稳健性。

ACCEL开创了一种融合光子与电子优势的新计算模式，在多个方面展现了显著的应用潜力。

导言

• 机器视觉任务（包括自动驾驶等）对计算速度与能效提出了更高要求,但受限于ADC与数字处理单元的限制。
• 光计算具备速度快与高能效的特点,但受限于光非线性难以实现以及对噪声敏感等问题,其实际应用受到限制。
• 本文提出了一种创新性的全光电模拟混合计算架构ACCEL,旨在实现实际视觉任务中的性能超越。
  • 前端采用光学编码技术提取特征信息,后端则通过模拟计算替代传统数字处理方式。
  • 通过整体设计实现了系统化的功能扩展与灵活的配置能力。

ACCEL架构

• 输入图像经过衍射光处理模块OAC提取出特征信息后,传递给EAC模块用于模拟电子计算。

• OAC能够有效减少其在光电转换过程中的需求。

• EAC通过将光生电流应用于实现矩阵乘法运算的模拟，并分别接入正负两条数据传输线，并根据不同的权重值决定其连接位置。

• EAC由SRAM存储权重和控制开关组成；在计算线积累电压并相减后得到输出脉冲；不依赖于ADC。

• \text{Output} = bf(wx),其中w表示OAC权重矩阵,f表示光生转换的非线性函数,b表示EAC的二值权重矩阵。

• 通过时序产生多个脉冲来实现全连接网络；分类的类别数量等于脉冲的数量。

  • 对ACCEL建立端到端的物理模型,进行融合训练获得OAC和EAC权重。

性能特征

• MNIST分类采用全模拟模式下的ACCEL架构，在实验中达到98%的数值精度，并与三层全连接的非线性数字神经网络相竞争。

• 在低光照条件下采用ACCEL架构时的分类精度下降幅度较小，并且其性能优于单独使用OAC或EAC架构的情况，并与理论模型结果一致。

• 构建了一个包含高斯噪声特性的模型，并将其纳入训练过程中的考量。

• 自适应训练显著降低了制造型误差和对准型误差带来的负面影响。

  • 实证研究表明,ACCEL算法在多数据集测试中均达到了或超过了85.5%至97.1%的分类精度。
    • 构建小型数字网络架构,最高可达到85.5%(Fashion-MNIST数据集)的分类准确率。

针对ImageNet的三类分类任务,实验在全模拟模式下的准确率达到80.7%,其准确率较全连接数字神经网络的75.3%更高,进一步增加OAC层的数量能够使性能接近LeNet的水平

图像分类实验

• 通过等深法刻制SiO2衍射光掩模充当OAC，并将其集成于EAC芯片中。

• SLM可用于测试OAC的性能。

• 针对MNIST、Fashion-MNIST和KMNIST的分类任务，ACCEL全模拟模式实验的准确率分别为90\text{\textperiodcentered}9\text{\textperiodcentered}%、80\text{\textperiodcentered}9\text{\textperiodcentered}%和67\text{\textperiodcentered}6\text{\textperiodcentered}%。

• 引入小规模数字网络后，在该方法的基础上其准确率分别提高至97\text{\textperiodcentered}1\text{\textperiodcentered}%、85\text{\textperiodcentered}5\text{\textperiodcentered}%和74\text{\textperiodcentered}6\text{\textperiodcentered}%。

• 基于多种光照环境的测试结果表明，在所有情况下，采用ACCEL算法均展现出色于仅依赖OAC或EAC方法。

• 通过优化设计实现的ACC EL部分具有高度的可扩展性，在多个应用场景中都能发挥优势。

时序任务应用

• ACCEL充当模拟信号与数字处理的接口角色，在高速时序处理方面表现突出。

• 该系统可通过小型网络架构实现低能耗功能。

• 针对5种不同类型的车辆行驶方向识别任务，

• ACCEL方法的准确率达到92.6%，显著超越了传统OAC和EAC方法。

• 在光照条件较暗的情况下，

• ACCEL算法的下降速度较慢，

• 表现得优于全部数字网络系统。

计算性能

ACCEL每帧处理时间由重置、响应和积累时间组成,实测积累时可达2.1ns。

* 3类分类总计处理时延为72ns,计算速度达4.55×103 TOPS。

系统能耗4.4nJ每帧,能效达7.48×104 TOPS/W,分别高出最新GPU 3和1个数量级。

利用LeNet等效运算量评估,ACCEL仍大幅优于最新数字神经网络芯片。

ACCEL引入了集成光电子计算的新范式方案，在实际视觉应用领域展现出广阔的前景