《ICNet for Real-Time Semantic Segmentation on High-Resolution Images》论文笔记
代码地址：ICNet
1. 概述
本文聚焦于实时场景中的分割问题，在现有技术中处理像素级分割时面临较大挑战，在提升计算效率方面表现不足。
为此提出了一种创新性的解决方案：其创新性地提出了图像级联网络(ICNet)作为解决方案。
其方法论的核心在于将输入图像按尺寸划分为三个独立分支，并从分辨率最低的一级分支开始逐步细化分割结果。
这一创新性设计结合特征级联模块和梯度引导策略实现了高效分割，并在Cityscapes、CamVideo及COCO-Stuff等数据集上均取得了令人瞩目的单GPU实时性能。
在文章中将所提出的实时分割算法与其现有的分割网络进行比较，并将其实验结果如图所示。实验表明，在速度和准确性两方面均展现出良好的平衡。具体而言，其IoU值达到70%以上。
本文提出了一种名为ICNet的新网络结构。该模型在低分辨率图像分割中具有较高的效率，在高分辨率图像分割中表现出色。其核心思想在于先通过语义分割网络对低分辨率图像生成初步且粗略的分割结果；随后通过特征级联混合单元（Cascade Label Guidance, cascade label guidance）以及标签引导级联策略（Cascade Label Guidance Strategy, cascade label guidance strategy），将中分辨率和高分辨率特征进行整合融合，并逐步优化先前生成的粗略分割结果。
文章的主要贡献归纳如下：
- 1）该研究开发出一种新的单输入图像级联网络以解决图像分割问题。
- 2）该模型通过融合特征级联混合单元和级联标签引导机制实现了较低计算开销下的性能提升。
- 3）实验表明ICNet相比现有方法在推断速度上提升了五倍（即T_new = T_old / 5），同时所需内存消耗也减少了五倍（即M_new = M_old / 5）。此外，在1024×2048分辨率下其平均帧率达到了每秒30帧。
2. 网络结构设计
2.1 影响分割速度的原因分析
我们采用Φ符号来表示卷积操作。输入为V∈R{c*h*w}的形式，在经过卷积处理后得到输出U∈R{c{'}*h{'}*w^{'}}, 其中卷积核尺寸设为k。其中满足条件：调整后的高度和宽度分别为h/s和w/s。根据此设定可得总运算量可由以下公式得出：Φ运算量等于c'乘以k平方再乘以wh除以s平方。因此，在PSPNet50模型中各个阶段的计算时间分布如图所示。值得注意的是，在通道数量上stage5相较于stage4翻倍导致所需计算时间增加
2.2 网络结构
本文所提出的网络架构如图所示。在此处采用级联图像输入策略，在三个分支层中，输入尺寸逐渐缩小。该架构的顶层分支采用了PSPNet特征提取模块。然而由于输入图像尺寸较小（生成的是原始图像1/32分辨率的特征图），因此计算复杂度较低。具体而言，在提取过程中所需的时间仅为19ms，并消耗约0.6G显存。中间和下层分支采用了轻量级网络架构设计，在运行时所消耗的时间相对较短。值得注意的是，在某些关键层面上，中间和顶层分支实现了参数共享以及计算资源共用。
2.3 Cascade Feature Fusion
文中采用的级联特征混合单元结构如图所示：融合与校准
2.4 Cascade Label Guidance
这部分个人见解主要用于进行特征校准和网络训练。这些过程中的分辨率分别对应原始图像的\frac{1}{16}、\frac{1}{8}和\frac{1}{4}倍率。假设在第t个阶段（其中t从1到\tau），分辨率为y_t \times x_t。预测结果则用F_{n,y,x}^t来表示；而对应的标注结果则用F_{\hat{n},y,x}^t来表示。基于此设定，在计算损失函数时可采用以下形式：
L = -\sum_{t=1}^{\tau}\lambda_t \cdot \frac{1}{y_t x_t} \cdot \sum_{y=1}^{y_t}\sum_{x=1}^{x_t}\log\left(\frac{e^{F_{\hat{n},y,x}^t}}{\sum_{n=1}^{N}e^{F_{n,y,x}^t}}}\right)
2.5 网络结构分析
该文章所提出的ICNet通过将低分辨率图像输入至PSPNet这类计算密集型网络来实现，并在随后的过程中采用两个分支模块持续精确诊细分割结果；在此基础上对比分析了现有几种主流网络架构。
3. 实验结果
分割性能：
消融实验：
