论文阅读：ReSeg: A Recurrent Neural Network-based Model for Semantic Segmentation

文章目录

• • 1 摘要

  • 2 亮点

  • • 2.1 ReNet结构改进
    • 2.2 ReSeg整体结构

  • 3 部分结果

  • • 3.1 分割的数据对比
    • 3.2 分割的效果对比

  • 4 结论

  • • 4.1 优势
    • 4.2 不足

  • 5 参考资料

1 摘要

本文以ReNet为基础构建了ReSeg网络结构。该网络在特征提取阶段（编码器部分）采用了经过预先训练的CNN架构，在图像尺寸恢复过程中（解码器部分即上采样环节），采用了RNN架构。其中，RNN架构建立在ReNet基础之上；而作为基于RNN的图像分类模型的基础之一，则是该体系的关键组件之一。通过引入具有上下文整合能力的模块化设计，在处理复杂的语义分割任务时展现出极强的能力与效率；该体系在Weizmann Horse数据集、Oxford Flower数据集以及CamVid数据集中均展现了最佳的效果。

#论文笔记：ReNet:一种创新设计的递归神经网络架构

2 亮点

2.1 ReNet结构改进

ReNet架构应如图所示。特别需要注意的是，在ReNet架构图中各模块（16x16、8x8、4x4等）应当呈现出各自不同的尺寸效果。然而，在当前的绘制结果中这些模块被统一绘制成了相同的尺寸。

如图所示的是ReSeg解码器阶段的网络架构，在优化过程中主要针对语义分割任务进行了针对性优化。可以看出其与基础模块如RE-NET相比基本一致。其中后续两层全连接结构被替换为上采样模块（其中采用反卷积技术进行上采样处理）后缀以卷积层完成最终输出结果。

2.2 ReSeg整体结构

ReSeg主要分为两个组成部分：在特征提取阶段，基于经过预先训练的VGG16架构生成相应的特征图；解码器阶段则采用ReNet架构，并通过其内部的双向RNN模块建立各层之间的关联关系。

ReSeg是一种基于BRNN的图像分割模型...该图像分割模型ReSeg采用BRNN架构并对目标区域进行精确识别与边界提取...实验结果显示，在测试数据集上的性能表现优异...相较于基于CNN的传统方法而言...其在医学图像分割中的应用前景广阔。

3 部分结果

3.1 分割的数据对比

如图所示，在Weizmann Horses与Oxford Flowers两个数据集上进行对比实验后发现

上图为ReSeg和各个网络的效果对比。

3.2 分割的效果对比

该图显示自左至右依次为原始图像、ground truth、模型输出结果及经过类别平衡优化的ReSeg输出。

4 结论

这篇文章通过对其图像分类网络ReNet进行优化后应用于语义分割研究，在现有技术基础上将递归神经网络引入到这一领域确实是一种富有创新性的策略。我们期待进一步挖掘并提升RNN技术在这一领域的潜力。

4.1 优势

① 使用RNN替代池化层的作用，整合了上下文信息。

4.2 不足

存在一些类别的分割效果差异显著。通过应用类别平衡策略能够实现个别类别的分割质量提升，然而这可能导致整体性能出现下降。

5 参考资料

图像分割模型

图像分割模型