深度学习-图像分割

一、图像分割

1.什么是图像分割

预测目标的轮廓。将不同的像素划分到不同的类别，非常细粒度的分类。

该技术被视为一种关键性的图象处理手段，在此过程中将一幅图象划分成若干个具有实际意义的区域以便于后续分析与处理工作。伴随着技术的进步，在图象分割手段和技术应用领域上都取得了显著进展，在计算机视觉领域中被视为一项具有重要研究价值的方向之一。

2.图像分割的应用场景

人像抠图，医学组织提取，遥感图像分析，自动驾驶，材料图像等。

• 医学图像处理 ：该技术可用于对CT扫描、MRI成像等医学影像中的器官、肿瘤区域进行分割处理，并从而有助于医生准确诊断并制定相应的治疗方案。

• 自动驾驶 ：在自动驾驶系统中，在动态与静态物体之间进行识别和分类是实现安全驾驶的基础技术。

  • 卫星图像分析 ：用于地理信息处理，在图像中识别不同类型的地物（如水域、建筑物和其他植被）。
  • 视频监控 ：实时监控并识别异常行为或物体，在安防领域发挥着重要作用。

3.图像分割的前景与背景

物体Things：可数前景目标(行人等)。

事物Stuff：不可数背景(天空，草地，路面)。

目标域：在图像分割任务中，目标域指的是我们关注的重点区域或关键元素。它是需要单独识别、分析或处理的部分。举个例子来说，在一张有人物和自然景观的照片里，默认情况下的人物形象就是目标域。

背景 ：背景部分则是指与前景完全不相关的内容，在图像处理中它涵盖了图像中无需特别关注的元素。通常涉及环境或场景的其他组成部分，在上述情形中自然属于背景的部分就是我们需要区分的重点区域。举例而言，在上述情形中，风景的其余部分自然属于背景。

前景和背景的特点

前景 ：

• 信息容量大 ：这些重要信息可能与分析任务直接相关。
• 形状、颜色或纹理特征明显 ：这些明确的信息通常能够通过特征提取进行有效识别。
• 形状、大小和颜色可能会有所不同 。

背景 ：

• 信息容量有限：背景中的关键分析信息较少，并常被视为干扰因素。
• 纹理细节丰富：背景下可能存在丰富的纹理细节与色彩变换，并可能影响分割准确性。
• 动态性较低：整体而言呈现出较为静态的状态，并且动态性较低。

4.图像分割的三层境界

· 语义分割：每一个像素必须只能属于一类，预测结果为掩膜。

实例分割技术：主要关注于前景目标的类别属性及其边框的同时涉及个体ID；每个像素点都可同时归属多个实例。

全景分割：每个像素点分配一个语义类别和一个唯一的实例ID。

1. 第一层境界：像素级分割

• 定义：在该层次中，在每一层中进行处理时，在每一层中都会对图像中的每个像素进行独立地分析并进行分类处理。目标是为了将每个像素划分为前景区域或者背景区域；或者根据其特定特征属性将其划分为不同的区域类型。
• 方法：
  • 基于阈值的分割：通过设定灰度阈值来区分前景与背景区域。
  • 聚类技术中采用K-means算法：通过聚类将具有相似特征属性的相邻像素归为同一类别。
  • 采用Canny算子等边缘检测技术来识别物体边界：利用这些算子来精确识别物体轮廓。
• 应用：通常用于处理场景简单且对象边界清晰的情况。

2. 第二层境界：区域级分割

• 定义：在这一层图像分割不仅依赖于单个像素而是考虑到了像素之间的相互关系该方法侧重于将相似的像素组合成较大的区域从而形成连通的区域。
• 方法：有以下三种具体实现方式：
  • 区域生长：从预选好的种子点出发逐步扩展相邻像素至区域内以构建目标区域。
  • 图切割：将输入图像转换为一个图结构并寻找最优分割线以最小化分割成本从而实现图像分割。
  • 分水岭算法：模拟水流从高海拔地区流向低海拔地区的方式将图像划分为多个独立且相连的区域。
• 应用：该算法适用于处理中等复杂度的场景例如医学影像处理以及自然景物分析等领域。

3. 第三层境界：对象级分割

• 定义 ：在这一层阶段上，在图像中对完整物体进行识别与提取。
• 方法 ：
  • 深度学习方法 ：基于卷积神经网络(CNN)实现目标物体级别的分割，在U-Net架构及Mask R-CNN等典型网络结构下展现出强大的特征学习能力。
  • 实例分割 ：不仅仅限于前景与背景的划分，在同类物体的不同类别实例（如多个人或车辆）方面也展现出良好的识别能力。
• 应用 ：广泛应用于多个复杂场景. . . 例如自动驾驶系统, 视频监控平台以及机器人视觉系统等领域均有应用。

总结

图像 segmentation 的三种不同方法分别对应着三种不同的策略与应用领域。依次从 pixel 级别发展到 region 级别划分，并进而提升至 object 级别的划分标准与应用场景。随着层次逐步提升相应的复杂程度与所需技术水平也随之提高。理解这三种不同方法有助于对于选择合适的 segmentation 技术以及据此针对性地进行优化

二、语义分割的评估指标

IoU：前景目标交并比。 ·

mIoU：每个类的IoU平均值。

FWIoU：根据每个类出现的概率给mIoU计算权重。

三、图像分割网络的两个模块

· 卷积模块：提取特征。

· 反卷积模块：上采样恢复到原图尺度。

卷积网络：编码器 ·

反卷积网络：解码器