论文阅读——Semantic Soft Segmentation（语义软分割）

论文阅读——Semantic Soft Segmentation（语义软分割）

标题：Semantic Soft Segmentation at SIGGRAPH2018
作者包括Yagiz Aksoy、Tae-Hyun Oh、Sylvain Paris、Marc Pollefeys和Wojciech Matusik
团队由MIT CSAIL和Adobe Research组成

语义软分割(Semantic Soft Segments)，致力于清晰地描述图像各区域之间的柔和过渡. 类似于磁力套索（magnetic lasso）和魔术棒（magic wand）的特性.

《Semantic Soft segmentation》重点阐述了一种旨在准确描述软过渡的技术，在计算机视觉领域具有重要研究价值。该方法通过引入语义软分割概念实现了对软过渡的精准描述。其中，SSS由一组对应于图像中具有语义意义区域的层组成，并且这些层在处理复杂对象时展现出高度精细且自然的渐变效果。

​ *

作者采用谱分析的方法对语义软分割问题进行研究。
将输入图像中的纹理和颜色特征与经训练用于场景理解任务的卷积神经网络产生的高级语义特征进行融合。
本文提出了一种图模型，在Laplacian矩阵的特征向量中展示语义对象及其间的软连接关系。
最后引入了一种基于空间变化机制的稀疏度模型，该模型能够根据特征向量生成高质量的空间分布层，并应用于图像编辑。
作者展示了基于soft segments的方法能够简便有效地完成复杂的图像编辑任务。

出发点：
[1] - 能够分割图片中的不同物体，同时精确表示出分割物体间的过渡情况.
[2] - 自动完成分割，不用手工操作.

Semantic Soft Segmentation是一种技术手段，在图像分割中实现对场景中物体与目标的覆盖效果。该技术通过自动划分不同层次来实现图像分割，并借助软过渡（soft transitions）来实现不同物体的分离。

相关研究方向：

Soft segmentation - 将图像划分为两个或多个区域，在这种情况下每个像素可能归属于多个区域.
Natural image matting - 旨在确定前景区域中每个像素的不透明度. 通常输入为trimap图谱,该图谱分别标识出前景中的不可见部分,背景中的透明部分以及介于两者之间的未知透明度区域.
Targeted edit propagation.
Semantic segmentation - 语义分割.

reference:https://www.aiuai.cn/aifarm366.html