Non-local Sparse Models for Image Restoration

Non-local Sparse Models for Image Restoration

To_捭阖_youth

本文中作者提出了新型图像恢复方案, 其核心理念在于通过同一字典下各相似块对应的稀疏表示系数具有相似性, 从而能够更有效地恢复图片的空间结构信息。我们将非局部均值与稀疏编码相结合形成了一个全新的联合框架模型, 并采用类似稀疏模式分解技术对各组类似块进行处理。实验证明了该方法在去除噪声以及去除马赛克等方面的表现明显优于现有的相关算法。

Abstract

本文中提出两种图像恢复的方法：

（1）learning a basis set adapted to sparse signal descriptions

Taking advantage of the self-similarity of natural images, the nonlocal means (NLM) technique is employed.

上述通过 simultaneous decomposition of groups of similar signals on subsets from the learned dictionary can yield.

Introduction

Early work:

基于不同平滑度假设的各种各项异性滤波方法包括总变差（total variation）作为优化目标以及基于固定基底（如小波基）的图像分解方法。

基于非局部均值的滤波；图像自相似性；学习的稀疏模型；高斯尺度混合模型；专家领域；块匹配结合三维滤波（BM3D）

In this paper:

The method explicitly makes use of self-similar structures in natural images to reduce noise levels across similar regions.

sparse coding encodes natural image statistics through the decomposition of each image patch into a linear combination of elements from a basis set, which is termed as the dictionary.

By employing simultaneous sparse coding, the method ensures that similar patches share identical dictionary elements during their sparse decomposition.

本文与BM3D不一样的是BM3D基于典型固定正交字典。

Related Work

1、Non-Local Means Filtering

Reference：《a non-local algorithm for image denoising》

已知一个离散含噪图像v

2、Learned Sparse Coding

3、Block Matching 3D (BM3D)

Refer to Image Denoising using Sparse 3-D Transform-Domain Collaborative Filtering

类似于非局部均值滤波器（non-local means filtering），该方法通过识别并匹配相似的小块区域来进行重构。具体而言，在实现过程中首先将每个待处理的图像划分为多个二维数据块，并将这些二维数据堆叠形成三维信号数据；然后利用三维正交字典对这些三维信号进行硬阈值或软阈值处理以达到降噪效果。

Proposed Formulation

该部分主要讲图像自相似性怎么融合到稀疏编码中？？？

1、Simultaneous Sparse Coding

考虑到稀疏分解潜在存在的不稳定性（其中0范数具体表现为分段常数特性,而1范数则表现为分段可微特性）,稀疏编码过于自由化可能导致不同的估计结果出现;因此我们采取措施确保相似块具有类似的分解

联合稀疏表示方法指的是多个非零系数通过分组施加于这些矩阵上以实现分组稀疏操作；其主要目标是限制这些矩阵中非零行的数量。

注意这里有一个问题：怎么确定（p,q）的值？

Reference:《Image noise removal based on sparse and redundant representation collections within learned dictionary structures》

在上述内容中提到常规的字典学习方法中通常使用1范数构建字典矩阵而0范数则被用于实现图像重构过程

所以，这里我们采用（p,q）=（1,2）范数学习字典，（p,q）=（0,∞）范数来进行最后的重构。

2、Practical Formulation and Implementation

我们都知道该优化问题的主要计算资源体现在向量a的n×n运算上；为此我们提出了一种方法旨在对该计算量进行线性化处理并使其达到最优状态

2.1、Semi-local grouping

The paper introduces a novel approach for image denoising through the application of sparse 3-D transform-domain collaborative filtering techniques.

建立ww的搜索窗口来寻找y的相似块，这样可以将计算量减少为nww。

2.2、Clustering

首先对所有的像素进行聚类处理，并将其分配到互不相交的Ck集合中；通过使得每个Ck中的所有像素点i都具有相同的Si集合这一操作来完成聚类任务。

在统一类别下的所有像素点的优化问题具有相同的性质，在此基础之上实现了整体计算负担的减轻。具体而言，在分类过程中仅需关注与该特定类别相关的n个向量a。

2.3、Initialization of D

Reference:《Online dictionary learning for sparse coding》

从PASCAL VOC‘07 数据库中随机选出10000副图像，从中取2*10^7图像块来学习字典。

2.4、Improved matching

我们注意到，在进行分组之前，利用图像进行简单的稀疏编码处理以去除噪声对于分组相似的块具有显著的帮助。

2.5、Patch normalization

为了增强稀疏编码过程中的稳定性, 通常在执行图像块操作之前, 我们会将图像块中的每个像素值减去该块平均亮度（以RGB颜色空间表示）。并在估计值中重新加入该平均亮度。

实际上该方法被广泛应用。通常用于去噪和超分辨（杨建超也是这么做的），从而能够显著提升结果的视觉效果。

3、Real Image and Demosaiking

本文去马赛克分为四步：

（1）Cluster similar patches on the mosaicked image y

（2）用D0重构每一块图像

（3）学习一个字典D1，对式子（1）最优化即可求解

以D_2 = [D_0, D_1]替代式(3)中的D_0用于重构每一幅图像；随后利用式(2)的平均估计值来综合所有这些图像从而实现整个去马赛克的目标

Experimental Validation

d

Download: Reference

本文尚不成熟，希望大家提出宝贵意见。

特别关注我的个人博客及微博账号To_捭阖_youth