多聚焦图像融合 multi-focus image fusion 之一：A Multi-focus Image Fusion Method Based on Laplacian Pyramid

多聚焦图像融合 multi-focus image fusion 之一：一种基于拉普拉斯金字塔的多焦点图像融合方法

• 1. 焦点管理与失焦处理

  • 第二章 拉普拉斯金字塔变换理论及其应用 LAPLACIAN PYRAMID TRANSFORM AND ITS APPLICATIONS

  • 第二章 章节概览

    • 第二章 §2.1 高斯尺度空间构建 GAUSSIAN SCALE SPACE CONSTRUCTION
      • 第二章 §2.2 梯度金字塔构建 GRADIENT PYRAMID CONSTRUCTION BASED ON Laplacian
      • 第二章 §2.3 基于梯度的重建过程 GRADIENT-BASED RECONSTRUCTION PROCESS USING Laplacian OPERATORS

  • 3.图像融合策略

  • • 3.1 第N层图像融合
    • 3.2 其它层图像融合

  • 4.整体融合框架

  • 参考文献

1.聚焦与离焦

若焦点平面与相机敏感面达到完全重合状态，则物体表面上任意一点在成像后仍为单一的像点；这种情况下所形成的图像是一个精确对焦的状态。

当二者不重合时，在成像时会变成一个半径为r的模糊圆斑，即离焦图像。

2.拉普拉斯金字塔变换原理 LAPLACIAN PYRAMID TRANSFORM

2.1 高斯金字塔分解

高斯金字塔图像由G_0,G_1,...,G_N组成。G_0代表原图，G_N为金字塔最高层的图像。

基于高斯金字塔的分层分解机制充当了低通滤波器作用，并且在横向和纵向均进行了两倍尺度的下采样。

高斯滤波卷积核为：

\qquad K_{5*5}=\cfrac{1}{256}\begin{bmatrix} 1& 4& 6& 4& 1 \\ 4& 16& 24& 16& 4\\ 6& 24&36& 24&6 \\ 4& 16& 24& 16& 4\\ 1& 4& 6& 4& 1\end{bmatrix}

该运算由Reducing操作定义为：G_l(i,j)=该运算定义为Reducing操作\\ 该运算定义为Reducing操作=\sum\limits_{m=-2}^2\sum\limits_{n=-2}^2ω(m,n)·G_l(i,j)

其中 1\le l \le N，0\le i \le R_b，0\le j \le C_l

C_l:第l层金字塔图像的列数，R_b:第l层金字塔图像的行数

高斯金字塔算法效果如下：

2.2 拉普拉斯金字塔分解

• 当 0 \le l \lt N 时，LP_l=G_l-G_{l+1}^{*}

这一步由一个上采样操作以及差分操作组成。

可以看出G_l相当于是图像的低频成

G_l^{*}(i,j) is defined as the expanded version of G_l(i,j). Specifically, it can be expressed as 4\sum_{m=-2}^{2}\sum_{n=-2}^{2}\omega(m,n)G_l\left(\frac{i+m}{2}, \frac{j+n}{2}\right)

经过上采样之后，G_l^{*}(i,j) 和 G_{l+1}(i,j)有同样的shape。

若\cfrac{i+m}{2}或\cfrac{j+n}{2}不为整数，G_{l}(\cfrac{i+m}{2},\cfrac{j+n}{2})=0。

• 当 l = N 时，LP_N=G_N

2.3 拉普拉斯金字塔图像重建

重建公式如下：

G_0=LP_0+Expand(LP_1+Expand(LP_2+...+Expand(LP_N)))

以level=3的拉普拉斯金字塔图像为例：

框图

图示

3.图像融合策略

3.1 第N层图像融合

衡量指标：

• region deviation

\qquad \delta = \dfrac{1}{JK} \cdot \sum_{m=1}^{J}\sum_{n=1}^{K}(X(m,n) - \overline{X})^2, 其中 X 表示一个像素个数为 J \times K 的图像区域

• region entropy

\qquad E=-\sum\limits_{m=0}^{L-1} P_i \log P_i

融合策略：

3.2 其它层图像融合

衡量指标：

• local region energy

\qquad RE_l=\sum\limits_{m' \in J,n' \in K} \omega^l(m',n')[LP_l(m+m',n+n')]^2

融合策略：

4.整体融合框架

参考文献

[1] ■■■■paper：该文提出了一种基于拉普拉斯金字塔的多焦点图像融合方法
[2] ■■■图像金字塔
[3] ■■■https://github.com/gsmark36/mfif-laplacian-pyramid/tree/main