可见光热红外图像融合算法设计

本设计方式中对于多源图像融合算法采用以下三个步骤进行：

1. 多源图像目标特征提取；
2. 多源图像配准；
3. 多源图像融合。

1．多源图像目标特征提取

在多源图像的目标特征提取过程中，在目标图像预处理阶段（...），首先将可见光成像数据经过三维降噪和动态显示处理以显著提升信噪比水平；随后针对热红外成像数据应用DDE增强算法以优化其成像效果。

红外图像具有广 dynamic range（DR），特别是在利用高精度数字采集电路捕获制冷探测器信号后，在实际应用中难以直接形成清晰的图像。仅对 raw data (14-bit) 进行简单的 digital contrast enhancement会严重损害图像细节部分。传统的增强方法主要依赖于 classic histogram processing techniques, 包括直方图均衡化 (histogram equalization)、直方图投影技术 (histogram projection technique) 和平顶 Histogram 平滑化处理 (平台平滑化处理)，但这些方法容易导致过补偿现象出现、会使噪声在平坦区域中被放大以及导致目标物体表面呈现偏白现象等不良效果。鉴于此，在本设计中提出了一种新的数字对比度增强算法（digital contrast enhancement algorithm），其具体流程如下：

图. 算法流程

算法处理过程主要分为 4 个步骤：

（a）采用分滤波器对图像进行分层处理。

利用引导滤波器对图像进行滤波处理，得到图像的背景层（BaseLayer）。

（b）对背景层进行直方图均衡处理，可选用高斯滤波做预处理。

（c）对细节层进行自增益增强，细节层图像有原始图像和背景层做差得到。

(d)图像按权值重建

运用上述算法对红外图像进行增强，对细节部分增强有很好的效果。

图 增强对照图片，左侧为增强前图像，右侧为增强后图像

完成预处理后，在各个图像中提取特征，并采用了 SURF 算法作为特征提取算子。“其中 SURF（Accelerated Robust Features, A.R.F.）是一种加速版的 SIFT 算法。”在 SIFT 算法构建尺度空间的过程中，默认使用 Difference of Gaussians (DoG) 对 Laplacian of Gaussian (LoG) 进行近似。“而 SURF 则采用 box_filter 对 LoG 进行近似计算。”如图所示。

当执行卷积运算时, 可以借助积分图像. 其显著优势在于, 在任何给定窗口内求取所有像素之和的过程中, 所需的时间与该窗口尺寸无关. 这使得盒子滤波器成为一个高效的方法, 并且可以在多尺度空间中实现同一操作. 同样地, 在使用SURF算法时, 在Hessian矩阵二阶导数行列式的平方根处检测关键点的位置和尺度特征.

为了确保特征矢量具有旋转不变性，在每个特征点处都需要指定一个主要方向。基于该特征点为中心的小圆区域内（半径设为6倍的该特征点尺度s），对图像执行Harr小波响应运算。这等同于对图像执行梯度计算。通过使用积分图技术，则能显著提高梯度计算效率。为了确定主方向值，在此基础之上设计一个基于方向为中心、张角设定为60度的方向扫描窗口，并以步长约为0.2弧度的方式对该滑动窗口进行旋转遍历。在遍历过程中累加窗口内各位置上的Harr小波响应强度值。主方向即对应最大累积强度值所对应的方位角方向。在本实现中无需考虑旋转校正问题，在这种情况下主方向参数可被忽略而不影响算法的整体速度性能（因为此时算法将简化成为无主向U-SURF模型），从而实现一种无需主向信息即可获得较高速度但仍能保持±15度范围内稳定特性的高效算法框架

(2) 多源图像配准

因为不同源的图像在信噪比和分辨率上均存在显著差异, 因此在配准过程中面临着较大的技术挑战. 在综合考虑以上要素的基础上, 提出了基于全局交叉相关的centervariant尺度配准方案. 交叉相关性作为一种用于衡量图像特征相似程度的重要指标, 可通过以下公式进行表示:

其中 CC 代表两幅图像中的cross相关性， R,S 代表两幅图像的特征表述图。

反映两幅图像之间的差异特征，在基于计算出的值基础上按照降序排列的方式获得各对图像之间的配准点数量。

对于光学物理特征配准技术中涉及的基于镜头光学焦距反馈与实际图像放大倍数之间的转换关系研究。其中视场角计算公式的应用对应于放大倍数的计算过程中。数学表达式如下所示：

水平视场角=2arctan（靶面宽/（2*焦距））

对应获取的焦距（反馈数值）与实际物体放大倍数（横轴）曲线如下图所示。

基于获取的焦距数据,相当于电阻值,并转换为放大倍数系数。完成一次调整步骤后,在上述提出的配准方法基础上进行第二次校准过程,从而进一步提升测量精度。

（3）多源图像融合

多源图像融合的方法论是将各源图像中的特征信息整合到同一幅图中以增强表征能力的技术。在不同光照条件以及大气环境等因素的影响下各源图像会呈现出各自独特的特征表现因此通过多源图像的信息融合来综合展现更为丰富的特征。在完成图像配准后所得图像是已经实现了尺度上的精确匹配在此基础上需要进一步实现背景区域与细节区域的有效分离通常认为背景区域对应于图像中细节较为有限的部分输入的二维实数矩阵 D ∈RH×W将被分解为具有特定稀疏特性的两部分即反映景物主要信息的低秩矩阵 A 和仅含有局部小范围变化特性的稀疏矩阵 E

稀疏矩阵 E 可以描述为凸优化问题：

这两个多源图像的信息能够被表征为{{D_A, D_B}}；其中,D_A,D_B∈RH×W；从而获得相应的稀疏矩阵 E_A 和 E_B；进而计算出对应区域内的方差矩阵 V_A 和 V_B；这些结果将被用作融合的基础依据

在此部分中,W{AB}(i,j), 我们将其定义为决策框架, 并在指导图像融合过程中的参考依据. 通过这一框架, 我们能够获得最终的融合图像_F{AB}. 相较于多种现有的图像融合方法, 本文提出的方法较之其他方法具有更好的性能.

LP	WT	NSCT	Ours
MSE	2.19	2.29	1.37	0.16
SNR	7.35	7.17	8.34	12.84
PSNR	20.68	20.49	22.72	32.05
Q	0.938	0.928	0.959	0.994

从另一个角度来看，在夜晚环境及热红外图像融合方面表现更为出色的是该方法。

原始图****1	原始图****2	LP	WT	Ours
5**×**5	8.76	12.45	26.30	22.24	17.50
10**×**10	11.52	14.93	26.24	26.68	17.10

图 图像融合效果

图 不同的融合后渲染效果