python2.7图像局部增强_基于图像特征的图像配准关键技术综述

前言

图像配准有三种：基于图像特征 的配准、基于图像灰度 的配准、基于变换域 的配准 本篇我们研究基于图像特征的配准的基本流程以及方法

0、基本流程以及每个流程的大致步骤

步骤：

• 1)图像预处理：数据的准备 阶段，抑制噪声 、增强图像配准 的所需要的特征信息、增强其质量
• 2）特征提取：（手动提取、自动提取）边缘封闭轮廓、角点、线交点及端点等作为兴趣点。图像配准通常提取角点特征 ：角点特征具有良好的可定位可识别性。有SURF、FAST、ORB、SIFT等技术
• 3）特征匹配：通常利用特征点一致性进行匹配：最近邻匹配 ，并用随机采样一致性，利用空间位置关系剔除误匹配点
• 4）评估：相似性度量+优化算法
• 5）重采样：重采样继续配准（迭代） 、灰度插值（最近邻函数、双线性、双三次函数、二次样条函数、三次B样条函数、高阶B样条函数等）

1、基于特征的图像配准算法

    （引入更高层的特征提取过程，提高算法的环境适应性以及配准质量，应用广泛）

1、特征提取

 点特征：对特征点的数量、质量、分布情况要求比较高-近年来利用线辅助特征进行图像的配准质量

    
 深度学习的神经网络性能优异。深度学习辅助提升多视几何学的传统算法的图配准质量，训练端到端的图像配准

点 特征：最好；交叉点、局部曲率不连续点、曲线拐点、角点。（Harris->SIFT->SURF->ORB）

线 特征：一般是边缘检测，如Canny检测器检测线特征

区域 特征：重心等对随机噪声以及光照不敏感的、具有旋转、尺度不变性。

2、特征匹配

• 基于特征的配准 ：最重要的一步就是特征匹配。一般如果局部不太明显的话，是基于空间分布关系的的方法进行匹配 。基于图的匹配算法:配准图像转换后，落在参考图像特征给定范围内的数量进行相似度度量。
• 基于特征的不变描述子 ：将两个图像之间，描述子最相似的特征点子进行匹配 。最后暴力匹配计算匹配特征与参考特征集的相似度。（计算量太大，一般用近似最近邻快速搜索方法；度量利用Euclidean距离以及余弦相似度、互信息）
• 剔除匹配点对 ：随机采样一致随机优化算法（是通过不断地迭代随机点的变换矩阵，保留点数量最多的变换矩阵输出，容错强但是具有随机性）

3、变换模型估计

• 图像变换算法 ：透视变换模型、镜头畸变模型
• 配准变换模型 ：全局变换和局部变换（加权最小二乘法以及加权平均法、匹配点对三角化等、基函数、弹性配准）
• 图像变换优化 ：利用暴力求解 模型的话，复杂度太大（一步到位太难），利用数字优化迭代是最好的选择（高斯-牛顿法、梯度下降法、L-M法、模拟退火随机优化）
• 搜索 速度：图像金字塔和小波分解逐层细化搜索

2、基于区域的图像配准

（ 算法实现简单，但是复杂度高、适用范围小 ）

基本原理：就是一幅图像不同的地方拥有不同的相关性区域指标。利用极大相关性指标搜索待配准图像的最佳的位置，实现图像对齐

特点：不需要复杂的预处理而且简单，但是只适用于一般的刚性配准的手段（平移、旋转等），范围小、鲁棒性低、运算量大。

基于归一化互相关法的匹配 。

对参考图像和待配准图像** 滑动 计算相似度**，搜索最大值作为配准结果。（计算量大、极大值的显著性低）

改进-相位相关法：将图像转变成频域，互功率谱 中的相位信息进行配准（光照鲁棒性、但是对噪音比较敏感）

改进-扩展相位相关法：依次对其旋转、平移量进行估计，从而获得良好的配准效果。

互信息：

计算数据间的统计相关性 ，利用与异源图像的配准中。一般利用梯度下降法进行优化、交叉熵进行度量。

反思：

基于图像特征的配准：核心就是找到图像比较唯一的、容易识别的区域作为配准准则。

首先介绍了他的基本流程以及每个流程的所涉及的技术以及难点

然后基于特征的、基于区域的配准两大部分详解其配准方法。

• 点提取、匹配、模型估计
• 归一化互相关、改进的归一化互相关、互信息