国科大人工智能学院《计算机视觉》课 —底层视觉—特征点提取、描述与匹配

一、二维图像变换

图像变换：值域（亮度、对比度）、自变量域（几何：缩放、平移、旋转）

什么类型的变换能表示为2×2矩阵（线性变换） ？

• 尺度缩放、旋转 可以。
• 平移不能写成2×2矩阵 。为了能写，引入了齐次坐标系 。
  
  

仿射变换 = 线性变化 + 平移 ：

单应变换/射影变换（Projective Transformations） = 仿射变换 + Projective warps 射影空间扭曲 ：

二维变换 的总结：欧式变换、相似变换、仿射变换、单应变换

二、SIFT特征点检测

1. SIFT的介绍

• SIFT：Scale Invariant Feature Transform
• 是一种特征提取 算法
• DoG特征检测 + SIFT描述子
• SIFT特征的性质：对旋转和尺度都具有不变性
  

2. SIFT特征提取算法流程：特征点提取、特征点描述

尺度空间 ：检测在尺度变化时仍然稳定的特征

高斯差分尺度空间DoG（Difference of Gaussian） ：为了在尺度空间中检测稳定的关键点 ，所以构造高斯差分尺度空间。

• 将两个尺度空间相减
  

但其实 尺度归一化的LoG空间 才具有真正的尺度不变性 。而高斯差分DoG只是LoG的一个很好的近似。

高斯金字塔 ：保证尺度不变性

• 高斯金字塔并不是一个金字塔，而是有很多组（Octave）金字塔 构成，并且每组金字塔都包含若干层（Interval） 。
  
  

DoG金字塔 ：

• 差分金字塔，DOG（Difference of Gaussian）金字塔是在高斯金字塔 的基础上构建起来的，其实生成高斯金字塔的目的就是为了构建DOG金字塔 。
• DOG金字塔的第1组第1层是由高斯金字塔的第1组第2层减第1组第1层得到 的。以此类推，逐组逐层生成每一个差分图像，所有差分图像构成差分金字塔 。概括为DOG金字塔的第o组第l层图像是有高斯金字塔的第o组第l+1层减第o组第l层得到的。
  

Step1：DoG尺度空间极值点检测

Step2：关键点的精确定位（对尺度空间DoG函数进行曲线拟合，计算其极值点；再去除不稳定的关键点）

为啥要有这步？因为在离散采样中搜索到的极值点 不一定是真实空间的极值点 。

基本原理：对尺度空间DoG函数进行曲线拟合 ，计算其极值点，从而实现关键点的精确定位。

去除不稳定的关键点 ：

• 去除 对比度低的点
• 去除 边缘上的点

三、特征点描述与匹配

• 匹配：确定不同图像中对应空间同一物体的投影的过程
• 特征匹配：点 匹配、直线 匹配、曲线 匹配、区域 匹配
• 点匹配的基本原则：利用图像点周围的信息 来描述点 ，如灰度信息、颜色信息、梯度信息等 ，然后进行相似性度量 。

1. Cross-correlation 基本原理：利用相关函数 ，评价两幅图像特征点 邻域的灰度相似性 以确定对应点。

2. SIFT特征匹配算法

• SIFT特征的提取：DoG特征检测算子
• SIFT描述子的构造
• 匹配 方法

直方图Histogram ：

• 直方图表示的是图像中灰度之间的统计 关系。用横坐标表示灰度级 ，纵坐标表示频数 。
• 直方图 可以克服形变 ，但不具有图像旋转不变性 。

Step3：关键点主方向的计算

Step4：特征描述

SIFT特征匹配 ：

四、ORB描述子

• ORB（Oriented FAST and Rotated BRIFF）
• ORB = oFAST + rBRIFF
• BRIFF（Binary Robust Independent Elementary Features） ：二进制描述子 ；高速、低存储

oFAST ：

rBRIFF：

五、基于DNN的特征描述子的学习

六、空间点匹配：ICP（Iterative迭代 Closest Point）

• 两组不知其对应关系的点集 之间的匹配

七、鲁棒匹配的RANSAC框架

---

考过的题目：

1. 分别详述 SIFT 特征的提取 、描述子构造 、以及匹配过程 。