OpenCV基础教程——特征提取与描述（特征匹配）
特征匹配
目标：
本章节你需要学习以下内容:
*我们将要学习在图像间进行特征匹配
*使用 OpenCV 中的蛮力（Brute-Force）匹配和 FLANN 匹配
代码解读1、蛮力（Brute-Force）匹配基础
暴力破解匹配器相对直接。然后从第一张图像中选择一个特征点，在随后逐步计算该特征点与第二张图像中每一个特征点之间的（描述符）相似度值，并最终找出具有最小（描述符）相似度的那个特征点。
对BF匹配器而言是一种用于模式匹配的技术。我们需要先创建一个BFMatcher实例，并为此对象提供两个可选参数：第一个参数是normType，在此场景下该属性将被用来指定要使用的距离测量方法，默认情况下该属性会被设置为 cv.NORM_L2 ，这一设置特别适用于那些基于梯度特征提取（SIFT/SURF）的方法（其中 cv.NORM_L1 也是一个常见选择）。而对于依赖于二进制位描述符类别的算法（如ORB、BRIEF、BRISK等），则应当采用 cv.NORM_HAMMING 作为度量标准。特别地，在ORB算法中当WTA_K被设置为3或4时，则建议选用 cv.NOM_HAMMING2 作为度量方法。
第二个参数是一个布尔变量crossCheck，默认设置为false。当其设为true时，则Matcher仅筛选出满足条件(i,j)的匹配结果；其中集合A中的第i个描述符与集合B中的第j个描述符互相对应地被选中，并且两组特征之间必须存在相互对应的配对关系。“交叉检查”这一机制确保了结果的一致性，并提供了一种一致的结果；这种替代方案源自D.Lowe在其SIFT论文中所提出的比率测试方法。
在建立之后，在图像处理领域中存在两种关键的特征提取函数：OpenCV中的BFMatcher.match()与BFMatcher.knnMatch()这两个工具。前者负责获取最理想的匹配结果，在大多数应用场景下表现稳定且可靠。而后者则能够提供k个最优的结果（其中k值由用户自行设定），这种特性使其在处理较为复杂的任务时可能会派上用场。
类似于我们借助cv.drawKeypoints()来呈现关键点，借助cv.drawMatches()我们可以展示匹配项。这种技术通过将两个图像水平排列并从第一个图像向第二个图像连接线条以标示最优匹配；另外一种方法是通过cv.drawMatchesKnn来呈现所有k个最优匹配。当k值等于2时每个关键点都会被画出两条对应的连线；因此如果我们希望仅展示部分结果就需要提供一个掩码参数
让我们看一下每个SURF和ORB的一个例子（两者都使用不同的距离测量）。
（1）与ORB描述符的强力匹配
在此处, 我们将会了解一种关于如何在两张图景之间配对特征的简单方法. 在此情况下, 我有一个查询图景与一个目标图景. 我们将计划利用特征匹配技术来分析目标图景中的内容, 以便识别出两者之间的关联性. （图片包括/samples/c/box.png和/samples/c/box_in_scene.png）
我们采用ORB描述符用于匹配功能。因此，请让我们从加载图像开始，并查找相应的描述符。
import numpy as np
import cv2 as cv
import matplotlib.pyplot as plt
img1 = cv.imread('box.png',0) # queryImage
img2 = cv.imread('box_in_scene.png',0) # trainImage
# Initiate ORB detector
orb = cv.ORB_create()
# find the keypoints and descriptors with ORB
kp1, des1 = orb.detectAndCompute(img1,None)
kp2, des2 = orb.detectAndCompute(img2,None)
代码解读随后，在计算特征之间的相似度时，我们采用cv.NORM_HAMMING范数来构建BFMatcher实例（该操作基于ORB特征）。并启用交叉校验机制以提高匹配精度。接着，在两幅图像中应用Matcher.match()方法来获取候选匹配。随后按相似度从小到大排序这些候选匹配，并将最优配对（最小相似度）置于首位。最后仅选择前十个候选配对进行可视化展示（当配对数量过多时建议选择部分显示）。
# create BFMatcher object
bf = cv.BFMatcher(cv.NORM_HAMMING, crossCheck=True)
# Match descriptors.
matches = bf.match(des1,des2)
# Sort them in the order of their distance.
matches = sorted(matches, key = lambda x:x.distance)
# Draw first 10 matches.
img3 = cv.drawMatches(img1,kp1,img2,kp2,matches[:10], flags=2)
plt.imshow(img3),plt.show()
代码解读结果如下图所示：
（2）这个Matcher对象是什么？
matches = bf.match(des1, des2)行的结果呈现为DMatch对象列表的形式。该DMatch对象具备以下属性：
DMatch.distance 表示描述符间的度量值，目标是最小化最佳。
DMatch.trainIdx 代表训练集中的各实例特征向量对应的索引。
DMatch.queryIdx 是查询集中特征向量对应的位置标识。
DMatch.imgIdx 表示对应火车图像在数据集中的存储位置。
（3）对 SIFT 描述符进行蛮力匹配和比值测试
在本次中, 我们将利用BFMatcher.knnMatch()来进行最佳匹配. 在此例中, 我们选择k=2, 以便于应用D.Lowe所解释的比例测试.
import numpy as np
import cv2 as cv
from matplotlib import pyplot as plt
img1 = cv.imread('box.png',0) # queryImage
img2 = cv.imread('box_in_scene.png',0) # trainImage
# Initiate SIFT detector
sift = cv.SIFT()
# find the keypoints and descriptors with SIFT
kp1, des1 = sift.detectAndCompute(img1,None)
kp2, des2 = sift.detectAndCompute(img2,None)
# BFMatcher with default params
bf = cv.BFMatcher()
matches = bf.knnMatch(des1,des2, k=2)
# Apply ratio test
good = []
for m,n in matches:
if m.distance < 0.75*n.distance:
good.append([m])
# cv.drawMatchesKnn expects list of lists as matches.
img3 = cv.drawMatchesKnn(img1,kp1,img2,kp2,good,flags=2)
plt.imshow(img3),plt.show()
代码解读结果如下图所示：
2、FLANN匹配
FLANN 被定义为...
对于基于FLANN实现的特征匹配器，在构建匹配过程时必须提供两个参数以确保匹配效果的有效性。其中第一个参数是IndexParams对象，默认情况下该对象将包含所有索引项，并根据所选算法自动生成相应的描述符向量空间模型。不同类型的算法对配置参数的需求存在差异，在设计时应充分理解各算法特性和适用场景的基础上合理配置各项设置以获得最佳匹配效果。
具体来说，在实现时可按如下方式设置：
- 首先初始化一个IndexParams实例
- 根据所选算法类型动态生成相应的配置项
- 设置合适的距离度量函数
- 配置适当的索引树深度参数
FLANN_INDEX_KDTREE = 1
index_params = dict(algorithm = FLANN_INDEX_KDTREE, trees = 5)
代码解读当采用ORB方法时，在代码中需要输入的具体参数包括哪些呢？被注释的部分通常包含文献中建议使用的标准参数；然而这些设置通常仅适用于特定场景；而其他未被注释的选择可能在某些情况下表现得更好。
FLANN_INDEX_LSH = 6
index_params= dict(algorithm = FLANN_INDEX_LSH,
table_number = 6, # 12
key_size = 12, # 20
multi_probe_level = 1) #2
代码解读第二个字典名为SearchParams。它决定了对索引中树结构进行深度遍历的程度。当数值越大时，在搜索过程中能够提高精确度；然而，在提高精确度的同时也带来了计算时间上的增加。如果需要修改此参数的值，请将search_params设置为包含一个键名为checks，并将其对应的值设为100
有了这些信息，我们就可以开始工作了。
import numpy as np
import cv2 as cv
from matplotlib import pyplot as plt
img1 = cv.imread('box.png',0) # queryImage
img2 = cv.imread('box_in_scene.png',0) # trainImage
# Initiate SIFT detector
sift = cv.SIFT()
# find the keypoints and descriptors with SIFT
kp1, des1 = sift.detectAndCompute(img1,None)
kp2, des2 = sift.detectAndCompute(img2,None)
# FLANN parameters
FLANN_INDEX_KDTREE = 1
index_params = dict(algorithm = FLANN_INDEX_KDTREE, trees = 5)
search_params = dict(checks=50) # or pass empty dictionary
flann = cv.FlannBasedMatcher(index_params,search_params)
matches = flann.knnMatch(des1,des2,k=2)
# Need to draw only good matches, so create a mask
matchesMask = [[0,0] for i in xrange(len(matches))]
# ratio test as per Lowe's paper
for i,(m,n) in enumerate(matches):
if m.distance < 0.7*n.distance:
matchesMask[i]=[1,0]
draw_params = dict(matchColor = (0,255,0),
singlePointColor = (255,0,0),
matchesMask = matchesMask,
flags = 0)
img3 = cv.drawMatchesKnn(img1,kp1,img2,kp2,matches,None,**draw_params)
plt.imshow(img3,),plt.show()
代码解读结果如下图所示：
特征匹配+ Homography查找对象
目标：
本章节你需要学习以下内容:
*我们将联合使用特征提取和 calib3d 模块中的 findHomography 在复杂图像中查找已知对象。
代码解读1、基础
还记得上一节的内容吗？我们通过一个查询图像，在其中识别出一些关键点；随后，在另一幅图中也成功识别出一些关键点；最后将这两幅图中的关键点进行了配准。其实质是：我们在复杂多样的场景中定位了一个对象（的部分特征）。这些数据足以让我们能够在目标图中精确识别（定位）（查询图）中的对象。
为了实现这一目标我们可以调用 calib3d 库中的 cv2.findHomography() 函数。当我们将这两幅图像中的特征点集合传递给该函数时 它会自动计算出该物体的透视变换矩阵。随后即可调用该函数完成目标。为了确保至少四个准确匹配的特征点以实现这种变换
在匹配过程中可能存在一些误差（即匹配可能出现偏差），这些误差会对最终结果产生影响）。为此算法采用了RANSAC和LEAST MEDIAN（可通过参数设置）的方法。（即通过特定参数可调节LEAST MEDIAN的值））。这样能获得准确的估计值的点称为inliers（即正确匹配的点），而无法得到准确估计的点则被归类为outliers（即错误匹配的点）。该函数cv2.findHomography()返回一个掩模矩阵（其作用是区分inlier与outlier点）。
让我们来搞定它吧！
2、代码实现
首先，在识别图像中的SIFT特征点后，我们执行比值检测以确定最佳匹配点。
import numpy as np
import cv2 as cv
from matplotlib import pyplot as plt
MIN_MATCH_COUNT = 10
img1 = cv.imread('box.png',0) # queryImage
img2 = cv.imread('box_in_scene.png',0) # trainImage
# Initiate SIFT detector
sift = cv.xfeatures2d.SIFT_create()
# find the keypoints and descriptors with SIFT
kp1, des1 = sift.detectAndCompute(img1,None)
kp2, des2 = sift.detectAndCompute(img2,None)
FLANN_INDEX_KDTREE = 1
index_params = dict(algorithm = FLANN_INDEX_KDTREE, trees = 5)
search_params = dict(checks = 50)
flann = cv.FlannBasedMatcher(index_params, search_params)
matches = flann.knnMatch(des1,des2,k=2)
# store all the good matches as per Lowe's ratio test.
good = []
for m,n in matches:
if m.distance < 0.7*n.distance:
good.append(m)
代码解读现在我们设定一个条件标准，在MIN_MATCH_COUNT的基础上要求至少10个匹配才能进行目标查找操作。如果无法达到这一数量要求，则系统将仅展示一条信息以表明当前匹配结果不足的情况。
如果足够多的特征点被成功匹配，则我们需要获取两幅图像中各角部特征点的坐标信息，并将这些数据传递给相应的算法用于求取3×3阶的空间变换矩阵。一旦确定了该空间变换矩阵的具体参数值，则可以将其应用到查询图像的所有各角部特征点上以实现相应的几何校正效果。最后完成这一系列操作后即可生成最终结果图。
if len(good)>MIN_MATCH_COUNT:
src_pts = np.float32([ kp1[m.queryIdx].pt for m in good ]).reshape(-1,1,2)
dst_pts = np.float32([ kp2[m.trainIdx].pt for m in good ]).reshape(-1,1,2)
M, mask = cv.findHomography(src_pts, dst_pts, cv.RANSAC,5.0)
matchesMask = mask.ravel().tolist()
h,w,d = img1.shape
pts = np.float32([ [0,0],[0,h-1],[w-1,h-1],[w-1,0] ]).reshape(-1,1,2)
dst = cv.perspectiveTransform(pts,M)
img2 = cv.polylines(img2,[np.int32(dst)],True,255,3, cv.LINE_AA)
else:
print( "Not enough matches are found - {}/{}".format(len(good), MIN_MATCH_COUNT) )
matchesMask = None
代码解读最后，我们绘制内部函数（如果成功找到对象）或匹配关键点（如果失败）。
draw_params = dict(matchColor = (0,255,0), # draw matches in green color
singlePointColor = None,
matchesMask = matchesMask, # draw only inliers
flags = 2)
img3 = cv.drawMatches(img1,kp1,img2,kp2,good,None,**draw_params)
plt.imshow(img3, 'gray'),plt.show()
代码解读请参阅下面的结果。 对象在杂乱图像中标记为白色：
