计算机视觉入门——图像基础
基本的数字图像处理 ：采样与插值、色彩转换、直方图、滤波（线性与非线性）、边缘检测、形态操作**、** 角点检测、图像金字塔等。
1.采样与插值：
采样：二维采样定理：对于原始模拟图像的傅里叶频谱，若水平方向的截止频率为u，垂直方向的截止频率为v，为了能够恢复出图像要求水平采样率大于等于2u，垂直方向采样率大于等于2v，因此水平采样间隔小于等于1/2u，垂直采样间隔小于等于1/2v
插值：最近邻内插(零阶插值)、双线性内插、Bicubic插值
2.图像增强：
- 基本灰度变换：
图像反转：突出大面积暗色(浅色)区域的浅色(暗色)细节 s = L-1-r
对数变换：压缩动态范围过大的频谱 s = clog(1+r)
幂律变换：偏暗(泛白)图像的灰度扩大(压缩) s = cr
--> 伽马矫正
分段线性变换:对任意灰度区间进行扩展或压缩 ---> 对比度扩展
- 直方图变换：
直方图表示数字图像中每一灰度级与其出现频数间的统计关系(在概念上与模拟图像的概率密度函数相当)，直方图能给出图像像素的大致描述，比如灰度范围、灰度级分度、图像的平均亮度等。
直方图均衡（直方图均匀化）：使得图像的像素趋于占有全部可用的灰度级并分布均匀，这样的图像具有高对比度、灰度细节丰富且动态范围大的特点。
直方图规定化：将图像原来的直方图通过变换形成某个特定的直方图。原始图像和希望的灰度概率密度函数均衡后两者应相等，因此可求出反变换函数，对每个像素执行映射。
3.平滑与滤波：aka mask, kernel, template, window
平滑线性滤波器：邻域平均、加权平均
统计排序非线性滤波器：中值滤波器、最大值滤波器、最小值滤波器
频率域低通滤波：2D-DFT
多幅图像取平均：抑制随机噪声
4.锐化与微分：突出图像中的细节，边缘检测 面->线->点
一阶微分：梯度法(直接(x+1,y+1)求导)、Roberts cross-gradient算子(2x2交叉)、Sobel算子(3x3间隔)
二阶微分：拉普拉斯算子(上下左右-4中心)
5.数学形态学处理：
- 基本集合运算：集合、元素、子集；并集、交集、全集、补集、差集；映射；位移
- 二值图像的逻辑运算：非、与、或、非与、异或
- 基本形态运算：
腐蚀(收缩)- 用B来腐蚀A得到的集合是B完全包括在集合A中时B的参考点的位置的集合 -->去除无关细节
膨胀(扩张)- 用B来膨胀A所得到的集合B*与集合A至少有一个元素重叠的所有位移的集合 -->增大或加粗二值图像中的对象
(腐蚀和膨胀关于集合求补和映射是彼此的对偶)
- 复合形态运算：
开启：先腐蚀再膨胀 --> 平滑轮廓、断开狭窄的部分、去除狭窄的突起、边缘毛刺和孤立斑点
闭合：先膨胀再腐蚀 --> 平滑轮廓、融合细窄的缺口和细长的沟壑，填补裂缝和破洞，保持主要结构不变
6.角点检测(特征点检测)：
- 定义：角点通常被定义为两条边的交点
- 角点检测算法的基本思想：使用一个固定窗口在图像上进行任意方向上的滑动，比较滑动前与滑动后窗口中的像素灰度变化程度，如果存在任意方向上的滑动都有着较大的灰度变化，那么可以认为该窗口中存在角点。
- 角点的类型：
一阶导数的局部最大所对应的像素
两条/两条以上边缘的焦点
图像中梯度值和梯度方向变化速率都很高的点
角点处一阶导数最大、二阶导数为零，指示物体边缘变化不连续的方向
- 角点检测算法：基于二值图像的角点检测、基于轮廓曲线的角点检测、基于灰度图像的角度检测（Kitchen-Rosenfeld角点检测算法，Harris角点检测算法，KLT角点检测算法及SUSAN角点检测算法。基于模板的方法主要考虑像素领域点灰度的变化）
7.图像金字塔：是图像中多尺度表达的一种，最主要用于图像的分割，是一种以多分辨率来解释图像的有效但概念简单的结构。
- 高斯金字塔：主要用来下采样
对图像的向下取样操作，即缩小图像。
1）对图像进行高斯内核卷积，进行高斯模糊；
2） 将所有偶数行和列去除。
对图像的向上取样，即放大图像
1）将图像在每个方向扩大为原来的两倍，新增的行和列以0填充
2） 使用先前同样的内核(乘以4)与放大后的图像卷积，获得 “新增像素”的近似值
- 拉普拉斯金字塔：用来从金字塔底层图像重建上层未采样图样，预测残差、还原图像，通常搭配高斯金字塔一起使用。通过源图像减去先缩小后再放大的图像的一系列图像构成的，保留的是残差，为图像还原做准备。
import cv2
import numpy as np
import matplotlib.pyplot as plt
########## basic grayscale transformation #############
def grayscale(im):
linear = 2*im
linear[linear>255] = 255
cv2.imshow('linear transform',linear)
im = im / 255
gamma = 0.4
power = np.power(im,gamma)
cv2.imshow('power transformation',power)
########### basic HSV transformation ############
def HSVtrans(im):
im_hsv = cv2.cvtColor(im, cv2.COLOR_BGR2HSV)
turn_green = im_hsv.copy()
turn_green[:,:,0] = (turn_green[:,:,0] + 30) % 180
turn_green = cv2.cvtColor(turn_green, cv2.COLOR_HSV2BGR)
cv2.imshow('change hue', turn_green)
turn_gray = im_hsv.copy()
turn_gray[:,:,1] = 1/2 * turn_gray[:,:,1]
turn_gray = cv2.cvtColor(turn_gray, cv2.COLOR_HSV2BGR)
cv2.imshow('change saturation', turn_gray)
turn_dark = im_hsv.copy()
turn_dark[:,:,2] = 1/2 * turn_dark[:,:,2]
turn_dark = cv2.cvtColor(turn_dark, cv2.COLOR_HSV2BGR)
cv2.imshow('change value', turn_dark)
############# histogram ##############
def calchist(im):
h,w = im.shape[:2]
im2 = im.reshape(h*w,-1)[:,0]
histogram, _, _ = plt.hist(im2,256,facecolor='black')
plt.axis([0, 255, 0, np.max(histogram)])
plt.show()
def histreg(im):
im = im[:,:,0] #Select Red Channel
Imin,Imax = cv2.minMaxLoc(im)[:2]
Omin,Omax = 0,255
a = (Omax-Omin)/(Imax-Imin)
b = Omin - a*Imin
out = a*im + b
out = out.astype(np.uint8)
plt.figure(1)
calchist(im)
plt.figure(2)
calchist(out)
########## mean filter #################
def mean_fil(im, x, y, k_size):
average = 0
for m in range(-int(k_size/2), int(k_size/2)):
for n in range(-int(k_size/2), int(k_size/2)):
average += im[x+m][y+n]/(k_size*k_size)
return average
########## median filter #################
def median_fil(im, x, y, k_size):
median = []
for m in range(-int(k_size/2), int(k_size/2)+1):
for n in range(-int(k_size/2), int(k_size/2)+1):
median.append(im[x+m][y+n])
median.sort()
return median[int(k_size*k_size/2)]
############ laplace filter ###############
def laplace(im,c):
filter = np.array([
[1,1,1],
[1,-8,1],
[1,1,1],
])
h,w = im.shape[:2]
imout = im.copy()
for m in range(1,h-1):
for n in range(1,w-1):
grad = np.sum(filter*im[m-1:m+2, n-1:n+2])
imout[m,n] = im[m,n] + c*grad
return imout[1:h-1,1:w-1]
im = cv2.imread('lena.jpg')
if im is None:
print('Fail to open the image.')
exit()
## basic image processing ##
grayscale(im)
histreg(im)
HSVtrans(im)
############### mean filter & median filter ##############
imcopy1 = im.copy()
ksize1 = 3 #kernel size
for i in range(int(ksize1/2), im.shape[0]-int(ksize1/2)):
for j in range(int(ksize1/2), im.shape[1]-int(ksize1/2)):
imcopy1[i,j] = mean_fil(im,i,j,ksize1)
cv2.imshow('mean filter',imcopy1)
imcopy2 = im.copy()
ksize2 = 3 #kernel size
for k in range(3):
for i in range(int(ksize2/2), im.shape[0]-int(ksize2/2)):
for j in range(int(ksize2/2), im.shape[1]-int(ksize2/2)):
imcopy2[i,j,k] = median_fil(im[:,:,k],i,j,ksize2)
cv2.imshow('median filter',imcopy2)
################ laplace filter ###################
cv2.imshow('laplace filter', laplace(im,0.1))
################ morphological transformation #################
open = cv2.morphologyEx(im,cv2.MORPH_OPEN,np.ones((5,5),np.uint8))
cv2.imshow('opening operation', open)
################ corner detection ################
imcopy3 = im.copy()
imgray = cv2.cvtColor(im, cv2.COLOR_BGR2GRAY)
corner = cv2.cornerHarris(imgray, 2, 3, 0.04)
imcopy3[corner>0.01*np.max(corner)] = [0,0,255]
cv2.imshow('corner detection', imcopy3)
############## image pyramid ###############
imup = cv2.pyrUp(im)
imdown = cv2.pyrDown(im)
imdd = cv2.pyrDown(imdown)
cv2.imshow('image upsampling', imup)
cv2.imshow('image downsampling', imdown)
cv2.imshow('image down sampling again', imdd)
cv2.waitKey()
cv2.destroyAllWindows()参考文章：《数字图像处理》
blog..net/lph188/article/details/84538103
blog..net/zhu_hongji/article/details/81235643
blog..net/zhu_hongji/article/details/81536820
blog..net/m0_38007695/article/details/82718107
blog..net/lph188/article/details/84538103