数字图像处理知识点总结（中）图像增强复习
数字图像处理 中 图像增强
空间域处理
比例缩放
* 算术运算
* * 加
* 减
* 乘
* 除
* 逻辑运算
* * 与
* 或
* 补
* 异或
* 灰度变换
* * 比例线性变换
* 分段线性变换
* 非线性变换
* 直方图
* * 直方图均衡化
* 直方图规定化
* 滤波增强- 频域处理
授课教师：Wu武玉伟https://sites.google.com/site/wuyuweibit/
- 空域图像增强主要在像素空间中实施一种特定的方法,其核心是通过对每个像素的具体处理来实现整体效果。
- 频域图像是通过傅里叶等变换方法生成的一种表示形式,它能够将原始信号分解为空间频率分量,并在此基础上完成相应的运算和处理。
空域处理
空域图像增强的核心原理如下式所示：g(x, y)=E(f, x, y) 其中：
- f代表原始图像是一个二维离散信号；
- g代表经过处理后得到的增强图像是基于f的空间变换结果；
- E(·)是一个空间变换算子，在每个像素(x, y)处应用特定的空间滤波器实现增强效果。
变换增强
空域变换增强技术亦称作点运算，在图像处理中其核心在于基于单一像素进行图像处理操作。其中的增强函数E(x,y)被定义在每个像素坐标(x,y)的位置上。考虑到一个点可被视为具有1×1尺寸的邻域，在此背景下点运算的操作机制也就相应地形成了特定特点。此类技术通常涉及几何转换、算术运算、逻辑运算、灰度调整以及直方图处理等基本操作。
几何变换
通过几何信息的转换获得新图像的方法称为图像处理技术；其中包括平移操作、缩放操作以及旋转变换等多种类型的操作。
二维与三维图象遵循类似的几何变换单元原理；本节将着重介绍二维情况下相关的几何处理方法。
线性映射（Transformation matrix）。涉及的主要类型有旋转操作、缩放操作以及剪切操作等。
在二维空间中应用2×2矩阵可实现线性映射效果。
齐次表示的问题
缩放变换
也称尺度变换，指将图像在某方向按比例缩放来获取新图像的变换方法
设空间中一个点的笛卡尔坐标为(x,y,)，基于放缩向量(Sx, Sy)将其放缩到新的坐标(x’,y’)，则放缩变换公式可表示为
\left[ \begin{matrix}x'\\ y'\end{matrix}\right]=\left[ \begin{matrix}s_x 0\\ 0 s_y \end{matrix}\right] \left[\begin{matrix}x\\ y \end{matrix}\right]
需要注意的是，当放缩系数不为整数时，原始图像中某些像素放缩后的坐标可能不为整数，导致变换后的图像中出现**“孔洞”现象**，此时，需要经过取整或插值等操作来进行失真校正。
剪切变换
也被认为是错切变换的一种形式，并描述了类似于四边形不稳定性方面的特性，在此过程中涵盖了水平剪切及垂直剪切两种情况。
水平剪切操作是指保持某条水平边界不变，并沿着横轴进行拉伸处理以实现图像变形的技术手段。
纵向位移恒等于零。
当y值等于零时，则横向位移即等于零。
当y值等于一的时候，则横向位移相当于参数a。
\left[ \begin{matrix}x'\\ y'\end{matrix}\right]=\left[ \begin{matrix}1\ a \\ 0 \ 1 \end{matrix}\right] \left[\begin{matrix}x\\ y \end{matrix}\right]
垂直剪切被称为一种图像变换方法，在该方法中，会选择一个固定的垂直边，并沿着垂直方向进行拉伸操作以生成新的图像。
旋转变换
其本质是一种刚体变换（Rigid-Body Transformation），其实现方式是将输入图像绕某一固定点进行旋转变换以生成新的图像的过程。
我们首先关注2D平面内一点绕原点旋转的情况。设一点在笛卡尔坐标系中的坐标为(x₀, y₀)，当其绕着原点O顺时针旋转角度α后到达新位置(x₁, y₁)。其中r表示该点到原点O的距离；b则代表在未旋转时该距离与x轴之间的夹角。
在初始状态下：坐标点(x₀, y₀)满足x₀ = r cosθ和y₀ = r sinθ；经过绕原点逆时针旋转角度α后（设为α = b - a），新的坐标点(x₁, y₁)由以下公式确定：x₁ = r cos(α) 展开为 x₀ cosα + y₀ sinα；而y₁ = r sin(α) 展开为 -x₀ sinα + y₀ cosα
可表示为以下形式：左边矩阵由两个行向量构成，其中第一个行向量由cosα和sinα构成；第二个行向量则由−sinα和cosα构成；与右边的原矩阵相乘得到新的坐标点[x', y']^T
齐次形式
绕任意点旋转：
齐次化：（x,y)->(x y 1)从等式由右向左，先平移，再旋转，再平移
通过上面几种变换可以看出几何变换的本质是矩阵运算
平移变换
一种刚体变换（Rigid-Body Transformation），指将图像沿某方向平移来获取新图像的变换方法。
平移变换的矩阵形式
镜像变换
一种刚体变换（Rigid-Body Transformation），包括水平镜像和垂直镜像。
水平镜像可被定义为将图像左右两部分基于垂直中轴线进行镜像对换以生成新图像的方法。对于空间中的任一点其笛卡尔坐标(x,y)经过水平镜像处理后对应的新坐标为(x’ y’)。
同样地 垂直镜像可被定义为将图像上下两部分基于水平中轴线进行镜像对换以生成新图像的方法。对于空间中的任一点其笛卡尔坐标(x y)经过垂直镜像处理后对应的新坐标为(x’ y’)。
投影变换
几何变换的反变换
我们称进行与对应几何变换逆操作的一种特定变化为反变换。许多几何变化都具有对应的逆变化：
- 平移变化对应的逆变化称为平移反变化；
- 缩放变化对应的逆变化称为缩放逆运算；
- 旋转变换对应的逆变化称为旋转反转；
- 镜像变化对应的逆变化即为镜像反转；
- 剪切变化对应的逆变化即为剪切反转。
复合变换
几何失真校正
什么是几何失真？它是指由于图像获取或显示过程中造成的变形现象。此外，在某些光学系统中也会出现这一术语被称为"几何畸变"的情况。例如，在使用长焦镜头或在变焦镜头的长焦端时会生成一种称为"枕形畸变"的现象（Pincushion Distortion），而在使用广角镜头或在相应位置的情况下则会产生另一种称为"桶式畸变"（Barrel Distortion）。值得注意的是，在某些配置下还会出现透镜式的变形（Perspective Distortion）。这些现象会对最终成像效果产生显著影响
几何失真校正是指将带有严重变形的影像恢复为未受显著影响的原始影像的过程，在这种矫正过程中一般基于一组标准参考影像或关键点来进行操作。这些标准参考影像通常来自未受显著形变或轻微变形的成像设备获取而成；而待矫正的影像则来自具有明显形变或其他严重形变的成像设备获取而成。
- 校正方法
该方法亦称前向映射技术，在具体实施中主要涉及以下步骤：首先基于空间变换函数h_1(x, y)和h_2(x, y)推导出其逆映射H_1^{-1}(x', y')和H_2^{-1}(x', y')；接着系统地计算每个变形像素点(x', y')所对应的原始像素点(x, y)的位置关系；然而由于(x, y)通常并非整数值，在无法直接将变形像素点(x', y')处的亮度信息赋值到原始像素点(x, y)时，则采取将变形像素点(x', y')处的亮度信息分配至周围四个近邻像素点的方法，并据此构建最终的修正后图像。
反向映射法 也被称作间接矫正法，在这种技术中假定经过矫正后的图像像素位置在基准坐标系中构成规则网格节点；基于原始坐标的(x,y)信息进行反向计算得到变形图像上的对应位置(x', y')；然而所得结果通常为非整数，在实际应用中无法直接将变形图中的灰度值赋值到校正后的图像位置；因此需要通过邻近像素灰度值得到插值结果作为校正后该位置处的新亮度信息；从而完成整个矫正过程
- 校正步骤
空间重排 是指对扭曲图像的像素坐标的重新排列以恢复到与原始图像一致的像素坐标关系的空间关系定位
式中：(x,y)为无失真坐标系中像素的坐标；(x',y')为失真坐标系中像素的位置；h1(x,y)、h2(x,y)表示无失真坐标系向失真坐标系转换的空间变换函数；aij、bij代表拟合多项式的各项系数；N为多项式拟合的次数
2. 灰度插值 是指对图像映射位置及其周围像素的灰度值进行插值操作以复原原始图像像素的灰度值
基于间接矫正法复原原始图像时，对原始图像中的每一个像素点(x,y)，计算出畸变图像上的对应坐标(x’,y’)，基于(x’,y’)处的灰度值确定原始图像中像素点(x,y)的灰度值。
如果计算出的畸变图像上的对应坐标(x’,y’)为整数，则原始图像对应像素点(x,y)的灰度值与其保持一致；
如果不为整数，则需要进行灰度插值操作。
常用的灰度插值方法包括最近邻插值法和双线性插值法等。
最近邻插值法 （Nearest Neighbor Interpolation）也称为零阶插值，是指将距离映射位置最近的像素点的灰度值作为插值结果的方法
设原始图像f(x,y)中某像素点(x,y)经过变换后在畸变图像g(x’,y’)上的映射位置为(x’,y’)，则最近邻插值法如下式所示：
式中：像素点(u’,v’)为距离映射位置(x’,y’)最近的像素点，即u’、v’满足下式条件：
双线性内插法 （Bilinear Interpolation）是一种图像处理技术，在数字图像放大过程中通过计算目标区域各坐标点处的灰度值来实现放大效果的方法。具体而言，在目标区域每个坐标点处都需要根据其邻近四个像素单元中心点的亮度信息，在水平和垂直两个方向上分别进行一次线性插值运算以得到该坐标点处的目标亮度数值。如图所示
算术运算
算术运算 常用于处理灰度图像 ，具体指的是对两个像素的亮度值执行算术运算以生成新的亮度值。这些新亮度值会被赋予对应结果新图像同位置处像素的位置。
加
定义为将两副原始图像在同一位置处对应的两个像素各自的灰度值相加之和，并将其结果作为新生成结果图像相应位置处该像素点的新亮度数值。令所选两个像素分别为p和q，则它们进行加法运算后其数学表达式即为f(p)+f(q)。式中：f(x)代表该特定位置x上所对应的 pixels 的亮度数值或gray value参数。
特别地需要注意的是，在处理过程中假设每个图像中的每个 pixels 点亮度范围被限定在0到255之间。
如图所示的是两幅被处理过的图像A和B，在处理过程中假设每个 image 中的所有 pixels 都已经被归一化到上述指定范围内。
其中，在图中标注出四个黑圆心的位置分别与另一幅图中的黑色正方形四个顶点相对应。
试求这两副图片进行上述操作后的最终结果是什么样的？
白 255 黑 0 白＋黑=白 有违常识。。。但灰度级的定义是亮度 不是颜色。。。
加法运算的应用范围十分广泛，在实际应用中可实现多种功能。例如，在数字信号处理中常用到的图像处理技术中就包含大量应用这一数学工具的例子。其中一项重要功能是能够实现图像融合，并对像数十进行增强或减弱处理的同时还能去除噪声影响等干扰因素。通过加法运算的机制不仅能够实现上述基本功能（如图所示），还能结合不同算法参数灵活地调节像数十之间的对比度和明暗程度等特征参数使其更好地适应不同应用场景的需求
加法运算在实现过程中用于计算平均值以消除和去除图像采集中混入的噪声 。特别是，在远距离数据传输模拟技术下传送的图像（如卫星图像是这类应用的理想选择）。
减
定义为将两幅原始图像对应位置处两个像素的灰度值相减得到一个新的灰度值，并将其作为结果图像对应位置处像素的灰度值。其中p和q分别代表两个像素，则该减法运算可表示为：f(p)-f(q)需要注意的是其灰度值范围为[0,255]时若计算结果小于零则取零作为最终结果
通过减法运算可以得到以下结果：黑色减去白色等于黑色；白色减去黑色等于白色；白色减去白色等于黑色。这种基本的数学关系在多个领域中得到了广泛应用。不仅能够调节图像的明暗程度，并且在运动检测等方面也展现出显著的应用价值。通过图中的计算过程可以看出，这种调节方式能够有效提升图像的清晰度和对比度。
图像差分用于运动检测。
两幅图像之间的差异可以用于检测图像变化以及突出目标的位置和形状。
差分运算与阈值化处理的结合通常被视为构建机器视觉系统的最有效方法之一。
差分运算用于实现运动检测的效果如图所示。其中图(a)至©展示了连续三帧图像的变化情况，在第1帧与第2帧之间的差分结果中可以看到明显的边缘变化区域即为运动物体，在第2帧与第3帧之间的差分结果同样能够捕捉到运动物体的存在位置而通过将第1帧与第2帧以及第1帧与第3帧的数据进行对比分析可以更清晰地识别出运动物体的具体路径及方向为了进一步增强目标物的信息提取效果可以通过增大视频序列中相邻图像的时间间隔可有效提取运动特征
乘
值得注意的是，在这种情况下，并非对整个矩阵进行常规意义上的整体相乘运算；而是要求对矩阵中的每一个对应元素进行独立计算。如图所示的是用于演示该运算过程的两幅示例图像A和B，请根据图中信息计算A×B的结果图。
乘法运算的应用领域十分广泛，在增强或减弱图象亮度、执行图象处理手段等方面均表现出显著的效果。
当图象与大于1的常数进行图象乘法运算时，则会提升亮度水平；而使用小于1的常数进行图象乘法运算则能降低亮度。
值得注意的是，在应用图象增强技术时需特别关注其对整体对比度的影响。
具体示例见下文：
此外，在应用中我们还可以对两个图象执行掩膜操作以达到遮盖部分区域的目的。
如上所示，在应用过程中我们采用了以下三种掩膜方式进行实验：第一种情况是原始数据；第二种情况是对目标区域进行了二值化处理后得到的数据；第三种情况是经过掩膜处理后的最终结果。
除
指将两幅原始图像对应位置处两个像素的灰度值相除得到一个新的灰度值，作为结果图像对应位置处像素的灰度值。设两个像素为p和q，则除法运算可表示为：f(p)\div f(q)
式中：f(x)为像素x的灰度值。
注意：由于图像像素的灰度值范围为[0,255]且为整数，因此，相除结果应保持灰度值范围不变；如果结果为小数，则要进行取整操作 。特殊地，如果相除时分子分母均为0，则结果为0；如果仅分母为0，则结果为255
矩阵对应元素相除
两幅图像A和B如下图所示，其中，图像A的4个黑圆的圆心对应图像B的黑色正方形的4个顶点，试求A÷B的结果。
如果图像为灰度图像，则A÷B的结果如图©所示；如果图像为二值图像，则A÷B的结果如图(d)所示。
注：二值图像 0表示黑，1表示白
除法运算的应用领域广泛，可实现增强或减弱图像亮度 。
逻辑运算
表示为对两副原始图像对应位置的两个像素灰度值施以逻辑操作以生成一个新的灰度值；在进行逻辑运算时，参与运算的两副图像必须具有相同的尺寸；该运算系统将输入数据视为布尔值（true/false），并将输出结果也限定在同一布尔框架内；由此可知，在执行上述操作后所得的结果始终是二元图；主要涉及以下四种基本操作：与、或、非和异或；其运算法则如下表所示。
与
采用将两幅原始图像对应位置处两个像素的灰度值通过逻辑与操作得到一个新的灰度值，并将其作为结果图像对应位置处像素的灰度值来实现。令两个像素分别为p和q，则上述与运算可表示为：
f(p) \land f(q) 或 f(p) \cdot f(q)
在矩阵元素层面进行对应位置的运算
其中图中所示为两幅图像A和B的情况：其中图中显示图像A的4个黑圆圆心分别对应于图像B黑色正方形的四个顶点坐标点，请问A与B进行逻辑与运算后的结果是什么？
或
下列描述揭示了图像处理中的一个重要操作——逻辑或运算：在数字图像处理中，逻辑或是将两幅原始图像对应位置处两个像素的灰度值进行比较并生成新的结果图像的一种基本操作。具体而言，在给定的两个相邻像素点p和q上应用此运算后会生成一个新结果图像点r，在其对应的象素位置上具有相应的灰度值。
在数学意义上，
r = f(p) \lor f(q) 或 r = f(p) + f(q)
其中f(x)代表了像素x所在的区域的空间位置坐标。
补
补运算被称为一种图像处理技术，在该技术中将两幅原始图像对应位置上的两个像素灰度值经过补操作而得到一个新的灰度值作为结果图像对应位置上的像素灰度值。以像素p为基础，则该运算可以用以下方式表示：
异或
异或运算被称为将两幅原始图像对应位置处的两个像素点的亮度信息通过异或运算生成一个新的亮度值的过程
灰度变换
灰度变换属于空域变换增强技术。
-
目的
一般成像装置在形成图像时存在亮度受限和对比度不足的问题, 导致视觉效果较差; 而通过灰度变换技术, 则能够有效地提升图像的视觉质量。- 概念
灰度变换是一种点操作，根据原始图像中每个像素的灰度值，按照某种映射规则将其转化为另一灰度值。灰度变换可有效改善图像的视觉效果，变换原理可表示为t=E(k)
k为原始图像的灰度值f(x,y)，t为变换图像的灰度值g(x,y)，E()为灰度增强函数。
原理：
灰度变换原理。其中，图(a)为原始图像，具有两种灰度级，分别用B和W来表示；图(b)为灰度增强函数，根据函数的映射规则，原始图像的灰度值B映射为灰度值W，原始图像的灰度值W映射为灰度值B；图©为变换后的图像。
- 概念
灰度变换的核心在于基于增强需求制定灰度映射规则，请制定灰度增强函数。灰度增强函数的具体实现可通过以下图形展示：（a）图表明，在经过变换后的图像中所有原始图像亮度低于拐点值的像素均已提升至该拐点亮度水平，并未改变其他像素亮度；（b）图展示了将原始图像按亮度分为三部分后，在各部分内亮度均实现了等间距扩展，并且各部分间的对比度均有所提升；（c）图通过将原始图像亮度低于L/2的像素亮度进一步降低以及高于L/2像素亮度升高来实现整体亮度分布宽度扩大；（d）图则采用相反策略，在提升低亮度区域的同时降低高亮度区域的亮度水平以达到整体对比度缩减的目的。
比例线性变换
概念：
对于单色图像每个像素进行单独处理，在满足特定条件的情况下将原始图像的亮度值动态范围按照线性关系式进行扩展至预设范围内或整个可测量亮度范围。这种基于比例的线性转换方法具体包括正比例变换与反比例变换两种类型。
- 正比变化涉及两种主要类型：线性比例变化 和 分段比例变化。* 线性比例变化：对于原始图像f(x,y)，经过处理后得到目标图像g(x,y)。已知最大灰度级为L-1，在这种情况下，系统将通过线性映射将灰度值范围从[a,b]转换至[c,d]。
基于直接正比关系的变换案例中，请考虑以下问题：一个8位深度的灰度图像如图(a)所示，请将其取值范围从现有区间[40, 204]重新映射至新的区间[0, 255]。
原始数字成像系统的输出端接收器能够处理输入信号范围在[16,179]V之间的情况
原始图像的灰度范围是[40,204]（见下文），其对应的gray-level histogram（见下文）显示在 图(b). 图©展示了截取比例增强函数的具体形式可见于 图©中. 处理后得到的结果 image 显示在 图(d)，而经过增强后的 image 的 gray-level histogram 则显示在 图(e).
反比变换作为图像求反技术的基础手段具有重要意义。
该过程通过将原图像的灰度值进行翻转操作实现黑色变为白色、白色变为黑色的效果。
具体而言：
设定原图为f(x, y)，
目标图为g(x, y)，
最大灰度级设为L-1，
如图所示给出了具体的转换关系。
其中，
反比例变换的结果由以下公式表示：
g(x, y) = -f(x, y) + (L - 1)
该8位灰度图像示于图(a)，其灰度范围限定在[40,204]之间，请对其进行直角反转运算。原始图像对应的直方图分布情况可见于图(b)，而采用反比增强函数（如式（1）所示），其效果可见于图©中对应的曲线变化。经过上述处理后生成的新图像显示于图(d)，其中对应区域的具体变化细节则反映在其生成后的直方图分布情况中（见图(e)）。经分析可知，在此过程中虽然没有改变原始数据的空间范围限制条件（仍维持在[40,204]区间内），但通过特定算法实现了对原始空间坐标的镜像反转效果。
分段线性变换
分段线性变换旨在突出目标或亮度范围，并通过局部调整亮度范围来实现对有用细节的保留与增强效果。能够充分利用有限的灰度级以最大化提升图像中有用信息为目标，并显著提高图像对比度。分段线性变换包括对比拉伸和灰度切割两种方法
- 对比拉伸的核心概念是通过提升动态范围来增强图像对比度的一种基础类型。
其原始图像被定义为 f(x, y)，其目标图像经过对比拉伸处理后被定义为 g(x, y)。假设原始图像的最大灰度级值范围定义为 L，则该处理技术的最大灰度级值定义域被划分为三个部分：[0, a)、[a, b) 和 [b, L)。
其数学表达式如上所述。对于目标图像中的每个像素而言，在区间 [a, b) 内的像素值会得到放大处理；而在区间 [0, a) 和 [b, L) 内的像素值则会被压缩处理。
对上述对比拉伸示例进行处理。其中一张8位灰度图像如图(a)所示，并且该图像的灰度值范围限定在[40,204]之间，请对该图像进行对比拉伸处理
注意
灰度切割案例。如图(a)所示为一幅8比特灰度图像，请完成其灰度切割处理。其中该图像的灰度值范围限定在[4
②
，
③
]之间
非线性变换
非线性变换主要依靠非线性函数以特定目标或亮度值区域为中心进行处理，并以最大限度地增强图像中具有重要价值的信息为目标。这种变换方法包含对数变换与幂次变换两种基本类型。
- du