计算机视觉中的low-level与 high-level任务
文章目录
- low-level任务
- high-level任务
- 区别
- 联系
- others
- 参考
在计算机视觉领域中，low-level任务和high-level任务是两个重要的概念，他们分别涉及图像处理和分析的不同的层次。
low-level任务
low-level任务主要关注的是图像的底层特征，如颜色、纹理、边缘、形状等。通常涉及对图像进行预处理、增强和特征提取，以提取图像中的基本元素和结构。low-level任务的目标是对原始图像进行恢复或增强，以提高图像的视觉效果或提取出更丰富的底层特征信息。
常见的low-level任务包括图像去噪、deblur去模糊、dehaze去雾、去雨、超分、low-light enhancement、去镜面反射（remove reflection）、水下低光照增强等。简单来说，就是把特定低质量图像还原成好看的图像。
常使用的客观的指标如PSNR（峰值信噪比）、SSIM（结构相似性指数）来评估处理的效果。
一个low-level计算机视觉的例子是Sobel算子，它用于检测图像中的边缘，通过计算图像梯度来找到像素强度变化最大的区域，从而识别出图像中的边缘。
high-level任务
high-level任务更加关注图像的高层语义信息。通常涉及对图像中的目标、物体、场景等进行识别、检测和分割等操作（对象识别、场景分类）。hgih-level任务目标是对图像中的内容进行深入的理解和分析，
常见的high-level任务包括图像分类、目标检测、语义分割等。high-level视觉算法常用于更复杂的视觉任务，如自动驾驶、智能监控、虚拟现实等。
常使用的客观的指标如准确率、召回率、F1分数等来评估处理效果。
一个high-level计算机视觉的例子是卷积神经网络CNN，它被广泛用于图像分类和对象识别任务，CNN通过多层卷积和池化操作来提取图像的特征，饼通过全链接层来将这些特征映射到最终的输出，如对象类别。
区别
low-level 视觉算法通常需要较少的数据和计算资源；处理的是像素级别的信息，侧重于图像的基本处理和特征提取。
high-level视觉算法通常需要大量标注数据和计算资源，如深度学习等现代技术；处理更高层次的语义信息，侧重于图像内容的理解和分析。
以一张大象的照片为例，人的眼睛可以将整只大象印入眼帘，也可以将目光聚焦在大象身体的某一个部分，只是转一下眼球而已。而对于计算机来说，像“盲人摸象”“管中窥豹”一样提取和处理图片中各个小的部分的信息，还是处理整只大象的信息，在需要花费多少计算时间、使用何种算法以及完成何种任务都有很大的不同，前者叫Low-level vision，后者叫High-level vision。
Low-level vision可以去除掉大象照片中的污点，可以识别出大象和草坪之间的边缘，可以从照片中分割出两只大象大概的区域，却无法识别出照片里是什么动物；High-level vision包含了很多的人工智能，比如这是只什么动物，这只大象是亚洲象还是非洲象，它在照片里在睡觉还是在寻找食物，照片里有没有缺少什么东西等等各种分析推理和预测。当然还有介于Low-level vision和High-level vision之间的Mid-level vision，比如大象身上的一些条纹，照片是从哪个角度拍的，大象离镜头有多远等等。
联系
在实际的应用中，low-level任务和high-level任务并不是孤立存在的，他们往往是相互关联的。在许多的实际场景中，首先需要对图像进行low-level处理以恢复或增强图像质量，然后才能更好的进行high-level的分析和理解。比如，在自动驾驶系统中，首先需要通过对摄像头获取车辆周围的图像，然后进行去噪、增强等low-level处理，以提高图像的质量，随后再进行high-level的分析和理解，如目标检测、道路识别等操作，以实现自动驾驶的功能。
又比如说做低质量的人像识别，可通过low-level的到较高质量的人像，再进行high-level的识别，然而在实际的场景中，一般低质量的会被直接剔除掉。。。。
一般公开训练数据集都是高品质的图像，当送入低质图像时，性能会有所下降，即使网络已经经过大量的数据增强（形状、亮度、色度等变换）。但是真实的应用场景是不可能像训练集那样完美的，采集图像的过程中会面临各种降质问题，因此需要二者结合，简单来说，结合的方式分为以下几种：
- 直接在降质图像上fine-tuning
- 先经过low-level的增强网络，再送进high-level的模型，两者分来训练
- 将low-level的增强网络和high-level模型（如分类模型）联合训练
others
ISP：low level 传统算法和深度学习各一半，随着深度学习的发展和影像的发展，ISP已经加了许多深度学习和神经网络相关的算法。
在计算机视觉和图像处理领域，ISP 是 “Image Signal Processor” 的缩写，意思是图像信号处理器。ISP 是一种专门的硬件或软件模块，主要用于处理图像传感器捕获的原始数据，并将其转换为高质量的图像。这种处理包括许多低级任务和一些高级任务。ISP 在相机、智能手机、安防摄像头等设备中广泛使用。ISP 的功能通常包括以下几个方面：
- 去噪（Denoising） ：减少图像中的噪声。
- 去马赛克（Demosaicing） ：从拜耳阵列的原始传感器数据生成彩色图像。
- 白平衡（White Balance） ：调整图像的颜色，使白色看起来自然。
- 曝光控制（Exposure Control） ：调整图像的亮度。
- 色彩校正（Color Correction） ：调整图像的色彩，使其更加准确。
- 伽马校正（Gamma Correction） ：调整图像的亮度和对比度。
- 锐化（Sharpening） ：增强图像的细节。
- 色彩空间转换（Color Space Conversion） ：将图像转换到不同的色彩空间（如从 RGB 转换到 YUV）。
传统算法与深度学习在ISP中的应用：传统的ISP 算法通常是基于固定规则和经典图像处理技术的，这些算法经过多年发展，已经非常成熟。然而，随着深度学习技术的进步，越来越多的ISP功能开始利用深度学习模型来提高图像处理效果。
传统算法：
- 基于数学模型和固定规则。
- 处理速度快，适合实时应用。
- 需要人工调参，性能和效果可能有限。
深度学习算法：
- 基于大量数据的学习，能够自动提取特征。
- 提供更高的灵活性和适应性，可以处理复杂场景。
- 需要强大的计算能力和大量的数据用于训练。
随着深度学习的发展，ISP系统中逐渐引入了越来越多的深度学习和神经网络相关的算法。例如：
- 超分辨率（Super Resolution） ：利用深度学习提高图像的分辨率和清晰度。
- 高级去噪（Advanced Denoising） ：深度学习模型能够更有效地去除各种类型的噪声。
- 自动白平衡（Auto White Balance） ：通过神经网络更准确地调整白平衡。
- 场景识别（Scene Recognition） ：根据不同的场景自动调整图像处理参数。
总的来说，随着技术的进步，ISP 系统正在从传统的固定规则算法向深度学习驱动的算法转变，以获得更高质量的图像处理效果。