论文笔记：Deformation Aware Image Compression
率失真优化问题是一个具有代表性的研究领域。常用作评估工具的SSD（sum of squared differences）被广泛应用于评估图像质量。其中，d_{SSD}(x,y)={\lVert x - y\rVert}^2是这一领域的基础指标。然而，在码率\epsilon较低的情况下，在压缩过程中倾向于过度去结构像或模糊图像细节以减少码率消耗
假设两张图片x和y被称为相似图像，并且存在一个光滑的变化算子\Gamma能够实现x与经过该变化后的\Gamma(y)保持高度相似。进一步定义为一种变形感知SSD（deformation aware SSD）模型：其数学表达式为d_{SSD}(x,y)= \min_{\Gamma}{\lVert x - \Gamma(y)\rVert}^2+\lambda \psi(\Gamma)
\psi(\Gamma)是对非平衡的变换的罚函数项。
确定了最优变换之后, DASSD 被定义为 x 与 y 之间的 SSD 指标以及光域粗糙程度总项之和.
为允许使用复杂的变换，使用非参光域(u,v), \Gamma\{y\}(\xi,\eta) = y(\xi + u(\xi,\eta) + v(\xi,\eta))。
\psi(\Gamma)基于Horn and Schunk框架进行加权设计。\psi(\Gamma)等于二重积分区域上权重函数w(\xi,\eta)乘以图像u和v的空间梯度模长平方和。
注：\nabla含义如上图
w(\xi,\eta)是权重图。
效果示例
算法
在DASSD的基础上形成算法的优化目标：\min_{x,\Gamma}{\lVert x - \Gamma(y) \rVert}^2+\lambda \psi(\Gamma) \; s.t. R(x) \; \le \epsilon。
也就是说，我们需要同时决定一个压缩图像x和几何变形\Gamma，x和变换图像\Gamma(y)相像，但不和输入图像y相像。换句话说，我们寻求如何将输入图像y变形使得\Gamma(y)在同样的码率下以更小的SSD误差压缩。
两步：将现在变换的输入图像\Gamma(y)压缩来获得x，计算x和y直接的光流来更新\Gamma。
x步：当Γ固定时，在ψ(Γ)中其值不再影响目标函数值因而可被忽略从而使得原始优化问题简化为min_x,Γ ||x−Γ(y)||² s.t. R(x) ≤ ε。
此优化问题是典型的保率失真问题。
Γ步：当x固定时码率R(x)也随之确定从而使得原始优化问题进一步简化为min_Γ ||x−Γ(y)||² + λψ(Γ)。
这实际上是一个光流计算问题其目标是最佳地将输入图像y映射到压缩后的图像x。在此过程中我们采用的是迭代加权最小二乘法（IRLS）算法。
为了防止陷入次优解我们通常从较大的容错率ε开始并在迭代过程中逐渐减小ε直至达到预期的码率。
算法的大致流程如下所示：
构建正则权重图
为了确保图像呈现良好的视觉效果，在容易引起注意力的区域避免发生过度变形是必要的前提条件。由于人类对于物体边界具有高度敏感性这一特点，在此我们构造如下权重函数：
w(\xi, \eta) = 1 + \alpha \cdot G(\xi, \eta) * E(\xi, \eta)
其中，
- E 是通过将边缘检测算法应用于输入图像 y 而得到的结果。
- G 是一个 \sigma = 10 的标准高斯滤波器。
符号 '*' 表示卷积运算，
而 \alpha 则是一个调节正则化项强度的关键参数。
实验
在最初的10次迭代期间内保持恒定压缩率；随后，在接下来的25次迭代中每隔5次就降低一次压缩率；之后，则逐步减小压缩率直至达到所需的目标码率。如上图所示，在多数评价指标中将图像相似度评估为优于常规压缩方法。
75%被试对deformation aware变换后的图像的偏好程度超过50%。
该算法擅长保留常规压缩中缺失的关键信息，并通过智能处理机制确保数据完整性的同时提升存储效率。参考上文中的效果展示部分可进一步了解其性能特点
代码
可以从该处获得官方代码资源链接：https://webee.technion.ac.il/people/tomermic/DeformationAwareCompressionWEB/DeformationAwareImageCompression.htm