CVPR 2023 精选论文学习笔记：Post-Training Quantization on Diffusion Models

本文提出了一种新的后训练量化方法（Progressive Calibration and Relaxing, PCR）用于降低去噪扩散模型的模型大小和计算复杂度，同时保持生成图像质量不受显著影响。该方法特别适用于将去噪扩散模型部署在边缘设备上。与其他后训练量化方法相比，PCR通过渐进的量化步骤和重新训练调整量化参数，有效减少量化误差并提高模型性能。该研究将去噪扩散模型归类为生成模型，并将其量化类型、目标硬件和应用分别归类为后训练量化、边缘设备和图像生成。与现有文献相比，在相同精度下显著提升了模型在边缘设备上的适用性及实际应用价值。

基于MECE原则，我们给出以下四种分类依据：

1. 模型类型

• 生成器能够生产与训练集高度相似的新样本。它们通常应用于图像合成、文本创作以及音乐制作等多个领域。
• 语言解析器旨在处理和生成自然语言文本。这类工具常用于机器翻译、对话机器人以及内容摘要等功能。
• 其他类型的学习器则应用于不同领域。

2. 量化类型

• 该类量化方法主要应用于已完成训练的模型。
• 通常被认为是应用最广泛的量化方案。
• 学习量化的核心在于动态优化最优的量化参数，在这一过程中需要投入更多计算资源。

3. 目标硬件

• 边缘设备多为轻薄且配备高性能计算能力的装置，在实际应用中多见于智能手机和平板电脑等可穿戴设备类别的产品设计。这些硬件资源有限的特点使得优化模型压缩成为关键任务。
• 通用GPU系统则具备强大的计算性能，在人工智能训练与推理部署场景中发挥着重要作用。相比边缘计算环境对硬件资源无限制的要求，在此类环境下量化技术的应用空间更为广阔。

4. 应用

• 图像生成是指基于已有模型训练结果，在不依赖真实数据的情况下生产出与模型训练数据高度相似的新图像的过程。该过程可应用于创作新型艺术作品、生产产品原型草图以及模拟医学影像等多种领域。
• 图像与视频处理旨在提升其质量和相关特性的一系列操作。这些操作可能包括去除噪声（image denoising）、实现超分辨率重建（image super-resolution）以及实现视频压缩（video compression）等关键环节。
• 自然语言处理（NLP）是指系统理解和产生人类语言的能力体系。该领域研究的核心内容涵盖机器翻译技术、智能聊天机器人开发以及复杂文本摘要等多个方向。
• 其他应用场景主要包含解决线性逆问题；从小样本数据中学习多层次特征；生成具有不变特性的排列图；同时支持条件化的图像与文本生成；以及能够从无文字的视频数据中进行文本到视频的转换。

本文是一篇关于去噪扩散模型（diffusion models）后训练量化研究的论文。该研究提出了一种创新的后训练量化策略，在降低模型参数规模的同时显著减少了运算负担。该方法并未影响生成图像的质量表现。根据研究分类标准，该文献可被归类为第四类。

本研究关注的范畴为生成型扩散算法这一领域。该论文的研究对象为去噪扩散算法这一特定方向上的工作。因此，在归类上属于生成型算法家族中的一个分支学科。这种能够自动生成新数据的方法被广泛应用于图像重建、文本预测以及音乐创作等多领域任务中。

本研究关注的量化类型为后训练量化。该论文提出了一种基于后训练量化的技术，在模型推理阶段进行参数精简处理。作为分类中的一个常见类型，在本研究中被归类为后训练量化的技术。这种基于后训练量化的策略因其相对容易实现而成为最常用的方法。在实验案例中将去噪扩散模型的模型大小从 32 位降低到 8 位时并没有显著影响生成图像的质量。

目标硬件：边缘设备。该论文提出了一种量化方法旨在减少去噪扩散模型的模型大小和计算复杂度，并便于其部署于边缘设备上；因此，在目标硬件分类中它被归类为边缘设备类别的代表性硬件装置之一。这些装置通常具备便携且低功耗的特点，例如智能手机与可穿戴设备等广泛使用的电子终端产品；它们受限资源条件下对数据处理能力提出了更高要求；关键在于将模型量化至最小化并确保其运行效率最大化；在此案例中该方法通过将去噪扩散模型的数据精度从32位缩减至8位实现了上述性能提升；这不仅显著减少了计算复杂度还使其更适合部署于这些资源受限的边缘设备上；数学公式...原样保留。

4. 应用领域：图像生成。去噪扩散模型被归类为一种专门用于图像生成的技术。因此，在应用分类中，该文献被归类为与这一技术相关的内容。具体而言，在图像是通过合成新的数据样本来进行扩展的领域中广泛应用于多个方面：该技术在多个领域得到了广泛应用。

本文与其他文献的主要不同之处体现在以下几个方面：

• 量化方法：该文献提出了一种新型后训练量化技术Progressive Calibration and Relaxing（PCR）。相较于现有后训练量化方法的主要特征在于其采用渐进式优化策略，在每一个优化阶段先对模型进行局部量化的调整随后通过迭代优化来校准参数从而显著提升模型性能这一特性使得PCR方法能够有效降低量化误差进而提高生成图像的质量。
• 量化精度：研究者通过将去噪扩散模型的权重参数从双精度浮点型降维到8位整数表示成功实现了对模型性能的有效维持同时相比于现有研究这一降维操作带来了显著的内存占用优势。
• 应用场景：鉴于边缘设备通常面临计算资源受限的问题该文献重点研究了如何在保证生成质量的前提下实现去噪扩散模型的有效部署为此设计了一种兼顾效率与准确性的后训练压缩策略这种策略不仅显著降低了模型参数规模还大幅减少了推理时间从而使其能够在资源受限的边缘环境中稳定运行。

具体来说，与其他文献相比，本文工作具有以下优势：

• 可以通过有效的手段降低去噪扩散模型的模型大小与计算复杂度，在不造成显著影响的情况下保持了生成图像的质量。
  • 提出了一种新型后训练量化方法命名为PCR该技术不仅能够有效减少量化误差而且能显著提升生成图像的质量。
  • 该研究致力于将去噪扩散模型应用于边缘设备从而使其实用价值得到进一步提升。