A Comprehensive Evaluation of Quantization Strategies for Large Language Models
本文是LLM系列文章，针对《A Comprehensive Evaluation of Quantization Strategies for Large Language Models》的翻译。
大型语言模型量化策略的综合评价
- 摘要
- 1 引言
- 2 相关工作
- 3 评估协议
- 4 评估设置
- 5 实验结果和讨论
- 6 结论
- 局限性
摘要
增加大型语言模型（LLM）中的参数数量通常会提高下游任务的性能，但会增加计算和内存成本，使部署在资源有限的环境中变得困难。由于LLM的兴起，量化技术已经变得流行起来，该技术以最小的性能损失来减少模型权重或激活所需的比特。然而，大多数量化研究使用预训练的LLM，量化对指令调整LLM的影响以及量化LLM的困惑与基准性能之间的关系还没有得到很好的理解。量化LLM的评估通常仅限于语言建模和一些分类任务，使其在其他基准上的性能不明确。为了解决这些差距，我们提出了一个由三个关键维度组成的结构化评估框架：（1）知识和能力，（2）一致性和（3）效率，并在十个不同的基准上进行了广泛的实验。我们的实验结果表明，具有4位量化的LLM可以保持与非量化LLM相当的性能，并且困惑可以作为大多数基准上量化LLM的代理度量。此外，具有较大参数尺度的量化LLM可以优于较小LLM。尽管通过量化节省了内存，但它也会减慢LLM的推理速度。因此，为了在量化LLM的背景下实现解码速度和存储器消耗的平衡优化，大量的工程工作和硬件支持是必不可少的。
1 引言
2 相关工作
3 评估协议
4 评估设置
5 实验结果和讨论
6 结论
我们对LLM的量化策略进行了全面评估，展示了各种基准中模型效率和性能退化之间的权衡。通过采用结构化评估框架，从知识和能力、一致性和效率方面评估模型，我们旨在为量化LLM的可扩展性和实际应用提供有价值的见解。实验结果表明，虽然4位量化保持了接近非量化对应物的性能，但当量化减少到3位或更低时，会出现显著的性能差异。此外，研究结果表明，困惑可以作为量化LLM在各种评估基准上的可靠性能指标。SpQR通过隔离异常值权重并在计算过程中保持高精度，有效地将LLM量化到2比特的极端水平。当存在内存约束并且推理速度是次要问题时，与较小的模型相比，可以优先选择以较大参数尺度量化为较低比特精度的LLM。此外，我们强调了在现实世界场景中高效部署量化LLM的工程工作和硬件支持的必要性。