1
Amy 原创整理｜资料核验：2026-10-29
Hugging Face 文档说明，量化通过更低精度保存模型权重，降低加载和使用时的内存需求，同时尽量保留准确性。可选方法不同，有些需要校准，对硬件和后续操作的支持也不同。
Amy 建议比较方案时记录三项：目标设备能否运行、相同任务下的输出质量、实际峰值内存与速度。模型权重之外还可能有 KV cache 等运行开销，不能把权重文件大小直接当作总显存需求。
用一组固定且有代表性的输入测试后再选择精度；“4-bit”描述表示方式，不保证某个模型在所有任务上都无损，也不保证一定更快。
官方来源：
https://huggingface.co/docs/transformers/en/quantization/overview