# LLM 量化到底省不省电？我造了一个实测专家替你算

做 LLM 推理部署的人都会默认一件事：模型量化 = 省显存 = 省电。但我在 5 款消费级 GPU 上、从 0.5B 到 14B 的模型里跑了 42 组实测数据，发现 bitsandbytes INT8 从来没省过电——能耗变化从 +50% 到 +595%，一次都没负过。NF4 会不会省电？取决于你的模型多大、你的卡是什么架构。

这些结论不是猜的，是 NVML 100Hz 采样、FP16 基线配对、重复实验后得出的。我把这套方法论做成了一个 WorkBuddy 专家——大模型能耗监控专家「瓦特」，输入 GPU 型号、模型大小和精度目标，直接给你量化建议，附带数据依据和置信度评级。

1. 为什么要做这个专家

量化工具告诉你怎么量化，但没人告诉你该不该量化——至少从能耗角度。

很多推理优化文章会写"INT8 推理降低 N 倍能耗"，但那个 N 通常来自 FLOPs 纸面推算，而不是实测。实际情况是：

• INT8 在消费级 GPU 上反而更费电：bitsandbytes LLM.int8() 需要额外的混合精度分解开销，在小模型上尤其明显
• NF4 是否省电取决于模型规模：存在一个 crossover 点，小于这个尺寸 NF4 也费电，而且这个点随 GPU 架构移动
• 不同软件栈结果差异大：同一 INT8 配置在不同 torch/bnb 版本下能耗惩罚可差约一倍

这些结论只有实测才能给出。所以我把实测数据和决策逻辑做成了专家，让不熟悉能耗测量的人也能拿到靠谱的答案。

2. 专家能做什么

核心能力：量化决策

输入三个参数：

专家会基于 crossover 数据直接输出建议：

建议：选择 NF4，不选 INT8 RTX 4090 上 INT8 在 7B 模型段能耗惩罚约 +146%（n=3, Ada, measured, ★★☆），而 NF4 在 7B 以上已越过 crossover 点，开始省电。 数据来源：DOI 10.5281/zenodo.22037483

五项具体能力

1. crossover 查询：给定 GPU + 模型大小，判断 NF4/INT8 是否省电
2. 缺失数据场景处理：数据集没覆盖的 GPU/模型组合，专家会明确标注"无数据"而非外推
3. 复现实验设计：帮你设计一个可复现的能耗测量方案
4. 贡献者引导：生成预填好的 GitHub issue 模板，提交你的测量点
5. 功耗口径换算：NVML 读数是 GPU package power，问机房电费/碳排时自动提示需乘系数

3. 数据溯源：实测 vs 估算，严格分标

这是这个专家和普通 AI 问答最大的区别：每一条数据都有溯源标签，拒绝把估算当实测说。

三条铁律

铁律一：basis 必须分开说

任何数据点必须标注来源：

实测覆盖矩阵：

T4 和 RTX 5090 没有 INT8 曲线——专家会直接说"无数据"，不会用 T4 的 NF4 数据去猜 INT8 的行为。

铁律二：单次测量自动降权

2026 年 7 月那批 RTX 4090 deep dive 是 n=1，专家引用时自动降权并提示"CV 未知"。

铁律三：功耗口径明确

NVML 读出来的是 GPU package power，不含 CPU、DRAM、主板、电源损耗。如果用户问的是"机房电费"或"碳排"，专家会明确告知这是下限估计，建议用 PDU/功率计获取整机墙电数据。

4. 关键实测结论

INT8：一行没有负数

从 0.5B 到 14B、Ada 到 Ampere，bitsandbytes LLM.int8() 的能耗变化是 +49.5% 到 +595%。这是一条可以直接下结论的行，不需要再补格子。

NF4：过零点随架构移动

同一个量化方法，在不同卡上「开始省电」的模型尺寸不一样——这是最有信息量的一句话，而且只有排成矩阵才看得见。

llama.cpp Q4_0：效应最大的那个方法，覆盖最少

RTX 4090 + Llama-3.1-8B 上，Q4_0 功耗比 F16 更高（296–319W vs 273W），但因为吞吐从 55 提升到 174 tok/s，每 token 能耗仍然降低了 62%。节省的是运行时间，不是功率。

这一行目前只测了一格——空白本身就是招募信号。

5. 一键复现：Colab Notebook

为了把复现门槛降到最低，我做了一个 Colab Notebook：

1. 点链接 → 点 Run All → 等 15 分钟 → 拿到一行数据
2. 自动检测 GPU 型号（NVML）
3. 自动跑 FP16 基线 + 量化对照
4. 输出与 EcoCompute 容器格式兼容的 energy.json
5. 生成预填好的 GitHub issue 文本，一键提交

免费 T4 就能跑 0.5B–7B 模型的 NF4/INT8 测量。不需要装 Docker、不需要租卡、不需要看懂 energy.json。

6. 开放数据与引用

所有原始测量记录、CSV、energy.json 以 CC BY 4.0 发布：

• 主数据集 v1.1.0：DOI 10.5281/zenodo.19647290
• RTX 4090 deep dive：DOI 10.5281/zenodo.22037483
• 测量容器：ecocompute-mlcube（Apache-2.0）
• 网站：quantenergy.tech

7. 如何使用

在 WorkBuddy 专家中心搜索「大模型能耗监控专家」或「瓦特」，点击开始对话。

试试这些问题：

• RTX 4090 + 7B 模型 + 精度损失 < 2%，该选 INT8 还是 NF4？
• H100 上 INT8 会不会省电？请区分实测还是估算
• 我的 GPU 和模型不在你的数据集里，帮我设计一个复现实验
• 我想提交一个自己的测量点到复现仓库，需要哪些字段？