recipe.yaml配方解析gemma-4-26B-A4B-it-w8a8-llmcompressor如何决定哪些层量化、而哪些层必须跳过【免费下载链接】gemma-4-26B-A4B-it-w8a8-llmcompressor项目地址: https://ai.gitcode.com/hf_mirrors/amd/gemma-4-26B-A4B-it-w8a8-llmcompressorgemma-4-26B-A4B-it-w8a8-llmcompressor是 AMD 使用 LLM Compressor 制作的 Gemma4 26B-A4B 多模态 MoE 模型25.8B 参数的 W8A8 8-bit 量化版本。仓库中的 recipe.yaml 就是这份「量化配方」仅 9 行内容就决定了哪些层量化成 8-bit、哪些层必须保留 BF16以及按什么精度量化。 9 行量化配方逐字段解析recipe.yaml 全文只有 9 行是一个单阶段配方default_stage→default_modifiers→QuantizationModifier量化修正器。default_stage: default_modifiers: QuantizationModifier: targets: [Linear] ignore: [lm_head, re:.*lm_head, re:.*router\.proj$, re:.*vision_tower.*, re:.*embed_vision.*, re:.*embed_audio.*] scheme: W8A8 bypass_divisibility_checks: false requires_calibration_data: false下面逐字段拆解它的「圈层」逻辑。targets: [Linear] — 默认把全部线性层标记为量化目标targets见 recipe.yaml声明量化目标模型里所有Linear全连接层默认都参与量化包括 30 个语言层的注意力 q/k/v/o 投影、共享 MLP以及每层 128 个路由专家的每一个投影层。scheme: W8A8 — 权重 8-bit、激活 8-bitschemerecipe.yaml指定量化方案W8A8即Weights 8-bit Activations 8-bit。具体细节记录在 config.json 的quantization_config中对象位数对称性量化粒度时机权重 weightsINT8对称per-channel每输出通道一个 scale静态保存前完成输入激活 activationsINT8对称per-token每个输入 token 一个 scale动态推理时实时计算权重使用memoryless_minmaxobserver 在保存时算好 scale激活则不预存推理时按 token 动态量化精度损失更小。requires_calibration_data: false — 零校准数据量化falserecipe.yaml表示不需要校准数据集权重直接按 RTNRound-to-Nearest四舍五入算法舍入到 INT8全程不用跑样例数据量化一次完成oneshot。README.md 也确认了本模型就是用 RTN 算法量化的。bypass_divisibility_checks: false — 保留维度合法性检查falserecipe.yaml表示不跳过「维度整除性检查」。若量化按分组进行张量维度必须能被组大小整除该检查确保 scale 与张量形状对齐保存出的权重索引不会错位。ignore: 5 条「禁入」模式ignorerecipe.yaml是白名单——匹配以下模式的模块一律跳过保留 BF16配方模式匹配对象为什么跳过lm_head、re:.*lm_head输出投影层最终 logits 投影与输入嵌入共享权重量化易拖累输出质量re:.*router\.proj$每层 MoE 路由器决定激活哪些专家精度极其敏感re:.*vision_tower.*27 层视觉塔多模态视觉编码器re:.*embed_vision.*视觉嵌入投影层图像到文本的对齐re:.*embed_audio.*音频嵌入投影层预留本模型无音频模块audio_config: null属防御性规则 注意re:前缀表示正则匹配re:.*router\.proj$会精确命中所有以router.proj结尾的模块名无需逐层手写。⚠️ 为什么跳过 MoE router最小的层却最敏感router 是这个模型最「值得保」的模块小router.proj只是 2816 → 128 的小矩阵跳过它省下的磁盘空间几乎可以忽略敏感router 的输出决定每个 token 激活 128 个专家中的哪8 个top_k_experts: 8。路由一旦出错整个 token 的计算就跑偏影响远大于普通权重的舍入误差有专门参数从 model.safetensors.index.json 可以看到每层router有proj.weight、scale、per_expert_scale三个参数全部保持 BF16没有任何weight_scale量化字段 为什么跳过视觉塔与 lm_head视觉塔27 层视觉编码器 patch 嵌入patch_embedder.input_proj 视觉投影embed_vision.embedding_projection全部保留 BF16。语言模型是 30 层 × 128 专家视觉塔参数量小得多量化收益有限而视觉特征退化会直接拖累多模态任务lm_head本模型tie_word_embeddings: true输入/输出嵌入共享输出投影与词嵌入表是同一份权重INT8 化容易损伤生成质量embed_tokens 与 LayerNorm输入嵌入表和归一化层不是Linear模块天然不在targets范围内 对照 config.json从 5 条正则到 252 个具体层名recipe.yaml 是「处方」config.json 的quantization_config.ignore则是「执行记录」——llm-compressor 已把 5 条正则展开成252 个具体层名写入配置推理框架vLLM加载时可直接按名跳过无需再跑正则模块数量视觉塔patch_embedder 27 个 encoder 层 × 7 个投影190MoE router30 层 ×router/router.proj60embed_vision.embedding_projection1lm_head1合计252同时quant_method: compressed-tensors、quantization_status: compressed表明模型已按compressed-tensors量化格式保存vLLM 等引擎可直接加载。✅ 权重索引验证11,725 个被量化的投影层统计 model.safetensors.index.json 中的weight_scale每通道量化 scale字段每个对应一个 INT8 化的线性层模块计算方式数量路由专家30 层 × 128 专家 × 3 投影gate/up/down11,520共享稠密 MLP30 层 × 3 投影90注意力投影25 个滑动注意力层 × 4 5 个全注意力层 × 3115合计11,725有个有趣的细节5 个 full-attention 层第 5/11/17/23/29 层的注意力k与v投影共享权重attention_k_eq_v: true因此这 5 层各只量化了 3 个投影。而 router、视觉塔、lm_head 则完全没有weight_scale字段——它们仍是 BF16与配方 ignore 名单完全吻合。 量化效果省 47% 磁盘精度恢复 98.95%磁盘48.1 GiBBF16→ 25.3 GiBW8A8减少约 47%索引元数据 total_size 为 27,161,975,452 字节精度GSM8K5-shotBF16 基线 0.9462 → W8A8 0.9363精度恢复 98.95%该模型面向 AMD EPYC CPU 推理ZenDNN vLLM 技术栈部署与评测步骤见 README.md。 关键文件速查文件作用recipe.yaml量化配方targets / ignore / schemeconfig.jsonquantization_config实际量化参数与展开后的 ignore 名单model.safetensors.index.json权重索引验证真实被量化的层README.md量化过程、部署方式与评测结果一句话总结targets: [Linear]先圈定全部线性层ignore用 5 条正则精准排除 MoE router、视觉塔、lm_head 等敏感模块W8A8 RTN 零数据量化让 11,725 个投影层从 BF16 降到 INT8磁盘减 47%基准精度恢复 98.95%。【免费下载链接】gemma-4-26B-A4B-it-w8a8-llmcompressor项目地址: https://ai.gitcode.com/hf_mirrors/amd/gemma-4-26B-A4B-it-w8a8-llmcompressor创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考