大模型模型量化人工智能多模态QwenAscend【免费下载链接】Qwen3.6-35B-A3B-w8a8c8-mxfp8项目地址https://ai.gitcode.com/Eco-Tech/Qwen3.6-35B-A3B-w8a8c8-mxfp8点击查看免费下载Qwen3.6-35B-A3B-w8a8c8-mxfp8是 Qwen3.6-35B-A3B 的 W8A8C8 MXFP8 量化版本面向昇腾 NPU 推理场景。在它的量化配置里有三个模块被特意排除在量化之外visual视觉编码器、o_proj注意力输出投影和 mtp多词元预测层。为什么是这三个本文带你一步步看懂这套取舍策略背后的逻辑。量化了什么先看 include 和 exclude 规则量化范围全部由 Qwen3.6-35B-A3B_best_practice.yaml 中的linear_quant进程定义。核心规则如下配置项规则含义include*self_attn*量化注意力模块q/k/v 投影等include*mlp.experts*量化 MoE 专家层模型参数量大头exclude*visual*保留视觉编码器为高精度exclude*self_attn.o_proj*保留注意力输出投影为高精度exclude*mtp*保留 MTP 层不参与量化量化策略本身是权重与激活均为mxfp8采用per_block 范围 minmax 对称量化详见 Qwen3.6-35B-A3B_best_practice.yaml。理解取舍的关键在于先认识 Qwen3.6-35B-A3B 的结构见 config.json40 层文本主干每层含 256 个 MoE 专家num_experts: 256每 token 激活 8 个专家 FFN 是参数量和算力的绝对大头27 层视觉塔vision_config.depth: 27负责把图像 patch 编码成视觉 token是多模态理解的第一步1 层 MTP 层mtp_num_hidden_layers: 1多词元预测辅助层通常只在投机解码等特定路径使用。 一句话总结参数多、算力占比大的模块experts、注意力投影全力量化参数少、精度敏感或很少执行的模块visual、o_proj、mtp保持高精度。排除 visual视觉编码器为何刀下留情*visual*对应视觉编码器ViT 结构27 层。排除它主要有三点考虑参数量占比小量化收益低35B 级别 MoE 模型里视觉塔只占很小一部分参数。量化它节省的显存几乎可以忽略投入产出比很差。感知任务对精度敏感视觉编码器做的是图像细节感知文字、纹理、物体轮廓。低比特量化会引入系统性数值偏差很容易导致 OCR、图表理解等细粒度能力明显退化——而这些恰恰是多模态模型的卖点。与文本主干的量化收益不对称MoE 专家层每个 token 都会执行是吞吐瓶颈所在视觉编码只在输入预处理阶段跑一次。把量化预算集中在高频执行的文本层上才是收益最大化的选择。 效果视觉侧保精度 文本侧提性能两全其美。排除 o_proj注意力输出为何不能省*self_attn.o_proj*是注意力的输出投影层——q/k/v 完成注意力计算后结果要经过 o_proj 才能流入下一层。它被排除的原因outlier离群值的集中地注意力输出是各 token 加权和的结果数值分布中的离群点会在这里进一步放大。低比特量化对离群值最吃亏量化 o_proj 是公认容易掉精度的重灾区。误差会逐层放大o_proj 的输出直接进入 LayerNorm 和后续残差流任何量化噪声都会沿 40 层网络传播放大。相比之下它本身的参数量2048×2048 级别的投影占比很小省下的收益有限。业界通行做法的验证从 LLM.int8() 到各类混合精度方案保护输出投影一直是被反复验证的经验规律。这份 YAML 的排除列表正是该策略在昇腾 MXFP8 路线上的落地。排除 mtp用不到 1 次的层何必量化*mtp*指Multi-Token Prediction多词元预测层。在 config.json 中可以看到mtp_num_hidden_layers: 1即模型额外带了 1 层 MTP。排除它的逻辑更直接常规推理路径不执行 MTP 层标准自回归解码只走主干 40 层MTP 层仅在投机解码等特定场景才被调用。为一个平时不跑的模块做量化适配收益趋近于零。避免引入不确定的精度风险保留 MTP 为高精度既不影响推理性能也保证了未来启用投机解码时的输出质量。降低部署复杂度对推理框架如 vLLM_Ascend来说少一类需要特殊算子支持的量化模块兼容性和稳定性都更好。顺带一提fa3_quant 的精细量化策略YAML 中还有一个fa3_quant进程Qwen3.6-35B-A3B_best_practice.yaml对注意力算子内的 Q/K/V 分别量化对象范围scope说明fa_qper_blockmxfp8 块级量化fa_kper_blockmxfp8 块级量化fa_vper_channel按通道量化粒度更细、精度更稳注意它同样排除了*linear_attn*——该模型采用混合注意力结构见 config.json 中linear_attention与full_attention交替的 40 层布局每 4 层一次 full attention线性注意力层不走 FA3 量化路径。精度验证取舍策略换来的零损失这套策略最终效果如何README.md 给出了 AIME2026 数学基准的测试数据模型量化格式数据集测试精度官方精度Qwen3.6-35B-A3B-w8a8c8-mxfp8W8A8C8-MXFP8AIME202692.67%92.7%量化后精度与 BF16 官方精度仅差 0.03 个百分点基本可以视为无感量化——这正是精准排除 visual、o_proj、mtp 三个敏感模块的价值所在。如何复现这套量化快速上手按照 README.md 的说明只需两步安装依赖版本pip install transformers5.2.0执行量化命令NPU 设备msmodelslim quant \ --model_path {权重路径} \ --save_path {量化权重路径} \ --device npu \ --model_type Qwen3.6-35B-A3B \ --config_path {yaml配置路径} \ --trust_remote_code True仓库内已附带完整的量化产物10 个分片权重文件quant_model_weights-00001-of-00010.safetensors 至 quant_model_weights-00010-of-00010.safetensors、权重索引 quant_model_weights.safetensors.index.json、分词器配置tokenizer.json、vocab.json以及 generation_config.json 等拿到即可部署。总结三句话记住取舍策略✅visual 排除参数量小 感知任务精度敏感量化得不偿失✅o_proj 排除outlier 重灾区 误差逐层放大行业通用的精度保护点✅mtp 排除常规解码路径不执行量化收益趋近于零。量化不是一刀切而是把每一比特都花在刀刃上——高频执行的 MoE 专家和注意力投影全力压到 mxfp8敏感且低频的模块保持高精度最终用 0.03% 的精度代价换来了 NPU 上的高效推理。 相关文件参考Qwen3.6-35B-A3B_best_practice.yaml量化规则、config.json模型结构、README.md复现步骤与精度数据。赞分享大模型模型量化人工智能多模态QwenAscend【免费下载链接】Qwen3.6-35B-A3B-w8a8c8-mxfp8项目地址https://ai.gitcode.com/Eco-Tech/Qwen3.6-35B-A3B-w8a8c8-mxfp8点击查看免费下载相关推荐为什么PLE、shared_expert和MoE路由不能量化Qwen3.8-Flash-Next-w8a8-mxfp8-mtp排除策略深度解析为什么PLE、shared_expert和MoE路由不能量化Qwen3.8 Flash Next w8a8 mxfp8 mtp排除策略深度解析 本文围绕 Qw人工智能大模型模型量化多模态QwenMXFP8对比INT8与FP8为什么Qwen3.6-27B-w8a8c8-mxfp8是昇腾W8A8C8部署的最优解MXFP8对比INT8与FP8为什么Qwen3.6 27B w8a8c8 mxfp8是昇腾W8A8C8部署的最优解 MXFP8 量化 正在成为大模型在国产 N大模型模型量化多模态QwenAscend本地部署什么是imatrix完整揭秘Qwen3.6-35B-A3B-MTP-GGUF超低比特量化保质的秘密什么是imatrix完整揭秘Qwen3.6 35B A3B MTP GGUF超低比特量化保质的秘密 imatriximportance matrix重要性创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考