【免费下载链接】Qwen3.6-35B-A3B-NVFP4项目地址https://ai.gitcode.com/hf_mirrors/RedHatAI/Qwen3.6-35B-A3B-NVFP4点击查看免费下载本文带你完整解读RedHatAI/Qwen3.6-35B-A3B-NVFP4——这是阿里 Qwen3.6-35B-A3B 混合专家MoE大模型的 NVFP4 4-bit 权重量化版本主打在 NVIDIA 硬件上实现更低的显存占用与更快的推理吞吐。仓库中附带了该量化模型与 BF16 原始模型在 BFCL v4 函数调用榜单上的完整对比分数。核心结论一句话量化后总准确率仅掉 1.73 分57.83% → 56.10%但 Multi-Turn多轮子榜掉了 4.12 分是四大板块中掉分最多的掉分集中在函数/参数缺失和长链 Agentic 推理两类任务上。一图看懂NVFP4 量化版 BFCL v4 总分对比BFCL v4Berkeley Function Calling Leaderboard v4是目前衡量大模型函数调用Tool Calling / Function Calling能力的主流榜单包含四大板块板块考察能力BF16 基线NVFP4 量化版变化恢复率Non-Live AST单轮函数调用格式正确性38.33%39.02% 0.69101.8%Live线上实时函数调用69.28%67.88% -1.4098.0%Multi Turn多轮对话中的连续调用62.25%58.13%-4.1293.4%AgenticAgentic 智能体搜索记忆49.91%49.31% -0.6098.8%Overall总得分57.83%56.10%-1.7397.0%完整分数见 base_score/data_overall.csvBF16 基线与 score/data_overall.csvNVFP4 量化版。一个反直觉的现象Non-Live 单轮调用量化后不降反升而看起来只是把权重压到 4-bit的多轮 Agentic 场景却掉得最狠。为什么会这样我们逐层拆解。Multi-Turn 掉分拆解掉在纠错而不是首轮多轮子榜的详细分数对比如下数据来自 base_score/data_multi_turn.csv 与 score/data_multi_turn.csv子任务含义BF16NVFP4变化Base标准多轮调用74.50%69.00%-5.50Miss Func对话中函数定义缺失需自行处理60.00%53.00% -7.00Miss Param参数信息缺失需追问或推断51.50%48.00%-3.50Long Context长上下文多轮63.00%62.50%-0.50关键发现Multi-Turn 的 4.12 分掉分几乎全部来自 Miss Func-7.00和 Base-5.50。Miss Func函数缺失要求模型在工具列表里没有所需函数时正确拒答或换路。这类任务考验的是模型的指令遵循 诚实性边界——量化带来的权重噪声会让模型在该停下来的场景里更容易硬编一个调用直接判 0 分。Base 掉 5.5 分多轮里每一步的输出都是下一步的输入4-bit 权重的微小误差会沿对话轮次复利式累积轮数越多、偏离越早。值得庆幸的是 Long Context 几乎没掉-0.50说明量化对读长文的召回能力影响很小——短板不在注意力而在决策。Agentic 板块拆解掉分是局部的甚至有一项大涨Agentic 板块包含 Web Search网络搜索和 Memory记忆检索两大子任务四路分数对比来自 base_score/data_agentic.csv 与 score/data_agentic.csv子任务BF16NVFP4变化Web Search合计51.00%47.00% -4.00└ web_search_base59.00%58.00%-1.00└ web_search_no_snippet无摘要纯链接推理43.00%36.00% -7.00Memory合计48.82%51.61% 2.79└ memory_kv键值记忆43.87%39.35%-4.52└ memory_vector58.06%58.71%0.65└ memory_rec_sum递归摘要44.52%56.77% 12.25所以严格说Agentic 板块总量只掉 0.6 分是局部掉分、整体稳住web_search_no_snippet 掉 7 分是 Agentic 板块最大失分点。这个任务不给网页摘要只给链接模型必须在多轮搜索中自己判断这条信息能不能回答上轮问题。它对中间推理链的每一步精度要求最高恰好是 4-bit 量化误差最容易被放大的地方。从原始答卷 score/RedHatAI_Qwen3.6-35B-A3B-NVFP4/agentic/BFCL_v4_web_search_base_score.json 可以看到典型失败模式模型在多跳推理后给出了张冠李戴的事实把网球选手的事嫁接到了另一道地理题上被判answer_not_found。memory_rec_sum 却大涨 12.25 分说明量化并没有系统性变笨——在摘要压缩类任务上量化版反而更敢输出完整答案。memory_kv 掉 4.52 分则暴露了另一个问题从 score/RedHatAI_Qwen3.6-35B-A3B-NVFP4/agentic/memory/kv/BFCL_v4_memory_kv_score.json 的失分样例看量化版更频繁地输出 I do not know例如学生冬令营去了哪国答案明明在记忆里即量化放大了不确定倾向宁可拒答也不冒险。Live 板块才是单项最大坑Parallel Multiple 掉 12.5 分很多人忽略了 Live 板块。细看 base_score/data_live.csv 与 score/data_live.csvLive 子任务BF16NVFP4变化Live Simple60.85%57.36%-3.49Live Multiple71.32%70.66%-0.66Live Parallel75.00%75.00%0Live Parallel Multiple66.67%54.17%-12.50Relevance Detection87.50%93.75% 6.25Live Parallel Multiple并行 多调用是全榜单单项掉分最大的任务-12.50 分要求模型一次性正确发出多个可并行的函数调用任何一次格式/参数漂移整题作废。这类一步不能错的任务对数值精度最敏感4-bit 的舍入噪声恰好在这里成了最后一根稻草。为什么 NVFP4 会伤多轮与 Agentic三个技术原因结合本仓库的量化配方 recipe.yaml 和模型配置 config.json掉分根源可以归纳为三点4-bit 权重的舍入误差随推理步数累积。NVFP4 是 4-bit Float 格式单步误差小但 Agentic/Multi-Turn 任务本质是把模型输出当作下一步输入的长链条。链越长误差越容易把轨迹推出正确答案域。这也解释了为什么单轮 Non-Live 几乎不掉、多轮却掉 4 分多。敏感层被刻意保留但 Linear 投影层全量压缩。从 recipe.yaml 可见量化跳过了lm_head、embed_tokens、视觉塔model.visual.*、专家路由门mlp.gate、shared_expert_gate以及linear_attn线性注意力层只压Linear类权重。这是保格式正确的最小代价选择——代价是 FFN/专家投影层承载事实与推理细节最多的部分全部压到 4-bit于是事实检索型任务web search 多跳、kv 记忆成了失分重灾区。MoE 路由精度被压在了边缘。35B-A3B 是 MoE 架构每次推理只激活约 3B 参数。虽然mlp.gate路由权重保留了高精度但专家内部权重的量化噪声会直接改变哪个专家被用到之后输出什么在多轮纠错场景Miss Func中表现为本该拒答却硬调、本该追问却瞎猜。还有一个容易被误判的因素格式解码失败并不是主因。对比两次完整评测日志 results_35B-A3B_base_all.txt 与 results_35B-A3B_NVFP4_all.txtFailed to decode the model response分别出现 4733 次和 4739 次几乎一样——说明 NVFP4 版并没有把输出格式搞坏掉分来自答案质量而非格式崩坏。结论NVFP4 版还值不值得用值得但要看场景。基于本次 BFCL v4 完整数据的三条实用建议✅单轮函数调用、普通 Chat 场景放心用Non-Live 甚至小幅上涨Overall 恢复率 97%且模型体积和推理成本大幅下降README.md 中给出的部署命令只需vllm serve一行配--reasoning-parser qwen3。⚠️重度 Agentic / 多轮纠错场景保留 BF16如果你的业务依赖函数缺失时正确拒答多跳搜索中每一跳都精确Miss Func-7.0和 Parallel Multiple-12.5的掉分是实打实的业务风险。折中方案可以只在专家权重上做 NVFP4、保留 BF16 的路由与门控本仓库正是该策略见 recipe.yaml再叠加--enable-prefix-caching降低多轮重复前缀开销把长链条任务的精度损失压到最低。一句话总结Qwen3.6-35B-A3B-NVFP4 用 1.73 分的总榜代价换来了 4-bit 部署掉分不是均匀分布而是精准地砸在长链推理 纠错边界上——这正是当前 4-bit 量化大模型的通病也是评估量化模型时最该盯住的两个子榜。 本文涉及的原始数据文件BF16 基线分数base_score/Qwen_Qwen3.6-35B-A3B/NVFP4 量化版分数score/RedHatAI_Qwen3.6-35B-A3B-NVFP4/各板块汇总 CSVscore/data_overall.csv、score/data_multi_turn.csv、score/data_live.csv、score/data_agentic.csv、score/data_non_live.csv量化配方recipe.yaml · 模型配置config.json · MTP 层权重未量化原样保留model_mtp.safetensors赞分享【免费下载链接】Qwen3.6-35B-A3B-NVFP4项目地址https://ai.gitcode.com/hf_mirrors/RedHatAI/Qwen3.6-35B-A3B-NVFP4点击查看免费下载相关推荐NVFP4量化到底是什么Qwen3.6-35B-A3B-NVFP4项目完整入门指南NVFP4量化到底是什么Qwen3.6 35B A3B NVFP4项目完整入门指南 如果你听说过大模型瘦身那 NVFP4 量化就是目前最前沿的方案之一。abogen 完整使用指南文本转语音把 EPUB 转成带字幕的有声书abogen 完整使用指南文本转语音把 EPUB 转成带字幕的有声书 abogen 是一款开源的文本转语音TTS工具能把 EPUB、PDF 和纯文本转成NVFP4格式深度剖析Qwen3.6-35B-A3B-NVFP4如何把35B MoE模型压进4-bit浮点NVFP4格式深度剖析Qwen3.6 35B A3B NVFP4如何把35B MoE模型压进4 bit浮点 RedHatAI/Qwen3.6 35B A3B创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考