大模型基础模型模型量化Qwen【免费下载链接】Qwen3.8-2.4T-A95B-NVFP4项目地址https://ai.gitcode.com/hf_mirrors/nvidia/Qwen3.8-2.4T-A95B-NVFP4点击查看免费下载NVIDIAQwen3.8-2.4T-A95B-NVFP4是阿里 Qwen3.8-2.4T-A95B2.4T 总参数、95B 激活参数的 NVFP4 量化推理版模型。权重已经压到 4-bit 之后显存的大头就轮到了KV 缓存——只要在 vLLM 或 SGLang 启动命令里加一个--kv-cache-dtype nvfp4参数KV 缓存也能压到 4-bit 精度长上下文场景下显存占用还能再降一大截。本文面向新手带你从零讲清它是什么、需要什么硬件、如何一键部署、参数怎么配、精度会不会掉。⚡ 为什么值得开 NVFP4 KV 缓存先建立一个直观概念。大模型推理时的显存主要分两块显存组成占大头的原因NVFP4 版本的状态模型权重参数量巨大✅ 已量化MoE 专家权重用 NVFP4group_size16磁盘和显存比 BF16 缩小约 2.5 倍KV 缓存随上下文长度线性增长 可选项加--kv-cache-dtype nvfp4后从 BF16 压到约 4-bit以这个模型为例92 层中有 23 层是 full attention 层每层每 token 的 KV 约为 4 个 KV 头 × 256 head_dim × 2 ≈ 2048 个元素。若按--max-model-len 262144256K 上下文计算单条请求的 BF16 KV 缓存粗估就超过 20 GB换成 NVFP4 后大约只剩 1/4等于长上下文场景下显存再省一半以上。这正是官方 README 里强调的场景省略--kv-cache-dtype nvfp4会使用运行时的默认 KV 缓存精度显式加上才能启用 NVFP4 KV 缓存见 README.md。️ 硬件与引擎要求先看这里免得踩坑NVFP4 KV 缓存不是随便什么卡都能开官方明确了三个前提要求项说明GPUNVIDIA Blackwell架构官方测试硬件为 GB200、B300推理引擎较新版本vLLM或SGLang需支持 NVFP4 KV操作系统Linux如果启动时报参数不识别大概率是引擎版本太旧升级 vLLM / SGLang 即可。 获取模型文件项目仓库共 200 个权重分片model-00001-of-00200.safetensors~model-00200-of-00200.safetensors可通过以下命令克隆到本地git clone https://gitcode.com/hf_mirrors/nvidia/Qwen3.8-2.4T-A95B-NVFP4 最快部署方式vLLM 一行命令参考 README.md 官方给出的命令vllm serve nvidia/Qwen3.8-2.4T-A95B-NVFP4 \ --port 8000 \ --tensor-parallel-size 8 \ --max-model-len 262144 \ --kv-cache-dtype nvfp4 \ --reasoning-parser qwen3如果模型已经克隆到本地路径把模型名替换为--model /本地路径即可。服务起来之后就是一个标准的 OpenAI 兼容 APIhttp://host:8000/v1。 SGLang 部署方式参数对照用 SGLang 的话对应命令如下README.mdpython -m sglang.launch_server \ --model-path nvidia/Qwen3.8-2.4T-A95B-NVFP4 \ --port 8000 \ --tp-size 8 \ --context-length 262144 \ --kv-cache-dtype nvfp4 \ --reasoning-parser qwen3 核心参数速查表参数作用示例值--kv-cache-dtype nvfp4⭐ 本文主角KV 缓存使用 NVFP4 精度nvfp4--tensor-parallel-size 8/--tp-size 88 卡张量并行切分权重8--max-model-len/--context-length最大上下文长度示例为 256K模型支持更长的 1M 上下文262144--reasoning-parser qwen3启用 Qwen3 思考模式解析qwen3--port 8000服务端口8000 小提示--max-model-len开得越大KV 缓存预留越多。NVFP4 KV 缓存正是让你敢把上下文开大的底气。 精度实测省显存会不会翻车官方用 BF16 基线、纯 NVFP4、NVFP4 NVFP4 KV 三档做了对比数据来自 README.md精度方案GPQA DiamondHLESciCodeAA-LCRIFBenchTerminal Bench 2.1BaselineBF1692.5541.4354.4471.5079.9376.03NVFP492.5840.5556.2171.6381.7376.40NVFP4 NVFP4 KV92.3340.6455.9271.2581.3377.25结论很直观开启 NVFP4 KV 缓存后各基准与纯 NVFP4 相比波动都在 1 分以内推理、长上下文召回、Agent 工具调用等能力基本无损属于免费午餐级别的优化。️ 仓库关键文件一览想深入了解量化细节可以翻一翻这些文件README.md模型说明、部署命令、精度对比表config.json模型结构配置92 层、512 专家每 token 激活 10 个、混合注意力、quantization_config分两组experts 为 NVFP4/FP4注意力线性层为 FP8hf_quant_config.jsonModel Optimizer 生成的量化配置可看到逐层的quant_algoNVFP4/FP8与group_size: 16generation_config.json推荐采样参数temperature: 1.0、top_p: 0.95、top_k: 20model.safetensors.index.json200 个分片的权重映射索引chat_template.jinja 与 tokenizer.json对话模板和分词器README.md 中的 Post Training Quantization 小节量化范围说明仅 transformer 块内线性算子的权重和激活❓ 常见注意事项非 Blackwell 显卡权重部分仍可正常加载但--kv-cache-dtype nvfp4需要 Blackwell 硬件 支持该特性的引擎版本否则请省略该参数使用默认精度。上下文能开多大模型官方宣称支持最高 1M token 上下文示例命令取 256K 是稳妥起点实际请按你的显存余量调整--max-model-len。并行度怎么定官方示例为 8 卡张量并行--tensor-parallel-size 8与 GB200/B300 八卡节点配置对应可按实际卡数调整。许可证采用 NVIDIA Open Model License商用与非商用均可具体条款以 README.md 说明为准。总结一句话记住本文的重点Qwen3.8-2.4T-A95B-NVFP4 是 2.4T 参数 MoE 模型的 NVFP4 量化推理版在 Blackwell GPU 上用 vLLM 或 SGLang 启动时加上--kv-cache-dtype nvfp4KV 缓存显存再降约 3/4且官方实测精度几乎无损。对于长上下文、大并发场景这行参数就是性价比最高的显存开关。赞分享大模型基础模型模型量化Qwen【免费下载链接】Qwen3.8-2.4T-A95B-NVFP4项目地址https://ai.gitcode.com/hf_mirrors/nvidia/Qwen3.8-2.4T-A95B-NVFP4点击查看免费下载相关推荐Qwen3.8-2.4T-A95B-NVFP4 SGLang部署实战一条命令启动顺手开启NVFP4 KV缓存与256K上下文Qwen3.8 2.4T A95B NVFP4 SGLang部署实战一条命令启动顺手开启NVFP4 KV缓存与256K上下文 Qwen3.8 2.4T A9大模型基础模型模型量化QwenQwen3.8-2.4T-A95B-NVFP4 config.json参数手册hidden_size、num_experts、full_attention_interval逐条解读Qwen3.8 2.4T A95B NVFP4 config.json参数手册hidden_size、num_experts、full_attention_i大模型基础模型模型量化QwenSlang 类型系统完全指南类型说明符、类型别名、内存布局与未知大小规则Slang 类型系统完全指南类型说明符、类型别名、内存布局与未知大小规则 本篇以 Slang 语言参考手册的 Types 章节 https://link.gi大模型基础模型模型量化Qwen创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考