【免费下载链接】Qwen3.6-35B-A3B-MTP-GGUF项目地址https://ai.gitcode.com/hf_mirrors/unsloth/Qwen3.6-35B-A3B-MTP-GGUF点击查看免费下载Qwen3.6-35B-A3B-MTP-GGUF 仓库一次性提供了 21 个 GGUF 量化版本覆盖从 11.4GB 的 IQ1_M 到 71.1GB 的 BF16 原版权重并内置 MTP 多词元预测加速。本指南帮你按显存和场景快速锁定最适合的量化版本无需逐一试错。35B-A3B 是什么为什么值得本地部署Qwen3.6-35B-A3B 是一款MoE混合专家多模态模型总参数 35B但每个 token 只激活 3B 参数256 个专家中动态选择 8 个路由专家 1 个共享专家。这带来两个实际好处⚡生成速度快每步推理只计算 3B 参数解码速度接近 3B 小模型但能力接近 35B 大模型显存友好虽然全部权重需要驻留内存但 4-bit 量化后仅需约 23GB 显存即可运行MTP 加速仓库中的 GGUF 均包含 MTPMulti-Token Prediction头开启投机解码可再获得约1.5-2 倍推理加速且无精度损失模型原生支持 262,144 token 上下文并带有视觉编码器需配合 mmproj 文件使用。更多模型细节见 README.md。仓库文件全景22 个量化版本一览表先看清楚仓库里有什么再谈怎么选。模型权重按体积从大到小版本文件精度类型体积 (GB)BF16/2 个分片BF16 原版71.1Qwen3.6-35B-A3B-UD-Q8_K_XL.gguf8-bit K39.1Qwen3.6-35B-A3B-Q8_0.gguf8-bit37.8Qwen3.6-35B-A3B-UD-Q6_K_XL.gguf6-bit K32.6Qwen3.6-35B-A3B-UD-Q6_K.gguf6-bit K30.0Qwen3.6-35B-A3B-UD-Q5_K_XL.gguf5-bit K27.2Qwen3.6-35B-A3B-UD-Q5_K_M.gguf5-bit K27.1Qwen3.6-35B-A3B-UD-Q5_K_S.gguf5-bit K25.5Qwen3.6-35B-A3B-UD-Q4_K_XL.gguf4-bit K22.9Qwen3.6-35B-A3B-UD-Q4_K_M.gguf4-bit K22.7Qwen3.6-35B-A3B-MXFP4_MOE.gguf4-bit FP422.2Qwen3.6-35B-A3B-UD-Q4_K_S.gguf4-bit K21.4Qwen3.6-35B-A3B-UD-IQ4_NL.gguf4-bit IQ18.5Qwen3.6-35B-A3B-UD-IQ4_XS.gguf4-bit IQ18.2Qwen3.6-35B-A3B-UD-Q3_K_XL.gguf3-bit K17.2Qwen3.6-35B-A3B-UD-Q3_K_M.gguf3-bit K17.1Qwen3.6-35B-A3B-UD-IQ3_S.gguf3-bit IQ15.3Qwen3.6-35B-A3B-UD-IQ3_XXS.gguf3-bit IQ14.1Qwen3.6-35B-A3B-UD-Q2_K_XL.gguf2-bit K12.6Qwen3.6-35B-A3B-UD-IQ2_M.gguf2-bit IQ11.9Qwen3.6-35B-A3B-UD-IQ2_XXS.gguf2-bit IQ11.8Qwen3.6-35B-A3B-UD-IQ1_M.gguf1-bit IQ11.4配套文件文件用途体积 (GB)mmproj-F16.gguf视觉投影推荐精度够用0.9mmproj-BF16.gguf视觉投影最高精度0.9mmproj-F32.gguf视觉投影全精度1.8imatrix_unsloth.gguf_fileIQ 系列量化的 imatrix 校准数据0.2量化命名规则速读UD、IQ、K_XL 一次看懂面对 20 多个后缀先搞懂命名逻辑选型就不再靠猜UDUnsloth Dynamic 2.0动态混合精度量化。对模型中敏感的层保留高精度、其余层用 K-quant同体积下通常比标准量化质量更好。本仓库的UD-前缀均属于这一系列。Qn_K S/M/XLK-quant 家族。同一比特数下S体积最小M均衡XL保留更多高精度层、质量最好、体积略大。经验上XL M S。IQnImportance-matrix Quant借助 imatrix 校准对应 imatrix_unsloth.gguf_file的量化能更聪明地分配精度小体积下质量往往优于普通 Q 系列。MXFP4_MOE面向 MoE 专家的 4-bit 微缩放浮点格式适合 vLLM、SGLang 等推理框架也适合大内存 CPUGPU 混合部署。Q8_0 / BF168-bit 近乎无损BF16 为原版精度仅作基准或训练/微调用途。 一句话记忆比特数越低体积越小、质量越低同比特数下 XL M SIQ 系列小体积表现更稳。按显存选版本不同显卡的最佳量化推荐估算公式所需显存 ≈ 文件体积 KV 缓存随-c上下文长度增长 1~2GB 开销。建议从 8K~16K 上下文起步。48GB 显存Q6_K 到 Q8_0 的准无损体验首选 UD-Q8_K_XL 或 Q8_0约 38~39GB几乎无量化损失想要更长上下文可退到 UD-Q6_K_XL32.6GB或 UD-Q5_K_XL27.2GB32GB 显存Q4_K_XL 与 Q5_K_S 的黄金平衡推荐 UD-Q4_K_XL22.9GB或 UD-Q4_K_M22.7GB质量与体积的最佳平衡点README 官方示例也使用 Q4_K_XL显存富余追求更高精度可选 UD-Q5_K_S25.5GB24GB 显存RTX 4090/3090Q4_K_S 或 IQ4_XS 最稳上下文 ≤16K 时选 UD-Q4_K_S21.4GB注意 KV 缓存余量不大需要更长上下文选 UD-IQ4_XS18.2GB留出更多空间给 KV 缓存是 24GB 卡上的省心之选16GB 显存RTX 4080/4060 TiQ3_K_M 与 IQ3_S 让 35B 跑起来推荐 UD-Q3_K_M17.1GB短上下文或 UD-IQ3_S15.3GB余量更足3-bit 已能保留大部分日常能力MoE 的 3B 激活特性使生成速度依然可观12GB 及以下显存Q2_K_XL、IQ2_XXS 的极限玩法UD-Q2_K_XL12.6GB是 12GB 卡的上限之选UD-IQ2_XXS11.8GB和 UD-IQ1_M11.4GB可放入 16GB 甚至配合 CPU 卸载跑在更小显存上适合先能跑起来体验显存不足时也可用-ngl把部分层放到 CPU速度变慢但能正常运行纯 CPU / Mac / 服务器场景MXFP4_MOE22.2GB面向 vLLM、SGLang 等生产推理框架的 4-bit 格式也是大内存 CPUGPU 混合部署的好选择低内存设备体验 MoE 大模型UD-IQ1_M 仅需约 11.4GB配合系统内存即可在 Mac 上流畅试跑快速上手llama.cpp 一行命令跑通 MTP 加速以 32GB 显存 UD-Q4_K_XL 为例编译 llama.cpp 后./llama-server \ -m Qwen3.6-35B-A3B-UD-Q4_K_XL.gguf \ -ngl 99 -c 8192 -fa on -np 1 \ --spec-type draft-mtp --spec-draft-n-max 2关键参数说明--spec-type draft-mtp --spec-draft-n-max 2启用 MTP 投机解码获得约 1.5-2 倍加速-ngl 99全部层卸载到 GPUMac/CPU 部署请设为-ngl 0并将 llama.cpp 以-DGGML_CUDAOFF编译-c 8192上下文长度显存紧张时调小⚠️ MTP 模式下暂不支持-np 1多进程与--mmproj多模态需要多模态时去掉 spec 相关参数即可下载模型仓库大文件通过 Git LFS 自动拉取git clone https://gitcode.com/hf_mirrors/unsloth/Qwen3.6-35B-A3B-MTP-GGUF常见问题 FAQQ1同是 4-bitQ4_K_M 和 IQ4_XS 怎么选Q4_K_M 精度分配更厚短上下文质量略高IQ4_XS 体积小 4GB 多长上下文场景更从容。24GB 卡首选 IQ4_XS32GB 及以上两者皆可。Q2为什么 35B 的模型 12GB 显存就能跑MoE 架构下每个 token 只激活 3B 参数计算量小、速度快但所有专家权重仍需驻留显存所以显存下限由文件体积决定而非激活参数数。Q3MTP 到底是什么Multi-Token Prediction多词元预测。模型额外训练了一个预测头一次草拟多个后续 token 再由主模型验证相当于免费获得约 1.5-2 倍解码加速且官方声明无精度损失。Q4想输入图片怎么办配合 mmproj-F16.gguf 使用约 0.9GB推荐默认选择。注意 llama.cpp 的 MTP 模式暂不支持--mmproj需要视觉能力时关闭 MTP 参数即可。Q5上下文能开多大模型原生支持 262K token但实际取决于剩余显存KV 缓存随-c线性增长。32GB 显存 Q4 量化32K~64K 上下文基本可行OOM 时优先调小-c。总结一张表记住选型逻辑你的硬件首选版本备选48GB 显存Q8_0 / Q8_K_XLQ6_K_XL32GB 显存Q4_K_XLQ5_K_S24GB 显存Q4_K_SIQ4_XS16GB 显存IQ3_SQ3_K_M12GB 显存Q2_K_XLIQ2_M纯 CPU / 大内存 MacIQ1_MMXFP4_MOE拿不准时记住这条主线显存够就上 XL 或 M 档 K-quant显存紧就切同位数的 IQ 系列再配合 MTP 参数把速度拉满——这就是 Qwen3.6-35B-A3B-MTP-GGUF 全部 21 个量化版本背后的选型逻辑。赞分享【免费下载链接】Qwen3.6-35B-A3B-MTP-GGUF项目地址https://ai.gitcode.com/hf_mirrors/unsloth/Qwen3.6-35B-A3B-MTP-GGUF点击查看免费下载相关推荐Qwen3.6-35B-A3B-GGUF量化版本全清单24种UD量化一次看懂内存不够该怎么选Qwen3.6 35B A3B GGUF量化版本全清单24种UD量化一次看懂内存不够该怎么选 Qwen3.6 35B A3B GGUF 是 Unsloth搞懂 Unsloth Dynamic 2.0 imatrix量化Qwen3.6-35B-A3B GGUF 完整选版指南搞懂 Unsloth Dynamic 2.0 imatrix量化Qwen3.6 35B A3B GGUF 完整选版指南 Qwen3.6 35B A3B GGU12种量化版本怎么挑MiniCPM-V-4.7-35B-A3B-DSpark-gguf从Q4到Q8的GGUF量化选择指南新手友好12种量化版本怎么挑MiniCPM V 4.7 35B A3B DSpark gguf从Q4到Q8的GGUF量化选择指南新手友好 MiniCPM V 4.大模型模型量化本地部署多模态创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考