【免费下载链接】Aztec-Coder-4B-i1-GGUF项目地址https://ai.gitcode.com/hf_mirrors/mradermacher/Aztec-Coder-4B-i1-GGUF点击查看免费下载Aztec-Coder-4B-i1-GGUF是量化作者 mradermacher 发布的 Aztec-Coder-4B 智能体编码模型的imatrix 量化 GGUF 版本合集一次提供从 1.5GB 的 IQ1_S 到 3.6GB 的 Q6_K 共 24 档量化文件专为本地部署轻量级 AI 编程助手打造。本文横向对比各量化版本的体积、质量与速度表现帮你在 3 分钟内选出最值得下载的那一档。一、 项目速览这个仓库里有什么Aztec-Coder-4B是一个 40 亿参数4B的开源编码模型主打智能体编程agentic-coding、推理与工具调用tool-use基于 nvidia/Nemotron-Post-Training-Dataset-v2 数据集训练适合在笔记本与消费级硬件上跑本地 AI 程序员。本仓库 README.md 提供的内容24 档 i1 量化文件i1表示 imatrix信息矩阵引导量化——先用真实文本统计权重重要性再指导低比特量化保重点同等体积下质量显著优于普通静态量化1 个 imatrix 文件Aztec-Coder-4B.imatrix.gguf0.1GB供玩家自制任意比特数的量化许可证Apache-2.0可自由商用 简单记同体积下IQ 系列 Q 系列 静态量化README 也明确提示 IQ-quants are often preferable over similar sized non-IQ quants同等体积的 IQ 量化通常更优。二、⚖️ 30 秒搞懂三组概念Q 系列、IQ 系列、imatrix概念说明一句话理解Q 系列Q2_K ~ Q6_KK-quant 家族数字越大比特越足、质量越高主流方案体积与质量线性权衡IQ 系列IQ1_S ~ IQ4_NL更精细的量化结构更复杂的重排与缩放同体积下通常比 Q 系列更聪明地省比特imatrix信息矩阵记录权重重要性的量化辅助数据让 2~3 比特这种极限压缩损失可控的关键理解这三点下面的横评就不会迷路比特数是下限imatrix 是上限IQ 结构则是中间的优化手段。三、 24 档量化全清单按体积排序以下为仓库内全部量化文件的完整清单体积与备注均摘自 README.md量化档位体积官方备注 / 点评IQ1_S1.5 GBfor the desperate极限抢救档IQ1_M1.5 GBmostly desperate勉强能用档IQ2_XXS1.6 GB低配保底IQ2_XS1.7 GB低配推荐IQ2_S1.8 GB低配IQ2_M1.8 GB低配Q2_K_S2.0 GBvery low quality质量很低IQ3_XXS2.0 GBlower quality质量偏低Q2_K2.0 GBIQ3_XXS 大概率更好Q3_K_S2.2 GBIQ3_XS 大概率更好IQ3_XS2.2 GB3-bit 档性价比之选IQ3_S2.2 GBbeats Q3_K*稳压 Q3_K 全系IQ3_M2.3 GB3-bit 档上限Q3_K_M2.4 GBIQ3_S 大概率更好Q3_K_L2.5 GBIQ3_M 大概率更好IQ4_XS2.6 GB4-bit 档起步Q4_02.6 GB速度快、质量偏低Q4_K_S2.7 GBoptimal size/speed/quality体积/速度/质量最优IQ4_NL2.7 GB建议优先 IQ4_XSQ4_K_M2.8 GBfast, recommended快速官方推荐Q4_12.9 GB4-bit 常规档Q5_K_S3.1 GB5-bit 起步Q5_K_M3.2 GB5-bit 满配Q6_K3.6 GBpractically like static Q6_K质量接近静态 Q6_K四、 分档横评五档典型量化的真实差距把 24 个文件归为 5 个体验档位方便对号入座显存/内存需求 文件体积 KV 缓存 运行开销的估算值档位代表文件体积内存/显存需求估质量速度一句话点评极限档IQ1_S / IQ1_M1.5 GB≈3 GB⭐最快能跑就行长对话容易跑偏低配档IQ2_XS / Q2_K_S1.7~2.0 GB≈4 GB⭐⭐快低配机保底同档 IQ2_XS 优于 Q2_K_S中低档IQ3_XS / IQ3_S2.2~2.3 GB≈5 GB⭐⭐⭐较快折中之选IQ3_S 稳压同档 Q3_K主力档Q4_K_S / Q4_K_M2.7~2.8 GB≈5~6 GB⭐⭐⭐⭐快大多数人的最优解旗舰档Q5_K_M / Q6_K3.2~3.6 GB≈6~8 GB⭐⭐⭐⭐⭐略慢显存富余直接拉满接近原始精度横评关键结论4-bit 是分水岭Q4 以下尤其 2-bit会出现代码补全幻觉、逻辑断链只建议内存不足 4GB 的设备使用Q4 起质量进入放心日常使用区间。同体积 IQ 优于 Q2.2GB 的 IQ3_S 比 2.4GB 的 Q3_K_M 质量更好还更小低比特场景尽量挑 IQ 系列。Q4_K_S → Q6_K 提升边际递减Q4_K_S 到 Q4_K_M 提升明显再到 Q5_K_M 提升很小Q6_K 与 Q5_K_M 的差距已接近感知阈值——除非你显存完全富余否则 5/6-bit 的溢价不值。速度差异主要来自体积文件越小、内存带宽压力越小CPU 推理时 Q2/Q4 档出字速度差距可达 30%GPU 推理时差异缩小可忽略。五、 最终答案哪档最值得下载你的可用内存/显存推荐下载理由4 GB 左右Aztec-Coder-4B.i1-IQ2_XS.gguf1.7 GB低配保底质量优于同体积 Q2_K_S6 GB 左右Aztec-Coder-4B.i1-Q4_K_S.gguf2.7 GB官方标注体积/速度/质量最优8 GB 左右默认推荐Aztec-Coder-4B.i1-Q4_K_M.gguf2.8 GB官方标注fast, recommended质量速度双均衡12 GB 及以上Aztec-Coder-4B.i1-Q6_K.gguf3.6 GB质量最接近未量化版本如果只允许下载一个文件选 Q4_K_M。它比 Q4_K_S 只多 0.1GB却换来更完整的 4-bit 信息保留是本地部署 AI 编程模型时的黄金档位若你想把省下的空间留给更长的上下文则 Q4_K_S 是更优解。六、 3 步下载与运行第 1 步克隆仓库git clone https://gitcode.com/hf_mirrors/mradermacher/Aztec-Coder-4B-i1-GGUF第 2 步用 llama.cpp 启动本地服务以 Q4_K_M 为例llama-server -m Aztec-Coder-4B.i1-Q4_K_M.gguf第 3 步打开浏览器访问本地 Web UI即可开始让模型写代码、补全、修 Bug。也可以使用 Ollama、LM Studio 等图形化工具直接导入 GGUF 文件流程更简单。 进阶玩法仓库自带 Aztec-Coder-4B.imatrix.gguf熟悉 llama.cppquantize命令后可以结合它自制任意比特数的量化灵活度拉满。七、❓ 常见问题 FAQQ1i1 量化和普通静态量化有什么区别i1 是 imatrix 引导量化低比特2~3 bit下质量明显更高静态量化版本存放在作者的另一个仓库体积相近时优先选本仓库的 i1 版本。Q2为什么 2-bit 档质量这么差还要提供给内存极小≤4GB或纯实验场景留一条能跑的路。日常使用请至少上 3-bitIQ3_XS 起预算充足直接 4-bit。Q3没有 F16 版本会不会损失很大4B 模型 F16 需要约 8GB本仓库定位就是轻量化部署。Q6_K3.6GB的质量已practically like static Q6_K对 4B 这个体量来说F16 的额外提升非常有限。Q4模型是英文的能用来写中文项目吗模型语言为英文英文代码与英文注释场景是主力中文需求理解可用但英文表现更稳建议关键提示词用英文。一句话总结显存 8GB 买Q4_K_M6GB 买Q4_K_S4GB 买IQ2_XS12GB 以上直接Q6_K——按表取档闭眼下载不踩坑。赞分享【免费下载链接】Aztec-Coder-4B-i1-GGUF项目地址https://ai.gitcode.com/hf_mirrors/mradermacher/Aztec-Coder-4B-i1-GGUF点击查看免费下载相关推荐Tiel-Coder-35B-A3B-GGUF量化档位选择全清单Q2到Q8共9个版本你的显存该选哪一档Tiel Coder 35B A3B GGUF量化档位选择全清单Q2到Q8共9个版本你的显存该选哪一档 Tiel Coder 35B A3B GGUF 是一人工智能大模型基础模型代码模型模型量化本地部署多模态HERO-9B-i1-GGUF项目全面解析24档量化文件全景一览一文看懂每个GGUF该下哪个HERO 9B i1 GGUF项目全面解析24档量化文件全景一览一文看懂每个GGUF该下哪个 HERO 9B i1 GGUF 仓库提供了 HERO 9B 视【实测】Mistral-7B-Instruct-v0.3-GGUF全量化版本横评Q2_K至FP16性能损耗对比【实测】Mistral 7B Instruct v0.3 GGUF全量化版本横评Q2_K至FP16性能损耗对比 你还在为本地部署大语言模型Large Lan创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考