【免费下载链接】Llama-3.2-1B-Instruct_rai_1.8.0_npu_16K项目地址https://ai.gitcode.com/hf_mirrors/amd/Llama-3.2-1B-Instruct_rai_1.8.0_npu_16K点击查看免费下载Llama-3.2-1B-Instruct_rai_1.8.0_npu_16K 是 AMD 面向 Ryzen AI 硬件发布的 Llama-3.2-1B 量化模型采用AWQ UINT4 量化方案把约 2.5GB 的 BF16 权重压缩到 1GB 量级并针对 NPU 完成 16K 上下文的后处理让 1B 小模型能直接在笔记本 NPU 上流畅跑起来。这篇文章带你用大白话看懂它瘦身的全过程。 这个模型到底是什么一句话概括它是一个为 NPU 量身打造的减肥版 Llama。从 README.md 可以看到它的生产流水线分三步阶段工具做了什么① 量化Quark QuantizationAWQ / Group 128 / 非对称 / BFP16 激活 / UINT4 权重② 构图OGA Model Builder生成 ONNX 优化图③ 后处理NPU DeploymentToken Fusion 16K 上下文适配源模型为 Meta 的 Llama-3.2-1B-Instruct约 1.2B 参数16 层 Transformer、隐藏层 2048、词表 128256结构参数见 params.json。量化后依然保留全部语言能力只是存得更省、跑得更轻。 量化参数全解config.json 里的 AWQ UINT4 是什么打开 config.jsonquantization_config字段把减肥配方写得明明白白参数取值通俗解释nameawq采用 AWQ激活感知加权量化算法dtypeuint4权重只存 4 个比特1 个数字 0~15group_size128每 128 个权重共享一组缩放系数qschemeper_group按小组而非整层标定精度symmetricfalse非对称量化多存一个偏移量换更准round_methodhalf_even银行家舍入减少累积偏差observer_clsPerGroupMinMaxObserver用每组最大/最小值确定量化范围 AWQ不是所有权重都值得一刀切AWQActivation-aware Weight Quantization的核心思想很简单有些权重通道很重要不能粗暴压到 4-bit。普通量化对所有权重一视同仁而 AWQ 会先用校准数据观察激活值的大小——激活越大的通道对输出影响越大。于是它给这些重要通道乘一个略大于 1 的补偿系数再量化把误差压回去。config.json中的scaling_layers就是这套机制的清单按 Transformer 子模块成组保护input_layernorm→ 保护q_proj / k_proj / v_projself_attn.v_proj→ 保护o_projpost_attention_layernorm→ 保护gate_proj / up_projmlp.up_proj→ 保护down_proj也就是说AWQ 把该重点保护的地方全部圈了出来这也是为什么 4-bit 量化后模型质量依然可用的关键。⚖️ UINT4 Group 128小步快跑换高精度UINT4一个权重从 16 个比特BF16压到 4 个比特单参数体积直接降到 1/4Group 128每 128 个权重配 1 个float缩放系数 1 个非对称零点相当于每 128 个人一组组内用统一标尺既省内存又把范围切得很细BFP16 激活推理时激活值仍按 16 位浮点计算只压权重、不压计算精度损失最小化。三招组合下来误差被限制在每个小组内部整体质量几乎无损。 到底省了多少算一笔账Llama-3.2-1B 总参数约 1.27B16 层 × 每层约 63M 嵌入 263M形态权重体积估算说明BF16 原版≈ 2.5 GB每参数 2 字节UINT4 量化后≈ 0.65 GB每参数 0.5 字节 组内缩放系数实际模型包约 1.2 GB含 ONNX 图、NPU 元数据等纯权重缩小到约 1/4整个模型包体积减半——这就是标题里1B 参数减半压缩的由来。省下的空间换来了两个实际好处NPU 内存占用更小可以和 16K 上下文的 KV Cache 共存读取带宽减半生成速度更快LLM 解码是典型的访存瓶颈。另外模型使用了 GQA32 个 Q 头 / 仅 8 个 KV 头见 genai_config.jsonKV Cache 再省 1/4是能跑长上下文的另一块拼图。 NPU 部署内幕这些文件各管一摊量化只是上半场真正让它跑在 Ryzen AI 上的是下半场的文件布局文件作用model.onnx model.onnx.dataOGA 构图产物模型图 量化权重数据model.pb.binNPU 编译后的外部权重数据genai_config.json中指定dd_metastate_*系列如 dd_metastate_...stateNPU 动态数据Dynamic Data缓存融合的 RMSNorm、256~16384 各档 attention mask 元信息rai_config.jsonRyzen AI 各版本 SDK 支持的max_prompt_length1.7.1 最高 4096genai_config.json解码参数16K 最大生成长度、NPU 后端、4096 分块其中attention_mask_padded_16384这类文件正好对应模型名里的npu_16K预计算好 16K 上下文的注意力掩码元信息解码时零开销取用。快速上手本地体验可通过 Ryzen AI SDK 拉取该模型仓库git clone https://gitcode.com/hf_mirrors/amd/Llama-3.2-1B-Instruct_rai_1.8.0_npu_16K随后按 Ryzen AI 的 Hybrid OGA 文档用onnxruntime-genai加载model.onnx即可在 CPUNPU 混合后端上运行推理。❓ 常见问题FAQQ1量化后会掉智商吗AWQ 保护了关键通道、Group 128 控制了误差范围、激活保持 16 位计算三者叠加使 1B 级别模型的质量损失通常在可接受范围内日常问答、摘要、改写几乎无感。Q2为什么是 4-bit 而不是 8-bit8-bit 体积只省一半且 NPU 上收益有限4-bit 直接把权重带宽需求降到 1/4配合 AWQ 校准是端侧部署的甜点精度。Q3只能在 AMD NPU 上用吗model.pb.bin与dd_metastate_*是 NPU 专用产物ONNX 部分理论上可被支持 Quark 量化格式的 CPU 后端读取但完整 16K NPU 体验依赖 Ryzen AI 硬件与 SDK。✅ 小结AWQ看激活定权重重点通道重点保护4-bit 量化不掉链子UINT4 Group 128 非对称小步长标尺 偏移补偿误差关在小组里BFP16 激活只压权重不压计算精度几乎无损NPU 后处理ONNX 图 16K 注意力元信息让 1B 模型真正跑进笔记本。从 2.5GB 到 1GB 量级一套 AWQUINT4 组合拳就完成了。想在本地跑起 Llama 又内存紧张这种量化方案值得成为你第一个研究对象。赞分享【免费下载链接】Llama-3.2-1B-Instruct_rai_1.8.0_npu_16K项目地址https://ai.gitcode.com/hf_mirrors/amd/Llama-3.2-1B-Instruct_rai_1.8.0_npu_16K点击查看免费下载相关推荐4位量化原理深度解析Llama-3.2-1B-Instruct_rai_1.8.0_hybrid如何用AWQUINT4让1B模型瘦身又保智力4位量化原理深度解析Llama 3.2 1B Instruct_rai_1.8.0_hybrid如何用AWQUINT4让1B模型瘦身又保智力 Llama 3为什么又小又快Llama-3.2-3B-Instruct_rai_1.8.0_npu_16K的AWQUINT4量化策略详解为什么又小又快Llama 3.2 3B Instruct_rai_1.8.0_npu_16K的AWQUINT4量化策略详解 Llama 3.2 3B InsNPU上的16K长上下文Llama-3.2-1B-Instruct_rai_1.8.0_npu_16K的Token Fusion机制解读NPU上的16K长上下文Llama 3.2 1B Instruct_rai_1.8.0_npu_16K的Token Fusion机制解读 Llama 3.2创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考