【免费下载链接】Llama-3.1-8B_rai_1.8.0_hybrid项目地址https://ai.gitcode.com/hf_mirrors/amd/Llama-3.1-8B_rai_1.8.0_hybrid点击查看免费下载本文带你深入拆解AWQ 量化技术看看 Llama-3.1-8B_rai_1.8.0_hybrid 这个面向 AMD Ryzen AI 优化的 8B 参数大模型是如何通过UINT4 权重 Group 128 分组量化把原本需要约 16GB 显存的模型压缩进 8GB 内存的。全文面向新手不堆代码只讲清楚做了什么、为什么这么做。一、AWQ 量化是什么一句话先讲透AWQActivation-aware Weight Quantization激活感知权重量化是一种只压缩权重、几乎不动激活值的量化方案。它的核心洞察很朴素并不是所有权重都同等重要——有一小部分敏感权重对应着激活值中绝对值较大的通道压坏了它们输出质量就会明显下降。所以 AWQ 的做法是识别敏感通道统计输入激活值的分布找出那些经常带着大数值进来的权重通道施加补偿缩放对这些通道乘以一个缩放因子让它们量化后的误差变小统一压成低比特最后把全部权重压缩成UINT44 位无符号整数推理时再放大还原。相比朴素的一刀切截断取整AWQ 用极小的补偿代价换来了 4bit 下接近原模型的质量这也是它成为 8B 级别模型最主流量化方案的原因。二、为什么是 Group 128分组量化的取舍把 8B 参数压到 4bit最大的风险是量化误差。Group 128分组大小 128就是控制这个误差的旋钮分组策略每组独立 scale/zero_point误差精度额外开销整个矩阵一组per-channel1 组低几乎为零每组 128 个权重per-group每 128 个权重共享 1 组高很小每 16~32 个一组每组更细极高明显增大Group 128 意味着每 128 个连续权重共享一套缩放参数scale zero_point。对 Llama-3.1-8B 这种规模8B 参数 ÷ 128 ≈6250 万个 scale/zero_point按 float 存储约 250MB相比权重本身 4GB 的体积这约 5% 的精度保险开销非常划算。这正是工程上精度换体积的黄金平衡点——再小分组如 Group 64精度提升有限开销却翻倍再大分组如 Group 512则会明显掉精度。三、打开配置文件逐条核对量化参数所有量化细节都写在 config.json 的quantization_config字段里这是本仓库最值得新手学习的一份量化说明书。1️⃣ 核心量化参数config.json 的global_quant_config.weight参数取值含义dtypeuint4权重用4 位无符号整数存储精度为原始 FP16 的 1/4group_size128每 128 个权重一组共享 scale 与 zero_pointqschemeper_group分组量化模式不是整层 per-channelsymmetricfalse非对称量化多一个 zero_point对偏移明显的分布更友好observer_clsPerGroupMinMaxObserver每组独立统计最小/最大值来确定量化范围round_methodhalf_even银行家舍入避免系统性偏差scale_typefloat缩放因子用浮点存储保证还原精度is_dynamicfalse静态量化scale 在离线时已算好推理零校准开销2️⃣ AWQ 的敏感通道标定config.json 的scaling_layers这部分记录了 AWQ 在制作模型时对哪些算子施加了补偿缩放self_attn.q_proj / k_proj / v_proj共享来自input_layernorm的输入作为一组做 AWQ 标定mlp.gate_proj / up_proj共享来自post_attention_layernorm的输入作为另一组o_proj与down_proj分别单独标定prev_op指向上游算子。可以看到 AWQ 并不是全模型统一处理而是按数据流分块、逐模块标定敏感通道这是量化质量的关键。3️⃣ 导出与打包策略config.json 的export参数取值含义quant_methodquark由 AMD Quark Quantization 工具制作版本0.12rc4weight_formatreal_quantized权重是真实量化不是伪量化模拟直接以 4bit 形式落盘pack_methodreorder4bit 权重按重排方式打包进字节便于 NPU 高效读取README.md中一句总结可以原样引用AWQ / Group 128 / Asymmetric / BFP16 activations / UINT4 Weights——权重 UINT4 量化、激活值保持 BFP16BF16精度这是权重省内存、激活保精度的经典组合。四、8GB 是怎么算出来的内存账本这是新手最关心的数字我们直接算给你看组成部分精度体积估算8B 权重UINT44 bit8B × 4 bit ≈4 GB量化 scale / zero_pointGroup 128非对称float约0.25 GB词表嵌入等未压缩部分 运行时缓冲—约 0.5~1 GBKV Cache受hybrid_opt_max_seq_length: 4096约束—视上下文动态分配合计≈ 5~6 GB留足余量进 8GB对比原始 BF16 版本需要约 16GBUINT4 Group 128 直接把门槛砍半再砍半。这也是为什么该模型能跑在带 8GB 可用内存的 AMD Ryzen AI 设备而非必须配 32GB 内存的高配机型上。五、hybrid混合架构NPU 与 CPU 的接力赛项目名里的hybrid混合不是装饰词它指的是混合推理架构前向计算按配置在 NPU / CPU 之间协同调度充分利用 Ryzen AI 平台的 NPU 算力模型以ONNX格式交付model.onnx 是计算图model.onnx.data 是外部权重数据model.pb.bin 则是由 genai_config.json 中external_data_file字段声明的 NPU 侧数据文件rai_config.json按 Ryzen AI 驱动版本1.3.1 ~ 1.7.1规定了最大 prompt 长度2048 或 4096不同平台代际的能力差异就编码在这份 rai_config.json 里。这种一份模型、多代平台分级适配的思路正是混合部署工程化的体现。六、仓库文件导航每个文件是干嘛的文件作用model.onnx / model.onnx.dataONNX 计算图 外部权重CPU/通用推理用model.pb.binNPU 侧外部权重数据Ryzen AI 专用model.bin补充权重/数据文件config.json模型结构 完整量化配置本文主角params.json原始 Llama 结构参数4096 隐藏层、32 层、8 KV 头genai_config.jsonONNX Runtime GenAI 会话配置会话输入输出、生成参数temperature 0.6、top_p 0.9rai_config.json各 Ryzen AI 驱动版本的最大 prompt 长度generation_config.json生成默认参数tokenizer.json / tokenizer.model词表与分词器128256 词表大小README.md量化策略说明与许可信息USE_POLICY.mdMeta Llama 3.1 可接受使用政策LICENSEMIT 许可AMD 修改版七、新手常见疑问 FAQQ1UINT4 为什么用无符号整数而不是有符号无符号 uint4 非对称量化zero_point可以把 [0, 15] 的全动态范围用上对称量化用 int4 时有一半范围浪费在负值上。本模型symmetric: false正是这个思路配合PerGroupMinMaxObserver逐组标定范围。Q24bit 会不会让模型变笨AWQ 的设计目标就是让掉点可忽略。由于敏感通道被专门保护且激活值仍以 BFP16 精度计算README.md 中标注 BFP16 activations主要损失来自权重表示本身。实际体感上4bit 与 16bit 在多数任务上差距很小而体积差 4 倍——这就是量化性价比的核心。Q3Group 128 和 Group 64 该怎么选经验法则NPU/内存紧张选 Group 128体积省追求极限精度选 Group 64每 2 组变 1 组scale 开销翻倍但误差更小。本模型面向 Ryzen AI 消费级平台选了 Group 128 这个体积优先的平衡点。Q4我能在自己电脑上跑吗这是为 AMD Ryzen AI 硬件Ryzen AI 300/400 系列平台优化的 ONNX 模型运行方式可参考 README.md 中指向的 Ryzen AI 官方文档。非 AMD NPU 平台通常无法直接加载 model.pb.bin 这份 NPU 专用数据。总结Llama-3.1-8B_rai_1.8.0_hybrid 是理解AWQ 量化技术的一份绝佳教材级样本UINT4 权重把 8B 参数从 16GB 压到约 4GB——量化的骨架Group 128 非对称分组量化用约 5% 的 scale 开销锁住精度——量化的保险AWQ 敏感通道标定scaling_layers保证最关键的权重不被压坏——量化的灵魂hybrid 混合架构 ONNX 交付让它真正跑进消费级 Ryzen AI 设备的 8GB 内存——量化的落地。如果你想自己验证这些结论直接打开 config.json 对照上文的参数表逐项查看即可——每个量化决策都白纸黑字写在配置里这大概就是开源模型最值得学习的透明之处。赞分享【免费下载链接】Llama-3.1-8B_rai_1.8.0_hybrid项目地址https://ai.gitcode.com/hf_mirrors/amd/Llama-3.1-8B_rai_1.8.0_hybrid点击查看免费下载相关推荐AWQ量化深度解析Mistral-7B-Instruct-v0.3_rai_1.8.0_npu_16K的UINT4权重与Group 128策略如何实现极致压缩AWQ量化深度解析Mistral 7B Instruct v0.3_rai_1.8.0_npu_16K的UINT4权重与Group 128策略如何实现极致压缩3B模型如何塞进NPULlama-3.2-3B_rai_1.8.0_hybrid的AWQUINT4 Group 128量化策略深度剖析3B模型如何塞进NPULlama 3.2 3B_rai_1.8.0_hybrid的AWQUINT4 Group 128量化策略深度剖析 Llama 3.2为什么 Meta-Llama-3.1-8B-Instruct_rai_1.8.0_npu_16K 能在 NPU 上轻快运行AWQ uint4 Group-128 量化策略解读为什么 Meta Llama 3.1 8B Instruct_rai_1.8.0_npu_16K 能在 NPU 上轻快运行AWQ uint4 Group 12创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考