权重量化 vs 激活量化端侧视觉模型与文本模型的量化差异在端侧设备如手机 SoC、主机掌机、嵌入式 AI 芯片上部署深度学习模型时量化Quantization是将算力与内存压榨至极限的必由之路。然而许多开发者在尝试将视觉感知模型CNN、ViT、YOLO和文本生成模型SLM、Transformer Decoder移植到端侧时常常困惑于为何两者的量化策略存在根本分歧为什么视觉模型普遍追求W8A8 全量化权重与激活均为 INT8而文本生成模型却广泛采用W4A16 / W8A16 纯权重量化Weight-Only Quantization深入理解两类模型在计算强度、访存瓶颈以及激活值分布特异性上的差异是制定端侧落地策略的核心。算力特征对立计算密集型 vs 内存带宽密集型两类模型在算力屋顶模型Roofline Model上的驻留区间有着本质差异算力受限 (Compute-Bound): [ 视觉模型 CNN / ViT / YOLO ] ── 算力强度高 (FLOPs / Byte 极大) ── 瓶颈在乘加核心 (TOPS) 带宽受限 (Memory-Bound): [ 文本解码 LLM / SLM (Batch1) ] ── 算力强度低 (每个参数只参与一次乘法) ── 瓶颈在内存读取带宽 (GB/s)视觉模型Vision输入是一张稠密的高分辨率张量例如 $3 \times 1080 \times 1920$卷积和全连接算子在同一组输入特征图上执行海量的滑动窗口乘加运算算力强度Operational Intensity通常高达数十甚至数百 FLOPs/Byte。优化核心必须压榨 NPU 或 DSP 的INT8 整数乘加张量核心Tensor Cores / MAC 阵列。若激活值保持 FP16硬件无法调用 INT8 硬件矩阵加速器因此必须对激活进行量化W8A8。文本生成模型Language SLM在自回归生成Autoregressive Decode阶段Batch Size 通常为 1每次输入仅 1 个 Token。一个拥有 20 亿参数的权重矩阵只与一个长度为 2048 的一维向量做矩阵-向量乘法GEMV。此时运算强度极低约为 1~2 FLOPs/Byte计算单元绝大部分时间在空转等待从 LPDDR 内存中搬运权重。优化核心减小静态权重体积降低访存带宽。权重被压缩为 INT4/INT8 后搬运到片上 SRAM 后即时反量化为 FP16与 FP16 激活做浮点乘加即可跑满带宽上限。激活值分布特征连续平滑 vs 离群巨峰Outliers为什么文本模型很难直接做 W8A8 甚至 W4A4 激活量化在 Transformer 语言模型中当参数量超过一定阈值或训练步数极充分后激活张量中会出现明显的系统性离群通道Emergent Outlier Channels。在这些特定通道上激活值的幅值可能达到正常通道的 50 到 100 倍例如大部分通道在 $[-2, 2]$而离群通道瞬间飙升至 $120$。若采用简单的 Per-Tensor 激活量化最大值 120 会将整个量化阶长 $\Delta \frac{120}{127}$ 撑大导致剩余 99% 的微小激活值全部被量化为 0 或 1引发语言模型困惑度雪崩。相反视觉模型的卷积特征图经过 BatchNorm / LayerNorm 归一化与 ReLU/GELU 激活后分布较为对称且集中极少存在尖锐的离群通道因此极易被 INT8 激活网格完整捕获。桥接方案平滑量化SmoothQuant数学等价变换为了让文本模型也能享受 W8A8 全量化的 NPU 硬件加速学术界提出了SmoothQuant思想利用矩阵乘法的结合律在数学等价的前提下将激活值中难以量化的离群巨峰通过缩放因子 $s$ 转移到权重矩阵中$$Y X \cdot W (X \cdot \text{diag}(s)^{-1}) \cdot (\text{diag}(s) \cdot W) \hat{X} \cdot \hat{W}$$其中通道缩放因子 $s$ 根据激活与权重的绝对值最大值动态平衡计算$$s_j \frac{\max(|X_j|)^\alpha}{\max(|W_j|)^{1 - \alpha}}$$迁移后激活张量 $\hat{X}$ 的动态范围被压平能够直接以常规 INT8 量化而几乎不损失精度。import torch import torch.nn as nn class SmoothQuantLinear(nn.Module): 通过数学等价缩放平滑激活离群值支持 W8A8 整数矩阵乘法 def __init__(self, in_features, out_features, alpha0.5): super().__init__() self.in_features in_features self.out_features out_features self.alpha alpha self.register_buffer(act_scale, torch.ones(in_features)) self.weight nn.Parameter(torch.randn(out_features, in_features)) self.bias nn.Parameter(torch.zeros(out_features)) torch.no_grad() def calibrate_and_smooth(self, sample_activations: torch.Tensor): # sample_activations: [Batch, SeqLen, InFeatures] act_max sample_activations.abs().view(-1, self.in_features).max(dim0)[0].clamp(min1e-5) weight_max self.weight.abs().max(dim0)[0].clamp(min1e-5) # 计算平滑迁移系数 s scale (act_max.pow(self.alpha) / weight_max.pow(1.0 - self.alpha)).clamp(min1e-5) self.act_scale.copy_(scale) # 将缩放吸收至静态权重中: W_new diag(s) * W self.weight.mul_(scale.view(1, -1)) def forward(self, x: torch.Tensor): # 在线缩放输入激活: X_new X / s x_smoothed x / self.act_scale.view(1, 1, -1) # 此时 x_smoothed 与 self.weight 均可安全转为 INT8 执行通用整型 GEMM q_x torch.clamp(torch.round(x_smoothed * 127.0 / x_smoothed.abs().max()), -128, 127).to(torch.int8) # 模拟后端硬件整型推理... return nn.functional.linear(x_smoothed, self.weight, self.bias)工业级落地选型决策树任务类型核心模型结构首选量化策略核心瓶颈与硬件选择物体检测 / 姿态估计YOLOv8 / MobileNetV4W8A8 (PTQ/QAT)NPU / DSP 专用 INT8 引擎追求极低毫秒延时超分辨率 / 风格迁移Real-ESRGAN / UNetW8A8 或 FP8片上 SRAM 显存驻留带宽与算力并重端侧 NPC 语言大脑Qwen2-1.5B / Phi-3W4A16 (AWQ / GGUF)统一内存读取带宽调用 GPU/CPU 向量指令高吞吐端侧 EmbeddingsBERT-Tiny / BGEW8A8 (SmoothQuant)计算密集型特征池化利用 NPU 批量打分通过将模型本身的计算特征与硬件芯片架构精准匹配才能在端侧算力与功耗的严苛限制下实现性能与精度的最优平衡。