模型量化这个话题但凡做端侧AI部署的人迟早都要碰到。我在某移动芯片平台上折腾AI推理的时候第一次用其官方SDK跑量化模型最直观的感受就是模型文件小了四倍推理速度提了两倍多板子不烫了电池也扛得住了。但前提是你得先搞懂量化到底在干什么。所以这篇把原理讲透安装和实战我放到下一篇单独展开。1. 模型量化到底在做什么量化这个词听起来高大上其实本质特别朴素把精度高的数字换成精度低的数字。打个比方一张高清照片你看着颜色细腻、细节丰富但你要是把它打印成报纸上的黑白图片色彩信息肯定丢了但轮廓形状还是能看清。模型量化就是类似的逻辑——把神经网络里的浮点数参数换成整数让模型变轻、变快代价是牺牲一点精度。神经网络训练和推理的默认数据类型是FP32也就是32位浮点数。这个精度很高能表达的数字范围极大小数部分也很精细。但问题来了参数动辄几百万个每个都要占4字节内存推理时还要做大量浮点运算这在云端GPU上不算什么但在手机、摄像头、耳机这些端侧设备上就是灾难。量化最主流的做法是INT8也就是8位整数。每个参数只占1字节模型体积直接缩到原来的四分之一。更重要的是整数运算在专用硬件上可以用乘累加阵列并行执行速度比浮点快一大截功耗还低。这原理其实每个人都能懂真正常被卡住的是后面这些细节怎么把浮点映射成整数映射完精度损失多少为什么有的模型量化完还是准的有的直接就废了。这里需要建立两个核心公式。正向量化把浮点x变成整数qq round(x / scale) zero_point反向反量化把整数还原成浮点虽然是近似值x_approx (q - zero_point) * scale其中scale是缩放因子zero_point是零点偏移。这两个参数怎么算用什么方式算基本就是所有量化工具链的核心逻辑。理解了这两个公式你再看任何一家平台的量化文档都会觉得顺眼很多。2. 量化方案选型背后的尺寸考量实际工程里量化方案不是拍脑袋定的而是根据目标硬件特性、算子类型、精度要求综合选出来的。这里重点拆解三个最关键的维度。2.1 对称量化与非对称量化对称量化最简单zero_point固定为0公式直接变成q round(x / scale)。假设你有一个浮点范围[-a, a]那么scale就是scale a / 127为什么要除以127而不是128因为INT8的取值范围是[-128, 127]对称量化要保证浮点0精确对应整数0所以负数侧能多用一个-128但正数侧只有127。有些工具会强制用[-127, 127]来保证绝对对称但代价是丢掉一个量化级别损失很小但没必要。非对称量化则允许浮点范围不从0开始比如某个激活值分布在[0.1, 3.2]那就可以用scale (3.2 - 0.1) / 255再配一个zero_point来对齐。这样整个动态范围都被充分利用了误差更小。我个人的经验是权重一般用对称量化就够了因为训练好的权重分布通常接近关于0对称的钟形分布激活值就不好说了尤其是经过ReLU之类的函数之后分布完全偏到正半边这时候还用对称量化就是在浪费一半的编码空间精度损失会非常明显。所以好多推理框架的默认配置就是权重对称、激活非对称这不是拍脑袋定的是大量实验测出来的选择。2.2 张量粒度量化粒度的意思是一个scale管多大范围的参数。最粗的是per-tensor整个张量共享一个scale。最细的可以细化到per-axis或者per-channel每个输出通道都有自己独立的scale。卷积层的权重形状一般是[输出通道, 输入通道, 高, 宽]。不同输出通道的数值分布可以差很远比如某一层第一个通道的值都在0.1附近第32个通道的却集中在10左右。如果整个张量共用一个scale那就相当于拿一个尺子去量所有东西小数值通道的误差会大得离谱。per-channel量化可以有效解决这个问题但代价是硬件要能支持这种粒度否则反量化逻辑会变得很复杂推理速度不升反降。实践中的建议很简单模型里的卷积权重优先用per-channel激活值用per-tensor就够。大部分主流推理引擎也是这么做的比如常见的tflite格式其量化规则就是权重per-channel、激活per-tensor。真没必要你对每个tensor都上per-channel硬件不支持收益也边际递减。2.3 校准方法的选择逻辑校准的意思是统计模型运行时每一层激活值和权重的真实数值范围然后确定scale和zero_point。这不是随便拿训练数据跑一遍就完事统计方式直接决定了量化误差的分布。最常见的几个方法MinMax直接取统计到的最大值和最小值作为范围。实现最简单但容易被离群值带偏。所谓离群值就是极少数特别大或特别小的点往往来自数据里的异常样本或者过渡阶段的激活跳跃。一旦把它们算进范围绝大多数正常数值的量化步长就变大了相当于白白牺牲了精度。Percentile取某个百分位比如99.99%主动把极端的0.01%截断掉。这个方法实际用下来比MinMax稳很多因为深度网络里离群值比想象中常见得多。但百分位选多少不同层不一样得试。截断太狠信息损失反而更大截断不够离群值照样祸害全局。MSE和KL散度这类方法的思路是找最优截断点让量化前后的分布尽可能接近。具体做法是枚举不同的scale计算量化前后概率分布的KL散度或平方误差取最小值的那个scale。这个是很多工具比如炼丹框架内置的PTQ工具默认采用的方式因为效果好计算量可控几百个样本就够用。校准数据集的选择同样关键。不需要用全部训练集几百张有代表性的图就足够了但一定要覆盖真实部署场景中可能出现的分布。一个坑我踩过之前用一个全是清晰正面照的数据集去校准一个监控场景的人脸检测模型校准出来的量化模型在阴天、逆光、远距离这些真实场景下精度直接崩盘。后来换成混合场景数据重新校准精度才恢复正常。校准数据在精不在多但要贴近真实应用。3. 量化误差从哪来怎么控制模型量化之后精度下降是个必然事件只是幅度问题。误差来源可以拆成两种数学上很好理解。第一种是舍入误差。浮点数映射到整数最后一步round必然有舍入。比如scale0.5浮点值1.3会被量化成round(2.6)3反量化回来是1.5误差0.2。这是所有量化方案都无法完全消除的只能通过选对scale来缩小步长。舍入误差像你记账时把所有金额都四舍五入到元单笔错不了太多但笔数一多累积起来就不好看了。第二种是截断误差。量化能表达的整数范围是有限的超出范围的浮点值直接一刀切到边界。比如INT8范围是[-128, 127]某层激活值是128但quantize范围上限设成了100那这个值就被截断成100。反向量化回来是100误差达到28。这个误差严重的时候信息几乎是扔掉的所以校准方法的核心任务就是如何最优地选择截断点让超出范围的概率尽量低但范围又不要太宽导致步长变大。权重误差和激活误差还有一个区别。权重误差是静态的——模型加载后权重就固定了误差是确定性的激活误差是动态的取决于每个输入样本在不同的推理请求之间会波动。所以激活量化通常对校准数据更敏感更容易出问题。还有离群值问题。模型训练到后期某些层的激活分布会出现明显的长尾个别值达到了正常值几十倍的量级。如果你用MinMax统计范围那正常的数值区间就被压缩得极窄量化步长变小所有正常值都被舍入得七零八落。应对手段就是前面说的截断式校准不管是百分位法还是熵方法本质上都是在跟你讲一个道理别被极端少数绑架。误差控制方面最有效的一招是混合精度。不是所有层都适合INT8有些层天生对量化极其敏感量化掉一点精度就崩。敏感层的特征一般是参数量不大但输出对后续整体结果影响极大比如检测框回归分支、关键的注意力层。处理办法是这些层保持FP16甚至FP32其余层用INT8。代价是模型体积和速度优势被削掉一点但换来的是精度基本无损。再补充一个实操里很有用的技巧先逐层分析误差。把模型冻结下来逐层把某一层替换成量化版本其余保持浮点观测整体精度变化。这样跑一轮哪些层是“量化敏感层”一目了然。我见过的很多量化失败案例最后都是靠这种逐层排查定位到一两层害群之马然后单独处理才挽救回来的。4. 端侧硬件与AI Engine Direct SDK的匹配逻辑理解了量化原理再来看端侧部署就顺理成章了。移动芯片上的CPU、GPU、NPU、DSP这几种计算单元里最吃量化的是NPU和DSP这类专用加速器。它们为了追求能效内部的乘累加单元只做了整数运算浮点要么不支持要么效率极低。而CPU和GPU虽然也支持浮点但跑浮点的能效比远不如整数。所以说白了在端侧芯片上部署AI模型量化不是可选项而是必选项。你想调用NPU的算力就得把模型搞成它认识的样子也就是量化或者半精度。这里要重点提一下某主流移动芯片平台提供的AI Engine Direct SDK。这套推理SDK的思路是上层提供统一API下层把计算调度到合适的计算单元上简单任务走CPU图形相关的走GPU重型推理走NPU。而NPU那部分能效最高但约束也最多。约束主要就体现在数据格式上NPU只能高效处理特定格式的数据低比特量化就是其中之一。从实际操作看用这套SDK做量化部署有几个关键点模型格式转换。训练好的模型通常要转成该SDK支持的模型格式比如某种轻量级格式或ONNX等再转转换过程本身就可能引入计算图变化和精度损耗要先确认转换这一步的误差几乎为零再开始量化避免两个误差叠加难以排查。算子支持范围。不是模型里所有算子都能被加速器接受。比如某些自定义算子、较特殊的归一化算子可能不被支持而回退到CPU执行。一旦发生这种情况模型就会被拆成多段整体推理性能会大打折扣所以要么改模型结构去适配要么接受CPU兜底的开销。量化参数的对齐。SDK里有些模型优化选项会做常量折叠、算子融合等量化的统计过程最好在最终优化后的图上重新做一遍否则统计的是原始结构优化之后数值分布变了精度对不上。这些坑说实话文档里都写了但没实际踩过一遍很难真正体会“为什么我说要先理解原理再去碰工具”。你懂原理之后看到一个量化后精度下降的模型至少知道往哪几个方向去查、去调。不懂原理的话就只是对着文档改参数瞎试效率极低。模型体积、推理延迟、功耗这三者的权衡基本就是端侧AI所有工作的核心矛盾。量化把三个方向都往好的带体积变小带宽占用降低整数运算更快延迟下降能效比提升发热减少。这也是为什么现在头部芯片厂商、系统平台、AI框架全都花了大力气把量化工具链做成标配。而搞明白原理是使好这套工具链的前提。5. 实操心得与避坑记录最后分享几个我在实际项目中积累的经验。校准数据千万别只挑“好看”的样本。很多人随便挑几张清晰端正的图就算校准完结果真实场景一跑精度大跌。正确做法是覆盖模糊、低光、遮挡、旋转等现实情况的样本宁可数量少分布必须全。确认反量化是在哪里做的。有的硬件是把INT8送进计算单元出来再反量化为浮点有的是内部把weight反量化成FP16再算。不同实现策略同样的量化参数效果可能完全不同。一定要查清楚你的目标后端实际执行的数据通道。别贪心一次全量量化。先把全模型量化跑通确认部署链路没问题再逐层做精度分析和混合精度优化。一步到位往往会让问题混合在一起排查时根本不知道是量化错误还是转换错误还是运行时错误。模型源码里做过的一些奇奇怪怪的操作比如数值截断、自定义clip、奇怪的reshape顺序量化前最好先看清楚很可能会让校准统计值和实际运行值不一致。版本之间要注意差异。同一套SDK不同版本之间量化结果可能不一样因为底层算子实现、融合优化规则在变。换版本之后即使代码没动也建议重新做一轮精度测试。我最早接触量化的时候也犯过低级错误想都不想直接套默认参数然后对着评测结果挠头好久。后来老老实实从原理开始看反而干活顺了。有一说一原理这东西你今天学可能觉得抽象但到了排查问题的时候它就是你的地图。地图在手路就好走多了。这篇先到原理为止你能把对称非对称、per-channel粒度、校准方法、误差来源这四件事想明白量化就算入门了。下一步我会写具体的SDK安装、模型转换、量化参数设置和上板实测到时候咱们实操见。