1. 精度选型这件事远比想象中复杂同一个模型换一种精度推理速度可能翻三倍显存占用直接砍半但输出质量也可能悄悄劣化到你根本察觉不到的地方。BF16、FP8、NVFP4、INT8这些名词最近两年在圈子里被反复提起很多人第一反应是数字越小越快但实际落地的时候问题远没有这么简单。你手头有一张卡或者准备采购一批卡模型权重已经下载好了接下来该用什么精度去跑、配什么硬件去承载这个决策直接决定了你的单位推理成本、服务延迟上限以及最终用户能不能接受输出结果。这篇文章想聊的就是这件事同一个模型在不同精度和不同硬件组合下到底会发生什么。我会从精度格式的底层逻辑讲起把BF16、FP8、NVFP4、INT8这几个主流选项拆开揉碎再结合硬件侧的算力特性、显存带宽、软件栈支持情况给出可落地的选型思路。不管你是刚接触模型部署的开发者还是已经在做端侧推理优化的工程师都能从里面找到可以直接抄作业的配置方案和避坑经验。需要提前说明的是精度选择从来不是孤立的技术决策。它和你的硬件平台、推理框架版本、模型结构、甚至业务对输出质量的容忍度都强相关。我见过太多团队在A卡上跑通了FP8换到B卡上直接报错也见过为了省显存强行上INT8结果生成质量崩到没法用。所以下面的内容会尽量把为什么讲清楚而不是只给一个结论。2. 精度格式的底层逻辑从BF16到NVFP4到底在省什么2.1 浮点数的基本结构决定了精度上限要理解不同精度格式的差异得先回到浮点数的基本表示方法。一个浮点数由三部分组成符号位、指数位、尾数位。符号位决定正负指数位决定数值的动态范围尾数位决定数值的精确程度。BF16全称Brain Floating Point 16它的结构是1位符号、8位指数、7位尾数。对比FP16的1位符号、5位指数、10位尾数你会发现BF16用更少的尾数位换来了和FP32完全相同的指数范围。这个取舍非常关键。深度学习模型里的权重和激活值动态范围往往很大有些层的输出可能集中在很小的数值区间有些层又会出现极大的离群值。FP16的5位指数只能表示大约±65504的范围遇到大激活值直接溢出变成Inf训练和推理都会出问题。BF16的8位指数和FP32一样范围足够宽虽然尾数精度低一些但模型对这点精度损失通常不敏感。这就是为什么BF16在训练和推理场景里迅速取代FP16成为默认选择。2.2 FP8的两种变体和适用场景FP8目前主流有两种格式E4M3和E5M2。E4M3是4位指数、3位尾数E5M2是5位指数、2位尾数。E4M3精度更高但范围更窄E5M2范围更宽但精度更低。实际推理中权重和激活通常用E4M3梯度或者需要大范围表示的场景用E5M2。FP8相比BF16显存占用直接减半理论算力翻倍。但问题在于FP8的尾数只有2到3位能表示的数值精度非常有限。直接拿FP8去存权重模型效果会明显下降。所以实际部署中FP8通常配合缩放因子使用也就是把一组数值先除以一个缩放系数映射到FP8能表示的区间计算完再乘回来。这个缩放因子的选择策略就是FP8落地的核心技术难点之一。2.3 NVFP4和INT8的定位差异NVFP4是更激进的4位浮点格式结构上通常是1位符号、2位指数、1位尾数或者类似的变体。它的设计目标是在保持一定动态范围的前提下把存储和计算密度推到极致。但4位能表示的状态只有16种精度损失非常显著通常需要配合更复杂的量化感知训练或者后训练量化策略才能可用。INT8则是整数格式8位全部用来表示数值大小没有指数位。它的动态范围是固定的-128到127所以必须通过缩放因子把浮点数值映射到这个区间。INT8的优势在于硬件支持极其广泛几乎所有的推理加速器都有INT8的专用计算单元而且整数运算的功耗通常低于浮点运算。但INT8对离群值非常敏感一个极端的激活值就能把整个量化区间撑爆导致大量数值被截断。精度格式符号位指数位尾数位动态范围典型用途FP321823极大训练基准BF16187极大训练/推理FP161510中等推理FP8 E4M3143较小推理FP8 E5M2152中等训练/推理NVFP4121小极致压缩推理INT8107固定推理这张表建议存下来选型的时候对照着看。你会发现指数位决定你能表示多大的数尾数位决定你能表示多精确的数。模型里不同层对这两者的需求完全不同这也是为什么混合精度策略往往比单一精度效果更好。3. 硬件侧的算力账你的卡到底擅长什么3.1 算力峰值不等于实际吞吐厂商标称的算力数字比如BF16算力XX TFLOPS是在理想条件下测出来的。实际推理中你很难跑满这个峰值。原因有很多显存带宽可能成为瓶颈算子调度可能不够高效batch size太小导致计算单元利用率低等等。所以选硬件的时候不能只看算力峰值还要看显存带宽、显存容量、互联带宽这几个指标。显存带宽决定了数据搬运的速度。大模型推理是典型的memory-bound场景每生成一个token都要把整个模型的权重从显存里读一遍。如果你的模型是70B参数BF16精度下权重占用140GB每token需要读取140GB的数据。假设显存带宽是2TB/s那么理论最快也就是每秒14个token左右。这时候你就算有再高的算力峰值也发挥不出来。3.2 不同精度对硬件的偏好BF16和FP16的硬件支持最广泛基本上近几年的数据中心卡和高端消费卡都原生支持。FP8的支持情况就比较分化了较新的架构通常有专门的FP8计算单元老架构要么不支持要么只能通过软件模拟速度反而更慢。NVFP4目前支持的面更窄基本集中在最新一代的加速卡上。INT8的情况比较特殊。很多边缘设备和嵌入式芯片对INT8的支持非常好因为整数运算的硬件实现简单、功耗低。但在数据中心卡上INT8的算力虽然标称很高实际推理时往往受限于量化误差和反量化开销未必比BF16快多少。提示选硬件之前先去推理框架的官方文档里查一下你打算用的精度格式在该硬件上是否有原生支持。没有原生支持的话框架通常会回退到更高精度或者用软件模拟性能可能不升反降。3.3 显存容量和精度的联动关系显存容量直接决定了你能跑多大的模型。BF16精度下模型权重占用的显存是参数量的2倍单位GB。比如7B模型约14GB13B模型约26GB70B模型约140GB。FP8精度下这个数字减半NVFP4再减半。但要注意除了权重还有KV Cache、激活值、临时缓冲区等开销实际占用通常比理论值高20%到50%。如果你打算做长上下文推理KV Cache的占用会非常可观。以BF16为例KV Cache的大小和层数、头数、头维度、序列长度、batch size都成正比。一个13B模型在4K上下文、batch size为8的情况下KV Cache可能就要吃掉好几GB显存。这时候如果权重已经占满了显存你就只能降低batch size或者缩短上下文直接影响服务吞吐。4. 实操选型从模型规模到硬件配置的完整决策链4.1 第一步确定模型的精度敏感度不是所有模型对精度都一样敏感。一般来说参数量越大的模型对精度损失的容忍度越高。因为大模型有更多的冗余参数少量精度损失可以被其他参数补偿回来。相反小模型本身容量就紧张再降精度很容易崩。我自己的经验是7B以下的模型BF16是安全底线FP8需要仔细评估INT8和NVFP4基本不用考虑。13B到70B的模型FP8通常可以做到和BF16几乎无差异INT8在部分任务上也能接受。70B以上的模型FP8基本是默认选择NVFP4在特定场景下可以尝试。但这不是绝对的。有些模型结构对量化特别敏感比如包含大量LayerNorm或者Softmax操作的模型激活值的动态范围变化剧烈低精度下容易出问题。所以确定精度之前一定要做小规模对比测试用相同的输入跑BF16和候选精度对比输出差异。4.2 第二步算清楚显存和带宽需求假设你有一个13B模型打算部署在单卡上。先算权重占用BF1613B × 2字节 26GBFP813B × 1字节 13GBINT813B × 1字节 13GBNVFP413B × 0.5字节 6.5GB然后加上KV Cache。假设模型有40层40个注意力头头维度128上下文长度4096batch size为4。KV Cache的计算公式是2 × 层数 × 头数 × 头维度 × 序列长度 × batch size × 精度字节数。代入数值2 × 40 × 40 × 128 × 4096 × 4 × 2字节 约10.7GBBF16再加上激活值和临时缓冲区大概需要额外2到4GB。所以BF16方案总共需要约40GB显存FP8方案约25GBNVFP4方案约18GB。如果你手头是24GB显存的卡BF16直接出局FP8勉强能跑但batch size要压到很小NVFP4相对宽裕。4.3 第三步匹配硬件和软件栈确定了精度需求接下来看硬件。如果你用的是较新的数据中心卡FP8和NVFP4通常都有原生支持直接上就行。如果是老卡或者消费级卡BF16和INT8是更稳妥的选择。软件栈方面主流的推理框架对BF16和FP8的支持已经比较成熟INT8的量化工具链也很完善。NVFP4的支持还在快速演进中不同框架的兼容性差异较大建议先在测试环境验证再上生产。模型规模推荐精度最低显存适用硬件7B以下BF1616GB消费级高端卡7B-13BBF16/FP824GB-32GB数据中心入门卡13B-70BFP848GB-80GB数据中心主流卡70B以上FP8/NVFP480GB多卡或高端单卡这张表是粗略参考实际选型还要结合你的延迟要求、吞吐要求和预算。比如你要求极低延迟那就需要更大的显存来支撑更大的batch size精度可能就要往低了选。5. 量化实操中的关键细节和避坑指南5.1 校准集的选择决定量化质量做INT8或者FP8量化的时候通常需要用一小批数据来校准缩放因子。这批数据的选择非常关键。校准集必须能代表实际推理时的数据分布。如果你用新闻文本校准然后拿代码生成任务去推理量化误差会明显增大。我的做法是从真实业务数据里随机采样500到1000条覆盖各种输入长度和内容类型。如果业务场景比较单一比如只做客服问答那就全部用客服对话数据。校准集宁可比实际需求稍宽泛一点也不要太窄。5.2 逐层量化和逐通道量化的取舍逐层量化是整层共用一个缩放因子实现简单但精度损失大。逐通道量化是每个通道单独算缩放因子精度更好但计算开销稍高。实际部署中权重通常用逐通道量化激活值用逐层量化这是在精度和性能之间比较平衡的方案。有些框架还支持更细粒度的分组量化比如每128个元素一组。粒度越细精度越好但元数据开销也越大。需要根据硬件和框架的支持情况来定。5.3 混合精度的实际配置混合精度不是简单地把某些层设成FP8、某些层设成BF16。你需要识别出对精度敏感的层通常是第一层和最后一层、以及注意力机制里的Softmax相关层。这些层保持高精度其余层用低精度往往能在几乎不损失效果的前提下拿到大部分性能收益。具体操作上大多数推理框架都提供了层级别的精度配置接口。你可以先全部用BF16跑一遍然后逐层替换成FP8观察输出变化。变化大的层保留BF16变化小的层切到FP8。注意混合精度配置在不同框架里的写法差异很大迁移的时候一定要重新验证。我遇到过在A框架里配置生效、换到B框架后配置被静默忽略的情况结果精度没降但性能也没提升排查了半天才发现是配置没被识别。6. 常见问题排查与实战经验6.1 精度切换后输出乱码或重复这是低精度推理最常见的问题。原因通常是激活值溢出或者缩放因子估计错误。排查步骤先检查校准集是否具有代表性再检查缩放因子的计算范围是否覆盖了实际激活值的最大绝对值。如果框架支持打开逐层输出对比找到第一个出现显著差异的层重点检查那一层的量化配置。另一个可能的原因是KV Cache的精度和权重精度不匹配。有些框架允许KV Cache用不同精度如果KV Cache用了FP8但权重是BF16注意力计算时可能出现数值不稳定。建议KV Cache的精度不要低于权重精度。6.2 性能没有达到预期提升换了低精度但速度没变快通常有几个原因。一是硬件不支持该精度的原生计算框架回退到了软件模拟。二是瓶颈不在计算而在显存带宽降低精度虽然减少了显存占用但带宽没变速度自然上不去。三是算子融合没做好低精度计算单元利用率低。排查方法先用性能分析工具看一下时间花在哪里。如果是计算密集检查硬件是否原生支持该精度。如果是访存密集考虑优化数据布局或者增大batch size。如果是调度开销检查框架版本和算子实现。6.3 量化后模型效果评估不要只看loss或者困惑度这些指标对生成质量的变化不敏感。必须做人工评估或者用自动化指标评估下游任务效果。比如做摘要任务就对比量化前后摘要的ROUGE分数做对话任务就对比回复的相关性和流畅度。我一般会准备一个包含50到100个典型case的测试集量化前后各跑一遍人工对比。如果差异在可接受范围内再上生产环境做A/B测试。直接全量切换风险太大一旦效果崩了回滚都来不及。问题现象可能原因排查方向解决方案输出乱码激活值溢出检查校准集和缩放因子扩大校准集调整缩放策略输出重复KV Cache精度不匹配检查KV Cache配置统一权重和KV Cache精度速度无提升硬件不支持原生计算查硬件规格和框架文档换支持该精度的硬件或回退精度效果下降明显敏感层被量化逐层对比输出敏感层保留高精度显存溢出低估了额外开销检查KV Cache和激活值占用降低batch size或缩短上下文6.4 硬件驱动和兼容性坑低精度计算对驱动版本和固件版本有要求。我遇到过驱动版本太老导致FP8算子直接报错的情况升级驱动后解决。还有一次是框架版本和硬件架构不匹配NVFP4的指令集不被识别换框架版本才好。建议在部署前把硬件驱动、固件、推理框架、模型转换工具的版本都对齐到官方推荐的组合。不要随意混用版本尤其是生产环境。测试环境可以激进一点生产环境求稳。7. 一些个人体会和后续可以折腾的方向精度选型和硬件配置这件事没有一劳永逸的答案。模型在更新硬件在迭代框架在演进今天的最优解明天可能就过时了。我自己的习惯是每季度重新评估一次当前的主力配置看看有没有新的精度格式或者硬件选项值得尝试。另外不要迷信厂商标称的数字。实际跑一遍benchmark用自己的模型和真实数据比看任何规格表都靠谱。我见过太多团队被纸面参数误导买回来发现实际吞吐只有标称的三分之一。如果非要给一个入门建议先从BF16开始跑通了再考虑降精度。BF16是当前兼容性最好、踩坑最少的选项。等你对模型的行为和硬件的特性都摸熟了再逐步尝试FP8和更激进的格式。每一步都做好对比测试和回滚预案稳扎稳打比激进冒险更划算。