FP8与MX格式AI低精度计算前沿的完整指南Maths, CS AI Compendium【免费下载链接】maths-cs-ai-compendiumBecome a cracked AI/ML researcher/engineer with this unconventional textbook covering maths, computing, and ML with intuition.项目地址: https://gitcode.com/GitHub_Trending/mat/maths-cs-ai-compendium本文基于开源教材Maths, CS AI Compendium带你快速搞懂 AI 低精度计算的两大核心格式——FP8与MXMicroscaling格式为什么 H100 的 FP8 算力高达 989 TFLOPS15 倍于 FP32、FP8 混合精度训练如何稳定落地、以及 MX 行业标准为何被视为下一个取代 INT8/FP8 的低精度计算方案。无需数学基础5 分钟即可建立完整认知。为什么需要低精度计算内存与算力减半的收益把模型权重和激活值从 16 位压到 8 位不是锦上添花而是大模型部署的经济命脉——一个 70B 参数模型用 FP16 需要 140 GB 显存量化后才真正装得进单卡。低精度带来四大收益内存减半权重直接变小一半模型容量问题迎刃而解⚡吞吐翻倍H100 在 FP8 下达 989 TFLOPS而 FP32 只有 67 TFLOPS差距 15 倍带宽瓶颈缓解LLM 推理通常是内存带宽受限权重越小每秒生成的 token 越多能耗降低数据中心规模下更低的单次运算能耗直接省钱FP8 是什么E4M3 与 E5M2 双变体FP8 是 Hopper 及以后 GPUH100、B200原生支持的 8 位浮点格式按指数位 vs 尾数位的取舍分为两种变体各司其职格式位数指数尾数可表示范围典型用途FP8 E4M3843±448前向传播范围窄但精度高FP8 E5M2852±57344梯度计算范围宽防溢出如何选择前向传播的权重和激活值幅度适中用E4M3换更高精度梯度数值范围更宽多 1 位指数的E5M2才能避免溢出。NVIDIA 的 Transformer Engine 会根据张量统计在每个矩阵乘法上自动切换这两种格式。FP8 训练实战四步配方FP8 不只是推理加速在 Hopper/Blackwell 上训练同样实用标准配方只有四步前向权重与激活用 E4M3Transformer Engine 用延迟缩放动态计算每个张量的缩放因子反向梯度切换为 E5M2更宽的指数范围防止梯度溢出主权重优化器状态保留 FP32 主权重FP8 只用于矩阵乘法损失缩放与 FP16 训练类似动态损失缩放器保证梯度落在 FP8 可表示范围内这套组合拳让 FP8 训练质量与 BF16 基本持平、吞吐提升约 2 倍已成为 H100 集群大规模训练的新默认配置。真实案例DeepSeek-V3 用 FP8 混合精度训练 671B 参数模型仅消耗 2.8M H800 GPU 时——比同类模型便宜一个量级。MX 格式低精度计算的新行业标准MicroscalingMX是由 AMD、Arm、Intel、Meta、Microsoft、NVIDIA、Qualcomm 联合支持的新一代行业标准核心思想是块浮点block floating point一组元素通常 16–32 个共享一个 8 位指数每个元素保留自己的尾数。相当于把缩放因子的成本分摊到整块上每个元素因此能多留尾数位单位比特精度更高格式共享指数元素位数每元素实际开销定位MXFP8每块 8 位8E4M3/E5M2~8 位比独立 FP8 范围更好MXFP6每块 8 位6~6.5 位介于 FP8 与 INT4 之间MXFP4每块 8 位4~4.5 位兼具 INT4 大小与浮点行为MXINT8每块 8 位8整数~8.5 位带共享缩放的 INT8业内预期MX 格式将逐步取代独立的 FP8 与 INT8成为未来硬件的低精度主力。延伸阅读从教材里继续深挖量化全景量化方程、PTQ/QAT、GPTQ、AWQ、KV-Cache 量化quantisation.md边缘设备上的 FP8 算力对比H100 vs 笔记本 vs 手机edge inference.mdGPU 硬件基础与功耗经济学hardware fundamentals.mdFP8 训练在超大规模集群中的 MFU 实践large scale infrastructure.mdDeepSeek-V3 等前沿模型的训练技巧advanced text generation.md一句话总结FP8 用 E4M3/E5M2 双变体拿下 8 位浮点的训练与推理MX 则用块浮点把缩放成本摊薄到整组元素——理解这两者就掌握了当前 AI 低精度计算的完整版图。【免费下载链接】maths-cs-ai-compendiumBecome a cracked AI/ML researcher/engineer with this unconventional textbook covering maths, computing, and ML with intuition.项目地址: https://gitcode.com/GitHub_Trending/mat/maths-cs-ai-compendium创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考