简介NVIDIA H100 Tensor Core GPU 的官方技术规格文档datasheet面向数据中心架构师、AI 基础设施工程师及高性能计算学习者用于快速了解 Hopper 架构 GPU 的规格边界与选型依据。文档围绕第四代 Tensor Core、FP8 精度 Transformer Engine、第二代 MIG、机密计算与 NVLink Switch 系统展开并给出 GPT-3 175B 训练提速、FP64 60 teraflops、DPX 指令以及 H100 NVL 搭配 188GB HBM3 支持 Llama 2 70B 推理等关键指标可辅助读者对照大模型训练、HPC 与生成式 AI 部署场景理解硬件能力。压缩包仅含 1 个 PDF 文件体积约 402KB轻量便于查阅与归档。目前已有 627 人学习下载适合作为方案论证、参数核对和面试复习时的速查材料对训练、推理和 HPC 三类负载也能从官方口径提炼性能对比数据与适用边界减少二手信息带来的偏差。1. H100 datasheet 里最反直觉的数字30 倍推理提升不是靠单卡硬算翻开 H100 datasheet最抓眼球的数字往往是“30X”和“4X”175B 参数级模型训练最高快 4 倍最大模型推理最高快 30 倍。直觉会把这归因于制程进步或晶体管变多但 datasheet 真正想表达的是另一件事这些倍数来自 FP8 精度、Transformer Engine、NVLink Switch System、MIG 隔离和软件栈的组合而不是一颗 GPU 的峰值算力单独拉出来的。换句话说H100 的 GPU 性能故事核心不是“算得更猛”而是“让数据以更低的精度、更短的路径、更可控的隔离方式流动”。读这份 datasheet最有价值的部分不是记住 3958 TFLOPS而是搞清每个数字背后的口径是否带稀疏、对比的是谁、batch 和序列长度是多少、有没有把多卡互连算进去。搞懂这些选型和容量规划才不会翻车。2. Transformer EngineFP8 为什么能把 175B 模型训练拉快 4 倍2.1 FP8 的精度风险与动态缩放机制把训练精度从 FP16/BF16 压到 FP8最直接的风险不是“算错”而是“动态范围不够”。FP8 常见的两种格式是 E4M3 和 E5M2前者尾数多、精度高适合前向激活和权重后者指数多、范围大适合梯度这类容易溢出或下溢的张量。问题在于同一个张量在不同训练步的数值分布会变今天最大值是 6明天可能是 600。如果用一个静态 scale 把 FP8 可表示范围硬套上去要么把大值截断要么把小值全冲成零训练很快就崩。所以 Transformer Engine 这类机制的核心不是“把矩阵乘法换成 FP8”这么简单而是维护一套动态缩放每个张量在转成 FP8 之前先根据历史最大值 amax 算出一个 scale把真实数值映射到 FP8 的可表示区间矩阵乘完成后再用同一个 scale 的倒数把结果还原回高精度累加器。为了让 scale 不跟着单个 batch 抖动常见实现会保留若干步的 amax 历史用“延迟缩放”或“平滑缩放”决定当前步用哪个 scale。这样做的代价是多了几次全局同步和 cast 操作但换来了 FP8 矩阵乘的吞吐。常见的实现思路是“主权重高精度、计算低精度”参数主副本仍然用 FP32 或 BF16 保存优化器状态也不进 FP8每次前向和反向时把权重临时 cast 成 FP8配合 per-tensor 或 per-channel scale 做矩阵乘。这样做的好处是即使 FP8 计算有量化误差权重更新仍然落在高精度空间里误差不会随着训练步数累积成灾难。下面这段伪代码只表达动态缩放的核心循环不是某个框架的真实源码# 伪代码FP8 动态缩放的核心循环 # amax_history 保存最近若干步的绝对最大值避免单步抖动 def compute_fp8_scale(amax_history, fp8_max448.0, margin0.9): # 取历史最大值乘一个安全系数防止边界值溢出 amax max(max(amax_history), 1e-6) return (fp8_max * margin) / amax def fp8_gemm(x_bf16, w_bf16, x_scale, w_scale): # 高精度张量先按 scale 映射到 FP8 可表示区间 x_fp8 cast_to_fp8(x_bf16 * x_scale) w_fp8 cast_to_fp8(w_bf16 * w_scale) # Tensor Core 做 FP8 矩阵乘累加器保持高精度 acc tensor_core_gemm(x_fp8, w_fp8, accumulate_dtypefp32) # 用两个 scale 的倒数把结果还原回高精度空间 return acc / (x_scale * w_scale)这里的fp8_max是目标格式的最大可表示值E4M3 常见是 448margin是安全边界防止 amax 刚好落在边界上导致饱和amax_history的长度决定了缩放策略的平滑程度。参数看起来很小但它们直接决定训练稳不稳margin 太大有效精度被浪费margin 太小遇到异常大的激活就溢出。血泪经验是FP8 训练出 NaN 时先别怀疑模型结构先看 scale 的更新频率和 amax 历史窗口。2.2 混合精度流水线哪些算子留在 FP16/BF16哪些进 FP8Transformer Engine 不是“全模型 FP8”。真正能吃到 FP8 吞吐的是矩阵乘密集的算子比如 QKV 投影、Attention 里的 QK^T 和 PV、MLP 的两层线性变换。LayerNorm、Softmax、残差相加、损失函数、优化器更新这些对数值范围敏感的环节通常仍然留在 FP16、BF16 或 FP32。原因很实际Softmax 要做指数运算FP8 的尾数不够LayerNorm 要算均值和方差低精度会放大统计误差优化器状态更不能用 FP8否则一两次更新就把参数推到不可恢复的区域。所以一条典型的训练流水线是输入激活先做 LayerNorm保持 BF16进入线性层前 cast 成 FP8做 FP8 矩阵乘结果累加到 FP32出线性层后再 cast 回 BF16做残差和激活函数。反向传播同理权重梯度矩阵乘用 FP8但梯度累加和参数更新用高精度。这个“cast 进、cast 出”的过程会带来额外开销所以 Transformer Engine 的价值不只是提供 FP8 指令而是把 cast、scale 更新、矩阵乘、还原这些步骤融合进算子内部减少中间张量的显存往返。这里有一个容易被忽略的机制FP8 的吞吐优势必须和内存带宽一起看。如果模型很小、矩阵乘的算术强度很低GPU 大部分时间在等显存FP8 带来的 Tensor Core 峰值提升根本吃不满。反过来175B 级模型的线性层维度大矩阵乘的算术强度高FP8 才能把 Tensor Core 喂饱。datasheet 里“175B 模型训练最高 4 倍”不是随便一个小模型都能复现的它依赖模型规模、并行策略和 batch 配置共同把 GPU 推到计算密集区。2.3 从 datasheet 到训练吞吐4X 的边界条件把 datasheet 的 4X 拆开看至少有四层来源。第一层是精度FP8 Tensor Core 的峰值是 FP16 的两倍左右这是硬件提供的理论上限。第二层是稀疏性datasheet 里很多算力数字带星号表示“with sparsity”但训练通常不依赖 2:4 稀疏所以训练对比要按稠密算力看。第三层是互连175B 模型不可能单卡放下张量并行、流水并行、数据并行会让 GPU 之间频繁交换激活和梯度NVLink 带宽和 Switch 拓扑会直接决定扩展效率。第四层是软件cast 融合、scale 更新、通信重叠、checkpoint 策略任何一环掉链子4X 都会缩水。精度/路径典型用途datasheet 中的算力口径读法FP64科学计算、双精度 HPC34 TFLOPSSXM/ 30 TFLOPSNVL不带稀疏适合看真实 HPC 吞吐FP64 Tensor Core双精度矩阵乘67 TFLOPS / 60 TFLOPS比纯 FP64 高但仍受显存带宽约束FP32通用计算67 TFLOPS / 60 TFLOPS常用于非 Tensor Core 路径TF32 Tensor Core单精度训练加速989 TFLOPS / 835 TFLOPS带稀疏注意星号稠密口径约减半BF16/FP16 Tensor Core混合精度训练1979 TFLOPS / 1671 TFLOPS带稀疏常见训练基线FP8 Tensor CoreTransformer 训练/推理3958 TFLOPS / 3341 TFLOPS带稀疏需要 Transformer Engine 配合INT8 Tensor Core量化推理3958 TOPS / 3341 TOPS带稀疏推理场景看 batch 和延迟这张表最重要的不是数字大小而是“口径”二字。带稀疏的算力是结构化稀疏后的峰值稠密矩阵乘要按一半左右去估FP8 的峰值需要算子融合和 scale 机制才能接近NVL 版本的算力略低但显存更大、功耗更低适合 70B 级模型推理。把这张表和自己的模型形状、并行策略、batch 大小对上才能判断 4X 里有多少能落到自己的训练任务上。3. Tensor Core 算力口径989 TFLOPS 与 3958 TFLOPS 之间差了什么3.1 稀疏性2:4 结构化稀疏为什么能翻倍datasheet 里大量算力数字后面跟着“With sparsity”这不是营销注脚而是硬件口径。2:4 结构化稀疏的意思是每 4 个连续权重里最多保留 2 个非零值另外 2 个被剪掉。硬件在矩阵乘时可以直接跳过零值把有效算力翻倍。它和“随便剪枝”不是一回事剪枝后的模式必须符合 2:4 约束否则硬件无法跳过剪枝通常需要重训练或至少微调否则精度掉得很难看稀疏矩阵还要额外存储 metadata告诉硬件哪两个位置有值。从机制上看2:4 稀疏把“计算密度”和“存储密度”一起改变了。稠密矩阵乘里Tensor Core 要读完整的权重块稀疏模式下硬件只读非零值和压缩后的索引计算单元按 metadata 跳过零值。这样一来同样的芯片面积可以做更多有效乘加。但代价是稀疏模型的精度恢复需要训练策略配合推理时还要看框架是否支持稀疏 kernel。很多团队踩坑的地方是看到 3958 TFLOPS 就按稠密算力做容量规划结果实际模型没有稀疏化峰值直接砍半。规格项H100 SXMH100 NVL机制含义GPU 显存80GB94GBNVL 单卡显存更大双卡桥接后 188GB显存带宽3.35TB/s3.9TB/s带宽决定大模型 decode 阶段的上限FP6434 TFLOPS30 TFLOPSHPC 双精度路径FP64 Tensor Core67 TFLOPS60 TFLOPS双精度矩阵乘加速FP3267 TFLOPS60 TFLOPS通用计算TF32 Tensor Core989 TFLOPS835 TFLOPS带稀疏口径BF16/FP16 Tensor Core1979 TFLOPS1671 TFLOPS带稀疏口径FP8 Tensor Core3958 TFLOPS3341 TFLOPS带稀疏口径需软件配合INT8 Tensor Core3958 TOPS3341 TOPS量化推理TDP最高 700W可配置350-400W可配置散热和电源按整机规划MIG最多 7 个实例每个 10GB最多 7 个实例每个 12GB多租户隔离互连NVLink 900GB/sPCIe Gen5 128GB/sNVLink 600GB/sPCIe Gen5 128GB/s多卡扩展的关键这张表里SXM 和 NVL 的差异不只是数字大小。SXM 版本 TDP 更高、NVLink 带宽更高适合 8 卡整机做大规模训练NVL 版本功耗更低、单卡显存更大配合 NVLink 桥接把两张卡连成 188GB 显存池更适合 70B 级模型推理。选型时如果把 NVL 当训练卡用可能会发现算力和互连都不如 SXM反过来把 SXM 塞进功率受限的推理机房也会遇到散热和电源墙。3.2 FP64 与 DPXHPC 不是 AI 的边角料很多人看 H100 datasheet 只盯着 FP8忽略了 FP64 和 DPX。FP64 Tensor Core 做到 67 TFLOPSSXMFP64 也有 34 TFLOPS这对科学计算很重要。双精度矩阵乘、流体仿真、分子动力学、气候模型这些负载对精度敏感不能随便降到 FP16。datasheet 里说双精度 Tensor Core 的 FLOPS 是上一代的三倍NVL 版本提供 60 TFLOPS FP64这不是边角料而是 HPC 场景的入场券。DPX 指令更值得拆。它加速的是动态规划类算法比如序列比对、路径规划、图分析。动态规划的特点是依赖链长、分支多传统 GPU 的 SIMT 执行效率不高。DPX 指令把动态规划里常见的 min/max、加法、选择操作做成硬件指令减少分支和中间状态datasheet 说相比 CPU 最高 40 倍、相比上一代 GPU 最高 7 倍。这个倍数的口径是特定算法内核不是所有 HPC 负载都能吃到。常见的实现思路是把动态规划的状态转移写成 DPX 能识别的模式让编译器生成专用指令如果代码里分支太散DPX 的收益会大打折扣。这里的设计取舍很清楚H100 不是纯 AI 芯片它要覆盖 HPC 和 AI 两类负载。FP64 和 DPX 占了芯片面积和功耗预算换来了科学计算市场的兼容性。对只跑 Transformer 的团队来说这些单元可能闲置但对混合负载数据中心来说一张卡同时跑仿真和推理TCO 更划算。读 datasheet 时不能只看自己关心的那一行还要看整卡的功耗和散热是否被其他单元拖累。3.3 内存带宽与容量3.35TB/s 和 80GB 怎么约束真实吞吐大模型推理的 decode 阶段是典型的 memory-bound每生成一个 token都要把权重和 KV cache 从显存读一遍计算量很小带宽决定延迟。3.35TB/s 的 HBM3 带宽意味着在理想情况下每秒可以扫过 3.35TB 的数据但真实吞吐还要看 batch、KV cache 大小、并行策略。80GB 显存看起来很大但 175B 模型光权重按 FP16 存就要 350GB必须多卡切分70B 模型按 FP16 存约 140GB单卡 80GB 放不下NVL 的双卡 188GB 才有机会把权重和 KV cache 一起装下。KV cache 是另一个容易被低估的显存消耗。序列越长、batch 越大、层数越多KV cache 越大。datasheet 里 30X 推理提升的注脚写了输入序列长度 128、输出序列长度 20这是一个相对短的对话场景如果换成 8K 上下文KV cache 会膨胀带宽和容量压力完全不同。所以看推理性能数字必须把序列长度、batch、输出长度一起看否则就会把“短对话的峰值”当成“长文档的通用能力”。常见的容量估算方法是先算权重显存再算 KV cache再留出激活和临时缓冲区。权重显存等于参数量乘每参数字节数KV cache 等于层数乘 batch 乘序列长度乘隐藏维度乘精度字节数乘 2。这个公式不精确但能快速判断一张卡能不能装下。如果装不下要么上多卡张量并行要么量化权重要么用 NVL 这种大显存双卡方案。后悔药是上线前没算 KV cache压测时 batch 一加就 OOM。4. NVLink Switch System 与 MIG多卡扩展和隔离的底层账4.1 NVLink Switch System900GB/s 如何把 8 卡变成一个大 GPU单卡算力再高大模型训练也绕不开多卡通信。数据并行要 all-reduce 梯度张量并行要 all-reduce 激活流水并行要传中间结果专家并行要 all-to-all 路由 token。这些通信如果走 PCIe带宽只有 128GB/s延迟也高GPU 会大量时间空转。NVLink Switch System 的作用是把多张 GPU 通过交换芯片连成非阻塞胖树让任意两张卡之间的通信不经过 CPU 和 PCIe 主机通道。datasheet 说每个 GPU 双向 900GB/s是 PCIe Gen5 的 7 倍以上比上一代 HDR 级网络高 9 倍。机制上NVLink Switch 不是简单的“点对点连线”。点对点 NVLink 只能连有限的对端超过一定数量就需要交换。Switch 系统把 GPU 的 NVLink 端口接到交换芯片交换芯片按目的地址转发数据包形成全互联或分区互联。这样 8 卡整机可以像一个更大的 GPU 一样做张量并行MoE 模型做专家并行时token 路由的 all-to-all 也不用绕远路。datasheet 里 MoE 395B 参数的训练对比把 NVLink Switch System 单独列出来就是在强调同样的 GPU有没有 Switch扩展效率是两个世界。但 Switch 不是免费的。它增加了整机复杂度、功耗和成本还需要拓扑感知的并行策略配合。如果模型并行切得不好通信量超过带宽Switch 也救不了。血泪经验是上多卡之前先算通信量张量并行的 all-reduce 数据量约等于激活大小乘并行度序列越长、隐藏维度越大通信越重如果通信时间占比超过 30%先调并行策略再考虑堆卡。4.2 第二代 MIG7 个实例、10GB/12GB 切分与 QoSMIG 是多实例 GPU把一张物理 GPU 切成多个隔离实例每个实例有独立的显存切片、SM 切片、L2 缓存和 DRAM 带宽。datasheet 说 H100 SXM 最多 7 个实例、每个 10GBNVL 最多 7 个实例、每个 12GB。这个能力对多租户推理很有价值一个小模型占一个实例互不干扰QoS 更稳云平台可以把一张卡卖给多个用户提高利用率。但 MIG 的隔离不是“免费性能”。切分后每个实例分到的 SM 数量、显存带宽、L2 容量都按比例减少单实例性能不能按整卡算。7 个实例也不等于 7 倍吞吐因为整卡的功耗和带宽被分摊了。常见的坑是按整卡吞吐做容量规划结果切出 7 个实例后每个实例的延迟都超标。正确做法是先确定每个租户的 SLA再选实例规格留出带宽和显存余量。MIG 和机密计算可以组合。机密计算保护的是“数据在使用中”的安全MIG 保护的是“租户之间”的隔离。两者叠加适合对数据隔离要求高的多租户场景。但机密计算会带来额外开销比如加密通道、 bounce buffer、内存完整性校验性能会下降。datasheet 没有给出具体开销数字只说了硬件级保护。实际选型时要拿自己的负载压测看安全开销是否在可接受范围内。4.3 机密计算性能与安全的取舍机密计算的核心目标是数据在 GPU 上计算时也保持加密和完整性保护而不是只在传输和存储时加密。常见实现思路是CPU 和 GPU 之间建立加密通道GPU 内部划出受保护的内存区域数据进出受保护区域时做加密和解密远程方可以通过认证确认 GPU 和软件栈的可信状态。对多租户云、受监管行业、联邦学习这类场景这个能力很关键。但安全从来不是零成本。加密和解密要消耗算力受保护内存的容量有限上下文切换和认证也有开销。更麻烦的是软件栈框架、驱动、推理服务都要支持机密计算模式否则数据在某个环节就落到普通内存里。datasheet 把机密计算和第二代 MIG、NVLink Switch System 并列说明它是系统级能力不是单卡开关。选型时如果只看“支持机密计算”就下单上线后发现推理吞吐掉了一截这就是典型的黑匣子式采购。我的理解是机密计算应该按“数据敏感度”分层使用最高敏感度的模型和数据走机密实例普通业务走普通实例机密实例的容量规划要留出安全开销不要按峰值算满。这样既能满足合规又不至于让所有负载为安全买单。5. 读 datasheet 的避坑清单从 700W 到 30X 的五个误判5.1 把带稀疏算力当稠密算力现象看到 3958 TFLOPS 的 FP8 算力直接按这个数做训练容量规划结果实测只有一半左右。原因datasheet 里很多算力数字带星号表示“with sparsity”也就是 2:4 结构化稀疏后的峰值稠密矩阵乘不能跳过零值有效算力要按一半左右估算。解决先确认自己的模型是否做了 2:4 稀疏化和重训练如果没有就按稠密口径算做容量规划时再留 20% 余量给通信和调度。5.2 把 30X 当成单卡通用推理提升现象拿 30X 去估线上推理集群发现单卡吞吐根本对不上。原因30X 的注脚写了最大模型、特定输入输出长度、多卡 NVLink Switch System 集群不是单卡短序列的通用倍数。解决用自己的模型、序列长度、batch 做小规模 benchmark测有效吞吐和 P99 延迟把 30X 当成上限参考不要当承诺值。5.3 只看 700W 忽略整机功耗和散热现象按单卡 700W 配电源整机上线后频繁降频。原因datasheet 的 TDP 是“最高 700W可配置”SXM 版本功耗高NVL 版本是 350-400W整机还要算 CPU、内存、网卡、风扇和电源转换损耗。解决按整机峰值功耗乘 1.2 到 1.3 的余量做电源和散热规划如果机房功率受限选 NVL 或降频配置别硬上 SXM。5.4 把 MIG 当免费的性能隔离现象一张卡切 7 个实例以为能跑 7 份业务结果每个实例延迟都超标。原因MIG 切分后SM、显存带宽、L2 都按比例减少7 个实例共享整卡功耗和带宽单实例性能不是整卡的七分之一而是按切片规格走。解决先按 SLA 选实例规格再压测单实例吞吐给带宽和显存留余量不要把整卡峰值平均分配到每个实例。5.5 把 80GB 当成训练显存够用现象模型参数明明只有 70B单卡 80GB 却装不下训练直接 OOM。原因显存不只要放权重还要放梯度、优化器状态、激活和临时缓冲区70B 模型按 FP16 存权重约 140GB加上优化器状态更大。解决先算权重、梯度、优化器状态、激活四块显存再决定张量并行、流水并行或 ZeRO 策略推理场景还要算 KV cacheNVL 的 188GB 双卡显存池就是为这类场景准备的。6. 设计取舍为什么 H100 把宝押在“精度互连”而不是单卡频率H100 的设计取舍很清楚制程红利在放缓单卡频率和晶体管密度的提升越来越难于是把资源押在专用单元、低精度计算、互连和隔离上。Transformer Engine 用 FP8 换吞吐但把数值稳定性交给动态缩放和混合精度流水线Tensor Core 用稀疏性换峰值但要求模型结构和重训练配合NVLink Switch System 用交换芯片换扩展效率但增加了整机复杂度和成本MIG 和机密计算用切分和加密换隔离但牺牲了一部分性能和容量。这些取舍没有一个是“免费”的datasheet 里的每个倍数背后都有一组边界条件。从验证方法看我一般会分三步。第一步用 roofline 模型判断负载是计算密集还是带宽密集大矩阵乘看 FP8/TF32 峰值decode 看显存带宽动态规划看 DPX 指令命中率。第二步做小规模 benchmark测有效 TFLOPS、通信占比、显存占用和功耗墙不只看峰值。第三步把 datasheet 的脚注逐条对照算力是否带稀疏、推理序列长度多少、对比的是单卡还是集群、TDP 是最高值还是配置值。这三步做完基本能判断哪些数字能落到自己的业务里。场景优先看什么容易误判什么大模型训练FP8/BF16 稠密算力、NVLink 带宽、显存容量把带稀疏峰值当稠密算力大模型推理显存带宽、KV cache 容量、batch 延迟把短序列 30X 当长上下文能力HPCFP64、DPX、显存带宽忽略双精度单元的面积和功耗成本多租户MIG 实例规格、QoS、机密计算开销把 7 实例当 7 倍吞吐功率受限机房NVL 功耗、散热、整机 TDP只看单卡 700W不算整机从那以后我每次看 datasheet都强制先翻脚注和配置表再回头看正文的大数字先算自己的模型形状和显存账再看峰值算力。这份 H100 datasheet 的价值不在于让你记住多少 TFLOPS而在于它把精度、互连、隔离和功耗的取舍摊开给你看。如果你也在做选型建议把规格表和脚注一起过一遍再拿自己的负载做小规模验证别让一个漂亮的倍数替你做决定。希望帮到你。本文还有配套的精品资源点击获取