上个月在技术群里聊到10万亿参数这个话题一个搞分布式训练的朋友第一反应不是兴奋而是反问了一句先不说算力够不够光是checkpoint要写多久这个反问其实戳中了整个行业的痛点。DeepSeek冲刺10万亿参数模型的消息传开之后圈子里的态度是复杂的——兴奋当然有但更多是对工程地狱的恐惧。与此同时昇腾950被推到台前很多人把它称作国产超大模型最后一块拼图。这两件事放在一起看表面上是芯片故事加模型故事往深了看其实是同一个故事当模型规模跨过某个量级算法、芯片、集群、软件栈就会彻底绑在一起任何一块短板都会变成整个系统不可逾越的上限。这篇文章不聊宏大叙事只把10万亿参数背后的物理限制、硬件取舍和工程代价拆开讲清楚。适合正在做大模型训练、搞算力集群或者单纯想知道10万亿到底难在哪的人读。读完你大概能明白为什么说这个量级是最后壁垒以及昇腾950这类芯片真正要解决的究竟是什么问题。1. 10万亿参数到底意味着什么算力、显存与装不下的世界1.1 先算一笔账10万亿参数的训练成本有多离谱大模型训练圈有个经验公式一次完整训练所需的浮点运算量约等于6倍模型参数量乘以训练token数。这个6倍来自前向、反向以及梯度计算的综合成本业内做算力评估时基本都用它。假设我们遵循常见的20倍参数量token法则也就是10万亿参数对应约200万亿个训练token那么总计算量就是6 × 1e13参数 × 2e14token ≈ 1.2e28 FLOPs1e28 FLOPs是个什么概念拿现在单张主流训练卡约1PFLOP/sFP16稠密算力来算就算你有一万张卡、并且整卡算力利用率做到60%每秒也就能跑出6e18 FLOPs。用这个速度去训练一个稠密的10万亿参数模型需要约63年。这时间长得彻底失去了讨论意义。所以结论很直接10万亿参数在稠密架构下根本不现实MoE混合专家架构是唯一出路。把激活参数量压到总参数量的10%~20%也就是约1万亿总计算量降到1.2e27 FLOPs量级再用5万到10万张卡组成的集群去跑训练周期才能被压缩到一年以内。即便如此需要的算力规模仍是当今任何一个公开集群的数十倍。这个数字游戏告诉我们一件事10万亿参数从纸面走向现实的第一个瓶颈不是算法不是数据而是集群规模本身。而集群规模又牵出另一个更隐蔽的问题——显存。1.2 显存墙参数装得下是比算得快更难的题很多人以为训练大模型最缺的是算力真正把集群设计逼到墙角的是显存。10万亿参数如果只用FP8存储权重本身就需要约10TB显存。但训练过程不可能只存权重——梯度要存Adam优化器的动量项和方差项要存而且优化器状态通常用FP32精度保着。粗算下来训练态每参数占用大约20字节10万亿参数就是200TB。这还没算上激活值、通信缓冲区和临时计算中间量加在一起保守估计300TB以上。300TB显存是什么概念按单卡130GB HBM算仅为了放得下这些数据就需要2300张卡。听着好像不多但实际训练中并行策略会带来大量冗余存储加上激活重计算、通信buffer的额外开销真实集群规模会被推到数千卡的底线。如果用目前单卡HBM普遍只有几十GB的设备去跑这个基数还要成倍放大。所以你会发现真正卡住10万亿模型脖子的是HBM的容量和带宽而不是GPU/ASIC的FLOPS数字。这也是为什么昇腾950这类新芯片把HBM规格当作核心卖点来打——单卡装不下一切免谈。换个生活化的类比算力是工厂的生产线速度显存是仓库容量。生产线再快仓库只能放半天的原料工厂也得停工。AI训练里这个停工更致命因为数据装不下时只能频繁做通信交换和计算重排效率断崖式下跌。1.3 为什么10万亿被称作最后壁垒如果说万亿参数时代考验的是工程能力那么10万亿参数时代考验的就是全栈协同能力。这个量级被称作最后壁垒我认为有三个层面的原因。第一是集群规模的临界点。几千张卡还能用传统分布式训练框架硬扛几万张卡就必须在通信拓扑、任务调度、容错机制上做深度定制属于重新发明轮子的级别。第二是软硬件协同的临界点。到了这个规模通用框架的默认策略可能有一半不适用模型架构必须为了芯片特性而调整芯片也必须为了模型需求重新设计两边的信息必须打通。第三是经济成本的临界点。十万卡集群的电力消耗、硬件购置、运维人力已经不是一个公司靠堆预算就能轻松解决的事情它需要一个完整的产业生态共同支撑。说白了10万亿模型的最后壁垒不在某一块芯片上而是由芯片、集群、算法、软件栈、能源基础设施共同构成的一堵高墙。昇腾950之所以被寄予厚望不是因为它的单卡算力数字有多好看而是因为它被看作补上这堵墙里最关键、也最薄弱的那块砖。2. 昇腾950在硬件上要解决什么算力之外的三场硬仗2.1 算力焦虑正在让位于喂饱焦虑过去几年聊国产训练芯片大家最关心的就是单卡FLOPS什么时候能追平国际主流。但10万亿参数这个目标把关注点彻底扭转了。超大规模训练里单卡算力固然重要但更关键的是这张卡能不能被喂饱——数据能不能及时送进计算单元结果能不能及时搬出来。如果显存带宽不够、卡间通信延迟过高再高的FLOPS都会被白白浪费整卡利用率惨不忍睹。这套逻辑和工厂流水线很像。如果计算单元是工人那么显存带宽就是传送带卡间互联就是车间之间的运输系统。传送带和运输系统一旦堵住工人效率再高也只能等料。昇腾950这代芯片如果要撑起10万亿参数的训练需求真正要在意的不是AI算力跑分而是HBM带宽、总带宽和互联时延这三个容易被人忽略的数字。2.2 显存、带宽、互联决定超大模型命运的三板斧具体拆开看训练10万亿参数模型的硬件需求集中在三个维度上。显存容量是入场券。单卡HBM至少要到128GB以上这个区间才能在合理并行策略下用万卡级集群覆盖几百TB的训练态存储需求。显存带宽是发动机。超大模型的矩阵乘法和注意力计算都是典型的带宽敏感型任务HBM的有效带宽如果上不去计算单元只能空转。卡间互联是骨架。MoE架构下每个token都要经过全对全All-to-All通信被路由到不同专家这会产生海量的跨卡数据交换。互联带宽不足或者拓扑不对通信时间会直接超过计算时间训练效率急剧恶化。这三个维度不是孤立存在的它们和并行策略深度绑定。显存容量决定你能用多大的张量并行度卡间互联决定你能不能高效完成专家并行和流水线并行而显存带宽决定你在通信和计算重叠时有多少喘息空间。昇腾950如果真的要在国产超大模型这条路上当最后一块拼图它必须是这三项能力的综合体而不是某项指标偏科的单点冠军。2.3 通用与专用的取舍为超大模型量身定做的设计逻辑在架构路线上外界经常拿通用GPU和专用ASIC做比较。通用GPU的强项是灵活性什么模型都能跑专用芯片的强项是能效比针对特定Workload做优化后同样的功耗能跑出更高的有效算力。超大模型训练恰好是一个Workload非常明确的场景——稠密矩阵乘、注意力机制、MoE路由、All-to-All通信这些关键模式完全可以提炼出来做成专用硬件通路。我比较关注的是面向超大规模训练的专用设计到底会在哪些模块上做加法。比如通信引擎是否集成了可编程的集合通信加速能力FP8/FP4等低精度算力是否做了专门的矩阵单元设计以及显存管理上有没有针对超大张量做内存池化和数据流优化。芯片设计上每一个专用都是在用确定性换效率但在模型架构还在快速演化的今天这种取舍也需要给未来留出足够多的软件可编程空间。鱼与熊掌怎么兼得是昇腾950真正要回答的问题。3. 训练10万亿模型的分布式系统工程四个并行与一个魔鬼3.1 10万亿模型躲不开的MoE路线与并行策略新格局超大规模训练里并行策略从来不是单一选择而是数据并行、张量并行、流水线并行和专家并行的组合题。10万亿参数模型由于几乎必然采用MoE架构这盘棋的复杂度又上了一个台阶。数据并行负责把训练数据分给不同设备每张卡持有完整模型副本张量并行把一个层的矩阵切成多块分布在多卡上共同计算流水线并行把模型按层切段不同设备负责不同层专家并行则是MoE模型专属的并行方式——不同专家放置在不同设备上token通过路由被发送到对应专家那里计算。四者叠加起来每一张卡上都同时运行着多套并行机制的通信逻辑调优难度是指数级上升的。这里我想强调一点10万亿参数模型里MoE路由带来的All-to-All通信量极其惊人。因为每个token都可能被路由到任意专家而专家分布在集群各处系统本质上就是一个超大规模的全对全交换网络。每一轮迭代全网都要做一轮大规模数据重排这种通信模式的延迟和带宽要求跟传统数据并行完全不是一个量级。很多人分析超大模型时只盯着算力和显存恰恰低估了这个通信魔鬼的分量。3.2 通信拓扑与集群设计的紧耦合从计算瓶颈到通信瓶颈的转折一旦进入几万卡规模的训练你会发现系统瓶颈从算得慢变成了传得慢。通信拓扑设计因此成了整个集群架构的生死线。传统三层树形网络在几千卡规模还好用几万卡时就要考虑更扁平化的拓扑比如多维环、龙飞船拓扑这一类高维互联结构尽可能降低任意两张卡之间的跳数。我在过去做集群方案时有个体会网络设计必须和并行策略一起讨论。流水线并行强的集群要把跨机柜带宽拉满专家并行占比高的集群则要重点优化跨节点的All-to-All通路。如果先定网络再做策略后期只能被迫用低效的并行配置迁就物理拓扑白白浪费大量算力。昇腾950这类硬件即使单卡性能过关如果配套的集群网络方案不能支撑超大规模All-to-All通信那训练10万亿模型仍然是空中楼阁。芯片、网络、并行策略必须作为一个整体来设计。3.3 软件栈比芯片更硬的骨头硬件规格只是第一步真正的难关在软件栈。同样一块芯片在框架、算子库、通信库、调试工具上的成熟度直接决定了它能不能被大规模训练团队用起来。一个很现实的场景模型团队拿到新芯片第一件事是拿现有训练代码去跑然后就会遇到一堆算子不支持、精度不匹配、集合通信不工作的问题。每一个问题都要人手去适配和调优。硬件再强生态不跟手落地周期就会被拉得很长。另外一个关键环节是断点续训。10万亿模型的集群规模意味着故障是常态而不是偶发系统必须每隔一段时间做一次checkpoint。但如果checkpoint写入太慢训练一停就是几个小时甚至一天累计下来的有效训练时间会大打折扣。这里需要的是异步保存、分层checkpoint、内存与持久存储之间的高速调度等一整套机制而这些都是纯软件工程能力。昇腾950的硬件底子再好如果没有成熟的软件栈和工具链把集群故障、通信优化、算子适配这些脏活累活处理好它依然很难真正支撑起超大模型的训练任务。4. 从纸面参数到真正落地看不见的工程细节4.1 故障率是万卡集群的头号公敌很多人第一次接触万卡集群时都会震惊训练10万亿模型你用不着考虑会不会出故障只用考虑什么时候出故障——以及故障之后要损失多少时间。业界有个粗略经验数千张卡的集群里以单卡MTBF平均无故障时间来看系统级故障几乎每隔几小时就会出现一次。每天挂一张卡在万卡集群根本不是段子是冷冰冰的现实。这意味着训练框架必须具备很强的容错弹性。任务要能自动屏蔽故障节点checkpoint要能异步保存保存频率还要跟故障率匹配。如果每两小时挂一次卡但checkpoint要写四小时训练就永远在回滚有效利用时间接近于零。所以10万亿参数项目里分布式系统工程师的话语权其实比算法工程师还大——他们决定了整个项目能不能在有限时间里跑完。这也是我前面提到的一个圈内朋友看到10万亿首先想到checkpoint的原因。4.2 电力与散热的物理极限集群之外的更大瓶颈硬件的尽头是物理。一个由五万张训练卡构成的集群单卡功耗按700W算总功耗就是35MW这还没算网络设备和制冷系统。35MW是什么概念大约相当于一个小城镇的居民用电总量。这样的集群建在哪儿、供电怎么解决、散热怎么处理全都是超大规模工程问题。液冷从可选项变成了必选项数据中心选址也从成本考量变成了战略考量。在这个尺度下能效比的意义就凸显出来了。为什么芯片设计里每瓦性能被反复强调因为在五万卡规模下能效比每提升10%就意味着少建五千张卡、少几套变电站、少一大笔运营成本。昇腾950这类国产芯片如果能在同等功耗下跑出更高有效算力它对超大模型项目的价值远远超过纸面参数。这也是专用架构在超大规模训练中的底气所在——通用性牺牲掉的那部分灵活性换来了实打实的功耗优势。4.3 生态适配的现实脚步从PyTorch代码到国产芯片的最后一公里算法团队最关心的永远是我那头已经调好的训练代码能多快地跑在新芯片上这个多快背后是算子覆盖度、通信库兼容性、混合精度支持、动态shape处理能力等一系列软件工程细节。如果芯片要替换一个成熟生态迁移成本绝不能只看算子本身的多少还要看有多少人能熟练调试和优化这套新栈。从行业现状看国内几家大模型团队都在做国产芯片的适配工作很多人抱怨过算子性能不如预期、调试工具不够顺手。但换个角度想这类问题是每一代新硬件生态都必经的阶段。值得乐观的是随着超大模型训练的需求越来越集中模型团队和芯片团队已经开始在早期就对接针对特定模型架构做算子定制和性能调优。这种从先造芯片再等生态到模型与芯片协同设计的转变才是真正打通国产超大模型落地的现实路径。5. 关于10万亿参数和昇腾950最常见的四个误区5.1 误区一参数越大模型就越聪明这个说法只对了一小半。参数量的提升确实能增强模型表达能力和知识容量但10万亿参数如果搭配的数据质量不行、训练稳定性控制不住它只会变成一个巨大的记忆体而非一个更聪明的推理器。行业里现在更强调的是数据配比、合成数据、推理时扩展这些方向上做精细活儿。参数规模是一个必要条件但远不是充分条件。5.2 误区二单卡性能翻倍训练时间就减半Amdahl定律在这个场景下体现得淋漓尽致。集群规模一大通信开销、同步开销、故障恢复开销都会占比越来越高。单卡FLOPS翻倍但如果通信拓扑或者并行策略没有同步优化整体训练时间可能只缩短20%。反过来通信和调度优化做得好可能单卡性能没提升训练时间反而大幅缩短。所以评价一块芯片对大模型训练的实际价值不能只看单卡算力跑分要看它在整个集群系统里能贡献多少有效算力。5.3 误区三芯片到手就能训超大模型差得远。芯片是地基但地基上面还有一整套软件大厦要建。算子库要针对模型结构做调优通信库要适配具体网络拓扑框架层还要解决分布式调度、断点续训、混合精度策略等问题。芯片只是把可能性打开了把可能性变成现实的是后面看不见的软件工程团队。这也是为什么软硬件协同能力越来越被重视。5.4 误区四国产芯片与国际主流差距在缩小等于可以轻松换道超车差距缩小是事实但换道超车四个字容易让人产生错觉以为在某一点上突破了就全局领先了。实际上超大模型训练比拼的是体系作战能力芯片、网络、集群、框架、能源、人才缺一不可。昇腾950如果真能在关键维度上把短板补齐那它解决的是从0到1的可用性问题。但要走到从1到N的好用和高效还需要整个产业链持续投入很长一段时间。最后说说我个人的感受。把DeepSeek冲刺10万亿参数和昇腾950这两件事放在一起看最打动我的并不是某个参数数字的突破而是行业第一次在大模型语境下真正意识到模型、芯片、集群必须三者一起设计这件事。以前模型团队和硬件团队各干各的模型跑不动就怪硬件硬件不好用就怪模型太超前两边都有理但谁也解决不了问题。超大模型的压强倒逼两边坐到了同一张桌前。如果这条路能走通会给整个国产算力体系留下一笔比任何单一模型都值钱的技术资产一套从芯片到框架再到超大模型训练的系统化工程方法论。这笔资产才是打通最后壁垒后面真正的礼物。