NPO光引擎超节点:AI集群光互连的折中与落地
刚参加完一场发布会回来现场的主讲人念出智启新未来的时候台下大部分人其实都在等后面那半句——NPO光引擎超节点发布。说实话NPO这个概念在圈内已经不算新词但真正以超节点形态整机落地、面向AI集群交付的这应该是近期最完整的一次公开亮相。这篇文章我不打算复述发布会PPT而是想站在一个长期做数据中心网络和数据中心光互联的从业者角度把NPO光引擎超节点这件事拆开揉碎讲清楚它到底解决了什么问题、硬件上由哪些部分组成、工程化落地有哪些坑、以及最关键的——现在这个时间点该不该关注、该不该跟进。无论你是做网络架构、服务器硬件、光模块测试还是单纯对AI基础设施好奇这篇应该都能给你一些参考。1. NPO为什么会被推到台前可插拔时代的天花板已经顶到1.1 AI集群的带宽墙与能耗账先看一组大家都在关心的数字。新一代AI训练集群里单块GPU的计算吞吐量增长非常快但数据要能喂得进去网络侧必须同步跟上。以常见的集群规模来看单机柜内GPU间通信从过去的100Gb/s级别直接跳到了400G、800G甚至1.6T级别。老实说网络带宽需求曲线比算力需求曲线还要陡。可插拔光模块走到400G/800G之后明显感觉到几堵墙同时压过来。第一堵是功耗墙800G可插拔模块单只功耗在14到18瓦左右一台交换机塞满32到64个端口光模块的总功耗墙直接超过交换芯片本身。机房配电和散热压力不光是成本问题很多时候是物理空间根本装不下。第二堵是信号完整性的墙可插拔模块的信号经过PCB走线到达交换ASIC这一段路径在25Gbps速率时没人在意到112Gbps SerDes时走线长度、过孔阻抗、连接器串扰全部变成恶梦。业界不是没有在电信号层面做补偿但补偿也意味着功耗和延迟。所以NPO的思路其实很朴素既然问题出在模块离芯片太远、路径太长那就把光模块拆掉外壳把光学引擎挪到交换芯片的基板附近尽量缩短高速电信号在PCB上的路径。1.2 可插拔、CPO与NPO的三岔路口很多人会把NPO和CPO混在一起其实两者有本质差异。CPOCo-Packaged Optics是把光引擎直接封装进交换芯片的同一颗基板甚至同一颗封装里距离最近性能最强但带来的问题也很直接光引擎一旦出故障整颗交换芯片跟着遭殃而且工艺难度极高良率和可维护性都是大麻烦。NPO的Near Package Optics中文叫近封装光学走的是一条折中路线。光引擎不再做成独立可插拔模块但也不直接进ASIC封装而是放在交换芯片旁边的基板或PCB上高速电信号距离从过去的十几厘米缩短到几厘米以内功耗和信号完整性压力大幅缓解同时保留了独立更换的可能性。如果把CPO比作把发动机直接焊在车架上那NPO就是发动机舱里的紧凑布局动力近、传动短、但真要维修也不需要整个车壳拆散。这种折中在工程上往往是更现实的选择尤其对数据中心这种要求7x24小时稳定运行的场景。1.3 NPO光引擎到底是一堆什么元件展开来看NPO光引擎并非单颗芯片而是一个微型光学子系统。核心一般在25x25毫米到30x30毫米左右的封装内集成了激光器、调制器、光探测器阵列、驱动芯片和TIA再加上透镜和光纤阵列耦合件。以主流方案为例一颗光引擎通常集成了8个或16个通道配合CWDM4或LWDM4的波分方案单引擎可以实现1.6T甚至更高的双向容量。激光器选型上当前NPO为了兼顾可靠性普遍采用外置光源方案ELSFP也就是激光器独立封装通过光连接器把连续光打进光引擎里的调制器调制器完成信号调制再把光送出去。光子引擎本身的调制器可以是硅光MZM也可以是薄膜铌酸锂目前硅光在成熟度和产能上更占优势。这里我要强调一个关键认知NPO光引擎不是把传统光模块缩小而是把光模块的完整电光链路线路拆开重新布局。驱动电路和激光器管理逻辑可能仍然保留在独立器件上但光路部分已经完全芯片化。2. 超节点架构拆解光引擎在整机里到底怎么工作2.1 超节点这个词设备和设备是不同的超节点这个词被用了很多年不同语境下指的东西完全不一样。在过去超节点更多指一个机柜内的高性能计算单元和高速互联单元的集合在AI时代超节点变成了以GPU/NPU为核心、配合交换芯片、HBM、光互连和电源散热系统组成的最小独立训练单元。这次发布的NPO光引擎超节点从现场展示的架构来看是把交换芯片和NPO光引擎紧紧绑在同一块高速背板甚至同一基板上让单节点内东西向流量完全通过光引擎走不再经过传统可插拔模块和长长的线缆。对外也可以继续留少量可插拔端口用于跨节点互联。这个设计逻辑非常清晰超节点内部流量占AI训练大头优先用NPO解决跨节点流量较稀疏保留可插拔的灵活性和维护便利。2.2 光引擎和交换芯片之间的距离法则你可能好奇光引擎放得到底有多近。从我了解到的工程数据看NPO光引擎和交换ASIC之间的高速走线距离通常控制在5到15毫米范围而传统可插拔方案从ASIC到面板连接器再到模块高速走线往往超过150毫米。别小看这10倍的差距。电信号在PCB上的损耗和频率成正比速率越高、距离越长损耗越不可接受。112G SerDes信号走150毫米之后眼图已经严重劣化必须依赖更重的重定时器或均衡器来挽救这些都吃功耗、加延迟。NPO把这条路径缩短到十几毫米信号直接通过基板进入引擎内部的光电转换器件既不需要重定时器反复整形也大幅减少误码概率。当然代价也很直接——光引擎紧贴交换芯片热源集中了。交换芯片本身动辄300瓦以上功耗光引擎里的激光器和驱动电路对温度又极其敏感所以整机散热设计必须做联合仿真和精细风道设计。这一块影响很大后面我单独讲。2.3 光路连接NPO系统里最容易被低估的部分光引擎的电气靠近做完了光学连接怎么接这可能是NPO超节点里最容易被公众忽略、但工程上最棘手的部分。传统可插拔模块有标准化的光口用LC或MPO连接器插纤即可。NPO光引擎内嵌在主机板上没有物理面板光纤必须透过专门的光连接器进入机箱再通过主板上的光纤槽和光引擎实现耦合。为了保证维护时不损伤光学表面业界普遍使用一种叫光插座optical socket或盲插连接器的东西。光纤带从外部接入光插座光插座内部利用对准结构把光纤阵列和光引擎端面精确对齐插入损耗需要控制在1dB以内。我在实际测试中碰到过很多次光学端面污染问题——哪怕一粒灰尘落到光引擎的透镜阵列上整条链路误码率就会飙升。NPO系统因为光路不可插拔清洗这个问题被进一步放大所以现在很多方案在光插座里加入了自动防尘结构和光口监测功能。这个细节我希望所有关注NPO的朋友注意别看它不起眼上线之后80%的故障可能都出在光路清洁和耦合上。3. 从研发到落地NPO光引擎工程化中的具体取舍3.1 耦合封装良率能否撑起成本全靠这一步NPO光引擎制造和传统半导体封测完全不同它多了一步光电共封装也就是把光器件、电器件、光纤阵列同时集成到一个封装体里。最常遇到的工艺是倒装焊加透镜耦合激光器或调制器发出的光要通过透镜聚焦到光纤端面这个对准误差通常要求在±1微米以内否则插损立刻超标。生产线上现在普遍采用有源对准active alignment来做也就是设备实时监测光功率一边对位置微调一边测量直到功率最优再固化胶水。这个过程慢且贵一台耦合设备一天也就处理几十颗引擎所以NPO光引擎的初始成本远高于同速率可插拔模块这是没办法的事。不过好消息是随着工艺成熟度和自动化程度提高近年有源对准时间已经缩短了不少。如果单颗光引擎价格能降到接近同速率模块的水平NPO的大规模部署就真的有戏了。3.2 可维护性MTTR是新架构过不过关的生命线数据中心网络设备最怕的不是故障而是故障之后的恢复时间太长。传统可插拔模块坏了拔出来换新的几分钟搞定MTTR以分钟计。NPO光引擎焊在基板附近虽然比CPO好一些但如果引擎真的坏了大概率还是要整块主板或子卡返修MTTR很容易被拉到小时级。所以这次发布的超节点在设计上做了一个取舍光引擎和基板之间采用可插拔连接器而不是直接焊接。现场演示的换装过程大概控制在15分钟以内虽然比模块几分钟略慢但总算还属于可接受范围。我个人非常认可这个方向商业数据中心绝对不可能面对一个坏了只能返厂的板卡15分钟的现场可更换能力是NPO走向商用的一个关键信号。还有一个细节是激光器外置这个我刚才提过。外置光源模块坏了只更换小光源模块而不动光引擎光引擎内部的调制器和探测器是慢损耗器件寿命比激光器长得多。这种架构本质上就是通过设计手段把高故障率器件和难更换部分解耦非常聪明的做法。3.3 测试验证误码率只是起点温度和振动才是深渊NPO光引擎的测试流程比光模块要复杂得多。光模块好歹有统一标准接口插上误码仪就能跑。光引擎没有外部电口必须通过交换机主板的SerDes接口自环测试这就意味着光引擎测试很大程度上要依赖整套板卡或系统级工装完成。常规测试包括误码率、眼图、光功率、波长、通道隔离度等但我觉得关键还不在这些基础项。NPO引擎和交换芯片集成后散热空间被压缩光引擎环境温度可能比传统模块高出10到15摄氏度。温度升高会带来两个明显后果一是激光器波长漂移导致波分系统中通道间隔变小甚至串扰二是硅光调制器偏置点漂移需要更强的闭环控制。所以正规厂商在做NPO光引擎验证时必须加上温度循环测试-40到85摄氏度甚至更严苛范围和长期老化。我建议所有准备引入NPO方案的团队采购合同里一定要写明温度冲击和老化测试标准不要只看常温误码率达标就验收否则上线一个夏天就会暴露问题。4. 上线运营后的真实观察功耗、成本、兼容性到底怎么样4.1 功耗账本省下的不只是光模块那十几瓦NPO带来的第一个直观收益是模块功耗下降。传统800G可插拔模块14到18瓦NPO光引擎因为有更高集成度且省掉了模块外壳、连接器和电源管理电路单引擎功耗可以压到5到8瓦。一个64端口的超节点光部分功耗直接从1000瓦级别降到400瓦左右降幅非常可观。但是要注意这个账不能只算光模块。NPO引擎贴近交换ASIC会推高芯片附近的环境温度整机散热风扇转速可能被迫提高空调制冷能耗也会增加。我在实验室测试时同一机房环境、同样的计算负载NPO超节点的整体机柜功耗相比可插拔方案降低了约15%到20%但机房空调侧能耗反而上升了5%左右。总账仍然划算但散热设计绝不能敷衍否则省下的功耗会被制冷吃掉。4.2 延迟表现同架构下的物理优势从测试数据看NPO方案在交换机内部端到端延迟普遍比可插拔方案低一截。原因在于省去了重定时器、缩短了SerDes走线距离、减少了信号处理级数。以400G端口为例传统模块端到端延迟大约在200纳秒NPO可以做到120纳秒以内这在确定性网络和高性能计算里感知是非常明显的。当然延迟这个指标通常不是制约训练性能的第一因素带宽和丢包率影响更大但是当通信模式变成短报文密集型后延迟差异会被放大。存储集群或参数同步这类场景NPO的超节点形态优势会更明显。4.3 兼容性买NPO等于选了一个新生态选择NPO超节点实质上是选择了一套新的硬件生态。光引擎内部的硅光芯片、驱动芯片、外部光源模块、光纤连接器、管理固件每一层都尚未形成像可插拔那样的统一标准。这意味着如果你从厂商A买了NPO超节点后续扩容和备件采购大概率也只能继续跟A深度绑定。我的建议是在决策前一定要求厂商公开光引擎适用的光纤连接器型号和剑拔插损规范确认是否支持第三方光源模块。如果设备只认自家光源未来光源模块的单价和供货周期你会非常被动。从这次发布的规格看至少在光源模块上兼容了几个主流标准方向是对的。5. 光互联的下一步NPO之后还会发生什么5.1 CPO不会取代NPO但会逼着NPO进化NPO现在看着是折中方案但折中位置不是一成不变的。随着CPO封装成熟度和良率提升它会不断蚕食高端场景而NPO必须靠降低成本和维护难度守住自己的市场空间。未来两三年大概率出现一个分层局面追求极致性能的GPU集群内部用CPO通用数据中心的TOR和数据中心互联用NPO传统可插拔继续在市场尾部存在。这个分层对从业者来说其实是好消息。意味着不用焦虑地二选一而是可以按业务需求分别引入不同距离、不同密度、不同维护策略的光互联方案。5.2 线性驱动和光电合封的新实验NPO演进方向上我比较关注线性驱动可插拔光模块LPO和线性驱动光引擎LRO的概念。简单说就是去掉光模块/光引擎里的DSP和重定时器用线性放大直接驱动光器件用交换芯片侧的SerDes去补偿通道损伤。NPO本身走线短、信号质量好天然适合线性驱动方案。如果LRO形态的NPO光引擎跑通了功耗还能再降一档延迟进一步压到几十纳秒量级。当然这要求交换芯片侧的均衡能力足够强需要芯片厂商和光引擎厂商深度联合设计。这已经不是单纯的器件选型问题而是一个系统级的共同研发过程。5.3 给从业者的落地建议如果你所在团队正在评估NPO光引擎超节点我建议从三个维度做决策而不是单看带宽数字。第一看流量模型。如果你的集群通信以长连接大流量为主NPO卓越的功耗和信号质量会带来直接收益如果业务是频繁短连接、重延迟上限则要把延迟指标放进SLA。第二看在位可维护性一定要亲自验证光引擎更换流程测试环境下的理论可换和现网中的可快速换是两回事。第三看备件策略外置光源、光插座、光纤组件是否可从多个渠道获得是否有兼容性认证。我个人在实际测试中的体感是NPO超节点最打动我的并不是某一项指标的绝对领先而是它把光电系统的各项约束拉到了一个新的平衡点——功耗、信号完整性、可维护性、成本都能在可接受范围内这是很多激进方案没能做到的事。这次发布的NPO光引擎超节点以超节点形态卡在CPO和可插拔之间未必是光互连的最终答案但绝对是当下最值得花时间研究的一个方向。建议所有相关从业者都找机会拿到实机测试在实际负载下跑一跑看看温度曲线和误码率再决定要不要纳入你的下一代网络规划。毕竟新技术再热闹最终还是要落地到机房里用一堆实实在在的数据说话。