做数据中心核心交换机这些年我最大的感受是这设备跟家用路由器完全是两个物种。路由器坏了重启一下大不了家里断网几分钟核心交换机如果在一个关键节点上出了问题影响的是整栋楼乃至整个园区的业务连续性。所以它的全生命周期从需求澄清、方案设计、单板制造、整机调测到现场部署、业务割接、日常运维、退网销毁每个环节都必须被拆解成非常细的工序每条工序背后都对应明确控制点和质量门。这个系列写到第六十一篇前面已经覆盖了产品体系和整体生命周期的框架这一篇作为工序列表的第二篇我把视角落在“制造之后”这条主线上重点讲清楚单板制造、整机装配、设备级测试、现场部署、运维退网这些阶段里究竟哪些工序在真正决定交付质量和长期稳定性。你可能会问工序列表这种东西厂商文档里不是有一堆吗为什么还要专门写因为厂商文档写的是“应该做什么”而一个真正在产线、机房、割接窗口里待过的人知道很多工序卡点根本不在文档上。这一篇就按我实际做项目的习惯来梳理尽量把那些文档上查不到、但每次踩坑都跟它有关的细节一并交代清楚。1. 生命周期工序全景先看链条再看细节做工序表最忌讳一上来就堆细节。工序不是一份清单是一条有因果关系的链条前一道工序的输出是后一道工序的输入后一道工序出了问题往往需要回溯到前一道工序的控制点。一个典型的数据中心核心交换机全生命周期按我习惯的划分方式可以分成六个阶段。每个阶段都有一个质量门做拦截质量门不过整个流程不允许往下走。阶段关键活动范围质量门Gate阶段输出物需求与产品定义市场调研、场景分析、规格定义、成本目标需求基线评审产品需求规格书、总体方案设计与开发架构设计、原理图设计、逻辑开发、结构设计、软件开发设计评审与试制评审BOM、原理图、逻辑版本、结构图纸制造与调测单板制造、整机装配、老化、检验出厂检验与放行审核可出货设备、测试报告部署与交付到货验收、上架、配置、割接割接完成签字运行设备、交付文档运行与维护巡检、升级、变更、故障处理变更后观察期运维记录、版本库退网与回收数据擦除、下架、拆解、报废资产销账销毁记录、回收凭证这个系列的首篇已经把需求与产品定义阶段的关键工序梳理过所以这一篇作为工序列表02从设计与开发阶段的尾部节点开始切入重点放在制造、测试、部署、运维和退网这几段。标题里有“信息科学与工程学、通信工程、制造工程、产品体系”四个维度其实正好对应这张表里的四条暗线信息工程管数据和逻辑通信工程管转发和协议制造工程管可生产性和直通率产品体系管全周期的商业闭环。你读后面的工序时可以不断对照这张表问自己一个问题当前这道工序到底在保护后面哪个环节1.1 质量门和交付物要定义到什么颗粒度质量门不能只写“评审通过”四个字。比如单板试制阶段的质量门至少要明确投板前BOM是否冻结、关键器件是否完成替代认证、DFM检查报告是否闭环。这几项交付物缺一项后端的批量制造就会把问题放大十倍。我见过最典型的反面教材是原理图评审时大家都说没问题但DFM检查没做细结果某颗小封装电容离高连接器太近贴片机吸嘴根本下不去只能手工补焊补焊的比例一高虚焊风险就跟着上来。1.2 工序列表的颗粒度为什么分三层工序列表一般分三层。第一层是阶段级给管理层看用于判断项目进度第二层是活动级给项目经理和技术负责人看用于安排资源和排期第三层是步骤级给执行人看用于指导具体操作。一份工序文档写得合格的标志是一个从没碰过这台设备的新人拿着第三层工序表看一遍就知道先干什么、后干什么、干到什么程度算完。如果新人看了还要来问“这一步具体怎么操作”说明工序文档还没到位。2. 单板制造与调测把问题拦在焊接这一步之前核心交换机的单板跟普通消费电子主板相比层数更多、线宽线距更严、器件密度更高、高速信号速率翻了几番。从PCB裸板到可上电调测的PCBA中间每一步都有值得单独写一篇的学问。2.1 从PCB裸板到PCBA焊接不是“焊上就行”第一道工序从来不是贴片而是来料检验。PCB裸板到货后要抽检板厚、铜厚、阻抗线实测值、金手指镀层厚度、板面翘曲度。这些参数任何一个偏离规格都会在高速信号质量上体现出来。尤其是100G以上速率端口板材的介电常数一致性稍微差一点眼图就会塌下去。进入SMT产线后工序大致是焊膏印刷、贴片、回流焊、AOI外观检查、X-Ray抽检、波峰焊针对插件器件、水洗或免洗处理、ICT测试、FCT调测。焊接工序里最考验产线功力的是回流焊温度曲线。锡膏厂商会给出推荐窗口比如峰值温度245℃±5℃但实际板卡的热容差异很大。8层板加上高密度连接器密集的区域升温速度比薄板慢很多容易出现“旁边已经到温、连接器底下还没化透”的情况。所以靠谱的产线不会只看炉子设定温区而是把热电偶贴在板卡不同位置实测温度曲线针对大热容区域专门调整链速和温区设定。2.2 ICT与FCT两道几乎不让坏板出门的关卡ICT在线测试和FCT功能调测一直是单板出厂前两道重要关卡。ICT的原理是通过测试探针接触板上的测试点测量网络的开短路、电阻电容值、二极管方向等静态参数相当于给板子做一次整体体检。它抓的是硬件层面的工艺缺陷比如虚焊、少料、错料、桥连。FCT则是给板子真正上电检查电源rail输出是否正常、时钟有没有起振、复位信号时序对不对、串口能不能打印、逻辑版本能不能加载。ICT偏向“静态体检”FCT偏向“动态体检”两者缺一不可。我特别想强调FCT里的电源检查。单板往往有多路电源轨从12V到0.8V核心电压都有上电时序是有严格要求的。FCT工序必须包含用示波器或专用采集卡抓取关键电源轨的上电顺序发现时序异常立即停止后续测试。2.3 单板老化用高温把早期失效挡在厂内老化工序容易被低估但它对核心交换机这类长生命周期设备极其重要。电子元器件的失效率遵循浴盆曲线刚出厂阶段失效率相对较高随后进入低而平稳的偶然失效期最后才是寿命末期的磨损失效期。老化工序的目的就是让早期失效大概率发生在厂内而不是客户的机房里。核心交换机单板的老化工序通常是板卡装入老化机框在55℃到60℃的高温环境下满负荷运行24到72小时期间持续打流量并监控告警日志、内存泄漏、异常复位、误码率等指标。老化过程中只要出现一次非预期复位这块板就要退回维修分析而不是简单再跑一遍了事。需要提醒的是老化机框本身要定期校验。机框的监控软件如果漏告警老化做了等于白做。所以老化工序表里一定要有“老化设备自身点检”这一步。3. 整机装配与系统联调顺序错了后面全是泪单板测试通过只是万里长征走了一半。核心交换机是插框式结构一台框式设备里有主控板、线卡、交换网板、电源模块、风扇框、背板或中板这些部件要在机箱里按照严格的顺序装配起来再进入系统联调。3.1 为什么装配顺序是“先供配电再互联最后插卡”整机装配有一个常见的经验顺序先装电源模块和风扇框再装背板或中板然后插主控板最后插线卡确认无误后再理线、封前面板。这个顺序不是随手定的。第一装完电源和风扇后机箱才能具备通电基础后续装配过程中随时可以做局部上电验证第二背板装配需要反复翻转机箱电源先装好可以避免二次拆装第三先插主控后插线卡是为了让系统启动诊断能按阶段展开先看控制面起不起来再看线卡能不能注册。背板或中板的装配是整个环节里最需要小心的连接器针脚数量多、对位精度要求高。如果背板没有完全贴合定位销就上螺丝紧固后续插卡时非常容易弯针。一旦弯针排查难度极大甚至可能要拆掉整框返工所以装配工序里必须包含“背板安装后、插卡前的连接器对位检查”。3.2 系统联调启动序列和链路训练里藏着大部分疑难杂症整机装配完成后第一次上电是全场最紧张的时刻。启动序列大致是电源上电系统管理控制器先起来然后是BootROM加载、主控操作系统引导、线卡注册、SerDes物理链路训练最后业务口UP。任何一个环节卡住都能从前面板指示灯状态和串口日志里定位个大概。这里讲一个容易被忽略的点SerDes链路训练。高速信号在PCB链路、背板连接器上跑到几十Gbps时已经不能完全按数字信号去理解它更像射频问题。发送端的预加重参数、接收端的均衡参数必须匹配得当否则会出现“单板单独测试全过、插到整机上时好时坏”的现象。机箱内风道温度、装配公差稍微变一点误码率就会抬头。所以系统联调工序不能只看端口UP还要跑物理层误码测试并且在不同温度条件下重复。很多“时通时不通”的疑难问题最终都是在这里被定位出来的。3.3 装配现场的“小问题”清单装配环节里还有一批看似不起眼、出了事却很麻烦的小问题我在工序表里专门拉了一列螺丝扭矩扭矩太大压裂PCB或压坏屏蔽簧片扭矩太小在运输振动中松脱。不同位置螺丝的扭矩要求不同不能一把电动螺丝刀打天下。导光柱和前面板对位指示灯位偏移会让运维现场把正常状态误判为故障状态。标签和序列号贴错序列号会导致资产管理系统和实物对应不上后续维保和审计都很被动。防静电管理插拔单板不戴防静电手环就去摸连接器这是产线和现场最常见的“隐性杀手”。4. 设备级测试让每台设备在出厂前“见过所有故障”整机组装完成之后就进入设备级测试环节。这一步的目标非常明确把客户现场可能遇到的故障尽量在出货之前先遇到一遍。4.1 功能测试不只是敲命令而是给行为“签收”功能测试覆盖的维度包括二层转发、三层路由、VLAN隔离、ACL过滤、QoS调度、VXLAN隧道、BGP邻居、Telemetry上报等。每一张测试用例表不仅要有操作步骤和预期结果还要求执行人记录实际输出、报文统计、关键现象截图。为什么要求这么细因为功能测试的本质是“签收行为”。如果只打“通过”两个字后面出了问题根本不知道当时到底验证了什么。举个例子ACL测试如果只验证了放行路径没有验证拒绝路径和日志上报这个ACL在实际流量中可能就是一个半成品配置。4.2 性能测试线速不是亮点是门槛核心交换机的性能测试通常会借助专业网络测试仪或者自研的流量工具把各端口打满流量观察转发率、时延、抖动、丢包率。很多人以为线速转发就万事大吉但线速只在特定流量模型下成立。真正需要关注的是几件事64字节小包能不能线速、突发流量下缓存是否充足、流量哈希是否均匀。哈希不均匀的问题尤其隐蔽多核转发场景下如果哈希算法把流量都打到同一片缓冲区压力一上来就出现小概率丢包用户体验到的是“时延偶尔抖动一下”但抓包又抓不到规律。这类问题往往要通过非常规流量模型反复测试才能暴露。4.3 可靠性测试与出厂检验把极限工况提前留在厂内可靠性测试包括高低温循环、恒定湿热、振动冲击、ESD静电放电、浪涌、掉电等。每一项都有对应的国标或行业标准但实际执行时值得多说一句的是掉电测试。掉电测试不是拔电源看能不能重启那么简单更细致的工序是在业务流量跑满的情况下随机掉电然后恢复供电检查文件系统是否损坏、配置是否丢失、所有单板是否全部注册回来、端口是否全部恢复UP。核心交换机可能运行几年都不掉一次电但掉一次就必须能稳稳恢复。设备级测试完成后还有出厂检验检验内容和判据可以浓缩成一张表检验类别检验项常见判据外观结构机箱、面板、丝印、标签无划伤、无错标、无漏光配置与版本软件版本、BootROM、CPLD、配置模板与发布配套表完全一致端口状态全端口光模块或自环端口UP且无误码老化记录老化工单、序列号全部无告警、无异常掉电附件齐全电源线、文档、耳片、螺钉包与装箱单逐项对应5. 现场部署与割接工序机房里的每一分钟都算钱设备出了工厂故事才刚刚开始。现场部署和业务割接是整个生命周期里“时间成本”最高的阶段因为客户业务不能等。5.1 开箱验货和预配置把大多数问题消灭在进机房前开箱验货不是走过场。到货后要核对序列号与发运单是否一致、备件是否齐全、机箱外观有没有运输损伤、光纤接口防尘帽是否完好。这几项不查后面出问题会牵扯到物流、商务、厂商多方扯皮。比开箱更重要的是预配置。省掉预配置直接上架是很多现场事故的根源。预配置不是在机房现场敲命令而是在仓库或工位先把软件升到目标版本、加载好基础配置模板、验证管理面可达。这样到了现场上电之后只需要做接线和业务配置割接窗口时间能缩短一半。5.2 上架、布线和光模块检查细节里的误码核心交换机的机框重量可观上架前要确认机柜承重和深度是否满足要求。散热方面明确前后风道方向确保和机房空调气流行程一致避免热风回流导致设备过温降速。布线的工序要求里光纤弯曲半径是最常被忽略的一项。很多人拉纤时为了走线美观弯成一个小圈短时间没事时间一长光纤损耗会逐渐劣化。标签规范也很重要两端标签的颜色、内容、朝向要一致否则后面维护时找一根线要花半天。光模块是另一个容易出问题的地方。端口UP不代表链路健康上架后要命令行查看光模块的DDM信息确认收发光功率都在阈值范围内。这里用一个常见的命令行界面做示例show interface transceiver module | include Temperature|RxPower|TxPower不同厂商的命令有差异但思路一致读到的温度、收光功率、发光功率必须有合理的余量。曾经遇到过端口UP但光功率在临界值附近的模块白天温度高没事晚上空调一降误码率就上来了。5.3 割接工序窗口、回退、checklist业务割接是现场部署的最关键环节。割接的核心目标不是“成功走通新配置”而是“出问题时能快速回到老状态”。变更方案里有多少行新配置就要配套多少行回退配置。没有回退方案的割接工序表我个人的原则是不签字放行。一份现场割接checklist通常包含三个阶段窗口前配置文件备份、版本比对、现场环境确认、相关通知到位。窗口内逐条执行变更命令每步校验结果发现与预期不符立刻停止回到上一步或执行回退。窗口后至少观察一个完整业务周期比对告警和流量变化确认稳定后签字关闭。这套流程看起来繁琐但恰恰是“繁琐”在保护现场操作的人。5.4 版本配套表现场最容易失控的隐形工序核心交换机的软件版本、BootROM、CPLD、单板硬件版本之间是强绑定关系。现场只要有一个人拿了一个不配套的版本包升级过程中就可能出现兼容性问题。版本配套表应当作为独立交付物跟设备一起出场。表中要明确记录每个硬件单板支持的最低软件版本、当前推荐版本、以及各版本包之间的校验关系。对厂商来说版本配套表本身就是一条必须纳入交付工序的“隐形工序”。6. 运维期与退网工序生命周期最后一公里设备上线以后大家都在关注业务是否稳定但工序管理并不会从此结束。相反运维期占据了全生命周期里最长的时间段也是最容易“失守”的阶段。6.1 巡检工序的清单化与判据化巡检是运维期的基本动作但一份好巡检表和一份应付差事的巡检表差距很大。巡检项必须要有明确判据而不是写“检查设备状态是否正常”这种话。巡检对象巡检项正常判据电源输入电压、冗余状态、风扇转速在规格范围内冗余数符合要求风扇框转速、告警、积灰情况无反转告警、无低速告警单板温度各传感器温度不超过阈值且趋势平稳光模块收发光功率、模块温度DDM值在阈值内环境机房温湿度在设备推荐范围日志告警日志、操作日志无新增严重告警巡检不只是“看”更重要的是“留痕”。每一次巡检结果的记录都是后续故障分析、责任界定、容量规划的原始依据。6.2 升级工序把“升级失败怎么办”写进每一步设备软件升级是运维期风险最高的变更操作之一。升级工序的核心不是升级命令本身而是失败处理预案。升级前准备包括版本兼容性确认、配置备份、当前运行状态健康检查。升级过程中每一步都要有记录点每一步的校验命令是固定的“看到什么算成功、看到什么算失败、失败后跑哪条回退命令”这三件事要写在同一行。升级失败最怕的不是重启不回来而是不知道从哪一步开始回退。把回退步骤精确到命令级并提前在测试环境演练过才敢在现网执行。6.3 退网销毁工序数据擦除不是删配置设备退役时会涉及整个生命周期里的敏感数据问题。很多人以为退网设备删掉配置文件就行了实际上单板上有多个存储区域BootROM环境变量、OS文件系统、日志分区、CPLD配置甚至管理系统缓存里都可能残留IP、VLAN、账号等信息。退网工序列表必须包含逐分区擦除并拍照留痕的环节擦除完成后还要有复核人签字。否则资产销账和后续审计都过不了关。7. 我在这条工序链里踩过的坑写工序聊流程最后不谈实际踩过的坑总感觉少了点什么。这里分享几个我个人的真实教训希望看到这篇的人能少走几步弯路。7.1 测试跑得再猛也别忘了“人”这个变量有一批设备交付期间某个批次的单板频繁出现偶发复位故障排查到最后发现是产线新换了一位测试员操作顺序和工位静电措施没有按工序表执行。设备本身没有设计问题是人没有按流程走。所以工序表不能只贴在墙上要变成工位上的检查卡同时要有班组长不定时巡查。再完善的工序流程如果执行端松动照样会出问题。7.2 直通率数据比单台测试报告更能说明问题单台测试报告只能证明这台设备没问题直通率则体现整条产线过程的稳定性。回流焊某个温区漂移了2℃单台设备可能还测不出来但直通率会悄悄往下掉。工序列表里一定要包含统计工序每周、每批次的直通率、缺陷占比、缺陷柏拉图。数据异常时回到工序里找根因比事后逐台复测有效得多。7.3 工序文档要写到“新人照着能做”才算合格我见过非常多的工序文档写得像专家笔记只有自己看得懂别人拿着根本不知道每一步怎么操作。后来我们内部定了一条标准工序文档交给一个从没做过这件事的实习生他能不提问地完成全部流程这份文档才算合格。达不到这个标准就继续补。这个标准听起来简单执行起来并不轻松因为它强迫你把每一个“默认你懂”的细节都写清楚。最后再分享一点个人体会。做核心交换机的工序列表做到最后你会发现工序从来不是用来限制人的它是用来保护人的。它把那些过去靠“经验老到”才能发现的风险提前翻译成每个人都能遵守的动作。第六十一篇先写到这里下一篇再往深走的话可以聊聊具体测试用例设计和故障注入平台那是另一套很有意思的功夫。