一套 AI 工具在测试环境能跑通不代表上线后会一直稳定。队列可能积压Worker 可能失联磁盘可能被临时文件占满依赖升级后结果可能悄悄变化。若只有“服务端口能访问”这一条健康检查用户往往先遇到失败团队才知道系统已经失去交付能力。本文用脱敏任务PT-20261010-002说明上线维护的最小闭环入口服务、任务领取、Worker、存储与交付结果分别有什么可观察事实日志和指标怎样关联更新依赖时如何保持可回滚。示例不公开真实主机、地址、密钥或生产监控配置。环境边界Java 17、Python 3.11、MySQL 8.x。具体监控平台可以替换关键在于指标语义和处置流程一致。目录为什么端口存活不等于工具可用健康检查区分存活、就绪与交付能力日志与指标围绕任务号建立关联资源监控关注容量、排队和异常趋势安全更新版本、回滚和验证不能省略最小实现、测试与SQL巡检上线验收与小结一、为什么端口存活不等于工具可用HTTP 返回 200 只能说明入口进程还在。它不能证明数据库能写任务、队列能被领取、Worker 有可用容量、临时目录仍有空间也不能证明已完成任务可下载。将这些事实混为一个“大而全”的健康接口又会导致外部依赖短暂波动时整个服务被错误摘除。更稳妥的做法是分层表达存活检查只看进程就绪检查确认关键依赖可服务交付能力通过独立指标和合成任务验证。用户看到的故障提示也应基于这三层事实而不是笼统的“系统维护中”。图1健康检查不是一个绿色图标而是对不同服务能力的明确判断。二、健康检查区分存活、就绪与交付能力| 层次 | 要回答的问题 | 示例信号 | 失败后的动作 || — | — | — || 存活 | 进程是否仍可响应 | 内存、事件循环、基础 HTTP | 重启或转移实例 || 就绪 | 是否可接收新任务 | 数据库连接、存储凭据、队列发布 | 暂停新提交保留查询和下载 || 交付 | 已受理任务能否推进并交付 | 队列等待、Worker 心跳、验收成功率 | 告警并按任务链路定位 |交付能力不宜每分钟运行真实大模型任务。可以使用小型脱敏合成任务或依据队列年龄、Worker 心跳、最近验收成功率组成服务级指标。合成任务必须带专用标记不能混进用户任务统计。图2就绪失败时可以暂停新任务但不应让用户失去已完成结果的下载入口。三、日志与指标围绕任务号建立关联日志若只按时间散落排查一次失败常常需要猜测哪几条属于同一任务。入口服务、队列投递、Worker、验收和下载授权都应携带job_no、执行尝试号和请求关联号用户可见信息只使用脱敏错误码详细诊断留在受控日志中。建议最少采集任务创建数、领取延迟、运行时长分位数、失败码分布、队列最老等待时间、Worker 心跳缺失数、临时存储可用量、验收成功率和下载授权失败率。指标应说明单位和窗口例如“过去 15 分钟失败率”不能只放一个无上下文总数。job_noPT-20261010-002 attempt2 stageVERIFYING eventacceptance_passed图3日志用于还原单个任务指标用于发现系统趋势两者不能互相替代。四、资源监控关注容量、排队和异常趋势最常见的误区是只盯 CPU 或 GPU 使用率。低使用率不代表没有瓶颈Worker 可能在等外部服务队列可能因并发槽位不足积压临时文件可能占满磁盘下载服务可能因对象存储权限失败而频繁重试。信号可能含义首先核对什么最老等待时间持续上升领取能力不足或任务卡住可用 Worker、并发槽位、心跳运行时长分位数上升输入变化、依赖变慢或资源竞争样本构成、外部耗时、磁盘读写临时空间逼近阈值清理失败或大任务叠加临时产物生命周期、失败尝试某错误码突增依赖或发布变更影响起始时间、版本、区域与输入类型告警必须绑定动作例如临时空间低于阈值时先停止接收高成本任务并保留已运行任务的安全空间而不是等写满后让所有任务一起失败。图4一个异常指标只是一条线索处置必须回到任务链路和资源边界。五、安全更新版本、回滚和验证不能省略更新模型、运行时、媒体组件或第三方依赖时最大的风险不是“升级失败”而是升级成功却改变了结果或资源行为。每次变更应记录组件版本、变更原因、发布时间、负责人、回滚版本和质量回归结论先在固定样本上验证再小范围观察真实指标。publicrecordReleaseRecord(StringreleaseVersion,StringcomponentVersion,StringrollbackVersion,StringregressionRunId){}publicvoidrequireReleasable(ReleaseRecordrelease){if(release.rollbackVersion().isBlank()||release.regressionRunId().isBlank()){thrownewIllegalStateException(RELEASE_EVIDENCE_MISSING);}}安全更新也不能因为“只是补丁”就跳过回归。漏洞修复可能涉及底层解码器、网络库或运行时更新后仍应确认核心任务、下载授权和日志链路可用。回滚不是重新安装一个旧包而是有明确版本、数据兼容性与发布记录的受控操作。六、最小实现、测试与SQL巡检巡检可从任务事实开始而不是从页面截图开始-- 预期结果巡检列表。长时间无心跳的运行任务需人工或恢复流程确认。SELECTjob_no,stage_code,heartbeat_atFROMtool_jobWHEREstatusRUNNINGANDheartbeat_atNOW()-INTERVAL15MINUTE;-- 预期结果0 行。已完成任务必须有已验收交付版本。SELECTj.job_noFROMtool_job jLEFTJOINtool_delivery dONd.idj.current_delivery_idANDd.delivery_statusACCEPTEDWHEREj.statusREADYANDd.idISNULL;TestvoidreleaseWithoutRollbackOrRegressionEvidenceIsRejected(){ReleaseRecordreleasenewReleaseRecord(2026.10.10,runtime-x,,);assertThatThrownBy(()-releaseService.requireReleasable(release)).hasMessage(RELEASE_EVIDENCE_MISSING);}七、上线验收与小结上线验收应模拟入口可用但 Worker 停止、队列积压、临时空间告警、下载授权失败、依赖更新后的回归失败。预期是系统能区分故障层次暂停不安全的新提交而不误伤已交付结果告警能关联到具体任务或版本更新缺少回滚和回归证据时不能进入发布。图5长期维护依靠可观察、可定位、可回滚的工程事实而不是依赖某次上线后的运气。第六阶段至此完成从脚本任务化、输入与配置、长任务反馈、失败恢复、结果交付、参数治理、质量回归到上线维护形成了一条可交付 AI 工具的最小工程闭环。参考资料Spring Boot生产就绪特性OpenTelemetry可观测性文档OWASP依赖组件分析