1. 项目背景与升级必要性最近在DataSophon平台上管理DolphinScheduler时遇到了TGT续期问题这个问题在3.1.8版本中尤为明显。经过调研发现3.4.0版本不仅修复了这个bug还带来了不少新特性。作为平台管理员我决定手动完成这次升级以下是详细的升级过程和经验总结。DolphinScheduler作为一款开源的分布式工作流任务调度系统在数据仓库ETL、定时报表生成等场景应用广泛。3.4.0版本主要优化了工作流执行性能增强了与实时数仓组件如Doris的集成能力同时改进了邮件通知功能。这些改进对我们的数据平台运维至关重要。2. 升级前准备工作2.1 环境检查清单在开始升级前我做了以下准备工作备份关键数据数据库备份特别是dolphinscheduler库工作流定义文件导出自定义脚本和配置文件检查系统兼容性JDK版本需1.8MySQL 5.7或PostgreSQL 8.2.15Zookeeper 3.4.6下载必要文件dolphinscheduler-3.4.0-bin.tar.gz对应的mysql驱动包重要提示建议在测试环境先验证升级流程生产环境升级务必选择业务低峰期。2.2 版本差异分析通过对比3.1.8和3.4.0的release notes主要变化包括安全增强Kerberos认证优化TGT续期机制重构新功能工作流版本控制任务依赖可视化性能提升任务派发效率提升30%API响应时间优化3. 详细升级步骤3.1 服务停止与备份首先有序停止相关服务# 停止DolphinScheduler服务 sh ./bin/stop-all.sh # 备份安装目录 tar -czvf dolphinscheduler-backup-$(date %Y%m%d).tar.gz /opt/dolphinscheduler # 备份数据库示例为MySQL mysqldump -uroot -p dolphinscheduler dolphinscheduler_backup_$(date %Y%m%d).sql3.2 新版本部署解压新版本并迁移配置tar -zxvf dolphinscheduler-3.4.0-bin.tar.gz -C /opt/ cd /opt/dolphinscheduler-3.4.0 # 迁移旧配置 cp ../dolphinscheduler/conf/application*.yml ./conf/ cp ../dolphinscheduler/conf/common.properties ./conf/修改关键配置# conf/common.properties # 修改资源存储路径如需要 resource.storage.typeHDFS resource.storage.upload.base.path/dolphinscheduler # 邮件服务器配置 mail.server.hostsmtp.example.com mail.server.port465 mail.sendernotifyexample.com3.3 数据库升级执行数据库变更脚本mysql -uroot -p dolphinscheduler ./sql/dolphinscheduler_mysql.sql特别注意如果是从3.1.8升级需要额外执行增量脚本mysql -uroot -p dolphinscheduler ./sql/upgrade/3.1.8_to_3.4.0/mysql/dolphinscheduler_ddl.sql mysql -uroot -p dolphinscheduler ./sql/upgrade/3.1.8_to_3.4.0/mysql/dolphinscheduler_dml.sql4. 升级后验证4.1 基础功能测试服务启动sh ./bin/start-all.sh登录验证检查Web UI可正常访问验证原有账号登录正常核心功能检查创建工作流测试定时任务触发测试邮件通知测试特别关注3.4.0的邮件功能改进4.2 性能基准测试对比升级前后的关键指标指标项3.1.8版本3.4.0版本提升幅度工作流创建响应时间1200ms850ms29%任务派发延迟500ms350ms30%API平均响应时间800ms600ms25%5. 常见问题解决5.1 数据库兼容性问题问题现象启动时报错Unknown column flag in field list解决方案检查是否漏执行增量SQL脚本手动添加缺失字段ALTER TABLE t_ds_process_definition ADD COLUMN flag tinyint(1) DEFAULT NULL COMMENT flag;5.2 邮件配置不生效问题排查检查common.properties配置验证网络连通性telnet smtp.example.com 465查看日志定位问题tail -f logs/dolphinscheduler-alert.log5.3 资源文件丢失预防措施升级前备份resource目录检查HDFS配置是否正确# conf/common.properties hdfs.root.userhdfs fs.defaultFShdfs://namenode:80206. 升级后优化建议启用工作流版本控制在项目设置中开启工作流版本管理设置保留版本数为5-10个配置监控告警集成Prometheus监控设置关键指标阈值告警性能调优参数# conf/application-master.properties master.exec.threads100 master.exec.task.num20 # conf/application-worker.properties worker.exec.threads50 worker.heartbeat.interval10这次升级过程中最大的体会是一定要做好完整的回滚预案。我在测试环境验证时曾遇到数据库字段不兼容的问题幸好有完整的备份可以快速回退。建议大家在每个关键步骤完成后立即验证不要等到全部升级完成再测试。