简介Kettle 9.3pdi-ce-9.3.0.0-428压缩包2是开源ETL工具Kettle完整发行包的第二分卷面向需要做数据抽取、转换与加载的数据工程师和ETL开发人员。工具基于Java编写跨Windows、Linux、Unix平台绿色免安装压缩包内已集成JRE解压后双击spoon.bat即可启动Spoon图形界面适合快速搭建数据处理环境或离线部署。整个分卷共2000个文件压缩包约799.81MB文件以618个jar运行库、196个ktr转换定义、19个kjb作业文件为主还包含293个info、292个location等资源库元数据以及xml、cfg、properties等配置覆盖连接、转换、作业调度的常见场景。因单文件超过1000M发布方将Kettle拆分为两个压缩包本分卷为第二部分需与压缩包1合并解压后完整使用。目前已有870人学习下载适合本地离线安装、二次开发或系统学习Kettle ETL流程的读者获取。1. 拿到 Kettle 9.3 压缩包之后先别急着双击启动很多人在网盘里下到pdi-ce-9.3.0.0-428这个压缩包后第一反应是解压、找 spoon.bat、双击然后盯着黑窗口看日志。这个流程不能说错但 9.3 这个版本和之前常用的 7.x、8.x 有一个明显差异它对 Java 版本、驱动包位置、启动参数的敏感度更高装错一步启动窗口闪一下就没了报错信息还不一定看得见。Kettle 9.3Pentaho Data Integration 社区版的核心价值在于它是目前还能免费拿到、且自带较新 JDBC 驱动体系的 ETL 工具适合做定时同步、库表转换、文件清洗这类活。这篇笔记就从压缩包本身讲起把解压、目录结构、Java 环境、驱动配置、启动方式和常见坑一次说清争取让你在半小时内跑起来第一转换。需要先说明一点这个压缩包标注里的“2”通常表示分卷下载的第二部分也就是说你手上可能还有part1或另外的分卷。如果解压时报“文件损坏”先确认是不是漏了分卷而不是急着重新下载整个包。2. 解压 Kettle 9.3 并读懂目录结构哪些文件必须改哪些一眼都不用看2.1 解压动作与分卷校验Kettle 9.3 的安装不叫“安装”叫“解压即用”。Windows 下双击解压到纯英文路径比如D:\kettle\pdi-ce-9.3.0.0-428路径里不能有中文否则后续连接数据库、保存转换文件时会出现编码问题。Linux 服务器上常见做法是解压到/opt/kettle或/data/kettle这类目录然后用一个普通用户运行不推荐直接拿 root 跑因为 Kettle 会在用户主目录下生成.kettle文件夹存放配置root 跑容易把权限搞乱。# Linux 下解压分卷 tar.gz 包的常见姿势 tar -xzf pdi-ce-9.3.0.0-428-dist.tar.gz -C /opt/kettle参数说明-C指定解压目标目录先确保/opt/kettle已创建。如果是.zip分卷常见命名是xxx.zip.001、xxx.zip.002Windows 下用 7-Zip 选中第一个分卷解压即可Linux 下需要先合并再解压。分卷解压失败时先查文件完整性别急着换软件。另外解压之后磁盘占用大约在 2GB 左右还要给运行日志和临时文件留出至少 1GB 空间。2.2># 如果 PENTAHO_JAVA_HOME 没设置就用 JAVA_HOME if [ -z $PENTAHO_JAVA_HOME ]; then PENTAHO_JAVA_HOME$JAVA_HOME fi这段代码的意思是Kettle 优先读PENTAHO_JAVA_HOME读不到就退回JAVA_HOME。所以如果你发现启动了但版本不对先看这个变量是不是被写死了。另一个重点是spoon.sh里的PENTAHO_JAVA_OPTIONS9.3 默认会带上时区参数和编码参数如果你的 Linux 服务器时区不是 UTC可能会出现日志时间差 8 小时的问题但不会导致启动失败。真正导致启动失败的原因是 Java 版本不匹配9.3 需要 Java 8 或 Java 11Java 17 直接跑会因模块化限制报IllegalAccessError这就是后面要避的坑。3. 启动 Kettle 9.3 前的 Java 环境配置版本对应关系与验证命令3.1 Java 8 和 Java 11 的取舍别跟风上高版本Kettle 9.3 官方默认推荐 Java 8实测 Java 11 也能跑得更稳内存占用略高但 GC 表现更好。这里有一条必须记住的线Java 8 对应 32 位和 64 位都可以Java 11 只能 64 位如果你的机器还是 32 位系统老老实实装 Java 8。在 Windows 上直接双击安装 JDK 8 后系统可能会因为你之前装过 JDK 17 而自动配了更高版本的JAVA_HOME这是最常见的启动失败场景。# 验证当前 Java 环境 java -version echo $JAVA_HOME如果你跑完发现版本是 17 或更高需要手动把JAVA_HOME指到 JDK 8 的安装路径同时把PATH里的 Java 路径也改掉。Windows 下改完环境变量后一定要重开命令行窗口再测试因为环境变量的读取发生在进程启动时旧窗口不会刷新。还有一种更稳妥的做法直接改pentaho-env.shLinux或set-pentaho-env.batWindows把PENTAHO_JAVA_HOME写死到指定 JDK 路径这样 Kettle 启动时不依赖系统环境变量避免其他应用干扰。3.2 用 .kettle 目录验证首次启动是否成功Kettle 9.3 第一次启动后会在用户主目录下创建.kettle文件夹里面至少会出现kettle.properties和.spoonrc两个文件。如果你启动后没看到这两个文件说明进程根本没走到初始化配置这一步要回去查 Java 版本或脚本权限。kettle.properties是个全局配置文件类似于 ETL 任务的“环境变量总闸”比如你在里面定义一个PG_HOST192.168.1.10转换里就能用${PG_HOST}引用这个文件对后续连库非常有用。第一次启动图形界面时spoon.sh会经历一个稍微漫长的加载过程日志滚动到Finished loading plugins之类的字样才算就绪。如果日志停在某个插件报错的位置通常是lib目录下的 jar 包冲突最常见的是你自己拷贝进去的 JDBC 驱动和 Kettle 自带的旧版本驱动冲突这个坑在第 4 章详细排。4. 连接 Oracle 时报时区错和驱动错ojdbc 版本与 Kettle 9.3 的兼容性真相4.1 “Server time zone value” 报错的长尾问题根源不在 Kettle热词里有一长串“the server time zone value 锟叫癸拷锟斤拷准时锟斤拷 is un”的搜索记录这个报错在 Kettle 9.3 里算是高频中的高频。它的本质是 JDBC 驱动在连接 MySQL 时客户端时区与服务器时区不一致而驱动要求显式指定。报错里出现“锟斤拷”这类乱码是因为 MySQL 服务器的system_time_zone被设成了CST中国标准时间而驱动无法解析这个缩写。另一个前置条件是Kettle 9.3 自带的 MySQL 驱动对 8.0 以上 MySQL 支持不完整需要自己替换驱动包。# 在 Kettle 的数据库连接配置里JDBC 连接参数加一段 useSSLfalseserverTimezoneAsia/ShanghaiallowPublicKeyRetrievaltrue参数说明serverTimezone必须改成你数据库所在机器的实际时区亚洲上海就写Asia/Shanghai不要图省事写UTC否则查询出来的时间会差 8 小时useSSLfalse是关掉 SSL 握手本地或内网连接用不到开着反而可能因为证书问题连不上。注意这段参数要追加到连接 URL 的末尾Kettle 的连接配置界面里有一个专门的“选项”页签比直接在 URL 里拼字符串更不容易出错因为 Kettle 会把选项页里的参数自动合并到 JDBC URL 中。4.2 ojdbc6.jar 与 ojdbc8.jar 的选择Kettle 9.3 默认自带的是 ojdbc8热词里“kettle ojdbc6.jar 11.2.0.4”说明很多人还在拿 Oracle 11g 的旧驱动配 Kettle 9.3。这里要澄清一个边界Kettle 9.3 的lib目录里已经内置了ojdbc8.jar默认适配 Oracle 12c 及以上。如果你连的是 Oracle 11g直接用自带的 ojdbc8 通常也能行因为 ojdbc8 向下兼容 11g但有个前提数据库的PROTOCOL版本不能太旧。实测连接 Oracle 11.2.0.4 时内置驱动能通但如果你要连 Oracle 10g那就必须换回 ojdbc6.jar11.2.0.4 版本否则会报ORA-28040: No matching authentication protocol。# 把 ojdbc6.jar 放到 Kettle 的 lib 目录 cp ojdbc6.jar /opt/kettle/pdi-ce-9.3.0.0-428/data-integration/lib/放完之后一定要重启 spoon因为 Kettle 在启动时才扫描lib目录并加载驱动类。如果你在界面运行的时候放进去驱动不会被热加载连接测试依然会失败。此外要注意Linux 下 jar 包的权限必须对Kettle 进程用户要能读这个文件否则日志会报ClassNotFound看起来像是驱动缺失其实是权限问题。4.3 一个容易混淆的点Kettle 9.3 的“连接池”和“集群”配置Kettle 9.3 里的数据库连接对话框有一个“集群”页签很多人以为打开就能连 Oracle RAC实际上它的作用只是让你填多个节点地址Kettle 自己并不做负载均衡真正的读写分离还要靠数据库端配置。另一个相关概念是连接池大小默认情况下 Kettle 对每个连接对象维护的连接数并不像专业连接池那么激进如果并发跑多个转换数据库端会看到大量短连接。生产环境常见做法是让 Kettle 连一个中间件比如 ProxySQL 或 Oracle 的 connection pool而不是让 Kettle 直连核心库。这个经验属于架构层面新手阶段不用深究但心里得有这根弦。5. Kettle 9.3 安装启动避坑实录5 个翻车场景与解决步骤5.1 场景一spoon 启动界面一闪而过日志没来得及看现象Windows 下双击spoon.bat黑窗口闪一下就关闭没有任何报错残留。原因Kettle 的启动脚本在遇到 Java 版本不对或JAVA_HOME为空时会直接抛异常退出而 Windows 的批处理窗口默认执行完就关闭来不及显示。解决不要双击改成在命令行窗口里手动执行spoon.bat这样即使崩溃堆栈会留在控制台里。更彻底的做法是打开spoon.bat末尾附近找到类似start /b的前缀临时把它去掉让脚本在前台运行这样能看到完整日志。我还习惯在调用前先跑一遍java -version确认当前控制台环境里能拿到正确的 Java因为双击时用的是注册表里的 Java和你命令行里java -version看到的可能不是同一个。5.2 场景二连接 MySQL 8 时驱动类找不到现象数据库连接测试报ClassNotFoundException: com.mysql.cj.jdbc.Driver或者No suitable driver found。原因Kettle 9.3 自带的 MySQL 驱动版本较老类名还是com.mysql.jdbc.Driver而 MySQL 8.0 的驱动类名已经改成com.mysql.cj.jdbc.Driver连带 URL 格式也都变了。解决下载mysql-connector-java-8.0.x.jar放到lib目录重启 spoon连接 URL 使用jdbc:mysql://ip:port/dbname?useSSLfalseserverTimezoneAsia/ShanghaicharacterEncodingutf8。注意不要和旧驱动混放要么删掉旧的mysql-connector-java-5.x.jar要么确认lib目录下只有一个 MySQL 驱动否则类加载顺序不确定时会加载到旧类。5.3 场景三Linux 环境下 spoon.sh 启动报权限不足或找不到文件现象./spoon.sh返回Permission denied或No such file or directory。前一个是文件没执行权限后一个往往是脚本里的CRLF换行符问题如果你在 Windows 上编辑过脚本再传回 Linux用vim打开会看到^M结尾。解决先执行chmod x spoon.sh再运行如果报No such file或者诡异语法错误用sed -i s/\r$// spoon.sh把换行符清掉。这两个问题几乎是 Linux 安装 Kettle 必经之路没有例外。5.4 场景四转换里的中文字段名变成乱码现象在 Kettle 9.3 里建好的转换字段名是中文保存后再次打开变成???或者一团乱码。原因Kettle 的转换文件是 XML 格式默认编码是 UTF-8但 Windows 中文系统的默认编码是 GBK如果 Kettle 启动时没有指定-Dfile.encodingUTF-8读写文件时就会出现编码错位。解决在spoon.sh或spoon.bat的 JVM 参数里增加-Dfile.encodingUTF-8保存转换文件时也检查一下文件头是否有 UTF-8 BOM。更稳妥的建议是字段名尽量用英文中文含义通过注释去说明数据仓库的字段命名规范本来就不推荐中文。5.5 场景五内存溢出和卡顿日志频繁出现 OutOfMemoryError现象跑大表同步时界面卡死日志里报java.lang.OutOfMemoryError: Java heap space。原因Kettle 默认堆内存上限不够。9.3 的启动脚本里默认值在 1GB 上下如果你同步的表超过几百万行并且做了大批量内存内转换堆内存会被撑爆。解决在spoon.sh中调整PENTAHO_JAVA_OPTIONS里的-Xmx参数。常见做法是-Xmx4096m如果机器内存充裕可设到 8GB但要留出系统余量。用命令行跑批的kitchen.sh和pan.sh也各自有独立的 JVM 参数需要单独调不要以为改了 spoon 就够了。# 修改 spoon.sh 中的 JVM 参数示例 PENTAHO_JAVA_OPTIONS-Xms512m -Xmx4096m -Dfile.encodingUTF-8参数说明-Xms512m是初始堆大小-Xmx4096m是最大堆上限两者差太多时 JVM 会频繁扩容缩容对响应速度有影响。真正跑批建议把 Xms 和 Xmx 设为相同值避免动态调整。不要用界面跑超大数据量界面本身会占用不少内存生产同步任务应该全部交给pan.sh和kitchen.sh。6. 最后一步用命令行把转换跑起来顺便验证你的驱动和资源配置图形界面跑通了只是第一步。Kettle 9.3 在服务器上做定时同步靠的是pan.sh和kitchen.sh这两个脚本才是生产环境的主角。一个常见做法是先在 Spoon 里把转换画好保存成.ktr文件然后在服务器上通过命令行执行。# 命令行执行转换文件 /opt/kettle/pdi-ce-9.3.0.0-428/data-integration/pan.sh -file/data/etl/jobs/sync_order.ktr -levelBasic参数说明-file指定转换文件绝对路径-level控制日志级别Basic 级别只输出主要步骤和错误生产排错可以用-levelDetailed看到每个步骤的行数变化。这个命令适合验证转换是否能在无人值守环境下跑通。作业Job的调度通常在同一台机器上配置 crontabKettle 9.3 自带的调度组件在社区版里功能有限不如直接交给 Linux crontab 可靠。验证驱动是否生效不一定要靠界面连接测试命令行跑一个最小转换更直接。新建一个“表输入”到“文本文件输出”的转换表输入里填数据库连接输出到实际文件跑通了就说明驱动、网络、权限全链路都是通的。我在每次换环境后都会做这个动作比在连接测试对话框里点“测试”更真实因为连接测试有时候会绕过某些转换阶段的资源加载问题。最后分享一个经验习惯Kettle 9.3 的安装包和驱动包我会单独建一个目录按版本存放不混用。因为 Kettle 的 lib 目录非常敏感放错驱动或版本冲突的排查成本远大于文件管理的成本。本机永远保留一份最小编号的干净包测试环境随便折腾生产环境启用前用sha256sum校验一遍压缩包完整性。这个习惯帮我避开了至少两次分卷损坏和驱动被污染的事故希望帮到你。本文还有配套的精品资源点击获取