AllData 数据中台 service-data-quality 服务 Docker 容器化部署实战指南【免费下载链接】alldata AllData可定义数据中台以数据平台为底座以数据中台为桥梁以机器学习平台为工厂以大模型应用为上游产品提供全链路数字化解决方案。产品正式演示体验、社群咨询、商务采购https://docs.qq.com/doc/DVHlkSEtvVXVCdEFo项目地址: https://gitcode.com/GitHub_Trending/al/alldata导读本文档以 AllData 项目中 docker/service-data-quality/system-data-quality.md 部署手册为主体系统讲解数据质量服务service-data-quality从 Dockerfile 编写、镜像构建、docker-compose 启动到私有云仓库镜像推送与云端部署的完整链路。读完本文你将掌握如何将 AllData 数据质量模块打成标准镜像、如何在任意装有 Docker 的主机上快速拉起服务以及如何通过云镜像仓库实现免构建的规模化分发部署。一、先认识 service-data-quality 服务在动手部署前先明确我们部署的对象是什么。data-quality-service是 AllData 数据中台中的数据质量核查服务负责对数据源执行完整性、唯一性、一致性、及时性、关联性、准确性等核查规则并产出核查报告与调度日志。从源码结构看data-quality-service 源码目录它包含规则引擎schedule/rules/下的RuleItemRegistry注册了 6 类内置规则分别是unique_key唯一性、consistent_key一致性、integrity_key完整性、relevance_key关联性、timeliness_key及时性、accuracy_key_length准确性-长度调度执行器schedule/task/QualityTask.java使用固定 5 线程的线程池并发执行各核查规则的 SQL通过CountDownLatch等待全部子任务完成后统一落库核查报告CheckReport与调度日志ScheduleLog定时任务StartedUpRunner在服务启动成功后会从数据库加载所有启用状态的调度任务并注册到CronTaskRegistrar实现 Cron 表达式的动态调度服务间协作启动类 DataxQualityApplication 声明了EnableFeignClients通过 Feign 调用data-metadata-service获取数据源信息与system-service的接口因此部署时需要注意依赖服务的可达性。关于服务端口需要特别说明当前仓库源码中的 bootstrap.yml 配置默认端口为8826服务名service-data-quality而部署手册中的EXPOSE 18585属于手册示例端口实际部署时应以你手中部署包内配置的端口为准并保持 Dockerfile、docker-compose 端口映射三者一致。二、部署准备开始之前需要准备以下物料物料说明data-quality-*.tar.gz部署包已构建好的>vim Dockerfile在文件中添加以下内容FROM openjdk:1.8.1 COPY>docker build -f Dockerfile -t>docker images在输出列表中应能看到名为data-quality、标签为0.6.x的镜像记录。五、编写 docker-compose.yml 并启动容器镜像构建好之后使用 docker-compose 定义并启动容器。执行vim docker-compose.yml添加以下内容version: 2 # docker-compose 版本号 services: # 服务列表 >docker-compose up -d-d表示后台运行。执行后可通过docker ps查看容器状态或通过docker-compose logs -f跟踪启动日志。六、镜像推送至私有云仓库当本地镜像验证通过后可将其推送到私有云镜像仓库实现一次构建、随处拉取的分发。6.1 私有云仓库准备首先需要拥有一个私有镜像仓库。手册中以腾讯云服务器容器镜像服务个人版为例先在云控制台创建好镜像仓库含命名空间与仓库名再在服务器终端使用docker login连接私有仓库按提示输入密码即可sudo docker login ccr.ccs.tencentyun.com --username100043854373说明ccr.ccs.tencentyun.com为腾讯云容器镜像服务个人版域名--username为账号 ID示例值替换为你自己的账号。登录成功后服务器即具备向该仓库推送镜像的权限。6.2 打标签并推送基于本地已构建的镜像先为它打上指向私有仓库的标签引用docker tag>docker push ccr.ccs.tencentyun.com/aolingdata/data-quality:0.6.x推送成功后登录腾讯云容器镜像服务控制台的镜像仓库页面即可在仓库列表里看到该镜像及其版本。七、基于云仓库镜像部署镜像推送到云端后任意一台装有 Docker 的服务器都不需要再本地构建直接拉取云镜像即可启动。7.1 确认已连接私有仓库部署前确保目标服务器已执行过docker login完成私有仓库认证参考上文 6.1 节。若服务器未登录docker-compose up -d拉取私有镜像时会因认证失败而报错。7.2 编写 docker-compose.yml执行以下命令vim docker-compose.yml文件内容version: 2 # docker-compose 版本号 services: # 服务列表 >docker-compose up -d此时 Docker 会自动先从私有仓库拉取ccr.ccs.tencentyun.com/aolingdata/data-quality:0.6.x镜像首次拉取可能需要一些时间取决于网络拉取完成后自动创建并启动容器。启动成功后data-quality 服务即进入运行状态可通过访问其端口验证服务是否可用。八、部署后的验证与排障要点基于源码行为给出几个部署完成后的验证与排障方向端口连通性验证服务启动成功会在日志中打印服务启动成功与端口号见 StartedUpRunner.java。在宿主机执行curl http://127.0.0.1:服务端口或docker ps确认端口映射与容器存活。注册中心与配置中心可达该服务是 Spring Cloud 微服务bootstrap.yml 显示它会从config配置中心拉取配置并向eureka默认http://16gslave:8610/eureka注册。若容器内无法解析这些主机名务必通过extra_hosts或网络配置注入正确的主机映射。依赖服务可用质量核查任务运行时通过 Feign 调用元数据服务获取数据源信息见 QualityTask.java若报获取数据源接口出错请检查data-metadata-service是否可达。日志排查容器启动失败时使用docker logs contenteditable="false">【免费下载链接】alldata AllData可定义数据中台以数据平台为底座以数据中台为桥梁以机器学习平台为工厂以大模型应用为上游产品提供全链路数字化解决方案。产品正式演示体验、社群咨询、商务采购https://docs.qq.com/doc/DVHlkSEtvVXVCdEFo项目地址: https://gitcode.com/GitHub_Trending/al/alldata创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考