文档/教程【免费下载链接】90DaysOfDevOpsThis repository started out as a learning in public project for myself and has now become a structured learning map for many in the community. We have 3 years under our belt covering all things DevOps, including Principles, Processes, Tooling and Use Cases surrounding this vast topic.项目地址https://gitcode.com/gh_mirrors/90/90DaysOfDevOps点击查看免费下载本篇是《90DaysOfDevOps》挑战第 84 天2022/Days/day84.md的核心内容展开属于该系列「数据管理」专题的开篇总览。文章聚焦一个命题在物理机、虚拟机、云与云原生含 Kubernetes并存的今天数据管理如何从「事后补救」变成 DevOps 自动化交付中的一等公民。读完你将掌握数据管理的全景框架——从 DAMA 的权威定义、DevOps 与数据的关系到数据质量、一致性、安全性三大保障维度以及 DataOps 与数据保护的落地路线图。数据DATA在数据管理Data Management与数据治理Data Governance体系下被塑造成具备 Accuracy、Consistent、Secure、Clean 等特性的受管理数据MANAGED data最终转化为业务价值VALUE。为什么数据管理不是新课题却是最大的痛点数据管理绝非一座新出现的墙。但可以肯定的是数据在今天比几年前更加重要数据有价值、且不断变化而一旦进入自动化、持续集成、持续测试与频繁部署的 DevOps 语境它就可能变成一场噩梦。正如原文所指出的持久化数据及其底层数据服务往往是系统出问题时的「罪魁祸首」。在 90DaysOfDevOps 挑战中我们已经接触了大量平台——物理机、虚拟机、公有云、云原生当然也包括 Kubernetes。没有任何一个平台可以免除数据管理的需求。无论你的业务是什么几乎总能在环境中的某个角落找到一个数据库它可能是企业最关键的系统的核心也可能是整条链路中某个存储持久化数据的齿轮。数据管理贯穿整个挑战的各个平台主题是横切所有技术栈的共性难题。DevOps 与数据把对的人和对的流程带进来与挑战最开始讨论 DevOps 原则时一样要让数据流程变得更好第一步是引入正确的人。这可能包括 DBA数据库管理员同样也必须包括那些真正关心数据服务备份的人。第二步是识别与数据关联的数据类型、数据域domain与数据边界boundary。这样数据就不会被数据库管理员、存储工程师或备份工程师各自孤立地silo处理而是让整个团队共同决定面向更广泛的业务去开发和托管应用时最佳行动路线是什么把数据架构当成业务的一等公民来设计而不是事后的补丁afterthought。数据管理可以覆盖数据生命周期的许多环节数据摄取data ingest数据将被如何、在何处摄入到我们的服务或应用中数据访问服务、应用或用户如何访问这些数据数据安全我们如何保护这些数据security数据保护在安全之上我们如何保障数据不丢失、可恢复protection这四个问题构成了数据管理从「接入」到「保护」的完整闭环也是后续备份、容灾与数据移动性章节的引子。Data Management 101权威定义与四大要点关于数据管理的权威定义原文引用了DAMAData Management Association的《数据管理知识体系》DAMA-DMBOK数据管理是「对计划、政策、程序与项目的开发、执行与监督以控制、保护、交付并提升数据与信息资产的价值。」围绕这一定义原文提炼了四条核心认知也是评估任何数据管理方案时的判断标准1. 数据是业务最重要的资产但只是业务的一部分「数据是业务的命脉lifeblood」这句话大概率是成立的。但正如血液对人体很重要、单独存在却毫无意义一样——我们仍然需要身体的其他部分才能让血液不仅仅是液体。同理数据需要与应用、流程、团队配合才能产生业务价值。2. 数据质量比以往任何时候都重要我们必须把数据当作业务资产来对待给予它应有的考量使其能够与我们的自动化流程和 DevOps 原则协同工作。低质量的数据会直接传导到自动化链路的输出质量上。3. 及时访问数据没有人有耐心在需要做出有效决策时却无法在正确的时间访问正确的数据。无论数据以何种形态呈现都必须以精简、及时的方式保证其可用性。4. 数据管理必须成为 DevOps 的使能者enabler前面提到了「精简streamlining」我们必须把数据管理需求纳入交付循环不仅要保证数据可用还要为数据点提供基于策略的保护policy-based protection并配套经过充分测试的恢复模型fully tested recovery models。这一点直接呼应了挑战系列反复强调的「测试一切」原则——备份不经过恢复演练就只是「复制文件」而已。DataOpsDevOps 在数据领域的分身DataOps 与 DevOps 都把技术开发与运维的最佳实践应用于同一个目标提升质量、加快速度、降低安全威胁、让客户满意并为专业人员提供有意义且有挑战的工作。两者共享的核心目标是——通过自动化尽可能多的流程步骤来加速产品交付。对 DataOps 而言其具体目标是一条弹性的数据管道resilient data pipeline以及从数据分析中获得的可信洞察trusted insights。DataOps 最常见的几个高阶应用领域包括机器学习Machine Learning大数据Big Data数据分析Data Analytics含人工智能AI数据管理即信息管理Accuracy、Consistent、Secure 三大保障维度原文明确划定了本专题的聚焦范围不深入机器学习或人工智能而是聚焦「从数据保护视角守护数据」。标题「数据管理即信息的管理Data management is the management of information」点出关键等式信息 数据。在这个旅程中有三个关键维度必须始终考虑Accuracy准确性生产数据必须是准确的同样地以备份形式存在的数据也必须是可用的、经过恢复测试的。当故障或意外发生时我们必须能够以最快的速度恢复运行。准确性不是备份那一刻的静态属性而是「备份 恢复演练」持续验证出来的动态结果。Consistent一致性如果数据服务跨越多个位置生产环境就必须保证所有数据位置之间的一致性以确保拿到的是准确数据。这一要求同样延伸到数据保护尤其是对有状态的数据服务必须在不同层次应用层、文件系统层、存储层上保证一致性才能为备份、副本replicas等取得一份干净、可用的数据副本。Secure安全性安全性首先是访问控制Access Control同时「保护数据本身」也是当前全球范围内的热点议题。确保正确的人能访问你的数据至关重要同样的逻辑也必须贯穿数据保护环节——只有必要的人员才有权访问备份、执行恢复、克隆或提供业务数据的其他版本。Better Data Better Decisions「更好的数据 更好的决策」是本节乃至整个数据管理专题的收束语。数据管理诸多的概念、流程与工具最终都指向这一朴素结论数据资产的质量、一致性与安全性直接决定了决策质量与业务韧性。这也是为什么数据管理不能是某个团队的后置任务而必须前置到 DevOps 与 DataOps 的循环之中。数据管理实战路线图后续 6 天做什么作为专题开篇原文预告了接下来 6 个 session 的实战方向数据库Databases、备份与恢复Backup Recovery、灾难恢复Disaster Recovery、应用移动性Application Mobility并且「全程伴有演示与动手环节」。在仓库中这些主题已逐一落地天数主题仓库文档Day 85数据服务数据库类型全景2022/Days/day85.mdDay 86全平台备份含 3-2-1 备份方法论2022/Days/day86.mdDay 87K8s 备份实战Kasten K102022/Days/day87.mdDay 88面向应用的备份Kanister2022/Days/day88.mdDay 89灾难恢复Disaster Recovery2022/Days/day89.mdDay 90数据与应用移动性2022/Days/day90.md其中Day 88 讲到的Kanister 应用感知备份可以直接在本仓库找到真实配置佐证2022/Days/Data/mysql-blueprint.yml 是一个 MySQL 的 Kanister Blueprint 示例备份动作定义、恢复动作定义它把「一致性」与「可恢复性」落成了可执行代码backup动作通过mysqldump --single-transaction --all-databases导出全库并以gzip压缩后推送到对象存储Profile 定义的目标位置同时在蓝图中以kando output s3path把备份路径作为产物artifact输出restore动作从对象存储拉取备份文件经gunzip解压后通过mysql灌回数据库实现完整的恢复闭环delete动作则负责清理对象存储中对应的备份产物。这个 Blueprint 正是 Day 84 所述原则的具象化数据服务必须拥有经过测试的、策略化的保护与恢复模型——--single-transaction保证备份时的一致性快照s3path产物让备份可被追踪、可被自动化调度而恢复动作的存在意味着「备份可用性」不是口号而是可验证的流程。小结Day 84 为整个数据管理专题定下了基调数据管理不是孤立的运维任务而是需要正确的人、正确的流程、正确的数据边界共同参与的工程实践。核心要点可以浓缩为数据是业务资产但必须与流程、团队协同才产生价值数据质量、及时访问、基于策略的保护与可测试的恢复模型是数据管理进入 DevOps 循环的四块基石DataOps与 DevOps 目标一致聚焦弹性数据管道与可信洞察Accuracy、Consistent、Secure三大维度贯穿生产数据与保护副本的全生命周期后续 6 天将围绕数据库、备份恢复、灾难恢复与应用移动性结合仓库中的 Kasten K10、Kanister 及 mysql-blueprint.yml 等真实配置展开实操——Better Data Better Decisions从打好数据管理的地基开始。赞分享文档/教程【免费下载链接】90DaysOfDevOpsThis repository started out as a learning in public project for myself and has now become a structured learning map for many in the community. We have 3 years under our belt covering all things DevOps, including Principles, Processes, Tooling and Use Cases surrounding this vast topic.项目地址https://gitcode.com/gh_mirrors/90/90DaysOfDevOps点击查看免费下载相关推荐使用golang-migrate/migrate管理数据库DevOps策略使用golang migrate/migrate管理数据库DevOps策略 在现代软件开发中数据库变更管理是DevOps流程中最具挑战性的环节之一。根据Dev数据库开发工具CLIKlakSpout API详解掌握SpoutSender与SpoutReceiver核心组件KlakSpout API详解掌握SpoutSender与SpoutReceiver核心组件 KlakSpout是Unity开发者的终极视频流共享解决方案这90DaysOfDevOps数据库DevOps自动化数据库部署和迁移的最佳实践90DaysOfDevOps数据库DevOps自动化数据库部署和迁移的最佳实践 90DaysOfDevOps项目为DevOps工程师提供了全面的数据库自动化部文档/教程上一篇QEMU/KVM 的 Hyper-V Enlightenments 完整指南配置、原理与最佳实践下一篇艾尔登法环存档迁移5步教程用 EldenRingSaveCopier 精准转移单个角色创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考