构建真实世界的 Kubernetes 灾难恢复与备份自动化系统

Source: Dev.to

概览

我构建了一个 Kubernetes 灾难恢复和备份自动化系统，以应对真实场景下的故障，例如意外的命名空间删除或配置丢失。虽然 Kubernetes 在 Pod 级别具有自我修复能力，但它并不能防止人为错误。该项目的重点是备份和恢复实际的集群状态。

工作原理

• API 交互：系统使用 Node.js 直接连接 Kubernetes API 并获取实时资源。
• YAML 清理：获取的清单会通过删除运行时特定字段（如 uid、resourceVersion、时间戳、status）进行清理。这使得备份具备可移植性，且能够安全地在同一集群或不同集群上重新应用。
• 带时间戳的备份：每次备份都会存放在带时间戳的目录中，从而可以恢复到特定时间点。

测试恢复过程

1. 部署一个类似生产环境的应用并确认其正常运行。
2. 故意删除资源，以模拟灾难情景。
3. 恢复逻辑读取已清理的 YAML 文件并重新创建资源。
4. 通过观察 Deployment 和 Pod 恢复到运行状态来验证恢复成功。

生产就绪部署

• 容器化：备份逻辑已容器化，并作为 Kubernetes CronJob 在集群内部运行。
• RBAC：实现了一个专用的 ServiceAccount，采用最小权限原则，允许自动化程序读取集群资源而不拥有过多权限。

收获

• 对 Kubernetes 内部机制和元数据处理有了更深入的理解。
• 探索了安全自动化的 RBAC 设计。
• 学会了超越基础自我修复的真实灾难恢复系统架构。

源代码

GitHub Repository – k8s-disaster-recovery-automation