Chaos Engineering 的商业案例：用于测试应用可靠性的 ROI 计算器

Source: Dev.to

混沌工程是主动测试应用可靠性的最佳方式之一，但许多领导团队从未听说过这一概念。工程团队需要能够构建有力的商业案例，向预算持有人说明混沌工程和可靠性测试的价值。当出现重大故障时，应用可靠性的价值立刻显现，但稳健的 ROI 计划可以帮助在系统平稳运行时赢得并保持高层支持。

介绍交互式 ROI 计算器

我们刚刚发布了一个 交互式 ROI 计算器，它可以帮助 SRE 团队框定诸如混沌工程等主动可靠性工作带来的业务价值。

为什么混沌工程并不是“更多混沌”

“我们已经够混乱了！” – 当我们询问团队他们的系统可靠性方法时的常见回应。

如果正确实施，混沌工程 不会给系统增加混乱。相反，它运行受控场景，以验证系统在压力条件下的弹性。示例包括：

• 可用区故障
• 依赖响应延迟
• 突然的用户激增

这些实验在软件开发周期的更早阶段创建 反馈回路，使团队能够为用户设计更具容错性的系统。

可靠性测试的好处

• 风险发现 – 查找并解决可能导致关键事件的问题。
• 改进的 MTTR – 缩短平均修复时间（恢复平均时间）。
• 事件减少 – 专注于降低高严重性事件的数量（Sev0、P1 等）。

初始前提

我们最初假设实施混沌工程会在所有事件层级上实现百分比降低。一旦为每个层级分配了成本，计算就变得简单。

问题：

• 并非所有事件都应避免；某些低级别警报表明可见性提升。
• 统计每一起事件可能会激励对低严重性事件的少报。

精细化关注

我们转而衡量通过降低关键事件实现的年度节省。该指标更易跟踪，并且与业务目标保持一致，同时不会鼓励少报。

实验规模与收益递减

• 0 → 100 次运行: 发现新的性能差距和可靠性风险。
• 100 → 200 次运行: 额外的运行发现的新问题更少（收益递减）。

我们最初构建了一个模型，假设在不同风险水平下，固定比例的实验会暴露问题，团队根据容量修复一定比例的问题。然而，这种方法被证明 过于单维：

• 缺乏已记录的检测率参考。
• 需要新的报告机制来跟踪风险缓解。

细微差别: 有些团队将实验自动化为 CI/CD 流水线中的回归测试，这进一步使模型复杂化。

实际验证：富达投资案例研究

在我们的迭代过程中，看到 Keith Blizard 和 Joe Cho 在 AWS re:Invent 2024 的演讲，展示了富达投资在混沌工程方面的进展：

• MTTR 改进 随着混沌测试覆盖率在各应用间的扩展而提升。
• 拥有混沌覆盖的应用比例 与 MTTR 递减幅度 之间的相关性。

我们使用这些指标来：

1. 绘制覆盖率与 MTTR 影响之间的关系图。
2. 将其与 行业平均 MTTR 175 分钟（2024 PagerDuty 报告）进行对比。

停机成本估算

• 每分钟 $4,000 – $15,000（研究估算）。
• 对于员工超过 1,000 人的组织，每分钟 $14,056（2024 BigPanda 报告）。

我们的计算器会要求输入 公司年收入，以便选择最相关的停机成本数值。

我们的保守假设

基于 Steadybit 客户和行业研究的洞察：

• 每个应用每年关键事件减少 30 %，前提是定期运行可靠性测试。

因此计算器：

1. 请求 应用总数 和 具有可靠性测试覆盖的应用数量。
2. 将 30 % 的减少乘以覆盖率，以估算组织的 整体事件减少量。

如何使用计算器

1. 输入公司年度收入 – 确定每分钟的停机成本。
2. 提供应用程序总数 和 覆盖计数。
3. 审查 ROI – 查看因降低 MTTR 和减少关键事件而估计的节省。

扩展混沌实验

如果您想大规模运行混沌实验，可能需要 引入商业可靠性平台或混沌‑工程工具。开源解决方案对于小团队是可行的替代方案，但企业级平台提供：

• 集中式实验管理
• 自动化调度与报告
• 与 CI/CD 流水线集成

准备好计算您的 ROI 吗？

立即尝试交互式 ROI 计算器，并开始为组织中的混沌工程构建数据驱动的商业案例。

Source: …

在大规模部署混沌工程

在跨团队和跨技术部署混沌测试时，工作量会迅速变得耗时。我们使用了基于市场了解和预计实验活动的 通用许可估算。

实施工作量

• 测试推广经理 – 以全职等效（FTE，40 小时/周）计量。
• 薪资基准：平均 SRE 薪资为 每年 $160 k。

这些假设有助于估算实施工作的成本。

ROI 计算器

1. 输入 – 规划您将如何推广混沌工程：

   • 独特的测试类型
   • 实验数量
   • 跨应用的覆盖范围

2. 输出 – 计算器提供：

   • 预计节省的概要和详细视图
   • 实施成本
   • 投资回报率

当您对多年度采纳目标进行建模时，您将构建一个坚实的商业案例，以阐明此项投资的价值。

报告进展

• 事件管理平台（例如 Splunk、PagerDuty）通常已经提供 MTTR 指标。
• 可观测性工具（例如 Datadog、Dynatrace、Grafana Labs）可以跟踪关键事件的数量。

这些指标应当展示出明显的改进。即使系统变得更为复杂——尤其是随着 AI 代理的兴起——保持当前的可靠性姿态 也可以视为一次成功。

分享成功

高可用的应用不会像故障那样吸引注意力，因此您必须 有意识地分享成功：

• 当发现并在影响客户之前修复了重大可靠性漏洞时进行庆祝。
• 突出任何可靠性改进，以保持动力并培育可靠性文化。

开始使用 Steadybit

如果您需要帮助开始进行混沌测试并采用主动可靠性计划，我们 Steadybit 的专家团队随时为您提供支持。

• 使用 30 天免费试用 探索我们的可靠性平台。
• 预约一次简短通话，讨论如何实施混沌工程并立即开始省钱。