使用 Circuit Breaker 防止 ECS 部署的静默失败

抱歉，我需要您提供要翻译的具体文本内容（文章正文），才能为您进行简体中文翻译。请将文章的文字粘贴在这里，我会在保持原有格式和代码块不变的前提下完成翻译。

概述

AWS Elastic Container Service (ECS) 提供了一个内置功能，称为 deployment circuit breaker，旨在使服务部署更安全、更具弹性。

电路断路器在部署期间持续监控任务的健康状况，如果新启动的任务未能变为健康状态，则会自动回滚更改。启用后，它可防止失败的部署导致服务处于降级或不可用状态。

如果没有此保护措施，部署失败很容易被忽视。例如，如果新任务启动失败或永远无法通过健康检查，服务仍可能显示为运行状态，但实际上已经中断。这些静默失败可能导致数据丢失、财务影响或运营问题，具体取决于工作负载。

在本文中，我将演示如何：

1. 使用 Terraform 启用 ECS 部署电路断路器。
2. 通过 EventBridge 观察部署失败。
3. 将实时警报发送到 Slack。

为什么 ECS 部署断路器很重要

• Automatic rollback – 失败的部署会回滚到上一次已知的健康服务修订版。
• Improved visibility – 每当部署失败或回滚时，ECS 会发出结构化事件。
• Reduced operational overhead – 故障会自动得到缓解，无需立即人工干预。

合在一起，这些显著降低了因错误部署导致的生产事故风险。

在 Terraform 中启用电路断路器

部署电路断路器可以直接在 ECS 服务定义中启用。在 Terraform 中，这通过 deployment_circuit_breaker 块实现：

resource "aws_ecs_service" "default" {
  name            = "tuve"
  cluster         = aws_ecs_cluster.main.id
  task_definition = aws_ecs_task_definition.default.arn
  desired_count   = 2

  deployment_circuit_breaker {
    enable   = true
    rollback = true
  }

  # … 其他服务设置 …
}

有了此配置，ECS 将在新任务未能达到健康状态时自动停止并回滚部署。

启用后，AWS 管理控制台会明确显示 部署电路断路器 已打开。

观察部署失败

自动回滚很有用，但可见性同样重要。

当 ECS 部署断路器触发时，ECS 会向 Amazon EventBridge 发出事件，具有以下 detail type：

ECS Deployment State Change

示例事件负载

{
  "version": "0",
  "id": "ddca6449-b258-46c0-8653-e0e3aEXAMPLE",
  "detail-type": "ECS Deployment State Change",
  "source": "aws.ecs",
  "account": "111122223333",
  "time": "2020-05-23T12:31:14Z",
  "region": "eu-central-1",
  "resources": [
    "arn:aws:ecs:eu-central-1:111122223333:service/default/servicetest"
  ],
  "detail": {
    "eventType": "ERROR",
    "eventName": "SERVICE_DEPLOYMENT_FAILED",
    "deploymentId": "ecs-svc/123",
    "updatedAt": "2020-05-23T11:11:11Z",
    "reason": "ECS deployment circuit breaker: task failed to start."
  }
}

关键字段监控

跟踪这些字段可确保部署问题能够立即被发现，而不是在数小时后才被察觉。

AWS 控制台中的部署回滚

AWS 管理控制台同样提供对回滚活动的清晰可见性。部署失败后，Deployments 选项卡会显示回滚状态以及目标服务的修订版本。

此视图对于确认断路器按预期工作尤为有用。

发送部署警报到 Slack

为了确保部署失败能够立即被注意到，可以使用 EventBridge 和 Lambda 函数将 ECS 部署事件路由到 Slack。

整体流程： ECS → EventBridge → Lambda → Slack

Lambda 处理函数示例（Python）

import json
import urllib.request

SLACK_WEBHOOK_URL = "https://hooks.slack.com/services/XXXXX/XXXXX/XXXXX"

def lambda_handler(event, context):
    # Verify we have the right event type
    if event.get("detail-type") != "ECS Deployment State Change":
        return

    detail = event.get("detail", {})
    event_name = detail.get("eventName")

    # Only act on failure or rollback completion events
    if event_name not in (
        "SERVICE_DEPLOYMENT_FAILED",
        "SERVICE_DEPLOYMENT_ROLLBACK_COMPLETED",
    ):
        return

    # Extract useful information
    resources = event.get("resources", [])
    service_name = resources[0].split("/")[-1] if resources else "unknown"
    reason = detail.get("reason", "Unknown")
    updated_at = detail.get("updatedAt", "Unknown")

    # Build Slack message
    message = {
        "text": f"*ECS Deployment Alert*\n"
                f"*Service:* `{service_name}`\n"
                f"*Event:* `{event_name}`\n"
                f"*Reason:* {reason}\n"
                f"*Time:* {updated_at}"
    }

    # Send to Slack
    data = json.dumps(message).encode("utf-8")
    req = urllib.request.Request(
        SLACK_WEBHOOK_URL,
        data=data,
        headers={"Content-Type": "application/json"},
    )
    urllib.request.urlopen(req)

    return {"statusCode": 200, "body": "Notification sent"}

配置一个 EventBridge 规则，使其匹配 ECS Deployment State Change 细节类型并将事件转发到此 Lambda 函数。当出现失败或回滚时，Lambda 会向指定的 Slack 频道发送格式化的消息，让团队立即获得可见性。

TL;DR

• 在您的 ECS 服务中启用 deployment_circuit_breaker（如上面的 Terraform 示例）。
• 使用 EventBridge 捕获 ECS Deployment State Change 事件。
• 将这些事件转发给一个 Lambda，以向 Slack 发送即时警报。

有了电路断路器、EventBridge 监控和 Slack 通知，您将拥有一个强大的安全网，能够自动回滚有问题的部署，并在它们发生的瞬间立即通知您。

send_slack_notification(
    service=service_name,
    reason=reason,
    event_type=event_name,
    timestamp=updated_at
)

EventBridge 规则（Terraform）

以下 EventBridge 规则过滤 ECS 部署事件并将其转发到 Lambda 函数：

resource "aws_cloudwatch_event_rule" "ecs_deployment" {
  name = "ecs-deployment-events"

  event_pattern = jsonencode({
    "source": ["aws.ecs"],
    "detail-type": ["ECS Deployment State Change"],
    "detail": {
      "eventName": [
        "SERVICE_DEPLOYMENT_FAILED",
        "SERVICE_DEPLOYMENT_ROLLBACK_COMPLETED"
      ]
    }
  })
}

resource "aws_cloudwatch_event_target" "lambda" {
  rule = aws_cloudwatch_event_rule.ecs_deployment.name
  arn  = aws_lambda_function.notification.arn
}

最终结果

在启用 ECS 部署断路器并添加 Slack 通知后：

• 失败的部署会自动回滚
• 静默的服务故障被消除
• 部署问题实时可见
• ECS 服务默认更安全

通过将自动回滚与实时警报相结合，您可以显著降低运营风险，并提升对 ECS 部署的信心。