대부분의 장애는 예방 가능: 왜 시스템은 어제부터 Self‑Healing이 필요할까

Source: Dev.to

Introduction

Self‑healing 시스템은 문제가 발생했을 때 스스로 자동으로 복구할 수 있는 컴퓨터 시스템을 말합니다. 사람이 문제를 인지하고 수동으로 개입하는 (“반응형 화재 진압”) 방식을 기다리는 대신, 이러한 시스템은 능동적입니다. 시스템은 지속적으로 자신을 모니터링하여 작은 징후(성능 약간 감소나 초기 오류)를 포착합니다. 문제가 감지되면 자동으로 결함이 있는 구성 요소를 재시작하거나, 잘못된 업데이트를 롤백하거나, 시스템의 병든 부분을 격리하는 등 복구 조치를 취합니다.

Why Self‑Healing Is Important?

• 사용자가 체감하기 전에 장애를 방지 – 시스템은 지연, 메모리 급증, 건강 체크 실패와 같은 성능 저하를 감지하고 고객에게 영향을 주기 전에 스스로 복구합니다.
• 온콜 피로도 제거 – 3 시 “포드 재시작”이나 “스케일 업” 같은 화재 훈련에서 운영팀을 해방합니다.
• 신뢰성 및 SLO 준수 향상 – 자동 복구가 가용성을 높게 유지하게 해 사람의 개입을 기다릴 필요가 없습니다.
• 마이크로서비스 생태계 안정화 – 분산 시스템에서는 장애가 연쇄적으로 퍼질 수 있는데, self‑healing이 그 연쇄 반응을 차단합니다.
• 빠른 복구 = 더 나은 사용자 경험 – 자동 롤백 / 재시작 / 재동기화가 인간이 디버깅하는 것보다 빠릅니다.

Key Tools Involved in Self‑Healing Systems

Health Detection (Identifying the “Wound”)

시스템이 문제가 있음을 인식하는 방법.

Correction / Healing

상처가 확인되면 교정 메커니즘이 작동합니다.

Self‑Healing Steps

What Should Be Done During & After Self‑Healing

안정성을 보장하기 위해 엔지니어링 팀은 self‑healing 이벤트를 잡음이 아닌 신호로 취급해야 합니다.

4.1 Record the Healing Event

• 타임스탬프
• 포드/컨테이너 ID
• 실패 원인
• 메트릭 스냅샷
• 수행된 복구 작업
• 성공/실패 상태

이는 나중에 RCA를 위한 금광이 됩니다.

4.2 Analyze Pattern Trends

다음 항목을 확인합니다:

• 포드가 자주 재시작되는 경우
• 메모리 또는 CPU 사용량 패턴이 높은 경우
• 배포 후 지연이 급증하는 경우
• 자동 스케일링 후 일관된 문제 발생
• 특정 노드에서만 발생하는 실패

4.3 Continuous RCA

Self‑healing은 증상을 해결합니다. 우리는 여전히 근본 원인을 해결해야 합니다:

• 메모리 누수
• 교착 상태
• 잘못된 배포
• 결함이 있는 인프라
• 잘못된 설정
• 자원 고갈

4.4 Alert Humans Only When Needed

건강한 패턴:

• 하루에 1–2번 self‑heal → 정상
• 짧은 시간에 3번 발생 → 알림
• 지속적인 재시작 → 심각 알림

4.5 Prevent Recurrence

영구적인 해결책을 자동화합니다:

• 스로틀링 / 레이트‑리밋 추가
• 지터를 포함한 재시도 로직 추가
• 서킷 브레이커 적용
• 자동 스케일링 임계값 개선
• 자원 제한 적용
• 배포 검증 강화
• Helm 롤백 정책 적용

Summary

Self‑healing은 단순히 “자동 재시작”이 아닙니다. 전체 생태계입니다:

Detect → Diagnose → Heal → Verify → Learn → Fix permanently

Jai Chinjo!