SRE 주간 호 #515

Source: SRE Weekly

주요 내용

“대시보드가 항상 초록색인 이유가 모든 것이 정상적으로 작동하기 때문인가요, 아니면 메트릭이 거짓말을 하고 있기 때문인가요?”
— Barnadeep Bhowmik, Stackademic

“하지만 새로운 쿼리를 배포했을 때 디스크 쓰기가 두 배가 되고 Write‑Ahead Logging (WAL) 동기화는 네 배가 되었습니다. 업서트가 값을 변경하지 않더라도 충돌하는 행을 잠그고, 이는 WAL에 기록된다는 것을 발견했습니다.”
— Anthonin Bonnefoy, Datadog

“사고를 예방하려고만 하는 것이 아니라, 사고가 불가피하게 발생했을 때 완전히 대비하는 것이 중요합니다.”
— Joe Mckevitt, Uptime Labs

“큐는 급증을 흡수하지만 지속적인 과부하는 흡수하지 못합니다. 역압(backpressure), 제한, 모니터링이 없으면 백로그가 쌓여 시스템이 실패할 때까지 계속됩니다.”
— David Iyanu Jonathan, DZone

“코드가 모든 임시 포트를 소진했고, 그 후 스스로 로그를 남기며 죽어가며 불평했습니다. 우회 방법이 마음에 듭니다. 루프백은 /8이죠!”
— Jim Calabro, Bluesky

“AI가 문제를 직접 해결해준 것은 아니지만, 반복 작업을 가속화하고 반복 시간을 크게 줄여서 훨씬 빠르게 답을 얻을 수 있게 했습니다.”
— Tristan Streichenberger, Mixpanel

“이것이 본질적으로 장애/성능 저하 보고서라는 점은 흥미롭지만, LLM 도구의 시스템 성능 저하 정의는 전통적인 서비스보다 훨씬 주관적입니다. ‘절제(ablation) 테스트’ 개념이 정말 멋집니다.”
— Anthropic