LLM 스크래퍼 봇이 acme.com의 HTTPS 서버를 과부하시키고 있다

Source: Hacker News

ACME Updates

07Apr2026 https outage

2022년 2월 25일부터 약 한 달 넘게 acme.com이 간헐적인 네트워크 장애를 겪었습니다. 증상은 매우 높은 핑 시간과 패킷 손실이었습니다. 장애는 몇 시간 지속된 뒤 잠시 사라졌다가 다시 발생했습니다.

문제는 내 인터넷 제공업체인 Sonic이 예정된 유지보수를 수행하고 나를 새로운 네트워크로 전환한 직후 시작되었습니다. 나는 Sonic 지원팀과 함께 그들의 네트워크 변경이나 내가 새로운 네트워크를 위해 수행한 설정 변경이 문제를 일으켰는지 조사했습니다. 몇 가지 실수를 발견했지만, 이를 수정해도 장애는 해결되지 않았습니다.

며칠 전, 새벽 1시쯤 또 다른 장애에 대한 불안감에 휩싸여 트래픽을 자세히 살펴보기로 했습니다. 다음과 같은 흥미로운 점을 발견했습니다:

• 들어오는 패킷 거의 전부가 웹 요청이었습니다.
• 거의 전부가 존재하지 않는 페이지에 대한 요청이었습니다.
• 거의 전부가 포트 443 / https를 사용했으며, 포트 80 / http가 아니었습니다.
• 거의 전부가 사용자‑에이전트에 자신이 LLM 스크래퍼 봇이라고 자랑스럽게 선언하고 있었습니다.

나는 ACME에 두 개의 웹 서버를 운영하고 있습니다. 하나는 매우 빠른 http용이고, 다른 하나는 다소 느린 https용입니다. 아마도 느린 https 서버가 뒤처지고 있었을지도 모른다고 생각했습니다. 그래서 테스트해 보기로 했습니다: 포트 443을 닫았습니다.

문제는 즉시 사라졌고, 다시는 발생하지 않았습니다.

내가 생각하기에 일어난 일: Sonic의 2월 25일 유지보수 이전에 내 https 서버는 겨우 버티고 있었을 가능성이 높습니다. 유지보수 중에 일어난 어떤 변화—예를 들어 사용 가능한 대역폭이 증가했을 수도 있습니다—가 상황을 뒤집어 버려, 특히 두 개의 서로 다른 봇이 동시에 서버를 강타할 때 웹 서버가 뒤처지게 만들었습니다. 서버가 충분히 뒤처지면 혼잡이 natd(Network Address Translation 데몬)까지 퍼졌습니다. natd가 포화 상태에 이르면 패킷이 지연되고 손실되기 시작했습니다.

https 서비스를 차단한 것은 일시적인 해결책에 불과합니다. 나는 여전히 https를 제공하고 싶지만, 큰 문제가 되지는 않습니다. 정상적인 웹 트래픽이 90 %는 http이고 10 %는 https이므로, 최대 10 %의 트래픽만 손실하게 됩니다. 곧 더 나은 해결책을 구현할 예정입니다.

이 문제는 나만의 문제가 아닙니다. LLM 기업들이 특정 사이트만을 노린 것이 아니라, 인터넷상의 모든 사이트를 강타하고 있습니다. 이와 같은 문제를 겪고 있는 다른 취미 수준 사이트도 두 곳 정도 알고 있습니다. 누군가 반드시 이 문제에 대해 조치를 취해야 합니다.