Alibaba Cloud와 AWS가 우리 사이트를 수집하는 익명 봇을 호스팅합니다. 귀하의 사이트도 다음이 될 수 있습니다.
Source: Dev.to
관찰
우리는 오픈 웹에서 봇과 AI 에이전트가 어떻게 행동하는지를 측정하는 독립 관측소를 운영하고 있습니다. 지난 주에 기록할 만한 무언가를 포착했습니다.
TLS 지문 상세
다양한 IP 주소에서 계속 나타난 TLS 지문:
JA4 hash: t13d311100_e8f1e7e78f70_d41ae481755e이 지문은 다음을 나타냅니다:
- TLS 1.3
- 31개의 암호 스위트
- 11개의 확장
- 빈 ALPN 필드
실제 브라우저는 항상 ALPN을 광고합니다(예: Chrome과 Firefox는 h2를 보냅니다). 2026년에 빈 ALPN은 Go의 net/http나 Python의 requests와 같은 커스텀 TLS를 사용하는 HTTP 라이브러리를 의미하며, 브라우저가 아닙니다. 클라이언트는 브라우저인 척 가장하고 있었습니다.
User‑Agent 회전
같은 JA4 지문이 13개의 서로 다른 브라우저 아이덴티티를 순환했습니다:
- Windows에서 Chrome 135
- Edge와 함께 사용된 Chrome 135
- macOS에서 Chrome 134
- Firefox 137
- Safari 18.3 / 18.2
- AdGuard가 적용된 Chrome
- Chrome 131, 130, 116
- ChromeOS
- …그 외 몇 가지
13개의 브라우저, 하나의 TLS 핸드셰이크. 실제 사용자는 그렇게 많은 브라우저를 가지고 있지 않으며, TLS 지문을 공유하지도 않습니다. 이는 정적 소프트웨어 스택이 일반적인 User‑Agent 목록을 회전시키는 의도적인 회피를 의미합니다.
IP 귀속
IP를 ARIN에 조회한 결과:
- 47.74.0.0 – 47.87.255.255 – **Alibaba Cloud LLC (AL‑3)**에 할당. 지문에서 발생한 107개의 연결 모두가 이 범위 내 임대 인프라에서 나왔습니다.
- 추가로 하나는 3.91.x.x에서 왔으며, 이는 **Amazon Web Services (us‑east‑1)**에 속합니다.
같은 소프트웨어가 두 클라우드 제공업체에 나타나며, 이는 차단과 귀속을 어렵게 만들기 위한 멀티‑클라우드 배포임을 나타냅니다.
사이트에서의 행동
봇의 활동은 콘텐츠 수집과 일치했습니다:
- 유기적인 방문자가 도달하지 않을 경로에 접근.
robots.txt를 전혀 요청하지 않음 (107번 연결 중 0번).- 어떤 User‑Agent에서도 자신을 봇이라고 식별하지 않음.
- 모든 요청에 고정된
Referer헤더를 포함해 홈 페이지를 가리키게 함, 실제 출처와 무관하게. - URL 이스케이프를 올바르게 디코딩하지 못하는 잘못된 URL을 따라감. 이는 브라우저보다 스크래핑 라이브러리의 HTML 파서에서 흔히 보이는 패턴입니다.
증거 및 검증
모든 관찰은 독립적으로 검증 가능합니다:
- TLS 지문 – JA4 사양을 통해.
- IP 범위 – ARIN 레코드를 통해.
- User‑agent 회전 – 요청 로그에 캡처됨.
- Robots.txt 누락 – 요청 로그에서 명확히 확인됨.
- 멀티‑클라우드 존재 – IP 소유권 데이터를 통해 확인됨.
우리는 요청 데이터에 대한 암호화 서명된 관찰 체인을 제공합니다.
사이트 소유자를 위한 시사점
- 규모 – 작은 관측소가 며칠 만에 이 활동을 감지했다면, 실제 웹 전체 규모는 훨씬 클 가능성이 높습니다.
- 귀속 – 멀티‑클라우드 운영자는 신용카드로 인프라를 임대할 수 있어 전통적인 IP 평판 및 봇‑명 필터가 무력화됩니다.
- 방어 도구 – 표준 분석 도구, CDN, WAF는 트래픽을 제한하거나 차단할 수 있지만, 이러한 익명 회전 봇을 정확히 식별하기는 어렵습니다.
Alibaba Cloud와 AWS 모두 이용 약관에서 이러한 활동을 금지하고 있지만, 실제 집행은 미흡한 것으로 보입니다.
방법론 및 추가 정보
전체 방법론, 레지스트리, 그리고 암호화 서명된 증거 체인은 다음에서 확인할 수 있습니다: