상태 유지형 스크래퍼: Mechanize가 여전히 중요한 이유

Source: Dev.to

Source: …

“오버킬” 문제

오늘날 개발자에게 로그인 이 필요한 웹사이트를 스크래핑하는 방법을 물어보면, 대부분 Playwright, Selenium, 혹은 Ferrum을 추천할 것입니다.

이 도구들은 훌륭하지만 다음과 같은 큰 “세금”이 따릅니다:

• 메모리: 전체 Chromium 인스턴스를 부팅합니다.
• 속도: CSS, 이미지, JavaScript를 다운로드하고 실행해야 합니다.
• 복잡성: DOM에 요소가 나타날 때까지 “대기”를 관리해야 합니다.

하지만 스크래핑하려는 사이트가 복잡한 React 싱글‑페이지 앱이 아니라면 어떨까요? 서버에서 데이터를 렌더링하는 전통적인 “클래식” Rails, PHP, Django 사이트라면요?

그런 경우 Playwright를 사용하는 것은 사진 액자를 걸기 위해 대형 망치를 사용하는 것과 같습니다. 이제 Mechanize를 다시 발견할 때입니다.

Mechanize란?

Mechanize는 브라우저처럼 동작하지만 전적으로 HTTP 레이어에서 동작하는 Ruby 라이브러리입니다. 렌더링 엔진이 없으며(CSS/JS 없음), 하지만 상태를 유지합니다.

Faraday나 Net::HTTP와 같은 기본 HTTP 클라이언트를 사용할 경우, 각 요청이 독립적입니다. 쿠키, 헤더, 리다이렉트를 직접 관리해야 합니다. Mechanize는 이 모든 작업을 자동으로 수행합니다.

”Stateful” 슈퍼파워

Mechanize가 기본 HTTP 클라이언트보다 훨씬 뛰어난 이유는 Cookie Jar와 History 덕분입니다. 그것은 당신이 누구인지 기억합니다.

예시: 로그인 제한 포털 스크래핑

Mechanize가 로그인 흐름을 얼마나 쉽게 처리하는지 보세요. 폼을 찾아서 필드를 채우고, 사람처럼 “제출”합니다.

require 'mechanize'

agent = Mechanize.new

# 1. Go to the login page
page = agent.get('https://example-portal.com/login')

# 2. Mechanize finds the form automatically
login_form = page.form_with(id: 'login-form')

# 3. Fill out the fields
login_form.username = 'my_user'
login_form.password = 'secret_pass'

# 4. Submit the form
# Mechanize follows the redirect and stores the login cookies!
dashboard = agent.submit(login_form)

# 5. Now you are logged in and can scrape the private data
puts dashboard.search('.account-balance').text

2026에도 여전히 사용해야 하는 이유

1. 속도 (10배 이점)
   Mechanize는 이미지를 다운로드하지 않고, CSS를 파싱하지 않으며, JavaScript도 실행하지 않기 때문에 번개처럼 빠릅니다. Playwright에서 10 초가 걸리는 스크립트가 Mechanize에서는 종종 1 초 미만으로 끝납니다.

2. 낮은 리소스 사용량
   작은 $5 VPS에서도 Mechanize 스크래퍼 100개를 동시에 실행할 수 있습니다. 100개의 Chromium 인스턴스로 시도해 보면 서버가 녹아버릴 겁니다.

3. Nokogiri와의 네이티브 통합
   내부적으로 Mechanize는 파싱에 Nokogiri를 사용합니다. Nokogiri에서 CSS 또는 XPath 선택자를 이미 사용할 줄 안다면, Mechanize도 바로 사용할 수 있습니다.

Mechanize를 사용해야 할 때

Mechanize는 이러한 특정 상황에 적합한 “골디락스” 도구입니다:

• “클래식” 웹: 블로그, 포럼, 정부 데이터베이스, 그리고 레거시 기업 포털.
• 간단한 자동화: 로그인하고 월간 PDF 청구서를 다운로드해야 하나요? Mechanize를 사용하세요.
• 폼 제출: 500개의 서로 다른 우편번호에 대해 검색 쿼리를 자동화해야 하나요? Mechanize를 사용하세요.

Mechanize를 피해야 할 때

Mechanize에는 한 가지 큰 약점이 있습니다: JavaScript를 실행할 수 없습니다.

필요한 데이터가 Vue/React 컴포넌트가 마운트된 후에만 나타나거나, “Submit” 버튼이 실제로 복잡한 JS 이벤트 리스너인 경우, Mechanize는 빈 화면을 반환합니다.

Summary: The Tool for the Job

Mechanize는 “겸손한 스크래퍼”입니다. 특정 문제를 완벽히 해결해 온 15년 넘는 기간 동안 Ruby 생태계에서 살아남은 신뢰할 수 있는 경량 작업 말입니다. 500 MB 브라우저를 띄우기 전에 Mechanize가 20 MB로 처리할 수 있는지 확인해 보세요.