OpenClaw meets AnyAPI.ai: 정신을 잃지 않고 웹을 스크랩하는 방법
Source: Dev.to
한 번만 솔직히 얘기해 보죠. 웹 스크래핑은 예전엔 깨진 CSS 선택자와 사이트 업데이트와의 끊임없는 고양이‑쥐 게임이었습니다. 개발자가 div를 section으로 바꿔서 스크래퍼가 계속 깨지는 데 지치셨다면, 여기 바로 맞는 곳입니다.
오늘은 OpenClaw(눈과 손)과 AnyAPI.ai(뇌)를 결합합니다. 이 조합을 사용하면 한 줄도 손상되기 쉬운 선택자 코드를 작성하지 않고도 지저분한 웹사이트를 깔끔한 JSON으로 바꿀 수 있습니다.
OpenClaw는 뭐가 다른가요?
OpenClaw는 AI 에이전트를 이용해 인간처럼 웹을 탐색하는 오픈‑소스 도구입니다. “두 번째 div 안에 있는 세 번째 span을 찾아라”라고 지시하는 대신, “상품 가격을 알려줘”라고 말하면 됩니다.
스크롤링, 클릭, 복잡한 HTML을 모두 처리합니다. 실제로 무엇을 보고 있는지 이해하려면 대형 언어 모델(LLM)과 통신해야 하는데, 여기서 보통 API 키와 지역 차단 때문에 번거로움이 생깁니다.
AnyAPI.ai 등장: 궁극의 LLM 단축키
AnyAPI.ai는 AI 모델을 위한 범용 리모컨과 같습니다. OpenAI, Anthropic, Google 등 각각의 계정을 관리하는 대신 하나의 키만 있으면 됩니다.
- 한 번의 결제 설정 – 한 곳에서 결제하고 GPT‑4o, Claude 3.5, Llama 3 등 다양한 모델에 접근합니다.
- OpenAI 호환 – OpenAI와 동일한 요청 형식을 사용하므로 URL 하나만 바꾸면 거의 모든 AI 도구에 바로 연결할 수 있습니다.
- 국경 없음 – 일부 제공자가 차단된 지역에서도 AnyAPI가 합법적인 다리 역할을 합니다.
3분 설정
설정 파일 (.env 방식)
가장 깔끔한 방법은 .env 파일을 만들고 OpenClaw가 OpenAI와 통신하는 것처럼 속이면서 실제로는 AnyAPI를 경유하도록 하는 것입니다.
# OpenClaw를 AnyAPI 게이트웨이로 리다이렉트
BASE_URL="https://api.anyapi.ai/v1"
# Your AnyAPI key
ANYAPI_API_KEY="your_actual_anyapi_key"
# AnyAPI 목록 중 원하는 모델 선택
MODEL_NAME="gpt-4o"파이썬 코드
시작하기 위한 간단한 스크립트입니다. 복잡한 설정 없이 순수 데이터 추출만 수행합니다.
from openclaw import OpenClaw
import asyncio
import os
# Point the base_url to AnyAPI
claw = OpenClaw(
api_key=os.getenv("ANYAPI_API_KEY"),
base_url="https://api.anyapi.ai/v1",
model="gpt-4o"
)
async def scrape_site():
# Define the schema you want back
my_schema = {
"title": "string",
"price_usd": "float",
"availability": "boolean"
}
print("Working my magic...")
result = await claw.scrape(
url="https://example-shop.com/product",
schema=my_schema
)
print(f"Here is your data: {result}")
if __name__ == "__main__":
asyncio.run(scrape_site())더 나은 경험을 위한 프로 팁
- 토큰 사용량을 주시하세요 – 웹 페이지에는 쓸모없는 코드가 많습니다. AnyAPI에서
gpt-4o-mini와 같은 작은 모델을 사용하면 수천 페이지를 스크래핑할 때 비용을 크게 절감할 수 있습니다. - 타임아웃을 활용하세요 – AI가 페이지 내용을 “생각”하는 데 몇 초가 필요합니다. 기본 10초 대신 60초와 같은 관대한 타임아웃을 스크립트에 설정하세요.
- 모델 전환 – GPT‑4o가 특정 테이블을 처리하기 힘들다면 AnyAPI 설정에서
MODEL_NAME을claude-4-5-sonnet으로 바꾸면 됩니다. 코드 수정은 필요 없습니다.
마무리 생각
OpenClaw와 AnyAPI.ai를 결합하면 사실상 “미래에도 견딜 수 있는” 스크래퍼를 만들 수 있습니다. 내일 웹사이트가 전체 레이아웃을 재설계하더라도 AI가 여전히 데이터를 찾아낼 것입니다.