Bright Data MCP Server와 AI 에이전트를 사용하여 모든 웹사이트 스크래핑하는 방법

Source: Dev.to

Overview

저는 Noah Kalson을 통해 Bright Data MCP (Model Context Protocol) 서버를 알게 되었고, 이 강력한 도구를 직접 실험해 보기로 했습니다.

Bright Data MCP server는 통합된 AI‑준비 레이어로, 어떤 공개 웹사이트든 원활하고 확장 가능하며 차단되지 않는 접근을 제공하여 LLM, 에이전트 및 애플리케이션이 실시간으로 웹 데이터를 검색·발견·추출할 수 있게 합니다.

제가 해결하고자 했던 과제는 Nike.com 같은 공개 사이트에서 남성용 스니커즈를 스크래핑하고, 제품명, 가격, 재고 여부, 링크를 보기 쉬운 형태로 제공하는 것이었습니다.

Bright Data MCP를 사용하면 복잡한 스크래핑 인프라를 구축하거나 유지할 필요 없이 정적·동적 콘텐츠를 모두 가져올 수 있습니다.

Technologies Used

• LangChain – 여러 서버 또는 LLM 제공자를 동시에 연결합니다.
• LangGraph – 요청 지점(노드)을 연결해 워크플로우를 구성합니다.
• Next.js – 확장 가능하고 사용자 친화적인 UI를 구축하는 React 프레임워크.
• Python (FastAPI) – API 요청을 처리하는 백엔드 서버.
• Claude (Anthropic API) – 워크플로우 내 여러 작업을 조율합니다.

Demo

최종 제품에 대한 walkthrough 영상은 다음에서 확인할 수 있습니다:
Scraping Bright Data MCP Demo

Source Code

전체 소스 코드는 오픈소스로 제공되며 여기서 확인할 수 있습니다:
GitHub Repository – bright_data

Try It Yourself

앱을 직접 사용해 보고 원하는 Nike 스니커즈를 검색해 보세요:
bright-two.vercel.app