如何使用 Bright Data MCP Server 和 AI Agents 抓取任意网站

Source: Dev.to

概览

我通过 Noah Kalson 了解到 Bright Data MCP（模型上下文协议）服务器，并决定尝试这个强大的工具。

Bright Data MCP server 是一个统一的、面向 AI 的访问层，提供无缝、可扩展且不可阻断的公共网站访问，使 LLM、代理和应用能够实时检索、发现和提取网页数据。

我要解决的挑战是爬取像 Nike.com 这样的公共站点，具体是男士运动鞋，并以易于查看的格式展示数据（产品名称、价格、库存状态和链接）。

使用 Bright Data MCP，应用可以在不构建或维护复杂爬取基础设施的情况下获取静态和动态内容。

使用的技术

• LangChain – 同时连接多个服务器或 LLM 提供商。
• LangGraph – 将请求点（节点）链接在一起形成工作流。
• Next.js – 用于构建可扩展、用户友好 UI 的 React 框架。
• Python (FastAPI) – 处理 API 请求的后端服务器。
• Claude (Anthropic API) – 在工作流中编排多个操作。

演示

以下视频展示了最终产品的完整演练：
Scraping Bright Data MCP Demo

源代码

完整的源代码已开源，可在此处查看：
GitHub Repository – bright_data

亲自尝试

运行该应用并搜索你喜欢的 Nike 运动鞋：
bright-two.vercel.app