从 0 到 500 免费页面抓取，使用 Firecrawl MCP Server 和 Claude Code
发布: (2026年1月2日 GMT+8 19:04)
5 min read
原文: Dev.to
Source: Dev.to
0 行代码。这就是我用来抓取 500 页的代码。将 Firecrawl 的 MCP 服务器集成到 Claude Code 中，我只需用普通英语描述我的需求，AI 会处理其余工作。当我发现这个工作流结合 Firecrawl 的免费层时，我对网页抓取的整体方法彻底改变了。
Firecrawl Pricing
| Plan | Price | Credits (monthly) | Credit Card Required |
|---|---|---|---|
| FREE | $0 | 500 (一次性) | 否 |
| Hobby | $16/月 | 3,000/月 | 是 |
| Standard | $83/月 | 100,000/月 | 是 |
| Growth | $333/月 | 500,000/月 | 是 |
免费层为您提供 500 个积分，完全免费，无任何附加条件。它足以抓取整个电商分类，从数十个文档站点提取数据，或在升级前测试您的抓取工作流。
Components
| Component | What It Does |
|---|---|
| Firecrawl Free Tier | 初始 500 积分，免费（$0），完整 API 访问 |
| Firecrawl MCP Server | 将 Firecrawl API 暴露给 AI 助手 |
| Claude Code | 能自主调用 MCP 工具的 AI |
结果如何？你与 Claude 对话，Claude 与 Firecrawl 对话，随后你会得到结构化数据——无需 Postman，无需 curl 命令，无需样板代码。
Claude Code 设置
- 在 注册并获取您的 API 密钥（无需信用卡）。
- 将 MCP 服务器配置添加到您的 Claude Code 设置中：
{
"mcpServers": {
"firecrawl": {
"command": "npx",
"args": ["-y", "firecrawl-mcp"],
"env": {
"FIRECRAWL_API_KEY": "fc-your-key-here"
}
}
}
}使用 Claude
用普通英语向 Claude 提问，它会调用相应的 Firecrawl 工具：
- “抓取此 URL 并提取主要内容。”
- “映射此网站上的所有链接。”
- “从此页面提取产品名称和价格。”
- “爬取此文档并对每个章节进行摘要。”
Claude 自动使用 Firecrawl MCP 工具来满足您的请求。
Firecrawl Power App
一个时尚的 UI，补充 MCP 工作流，提供可视化反馈、持久历史记录，并且可以轻松与非技术团队成员共享。
- 实时演示:
- GitHub 仓库:
功能
| 功能 | 描述 | 计划 |
|---|---|---|
| 📄 Scrape | 从任何网页提取内容（Markdown、HTML、截图） | 免费 |
| 🗺️ Map | 发现网站上的所有 URL | 免费 |
| 🕷️ Crawl | 爬取整个网站并可控制深度 | 免费 |
| 🔍 Search | 使用高级运算符搜索网络 | PRO |
| 📊 Extract | 使用 JSON 模式的 AI 驱动结构化数据提取 | PRO |
| 🤖 Agent | 用于复杂数据收集的自主 AI 代理 | 每日 5 次免费 |
| 🌙 Dark Mode | 明暗主题切换 | 免费 |
| 🔑 BYOK | 自带密钥 – 使用个人 Firecrawl API 密钥 | 免费 |
注：PRO 功能需要付费的 Firecrawl 计划。免费层包含 500 次积分（一次性）。
设计系统
该应用使用官方 Firecrawl 设计系统：
--primary: #FF4C00; /* Firecrawl Orange */
--background: #ffffff;架构概览
- 前端: React, Vite, custom design system
- 后端: Express, Vercel Serverless Functions
- AI 集成: Firecrawl API (extraction, agent)
指标（前后对比）
| 指标 | 之前 | 之后 |
|---|---|---|
| 首次抓取时间 | 30 + 分钟 | 30 秒 |
| 编写的代码行数 | 100 + 每个项目 | 0 |
| 每月抓取页面数 | ~200 | 480 + |
| 成本 | $0（但耗时很多） | $0（且耗时很少） |
提示与最佳实践
- 复杂管道： 使用 Claude Code 进行 “scrape → transform → analyze” 链。示例：“抓取此页面，提取数据，并创建 CSV 文件。”
- 结合 Map 与有针对性的抓取： 首先映射站点，然后有选择地抓取所需页面，以最大化免费额度。
- 利用 JSON Schemas： 在使用 Extract 功能时定义 schema，以获得完美结构化、机器可读的数据，无需手动解析。